- 博客(20)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 一些自用logo
修改包管理镜像为国内源：Tsinghua Open Source Mirror运行两个命令：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --set show_channel_urls yes
2023-08-29 23:10:47
274
1
原创 阿里腾讯云 hadoop+spark集群搭建（2）
阿里腾讯云 hadoop+spark集群搭建（2）linux版本： centos7hadoop版本： 3.1.1spark版本： 2.3.2在1中已经搭建好了hadoop，接下来就是spark。为方便起见，用shell脚本完成下载spark、hive（后面再搭，先把spark跑起来）的操作。download_file.sh------------------------------...
2018-10-29 13:36:48
616
原创 阿里腾讯云 hadoop+spark集群搭建（1）
阿里腾讯云 hadoop+spark集群搭建（1）linux版本： centos7hadoop版本： 3.1.1手上有三台学生机，完全没动过的：一台是阿里云服务器，两台是腾讯云。用阿里云做namenode，腾讯云做datanode。目标是搭好hdfs和yarn，后面搭spark和hive。 更新和下载软件包。安装jdk 版本为1.8.0 $ sudo yum -y ...
2018-10-28 23:16:40
974
原创 LINUX下载运行MONGODB
curl -O http://downloads.mongodb.org/linux/mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2005591995.1522833621-772625683.1520840379 # 下载tar -zxvf mongodb-linux-x86_64-latest.tgz?_ga=2.203685907.2...
2018-04-04 18:03:12
371
转载 WebDriver和ChromeHeadless的一些参考网站
Selenium-Python WebDriver API参考：http://selenium-python.readthedocs.io/api.htmlhttps://wenku.baidu.com/view/514e3b931eb91a37f0115c0e.htmlhttps://www.cnblogs.com/yufeihlf/p/5764807.htmlhttps://www.jians...
2018-03-11 21:36:14
899
原创 Python-Selenium中chromeDriver限制图片和Javascript加载
我们有的时候使用Selenium会希望能够限制图片和Javascript执行，从而提高网页加载速度。先上python代码：from selenium import webdriveroptions=webdriver.ChromeOptions()prefs={ 'profile.default_content_setting_values': {
2017-11-19 13:18:28
10470
1
原创 初次运行Selenium的ChromeDriver安装
chromedriver下载地址：https://sites.google.com/a/chromium.org/chromedriver/downloads下载后将exe文件放入Anaconda3的Scripts文件中。默认是在环境变量路径了，此时可以使用selenium打开chrome了。from selenium import webdriverbrowser
2017-11-19 11:08:45
2209
转载 Hadoop、Hive、Spark 之间是什么关系？
早在大数据概念出现以前就存在了各种各样的关于数学、统计学、算法、编程语言的研究、讨论和实践。这个时代，算法以及各种数学知识作为建筑的原料(比如钢筋、砖块)，编程语言作为粘合剂(比如水泥)构成了一座座小房子(比如一个应用程序)，形成了一小片一小片的村庄(比如一台服务器)。这个时代村与村之间还没有高速公路(GFS, HDFS, Flume, Kafka等)，只有一条泥泞不好走的土路(比如RPC)，经济
2017-06-15 16:01:56
827
原创 阿里云上部署java8和hadoop3.0、spark、hive及Mahout
1.安装JDK1.8到oracle官网：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.htmllinux是64位的，安装jdk-8u131-linux-x64.tar.gz 安装及配置参考http://blog.csdn.net/rchm8519/article/de
2017-06-13 12:05:19
3189
原创 Hadoop及Spark集群部署
实现主机间SSH无密登陆的步骤及原理，参考：http://www.ruanyifeng.com/blog/2011/12/ssh_remote_login.htmlhttp://blog.csdn.net/zhaihaifei/article/details/50523576自己复述一遍过程吧：例如我要用A无密访问B,C,D...等机器，那么我就先使用A生成密钥 ssh
2017-06-12 20:54:34
812
原创 云服务器上初试git
由于是LINUX+服务器菜鸟，因此我把过程中的问题记录一下：1.首先，laravel本来就是git项目，自带了.gitignore，打开它我们可以看到它会忽略推送的文件。因此当我们拉项目下来后，要用 composer 安装依赖。命令行输入：composer install打开网页，3.报错 RuntimeException in Encrypter.php （l
2017-05-30 22:57:31
312
原创 阿里云CentOS部署Laravel5.4项目
把Laravel项目放到云服务器上发现报500错误。看了下php版本，是5.6.3的，而Laravel 5.4要求的php》=5.6.4，这意味着要升级php版本。综合了一下各方资料，实现如下：先把php旧版本卸载：yum remove php* php-common 引入yum 7.X源：rpm -Uvh https://dl.fedoraproj
2017-05-30 21:12:34
1911
原创 阿里云服务器
今天在阿里云购买了学生云服务器，地址是：https://promotion.aliyun.com/ntms/campus2017.html以前在别的地方购买过虚拟主机，搭了个WordPress，但实在没什么意思。而云服务器9.9元一个月，续费也是这个价格，十分划算，于是决定入手一个来折腾看看。配置如下：下载XShell和X-FTP来连接服务器。输入netstat -tnlp
2017-05-28 20:36:01
464
原创 Python3.5.2下导入matplotlib.pyplot错误
错误提示：ValueError: _getfullpathname: embedded null character解决方法：到python3.5的安装文件目录libs下找到font_manager.py文件direc = os.path.abspath(direc).lower()改为：direc = direc.
2017-04-04 16:33:07
1152
1
翻译 基于分类使用深度神经网络的金融市场预测
深度神经网络（DNNs）是使用多隐层的强大的人工神经网络(ANNs)。它最近在语音翻译和图像识别社区已经引起了强烈的关注，因为它具有优秀的预测性能，包括过度拟合的鲁棒性。然而在这之前，它们在算法交易上的应用仍未被研究过，一定程度上是因为它们的计算复杂性。本文叙述了深度神经网络在预测金融市场的走势方向上的应用。特别地，我们描述了配置和训练的方法，并且通过用一个简单的交易策略对43种不同的商品和外汇的
2017-02-22 13:02:26
1965
原创 了解数据库
E-R图，E-R图到关系模式，数据库系统结构、组成：http://wenku.baidu.com/link?url=cYkvrKhjmloblcDCUe8BAkpAjKavJ1Kd8tvCDlAf8Fcs0LEMwenfQgvAVD7QAf6BlNnz-OXHySsPG60f0IcHv8g1KkQlYVrWZYZBAixvjAG关系数据模型http://baike.baid
2016-04-13 21:53:27
347
转载 Laravel 5.2使用phpunit提示command not found
在Laravel目录下使用phpunit命令提示command not found。如果执行 phpunit 命令报错：command not found 或者 permissions denied，前者可能是安装时有问题，phpunit 命令位于 Composer 安装目录下的 vendor/bin 目录中，而且该目录已经被添加到系统路径中；后者则是因为没有为 p
2016-04-13 19:27:45
5490
2
原创 OSX下虚拟域名问题（laravel）
1.进入/etc/apache2下打开httpd.conf，找到 #Include /private/etc/apache2/extra/httpd-vhosts.conf去除#。2.而后在/etc/apache2/extra下打开httpd-vhosts.conf，输入DocumentRoot "/Library/WebServer/Documents/lar
2016-04-11 22:16:06
398
原创 SPRINGMVC登陆注册查询功能碰到的问题
总结下在用SPRING MVC做登陆、注册、查询用户的三个功能碰到的问题吧：1.数据库连接问题。在控制器文件中已经配置好了数据库连接类Mysql.java，代码如下：Mysql.java:package controller;import java.sql.Connection;import java.sql.DriverManager;import java.sql.Pre
2016-03-13 13:16:32
834
原创 Window下配置5.7版本Mysql数据库
将官方网站下载的5.7版本的压缩包解压，配置环境变量path，路径也是bin目录在文件夹目录下新建my.ini，输入以下内容并保存[mysqld]basedir=D:\Program Files\mysql-5.7.11datadir=D:\Program Files\mysql-5.7.11\dataport = 3306关于初始密码，用管理员身份运行CMD，输入以下
2016-03-07 18:46:37
534
boot2docker v17.06.2-ce
2017-09-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人