- 博客(4)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 启动spark集群需要用到的一些命令
开启hadoop集群：start-all.sh关闭hadoop集群：stop-all.sh开启spark的主节点：start-master.sh 其他节点：start-slaves.sh关闭spark的主节点：stop-master.sh 其他节点：stop-slaves.shspark的启动方法：/usr/local/spark/bin/spark-shell 启动spark...
2019-10-06 17:38:34
2514
原创 尝试用sqoop将mysql数据导入hdfs中失败==
使用命令行：sqoop import --connect jdbc:mysql://*.*.*.*:3306/test?characterEncoding=UTF-8--username aaa--password 'bbb' -tablelll尝试将mysql的数据导入到hdfs中，结果一直导入失败，并显示：Warning: /usr/local/sqoop/sqoop/../hba...
2019-06-11 14:50:40
1583
2
原创 搭建hadoop分布式遇到的坑
按照网上的一些教程搭建hadoop分布式系统，搭建完毕后，输入start-all.sh，报错说Permission denied (publickey,password)想了一下应该是由于ssh master登录本地需要输入密码，所以使用cd ~/.ssh/ssh-keygen -t rsacat ./id_rsa.pub >> ./authorized_keys...
2019-05-31 10:27:27
191
原创 城市大数据--关于时间序列的EDA探索
拿到了一批门磁数据，看起来毫无意义==新手不知道怎么下手，看kaggle的各种大佬说数据分析的前期准备,EDA(Exploratory Data Analysis)特别重要，遂尝试EDA中。因为门磁数据特别多，首先将门磁数据按照门磁id进行了分类，分成了一百多个csv文件，一个文件就是一段时间门磁传感器的开关门情况。感觉这些数据应该是有规律的，所以用matplotlib可视化数据，横轴是天，纵...
2019-05-27 17:52:40
729
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人