- 博客(3)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 下载《Hadoop权威指南》的气象数据
下载《Hadoop权威指南》的气象数据 #! /usr/bin/env bash for i in {1903..2000} do wget -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/$i done 亲测可以运行，这样就可以先down到linux机器上，用awk跑一边。然后再传到hdfs上，用mapreduce再跑一遍。 wget的“-r”为递归下载方式。 ...
2021-01-27 10:31:45
226
原创 Centos 配置django到apache
1.Centos安装Python31）首先下载python3的安装包 https://www.python.org/downloads/2）需要安装依赖：# yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make3）将安装包解压，进入解...
2018-04-17 10:12:20
394
原创 CrawlSpider爬取拉勾网，解决302问题。
前言： 在慕课上买了个付费视频，里面有一章是讲用CrawlSpider来爬取拉勾网，可能因为视频录的时候比较早，老师没加headers，也没用cookie所有的拉勾的工作的详情页面就全部200了，但是自己动手的时候，怎么都是302，去网上查了查，说是加上cookie和headers就可以了，自己动手试了试还真是成功了，拿出来和大家分享一下 1.Selenium获得登陆的cookie： ...
2018-03-26 21:22:15
2751
8
快速排序、冒泡排序等排序测试集
2018-12-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人