3 Programer-zhen

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 58w+

爬虫入门总结——scrapy

主要有3个文件,作用分别是:字段的定义(字典的构造)、主爬取代码、文件处理(数据存储)。代码如下:#items.py# -*- coding: utf-8 -*-import scrapyclass JobItem(scrapy.Item): # define the fields for your item here like: name = scrapy...

2019-04-18 19:17:31

python数据分析入门笔记系列一

一、认识数据分析的各个库1、numpy提供数组支持以及相应的高效处理函数,是Python数据分析的基础,也是SciPy、Pandas等数据处理和科学计算库最基本的函数功能库。2、pandas强大、灵活的数据分析和探索工具,包含Series、DataFrame等高级数据结构和工具。3、matplotlib基于Numpy的一套Python包,强大的数据可视化工具和作图库,是主要...

2019-04-18 19:05:39

爬虫入门总结

1、普通网页(无js动态加载)——lxml+requests例子:爬取金庸小说全集#全部金庸小说# 导入模块import requestsfrom lxml import htmlimport reimport os.path#第一层 所有的金庸小说starturl = 'http://www.jinyongwang.com/book/' #初始URL 记录所有金庸小说...

2019-04-18 18:41:25

hadoop运维入门总结

操作系统:CentOS71、用户登录:注意不同用户之间的区别(切换用户:su - hadoop)root:很容易改变文件目录权限,hadoop下文件权限尤其重要,尤其是根目录,权限变更要慎重权限说明:-rw------- (600) 只有拥有者有读写权限。-rw-r--r-- (644) 只有拥有者有读写权限;而属组用户和其他用户只有读权限。-rwx----...

2019-03-09 19:07:58

把M个同样的苹果放在N个同样的盘子里,允许有的盘子空着不放,问共有多少种不同的分法?

#include<stdlib.h>#include<stdio.h>int c;void count(int m,int n,int start)  {     int i,j;   if(n==1)  c++;     else if(m<n) count(m,m,0);     else   {    for(i=start;i<=m/n;i++)   ...

2018-03-23 10:38:56
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。