转载 阿里云部署爬虫项目

我是完全不懂Linux的小白。写了爬虫程序之后发现辣鸡电脑老是会自动关机，因此不得不去用云服务器。接下来和大家讲讲买服务器-安装Python3-安装各种module-爬虫程序的修改-上传爬虫程序-运行爬虫的全过程。爬虫爬的是一个报纸网站的所有文章。一、购买阿里云服务器https://promotion.aliyun.com/ntms/campus2017.html如果你是学生，买上面网址里的这个学生套餐的轻量应用服务器...

原创 Scrapy爬虫项目，Scrapy存储为Json文件、Scrapy存入MySQL、Scrapy存入MongoDB，Scrapy项目改造为Scrapy-Redis分布式爬虫、Scrapy项目部署到服务器

1、项目背景及需求我在B站看了一个爬取房天下网站的案例，自己动手敲了敲，改了改这个网站既卖全国各个城市的新房，也卖二手房，要做的就是爬取各个城市新房的各项信息，各个城市二手房的各种信息新房的信息有：哪个省份的（province），哪个城市的（city），小区名字（name），价格（price），几居室（rooms），房子面积（area），地址（address），房子属于哪个行政区（district），是否在售（sale），每一套房子详情页面的链接（origin_url）二手房的信息有：哪个省份的（

原创 MySQL怎么删除表中数据

使用命令：delete from 表名;这只会删除表内数据，不会删除表。下面代码是删除表的（ 慎用 ）：drop table 表名;

原创 selenium、webdriver打开Chrome浏览器闪退问题（版本号一致）

使用selenium、webdriver打开谷歌浏览器，登录页面后闪退，但是版本号是对应的，是因为driver的全局变量问题1、不设置driver为全局，放在函数内（会闪退）from selenium import webdriver# 登陆百度def main(): chromedriver_path = r"C:\Program Files (x86)\Google\Chro...

原创 PyCharm自动换行最新

新版Pycharm设置自动换行1、打开Pycharm后，按键盘上ctrl+alt+s键打开设置，再依次打开Editor>General，找到如下红色框选项：2、再选项框中打对勾选中，在后面输入框中输入; *.py，再点击确定即可，如下图所示...

原创 Scrapy爬虫Scrapy爬虫项目CrawlSpider爬虫

Scrapy爬虫1、Scrapy原理图、项目创建及常用命令2、爬虫基本流程3、两种重要的Json存储方法4、多页面爬取5、CrawlSpider爬虫6、微信小程序教程爬虫（使用CrawlSpider）1、Scrapy原理图、项目创建及常用命令2、爬虫基本流程3、两种重要的Json存储方法4、多页面爬取5、CrawlSpider爬虫6、微信小程序教程爬虫（使用CrawlSpid...

原创 Python爬虫数据解析：正则表达式解析；xpath解析数据；BeautifulSoup（bs4）解析

爬虫爬取到的数据一般要进行解析，常用解析数据的方法一般有以下几种：正则表达式解析xpath解析BeautifulSoup解析其它不常用的不再介绍1、正则表达式解析2、xpath解析3、BeautifulSoup解析...

原创 模块安装失败

安装模块时总是失败，失败原因如下：raise ReadTimeoutError(self._pool, None, ‘Read timed out.’)pip._vendor.urllib3.exceptions.ReadTimeoutError:HTTPSConnectionPool(host=‘files.pythonhosted.org’, port=443): Readtimed...

转载 Redis 面试题

Redis 面试题1、什么是 Redis?.2、Redis 的数据类型？3、使用 Redis 有哪些好处？4、Redis 相比 Memcached 有哪些优势？5、Memcache 与 Redis 的区别都有哪些？6、Redis 是单进程单线程的？7、一个字符串类型的值能存储最大容量是多少？8...

原创 Python创建项目文件夹作用及配置

1、创建项目及文件夹作用（1）项目创建在Pycharm页面，依次点击点击file > New Project…后，在如下弹出框中，先选择左侧的Django，然后选择右侧创建项目的位置及文件名，点击右下角Create创建即可。如下展示的是创建成功后文件夹目录：（2）文件夹作用上图中各文件夹作用：外层MyDjango：文件夹名字，可更改；内层MyDjango：项目名字；内层...

原创 认识Django MTV模式，Django常用命令

1.Django架构模式MTV架构Django采用了MTV架构模式Django也是一个MVC框架。但是在Django中，控制器接受用户输入的部分由框架自行处理，所以 Django里更关注的是模型（Model）、模板(Template)和视图（Views），称为 MTV模式。M：模型（model）T：模板（template）V：视图（views）模型：数据存取层，处理与数据...

原创 网站基础知识

1 建站基础1.1 网站基础知识域名（Domain Name）：由一串用点分隔的字母组成，代表着互联网上某一台计算机或者计算机组的名称，用于在传输数据时标识计算机的电子方位。以百度为例，“baidu”是这个域名的主体域名，“www.”是网络名，最后的“.com”是该域名后缀。常见域名后缀：.com：商业性机构或公司.net：从事Internet相关的网络服务的机构或公司.org：非...

原创 Python函数（3）匿名函数递归函数全局变量局部变量

一、匿名函数定义语法:lambda 参数1,参数2,从参数3…:函数体1.匿名函数函数体只有一句代码,并且该代码必须具有运行结果,运行结果会被作为函数的返回值自动返回2.匿名函数因为没有函数名,因此通常是通过变量接收该函数,之后通过变量名(参数列表)来调用,3.同时匿名函数因为只有一句话,因此匿名函数一般只用来解决比较简单的数据计算问题第一种定义方案num = (lambda ...

原创 Python函数（2）函数参数传递值传递

引用数据类型：列表,元组,字典,集合,对象基本数据类型：整型,浮点型,字符型,布尔类型一.普通数据类型作为函数参数传入到函数内部定义一个函数输出任意一个给定的数据示例1：def fun(number): print(number)fun(3)结果：3示例2：def out_put(x): x += 20 print(x)x = 20out_put...

原创 Python函数（1）函数参数传递

代码说明^从字符串的开头开始匹配$从字符串的结尾开始匹配.匹配除换行符以外的任意字符\w匹配 字母 或 数字 或 下划线 或 汉字\s匹配任意的空白符\d匹配数字\b匹配单词的开始或结束...

原创 Python基础(8)字符串及常用操作

字符串(string)

原创 Python基础(7)集合及常用操作

集合(set)集合（set）是一个无序的不重复元素序列，因此可以做字典的键。可以使用大括号 { } 或者 set() 函数创建集合，注意：创建一个空集合必须用 set() 而不是 { }，因为 { } 是用来创建一个空字典。创建格式：1.set = {'nihao', 'weather', 'love'}输出：{'nihao', 'love', 'weather'}2.set('...

原创 Python基础(6)字典及常用操作

字典(dict)键值对数据 {key:value} 唯一性注意: key必须是不可变(可哈希)且唯一的. value没有要求.可以保存任意类型的数据1.创建字典(1)创建空字典a_dict = { }(2)用等号创建b_dict = {'name': 'Tom', 'age': 18}(3)使用dict()和zip()利用已有数据创建keys = ['a', 'b', '...

原创 Python基础(5)元组及常用操作

元组(tuple)元组和列表相似，不同点是元组初始化之后元素值不能再修改，元素之间用逗号隔开，可以存储各种类型的数据1. 创建元组(1)创建空元祖tuple = ()(2)创建一个元素的元组tuple = (1, )元组只含有一个元素时需要在元素的最后添加逗号，这样做是为了消除歧义（tuple = (1) 输出的tuple值是一个1 而不是(1) 这样tuple表示的就不是...

原创 Python基础(4)列表及常用操作

列表(list)1.创建列表(1).直接创建 number = [1,2,3,4,'你好'](2).通过list()创建,开发过程中常用来进行其他数据类型向列表数据的强制转换a = list(range(10,20,2))print(a)结果：[10, 12, 14, 16, 18](3).通过表达式创建列表,语法结构[数学表达式 条件1 条件2 条件3…]list...

原创 Python基础(3)序列及常用操作

1.选择语句（1）最简单if语句number = 5if number == 5: print("数值为{0}".format(number))结果：数值为5（2）if…else 语句a = 9if a > 0: b = aelse: b = -aprint(b)结果：9（3）if…elif…else语句a = 0if a > 0: p...

原创 Python基础(2)if...else while循环 for循环 break语句 continue语句

一.序列序列主要有列表、元组、集合、字典和字符串5种。常用操作：1.索引正向从0开始，反向从-1开始例如：verse = ['Python', 'java', 'php', 'c++']print(verse[1])print(verse[-1])结果：javac++2.切片（左闭右开）list[start: end: step]start:起始位置end:结束位...

原创 Python基础(1)保留字数据类型运算符format

一.基础1.保留字与标识符import keywordprint(keyword.kwlist)print(len(keyword.kwlist))输出：['False', 'None', 'True', 'and', 'as', 'assert', 'async', 'await', 'break', 'class', 'continue', 'def', 'del', 'elif...

转载 超燃励志你走的每一步都藏着未来的影子

【励志向|二十句话重燃斗志|新的开始】

转载 windows下安装face_recognition

windows下安装face_recognition该安装包在linux下安装还是比较简单的，但在window下需要折腾一下，因为安装face_recogniton 之前需要先编译安装dlib。这里给一个别人编译好的dlib版本，直接pip安装即可。链接: https://pan.baidu.com/s/1CSOXulyEUOFQf_gfAiQ1RQ 密码: sfti下载后通过cmd进入到...

原创 安装Python的cv2包出错

安装Python的cv2包出错当在命令行输入pip install cv2时报错如下：ERROR: Could not find a version that satisfies the requirement cv2 (from versions: none)ERROR: No matching distribution found for cv2原因就是cv2的包不叫cv2，而是叫o...

转载 Gitbook安装和使用

https://blog.csdn.net/lu_embedded/article/details/81100704

原创 NumPy(2) ----正态分布小案例

应用的知识做一个小案例案例: 随机生成500个股票两年的交易日涨幅数据主要步骤如下图:一. 股票涨跌幅数据的创建生成一个符合正态分布的500只股票两年的涨跌幅数据, 504为两年交易天数# [500, 504]# 0 < 涨跌幅 < 100%stock_day_rise = np.random.normal(0, 1, [500, 504])二. 数组的索...

原创 NumPy(1) ---- 基本操作知识数组

一. Numpy简介matplotlib: 主要进行绘图, 可视化显示numpy: 　主要进行数据运算pandas:　 主要进行数据处理1. Numpy优点一个强大的N维数组对象支持大量的数据运算集成C/C++和Fortran代码的工具众多机器学习框架的基础库2. NumPy为什么快:内存块是连续的(如下图)NumPy的并行化运算 (也叫向量化运算)3....

原创 matplotlib(3)---思维导图

原创 cmd命令行由C盘进入D(其它)盘

刚进入cmd命令行如下图所示:假如我要进入D盘, 只需在命令行中输入D:然后敲回车即可, 如下图进入其它盘同理.

原创 matplotlib(2)---柱状图, 直方图, 饼状图的绘制

一. 柱状图电影票房柱状图1 import matplotlib.pyplot as plt import numpy as np # 设置matplotlib正常显示中文和负号 matplotlib.rcParams['font.sans-serif']=['SimHei'] matplotlib.rcParams['axe...

原创 matplotlib(1)---概念及折线图的绘制

一. 基本概念(组成)matplotlib组成: 由栈组成, 分为三层: Scripting(脚本), Artist(美工),Backend(后台).在整个matplotlib中, 图形中所能看到的元素都属于Artist对象, 即标题, 轴标签, 刻度等组成的所有元素都是Artist对象的实例.(1) 如果把Artist比做画画的话, Figure相当于画板, Axes(坐标系)相当于画画...

原创 Anaconda安装(windows版本)

下载地址：https://www.anaconda.com/download/打开连接后, 点击Windows图标下载完成后, 如下图一. 安装开始双击下载好的安装包, 如下图, 点击Next即可.如下图, 点击 I agree 同意条款Install for: Just me还是All Users，假如你的电脑有好几个 Users ，才需要考虑这个问题.其实我们电脑一...

原创 scrapy框架常用命令

1. 创建scrapy工程 (spider20为工程名字)scrapy startproject spider20稍等待一会儿, pycharm中会自动出现如下图所示文件夹2. 进入spider20项目cd spider203. 进入spider20项目中的spider20文件夹cd spider204. 进入spiders文件夹cd spiders5. 在spider...

转载 运用scrapy框架通过splash无头浏览器爬取之settings文件配置

参考博客:https://blog.csdn.net/zhusongziye/article/details/803782051. 修改settings.py，配置SPLASH_URL。在这里我们的Splash是在本地运行的，所以可以直接配置本地的地址：SPLASH_URL = 'http://localhost:8050'如果Splash是在远程服务器运行的，那此处就应该配置为远程的地址...

转载 Win10专业版如何安装Docker

https://blog.csdn.net/qq_39629343/article/details/80182135(https://blog.csdn.net/qq_39629343/article/details/80182135)最后一步完成后, 在powershell命令行输入:docker run docker/whalesay cowsay boo出现 鲸鱼 图标即安装成功...

转载 Redis数据库安装, Python操作Redis数据库

一. 安装1.将Redis路径添加到环境变量.2.将解压包放到指定盘符后解压缩, 打开一个 cmd 窗口 使用 cd 命令切换到Redis目录后, 再输入命令：redis-server.exe redis.windows.conf如果显示以下界面即安装成功3.这时候另启一个 cmd 窗口，原来的不要关闭，不然就无法访问服务端了。切换到 redis 目录下运行:redis-cli....

原创 win10下安装MongoDB4.0

一. 在官网下载MongoDB压缩包, 并解压放入D盘二. 添加MongoDB的环境变量(我的电脑中打开)三. 配置MongoDB1. bin的同级目录建一个data文件夹, data文件夹内部建立一个db文件夹bin的同级目录建立一个log文件夹, log文件夹内部建立一个名为mongo.config的文件(先建立一个记事本, 然后改后缀名)2. 指定MongoDB的存储目录管理员...

原创 Centos7 中[root@localhost /] 和 [root@localhost ~] 的区别及目录结构

1. [root@localhost /] 和 [root@localhost ~] 的区别刚进入Centos时, 会显示这个[[root@localhost ~] , 后边让输入命令, 其实此时是在根目录下的子目录root中, ls一下, 会出现系统文件以及曾经下载的软件.回到根目录, cd 　．．(．．意味上一级), 此时在根目录下.ls一下, 就会出现根目录下的所有子目录...