程序小学生-CSDN博客

原创 Python练习（四）

Python练习（四）1.矩阵转置，输入一个4行5列的矩阵并转置a = []#行数控制for i in range(4): a.append([]) #列数控制 for j in range(5): print('第'+str(i+1)+'行，第'+str(j+1)+'列') a[i].append(int(input('请输入...

2019-06-14 11:46:39 771

原创 Python练习（三）

Python题目训练（三）时间处理。输入一个时间字符串，返回下一个月的1号。输入的时间格式包含两种：1. 2018.09.152.2018‑9‑15func('2018.09.15') => '2018-10-01'func('2018-9-15') => '2018-10-01'def func(date): if '.' in date: ...

2019-05-30 14:19:26 423

原创 Python练习（二）

Python题目练习（二）1.要求：在不增加或修改任何print语句，且函数内只能增加一条语句的情况下，输出："eric"。1）只能修改f1()函数情况下，完成上述要求name = 'lzl'def f1(): name = 'eric' print(name)def f2(): name = 'eric' f1()f2()2）只能修...

2019-05-30 13:54:36 5207

原创 Python下载图片

Python下载图片工具：Pycharm，Win10，Python3.6.4这次就是一个很简单的案例，做一个图片爬虫。思路就是获取图片链接，然后下载图片，保存文件，模块代码如下。# 根据图片链接下载def download_image(img_url, i): print('正在下载', img_url) try: response = reques...

2019-05-30 10:29:50 859

原创安居客爬虫+分析+回归

安居客爬虫+分析+回归工具：Pycharm，Win10，Python3.6.4这次我们要做的是安居客西安地区房源爬虫，然后数据分析，并做一个简单的回归分析。我们之前的爬虫和简单的数据分析已经说了很多了，这里我不再展开描述，我直接贴出结果。以上就是分析的结果。接下来我们要做一个关于房屋总价和单价的回归分析。其实我们爬下来的数据并不是很结构化，单价和总价有的是一个值有的是一...

2019-05-21 20:38:50 4239 1

原创 SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame See the

SettingWithCopyWarning:A value is trying to be set on a copy of a slice from a DataFrameSee the caveats in the documentation: http://pandas.pydata.org/pandas-docs/stable/indexing.html#indexing-vie...

2019-04-28 16:27:48 1017

原创 Python pandas处理csv文件

Python pandas处理csv文件工具：Pycharm，Win10，Python3.6.4现有上面这样一份CSV文件，我们要对其做如下处理1.第一列重新编序号从1开始2.第三列数字0改成243.第三列之后的数据带小数的精度都设为小数点后一位因为我们要对多个csv文件处理，所以事先把多个csv文件放在一个文件夹中，循环读取每个文件并对每个文件做以上处理。1.重新...

2019-04-28 16:09:07 2677

原创 Python 利用SVM,KNN,随机森林进行预测

Python 利用SVM,KNN,随机森林进行预测工具：Pycharm，Win10，Python3.6.4上图是我们的数据文件，最后一列是附近有无超市的标签，1代表有，-1代表没有。可以发现数据维度比较多，我通关计算相关系数提出相关性低的特征。data = pd.read_excel('data.xls')# print(data)column = data.columns....

2019-04-27 20:50:26 15638 9

原创 Python 微博奔驰事件爬虫

Python微博奔驰事件爬虫工具：Pycharm，Win10，Python3.6.4最近奔驰漏油事件成为大家讨论的热点，也频上热搜。我就来做了一下微博评论爬虫，看看大家对这件事情的看法。微博移动端相对好爬一些，且评论数据差不多，所以我们主要是针对微博移动端进行信息采集。我们打开网址看到如下信息评论量还是挺多的，所以我们要先获取该微博的链接，然后通过该微博去获取评论页。可以看...

2019-04-27 17:09:42 596

原创 Python链家租房信息爬虫和高德地图展示

Python链家租房信息爬虫和高德地图展示工具：Pycharm，Win10，Python3.6.4，高德API1.数据爬取首先我们明确要获取的信息。我们要北京的东城，西城，朝阳，海淀，丰台这5个地区的租房信息。打开链家租房网站，选择东城地区的第二页信息我们发现网址有如下规律下面就是分析页面，以东城为例，我们发现数据直接在源代码中，很简单，直接正则或者xpath获取即可。...

2019-04-15 12:19:50 2519 13

原创 LDA,Perceptron,SVM三种算法的sklearn简单使用

数据如下x1 = [1,5,1.5,8,1,9]x2 = [2,8,1.8,8,0.6,11]y = [0,1,0,1,0,1]预测[0.58,0.76]LDA算法from sklearn.discriminant_analysis import LinearDiscriminantAnalysisimport numpy as nptrain_x = np.arra...

2019-04-15 10:30:01 699

原创 python 决策树使用

决策树使用工具：Pycharm，win10，Python3.6.41.题目要求根据如下数据使用决策树算法进行预测。Roles Duration Audiobook Genre5 80 no Action15 120 yes Drama15 100 yes Action20 80 no Drama5 80 no Action12 115 yes ?2 180 yes ...

2019-04-14 20:22:48 396

原创 python 朴素贝叶斯算法使用

朴素贝叶斯算法使用工具：Pycharm，win10，Python3.6.41.题目要求根据如下数据使用朴素贝叶斯算法进行预测。Document Content Categoryd1 ball goal cart goal...

2019-04-13 20:58:05 1174

原创 python KNN算法使用

KNN算法使用工具：Pycharm，win10，Python3.6.41.题目要求现有数据如下，根据一些属性，选出适合向客户提供广告的方式，使用KNN算法，K为3.Age m/f Sales Channel20 f 10 E-mail30 m 90 Phone40 m 70 Post60 f 100 Phone20 m 30 E-mail30 f 40 E-mail...

2019-04-13 19:54:34 734

原创 Python题目练习

Python题目练习1.输入成绩，高于80优秀，60~80通过，低于60不及格mark=int(input("mark:"))print(["Fail","Pass","Good"][(mark>=60)+(mark>=80)])#输出成绩等级这是我没有见过的一种思路，特此记录一下，Python中True就是1，False就是02.输入如下图片结果for...

2019-04-13 16:43:03 1545 3

原创 Python 网页节点统计

Python 网页节点统计工具：Pycharm，win10，Python3.6.41.需求分析我们现在有一个文件夹wp，里面包含了下图的子文件夹，每个文件夹里面又包含了网页，每个网页可能指向其他网页。总计有5000多个网页。我们要构建一个网络图统计每个网页的出度，入度。2.实现代码以第一个文件里面的第一个网页为例，我们要如何获取这个网页包含了哪些子链接。获取第一个网页，打开...

2019-04-13 16:31:58 446

原创爬虫时多种类信息写入

爬虫时多种类信息写入爬虫时，我们一般会确定我们要哪些信息然后写入文件中。但有时候遇到如下情况，我们需要的信息有a,b,c,d,e,f,g,h。这8个信息，但是在第一个页面中只有a,b,c,d这四个信息，第二个页面中有c,d,e,f,h这4个信息，但我们写入文件的时候要求是如下格式：a b c d e f g h a b c d...

2019-03-12 19:25:51 160

原创 pd.read_csv()报错：OSError: Initializing from file failed

pd.read_csv()报错：OSError: Initializing from file failed最近在读取csv文件的时候出现了OSError: Initializing from file failed这个报错，后来查阅资料知道是文件名中出现了中文。后来查看pandas源码才知道在读取csv文件的时候默认使用C engine作为parser engine，我们只需要把读取方式改为...

2019-03-09 20:39:44 348

原创携程车次信息爬虫

携程车次信息爬虫工具：Pycharm，win10，Python3.6.41.需求分析今天我们要爬取携程a上面的车次信息，只爬取直达的班次。我们需要的信息如下我们以昆山到苏州为例，要获取如下信息，我们查看网页源码发现这些信息并不存在网页源码中。打开开发者工具，点击XHR，我们可以看到数据都存放在一个异步请求中。数据格式是json，获取很方便，我们要做的就是能获取到该页面信...

2019-02-28 20:10:41 3094 6

原创高德地图爬虫

高德地图爬虫工具：Pycharm,win10,Python3.6.41.需求分析这篇爬虫和上一篇百度地图爬虫要求一样，百度地图爬虫我发现有一个auth参数会一直变化，一旦变化则获取的数据是不准确的，所以我上高德地图看了一下，高德地图没有这个反爬机制。但是高德地图大概爬取120个页面就会跳一次验证码，我这里是通过换IP解决这个问题的。2.数据准备同样我们需要全国地级市信息，用之前...

2019-02-27 11:11:13 11483 3

原创豆瓣电影短评爬虫

豆瓣电影短评爬虫工具：Pycharm,win10,Python3.6.41.需求分析需要爬取评论者的ID和评论内容，需求十分的简单。2.爬虫思路我们要的数据直接就在网页源码中，只需要获取网页源码，用正则匹配出我们要的信息即可。评论一共有5页，我们需要通过循环去构建5条url。最后数据写入txt中。代码如下：from urllib import requestim...

2019-02-27 10:32:17 2159

原创百度地图爬虫

百度地图爬虫工具：Pycharm，win10，Python3.6.41.需求分析上面是我们正常打开百度地图看到的画面，我们只需要在输入框输入我们想查找的东西就能获取到相应信息，今天我们要获取每个地区的养老院的数量。我们随便输入一个地区，如上海徐汇区。网页中打开开发者选项，就能看到返回的json数据中的total数量。这就是我们要获取的养老院的数量。注意这里是get请求，我们...

2019-02-26 16:18:15 10143 2

转载吴恩达课后编程作业第二周

2019-01-18 21:31:48 2262 1

转载 JupyterNotebook使用

这篇文章是基于一篇最初出现在Alex Rogozhnikov的博客上的文章Jupyther notebook ,也就是一般说的 Ipython notebook，是一个可以把代码、图像、注释、公式和作图集于一处，从而实现可读性分析的一种灵活的工具。 Jupyter延伸性很好，支持多种编程语言，可以很轻松地安装在个人电...

2019-01-18 21:20:11 893

原创 Python列车信息爬虫

Python列车信息爬虫Python爬虫我已经写过很多了，其实很大部分都是在重复。所以这篇或者是以后的博客都不会从头到尾讲爬虫，只是会将之前没有遇到的问题给重点列出来。1.任务分析这是我们要爬取的网站，我们要做的就是输入出发地和目的地然后点击提交按钮。例如输入上海，北京，点击提交即会出现这个如下页面。这是有直达的情况，当然也有非直达的情况，例如大连和东莞。所以...

2019-01-17 11:49:56 416

原创 Python租房数据简单分析

Python租房数据简单分析数据集：包含title,price,size,block,type代码from matplotlib import pyplot as pltimport pandas as pdimport jiebaimport wordcloudfrom scipy.misc import imreadplt.rcParams['font.family...

2019-01-07 19:02:20 3710 7

原创破解网页按钮不可用

破解网页按钮不可用之前帮人做爬虫提取被隐藏的链接，但是最近这个链接的一个按钮不可用了，如下图：对此只需要获取该按钮的id在网址输入一段代码即可。1.获取按钮id正常来说打开谷歌浏览器,右击按钮，选择检查，即能跳转到相应的id。但此处的按钮已经不可用了，所以无法直接检查其对应的id。我们只能在element中查找到该按钮id。以上我们就获取到了按钮ID：bidBtn。...

2019-01-07 18:28:28 2326

原创 KNN算法预测iris数据集

KNN算法预测iris数据集1.数据集介绍鸢尾花灰Iris数据集中有150个样本，每个样本有4个特征，1个标签。其中，鸢尾花种类可取0、1、2，分别代表山鸢尾setosa、变色鸢尾versicolor、维吉尼亚鸢尾virginica。2.代码解析首先导入iris数据集，在sklearn库里面已经有了。iris.data()是特征数据，iris.target()是标签数据。根据这...

2019-01-07 16:00:13 2481

原创 Python自动发短信给自己手机

Python自动发短信给自己手机国外有一家公司Twilio推出了一项自动发送短信的服务，只需要在官网上注册并且获取权限即可，这在我们做服务器监控或者其他监控内容时有很大的作用，下面我直接提出代码。from twilio.rest import Clientaccount_sid = 'ACc54**************************b'auth_token = '***...

2018-12-31 13:27:54 5930 1

原创 Python项目生成requirements.txt文件

Python项目生成requirements.txt文件我们在写Python脚本的时候往往会用到很多第三方库，但是当我们把脚本换个环境之后就需要手动安装第三方库，有时候有的第三方库还需要一些别的依赖。为了省事，我们可以导出一个requirements.txt，把需要安装的第三方库放在里面。下面我们就讲一下如何导出这个requirements.txt。方法一：pip freeze &g...

2018-12-26 21:53:38 2547

原创 Python进程池Pool

Python进程池Pool最近做了一个demo，用到了进程池，要提升速率，但是打包成exe之后程序直接卡死了。网上搜索之后发现在Win系统下要加freeze_support()这么一段代码if __name__ == '__main__': while True: try: freeze_support() nu...

2018-12-25 00:06:07 288

原创 Python爬虫长时间出现SSL证书验证问题

Python爬虫长时间出现SSL证书验证问题今天做了一个爬虫程序，运行好好的，但是运行2个小时之后突然报错了，看了一下也不是IP原因，也不是代码逻辑问题。报错信息是requests.exceptions.SSLError: ("bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certifi...

2018-12-24 23:25:39 1751

原创 Python英超联赛10年数据爬虫

英超联赛10年数据爬虫引言：今天对国外某足球网站进行爬虫，爬取英超联赛10年数据，主要包括比赛双方以及比分。1.网站分析网址：https://www.premierleague.com/results（需要科学上网）。我们要的信息主要是对战双方和第一粒进球的时间。右击查看源码没有我们要的信息，考虑是动态加载。F12打开开发者选项。找到了信息存放的网址https://footba...

2018-12-20 18:57:17 2719

原创 Python绘制堆叠柱状图

Python绘制堆叠柱状图有个朋友要求帮忙绘制堆叠柱状图，查阅了一些文档之后也算是完成了，只是一个小demo，下面我就记录一下。1.什么是堆叠柱状图与并排显示分类的分组柱状图不同，堆叠柱状图将每个柱子进行分割以显示相同类型下各个数据的大小情况。它可以形象的展示一个大分类包含的每个小分类的数据，以及各个小分类的占比，显示的是单个项目与整体之间的关系。效果图如下：2.数据展示...

2018-12-20 17:28:34 20604

原创 Python多线程爬虫

from gevent import monkey, joinall, spawnmonkey.patch_all()import requestsimport reimport osBASE_DIR = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'meizitu2')girl_list = []def...

2018-12-19 18:18:51 956

原创第一次面试小记

第一次面试小记昨天去上海参加了一家公司面试，面试的是爬虫岗。下面我就记录一下遇到的问题。问题先后顺序按想到哪个写哪个。1.多线程进程是程序执行的最小单元，每个进程都有自己独立的内存空间，而线程是进程的一个实体，是系统调用的一个基本单位。当我们启动一个app的时候这就创建了一个进程，这个app里可能有语音播放、搜索等功能，这就是进程里不同的线程。线程是轻量级的，他没有独立的空间地址（...

2018-12-19 15:07:05 216

原创 Python装饰器

Python装饰器使用Python做爬虫也有3个月的时间了，但是对于Python的相关知识还是有一点缺乏。最近了解到了装饰器，觉得这是我缺乏的一个知识点，因此记录一下。1.函数在python中，函数通过def关键字、函数名和可选的参数列表定义。最后可以使用return关键字返回值，如下就是一个简单的函数：def fun(x): x +=1 return xif ...

2018-12-14 12:27:05 105

原创 Python matplotlib绘制饼图

Python matplotlib绘制饼图最近用到了matplotlib库绘制饼图，之前也没有做过，所以网上查阅了一些资料plt.rcParams['font.sans-serif']=['SimHei'] # 用黑体显示中文plt.figure(figsize=(14,6))ax1 = plt.subplot(1,2,1) #一行两列第一个图shapes1 = ['0-...

2018-12-11 19:35:25 2457

原创已知先序遍历和中序遍历，输出后序遍历

已知先序遍历和中序遍历，输出后序遍历题目描述对于一棵二叉树，已知先序遍历ACDEFHGB，中序遍历DECAHFBG，求后序遍历。解题思路首先条件给出了先序遍历和中序遍历，那么我们利用这两种遍历特性得到一下信息：对于先序遍历，第一个节点是根节点对于中序遍历，根节点的左边是左子树节点，右边是右子树节点利用以上信息我们就可以利用递归构建出二叉树，然后通过后序遍历得到结果Py...

2018-12-08 20:14:40 2104

原创柱状图，CSV写入，字符串表达式

Python笔记最近做了一些小demo练习，今天就把之前遇到的一些小问题汇总一下。1.利用matplotlib库绘制了一个直方图，效果如下但是一开始的话效果确实这样的，这是直接调用了plt.hist(time_list)这行代码，并没有修改任何的参数，为了调整下面的统计图，我们添加如下参数plt.hist(time_list, rwidth=0.85,bins=99)#一单位...

2018-12-08 13:02:10 321