- 博客(18)
- 收藏
- 关注
RSS订阅原创 my机器学习
线性回归模型，用来预测KNN（聚类算法），用来归类(监督学习)K-Means算法是无监督的聚类算法ID3(决策树算法)，用来决策朴素贝叶斯，根据关键词对文章内容进行分类支持向量机（SVM）算法# encoding=utf8from sklearn.cluster import KMeansfrom sklearn.datasets import load_digits, fetch...
2019-05-16 16:29:57
286
原创 python 爬取扣扣群成员信息
爬取扣扣群成员通过 https://qun.qq.com/member.html 这个网页你可以登录网页版的扣扣群号管理。这样你就可以通过网页来爬取信息了。涉及到个人隐私，这里就不放图片了。请看代码：import csvimport timefrom selenium import webdriver# 下拉加载页面def scroll_foot(driver): ...
2019-05-08 09:18:51
4340
1
转载 appium环境搭建
初识appium：http://blog.itpub.net/31407649/viewspace-2285934/appium环境搭建：https://blog.csdn.net/qq_16206535/article/details/79586818appium的操作：Android定位元素与操作https://www.cnblogs.com/meitian/p/6103391.ht...
2019-05-05 19:53:17
286
转载 pip安装太慢问题
pip安装太慢，可以用下面方法解决：pip install XXX -i https://pypi.tuna.tsinghua.edu.cn/simple这样就快了
2019-04-29 12:47:02
3175
原创 如何使用appium爬取手机app的数据
工具：windows，pycharm，appium第一步：环境搭建：运行之前将环境调试好，需要安装Android，java，nodejs，appium安装方法自行百度。安装好之后，打开cmd,输入appium,出现如下界面，说明你的环境搭建好了。第二步：配置手机：打开手机的usb开发者模式，打开方式自行百度。小米的要再打开一个usb调试（安全设置），这个原来没打开，死活连不上。第三...
2019-04-10 15:44:06
6449
2
原创 splash爬取京东
工具：Ubuntu、pycharm打开京东，输入python：https://search.jd.com/Search?keyword=python&enc=utf-8&wq=python&pvid=24be3f6bbd364413aa0b8d9cdac5f468此为目标网址。第一步，在终端打开docker(docker没装的自行百度)： ~$ sudo servi...
2019-04-09 16:33:33
327
原创 Linux文件操作
Linux文件操作使用命令命令格式：命令 [选项] [参数][ ]表示可选的示例：ls -l /etc 常识命令ls：查看指定目录的内容，不指定目录时查看当前目录下的内容选项说明-l列表显示，会显示更多信息-a显示所有文件，包括隐藏文件(以.开头的文件)-h人性化的显示大小，如：K/M/G，，常和l连用， - lh...
2019-04-09 11:44:21
132
原创 数据库之Redis基本操作
Redis简介Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。非关系型数据库的一种，经常用作缓存数据库服务器。官网：http://www.redis.io/ 中文网：http://www.redis.cn/具有丰富的数据类型：字符串、哈希、列表、集合、有序集合端口：6379安装及连接测试...
2019-04-09 11:29:22
233
原创 数据库之MongoDB基本操作
MongoDB简介MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。是一个介于关系型数据库和非关系型数据库之间的产品，是非关系型数据库中最像关系型数据库的一种，是功能最丰富的非关系型数据库。安装及测试安装：双击安装包，然后一路NEXT即可完成安装将安装目录添加系统环境变量PATH下创建目录c:...
2019-04-09 11:08:07
98
原创 scrapy_splash简单爬取淘宝页面信息
首先打开淘宝页面，搜索手机：https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&clk1=04511dd93dde330d86022e9ce3a3dc46&keyword=手机&page=0# 新建scrapy项目scrapy startproject taobao# ...
2019-04-08 17:49:14
3089
原创 进制的表示方法
# 10进制转2进制,,2进制用Ob表示print(bin(5))# 10进制转８进制,,8进制用Oo表示print(oct(12))# 10进制转16进制,,16进制用Ox表示print(hex(56))# 2进制转10进制a = int("101",2)print(a)...
2019-04-06 12:48:14
3018
原创 splash的简单安装（Ubuntu）
splash是docker环境下的一个镜像，看本文前默认你已经装了docker，并且对docker有一定的了解。用splash的好处就是速度快，方便，如果对时间没有要求的话，建议还是用selenium下载splash镜像：# 启动dockersudo service docker start打开splash镜像，没有的会自动下载，不过网速超慢（1.22G）sudo docker ru...
2019-04-04 20:36:11
1784
原创 怎么绕过selenium爬取网页
如何绕过Selenium检测1.使用chrome的远程调试模式结合selenium来遥控chrome进行抓取，这样不会携带指纹信息步骤:使用调试模式手工启动chrome,进入chrome的安装路径,例如chrome装在 C:\program\google\chrome.exe下（windows）(Ubuntu的进入chrome的安装目录)进入chrome安装路径（Ubuntu）...
2019-04-04 20:13:02
673
1
原创 数据库之MySQL基本操作
MySQL入门数据库简介用途：用于存储生活的一切数据，如：身份、住房、车票、网站、…概念：数据库服务器、数据库、数据表、一行数据(一条)、一列数据(字段)分类：关系型数据库：MySQL、oracle、SQL Server、…非关系数据库：Redis、MongoDB、…SQL：Structured Query Language，结构化查询语言历史：口述命令：数据定义语言...
2019-04-03 14:02:58
192
转载 pip自动生成和安装requirements.txt
生成requirements.txt文件pip freeze > requirements.txt安装requirements.txt依赖pip install -r requirements.txt
2019-04-03 10:39:30
1210
转载 docker简单操作（Linux）
docker全文参考菜鸟教程： http://www.runoob.com/docker/ubuntu-docker-install.htmlDocker Hello World runoob@runoob:~$ docker run ubuntu:15.10 /bin/echo "Hello world"Hello worldubuntu:15.10指定要运行的镜像，Dock...
2019-04-02 21:46:19
173
原创 python Ubuntu 虚拟环境创建
pyenvpyenv是一个Python版本管理工具，它能够进行全局的Python版本切换，也可以为单个项目提供对应的Python版本。使用pyenv以后，可以在服务器上安装多个不同的Python版本，也可以安装不同的Python实现。不同Python版本之间的切换也非常简单。pyenv官方地址 https://github.com/pyenv/pyenv-installer安装pyenv...
2019-04-02 16:43:00
129
原创 flask项目上线部署
项目部署1, 更新一下系统：apt update2，安装nginxapt install nginx3，安装MySQLapt install mysql-server4， 安装git apt install git5，安装vim apt install vim6，安装虚拟开发环境 1.安装pyenv curl -L https://github.com/py...
2019-01-12 10:46:32
2032
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人