lion.Kk-CSDN博客

原创 windows版本下的Git

Windows官网下载 Windows 版本，全部默认安装就行安装完成后进入 Git Bash ，设置用户名和邮箱，让别人能识别你的主机。# 设置用户名$ git config --global user.name "Your name"# 设置邮箱$ git config --global user.email "[email protected]"--global参数表...

2018-09-13 20:29:36 252

原创 scrapy框架爬取西刺网站上的ip地址

#首先用终端创建一个文件夹,然后在文件夹里创建scrapy爬虫项目cd proxyip；scrapy startproject proxyip；#创建项目scrapy genspider -t basic proxy xicidaili.com #建立框架如果是自动爬虫的话basic可以换成crawl建立完成后可以用pycharm或用vscode看到这样的文件目录我们要在pro...

2018-09-13 20:12:43 473

原创关于数据库的简单介绍

1、非关系型数据库:redis mongodb2、关系型数据库1).oracle　　　　付费，银行，大型项目用到2).mysql 　　　　web项目,开源免费3).ms sql server　微软项目4).sqlite 　　　　轻量级数据库，移动平台３、实时数据库firebase4、数据库组成客户端----------服务端 -------数据库1---...

2018-09-10 20:15:57 257

原创 windows下安装mysql报错："MYSQL 服务无法启动"的3534问题

windows下安装MYSQL,输入 net start mysql 这一步报错:3534的错误：一般两种原因： 1.环境变量PATH没有添加完成 2.配置文件my.ini没有编辑完成解决方法：1、环境变量PATH添加完成步骤如下：https://jingyan.baidu.com/article/47a29f24610740c0142399ea.html2、在MY...

2018-09-10 20:01:20 5106

原创关于mysql数据库的一些操作

1.基础知识数据库–表–字段+数据2.非关系型数据库 redis mongodb3.关系型数据库 oracle 付费，银行，大型项目用的 mysql web项目开源免费 ms sql server 微软项目 sqlite 轻量级数据库移动联通平台4.实时数据库 firebase5.语句分类 DQL:数据查询语句，select DWL:数据操作语言，...

2018-09-03 18:42:14 179

原创模拟浏览器、用代理ip登陆网页爬取数据

　　有一些网站他们有反爬虫的机制，不会让你轻易的爬取数据，这就是我们说的爬虫与反爬虫之间的斗争，但不是说不能爬就不能爬的，我们可以使用多种办法来爬取我们所要的内容。1.模拟浏览器登陆爬取数据import urllib.requestimport reurl="http://www.baidu.com"#可以随便一个网页headers=("User-Agent","Mozilla...

2018-08-24 19:19:57 1264

原创简单的聚焦爬虫爬取图片

关于爬虫一般根据使用的场景不同我们把爬虫分为两类：通用爬虫、聚焦爬虫。 1.通用爬虫：搜索引擎用的爬虫系统。 2抓取流程： a) 首选选取一部分已有的URL，把这些URL放到待爬取队列。 b) 从队列里取出这些URL，然后解析DNS得到主机IP，然后去这个IP对应的服务器里下载HTML页面，保存到搜索引擎的本地服务器。之后把这个爬过的URL放入已爬取...

2018-08-24 17:07:53 828

原创生成器和迭代器（自己定义一个迭代器）

1迭代器　　迭代器是⼀个可以记住遍历的位置的对象。迭代器对象从集合的第⼀个元素开始访问，直到所有的元素被访问完结束。迭代器只能往前不会后退。　　直接作⽤于 for 循环的数据类型有以下⼏种：⼀类是集合数据类型，如 list 、 tuple 、 dict 、 set 、 str 等；⼀类是 generator ，包括⽣成器和带 yield 的generator function。...

2018-08-20 19:45:46 448

1.关于进程里的传参import multiprocessing#导入进程模块def card(): print(&quot;word:%s,name:%s,age:%d&quot;%word,name,age)if __name__==&quot;__main__&quot;: process=multiprocessing.Process(target=card,args=(&quot;你好&am

2018-08-17 19:57:03 1378

原创关于线程注意点和互斥锁

       线程同步能够保证多个线程安全访问竞争资源，最简单的同步机制是引入互斥锁。互斥锁为资源引入一个状态：锁定/非锁定。某个线程要更改共享数据时，先将其锁定，此时资源的状态为“锁定”，其他线程不能更改；直到该线程释放资源，将资源的状态变成“非锁定”，其他的线程才能再次锁定该资源。互斥锁保证了每次只有一个线程进行写入操作，从...

2018-08-17 14:40:23 162

原创 TCP服务端发送与接收数据

TCP服务端发送与接收数据import socket1.创建套接字tcp_socket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)（回收你所用的服务器端口）tcp_socket.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,True)2.绑定ip和port...

2018-08-17 11:49:04 2032

原创 UDP/TCP客户端发送与接受数据

UDP/TCP客户端发送与接受数据 udp 步骤 1.创建套接字 2.发送和接收 3.关闭套接字 import socket udp类似写信 socket.AF_INET internet通信 socket.AF_UNIX 本机通信 socket.SOCK_DGRAM 流式套接字 socket.SOCK_STREAM 数据报套接字（创建套接字） u...

2018-08-16 17:54:12 2282 1

wst6622的博客