skalpat的博客

原创 pycharm 不能使用turtle 总是出现闪退

最后加上一句turtle.done()即可解决

原创 scrapy框架的使用

1.创建项目scrapy startproject testspider2 明确目标（items.py）3 制作爬虫程序 xxx/spiders: scrapy genspider 文件名 域名4 处理数据 （pipelines.py）5 配置settings.py 关闭robots协议 添加headers6 运行爬虫项目 scrap...

原创 启动elasticsearch

1.启动之前查看jdk版本：java -version (确保jdk为1.8版本)2.启动elasticsearch命令：注意要切换到目录下sh ./bin/elasticsearch注：出现starting与started表示启动成功，出现127.0.0.1:9200表示默认监听端口9200...

原创 raise ReadTimeoutError(self._pool, None, 'Read timed out.') pip._vendor.urllib3.exceptions.ReadTimeo

python 安装第三方库，超时报错--Read timed out.Traceback (most recent call last):File "/home/xiaoduc/.pyenv/versions/3.5.0/lib/python3.5/site-packages/pip/_vendor/requests/packages/urllib3/response.py", line 2...

原创 mac selenium.common.exceptions.WebDriverException: Message: Can not connect to the Service chromedri

解决办法ping localhost1. 确保你的webdriver(如safaridriver、phantomjs等)已经下载并解压存放在你的环境变量目录下我的存放目录：/usr/bin/chromedriver检查方式：terminal中输入which chromedriver2.如果仍然不行，请尝试 ping localhost在缺失127.0....

原创 FileNotFoundError: [Errno 2] No such file or directory: 'chromedriver': 'chromedriver'

是因为没有 安装chromedriver Mac 版本下面是安装步骤有两个下载地址：1、http://chromedriver.storage.googleapis.com/index.html2、https://npm.taobao.org/mirrors/chromedriver/当然，你首先需要查看你的Chrome版本，在浏览器中输入chrome://version/...

原创 phantomjs 截图是空白，源代码也是空白

通常这种情况伴随着qq图片页加载不出来解决办法

原创 json 与 python 数据转换

json.loads json格式-->python数据类型json python对象 字典数组 列表json.dumps() python数据类型 -->json格式python json字典 对象列表 数组元组 数组注意 json.dumps()默认使用ascii编码 ...

原创 mangodb 数据库操作

启动 mongo服务 到mongo 目录/usr/local/mongodb/bin 注意 必须在根目录下创建一个data目录 然后在data目录下创建一个db目录 然后 开两个终端窗口一个执行sudo ./mongod 一个执行sudo ./mongo一定要用sudo 不然会报错"""pymongo 回顾"""import pymon...

原创 OperationalError: (2003, "Can't connect to MySQL server on 'localhost' ([Errno 8] nodename nor servn

在MySQL Server 已经安装好的情况下， Python 3 使用 pymysql 进行连接数据库操作时，源代码是 db = pymysql.connect("localhost","root","",charset="utf8")解决办法貌似并不规范，我对代码进行了更改，添加了键，如下：# 连接数据库db = pymysql.connect(host=...

原创 AttributeError: 'NoneType' object has no attribute 'encoding'

原因 数据库连接语句哟噗问题db = pymysql.connect("localhost","root","",charset="utf8")注意这里是utf8 而不是utf-8

原创 csv模块使用流程

1 打开csv文件 with open("测试.csv,"a") as f:2 初始化写入对象 writer = csv.writer(f)3 写入数据 writer.writerow(列表)

原创 正则表达式

2 正则表达式re 1使用流程 1 创建编译对象 ：p=re.compile("正则表达式") 2 对字符串匹配 r=p.match("字符串") 3 获取匹配结果 print(r.group()) 2 常用方法 1 match(s) 字符串开头的第一个，返回对象 2 search(s) ...

原创 爬虫请求模块

1 版本python2 : urllib urllib2python3 : 把urllib 和 urllib2合并，urllib.request2 常用方法2.1urllib.request.urlopen("网址") 向网站发起一个请求并获取响应 2.1.1字节流 = response.read() 字符串 = response.read...

原创 switchyomega设置浏览器代理

proxy switchomega ->选项 -> 新建情景模式 -> HTTP 127.0.0.1 8888 ->应用选项浏览器右上角图标 -> AID1806 -> 访问百度-->看抓包工具有没有抓到...

原创 fiddler 抓包工具的设置

1、 Tools-->options->HTTPS-> ....from browers only2 connections 设置端口号 8888点击ok 重启

原创 mac下使用mono运行Fiddler！！

1.MAC安装mono从Mono 官网https://www.mono-project.com/download/stable/下载下载时页面会展示有相应的版本号，记住版本号，我下载的是5.16.0，所以接下来的<Mono Version>全都替换成5.16.0安装完之后执行/Library/Frameworks/Mono.framework/Version...

原创 spyder mac 常用快捷键

注释与取消注释 command + 1保存：command + s运行程序:f5自动补全: tab

原创 pycharm mac 的快捷键

注释 与取消注释command + /

原创 django 数据库的相关操作

DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME':'webdb', 'USER':'root', 'PASSWORD':'', 'HOST':'localhost', 'PORT':3306, ...

原创 mac 终端 mysql数据库操作

创建数据库 webdbcreate database webdb default charset utf8 collate utf8_general_ci;选择数据库webdb use webdb查看有哪些表show tables;查看一个表的详细情况 desc xxx;删除数据库 drop database testmysql;...

原创 mac 终端中文乱码

第一步 locale 看看有无相关的设置第二步 若没有则vi ./bash_profileexport LC_ALL=en_US.UTF-8 export LANG=en_US.UTF-8第三步source /.bash_profile

原创 创建django 项目需要配置的地方

1 manage.py#!/usr/bin/env python 改成 #!/usr/bin/env python32 settings.pyINSTALLED_APPS 要添加应用3 settings.pyTEMPLATES 里的模板路径 'DIRS': [os.path.join(BASE_DIR, 'templates')],4 ...

原创 搭建django 框架

1 搭建 irtualenv 虚拟环境sudo pip install virtualenvsudo pip install virtualenvwrapper2 安装 django 框架sudo pip3 install django==1.11.8 这是python3的sudo pipinstall django==1.11.8 这是python2的安...

原创 python 报错 AttributeError: 'generator' object has no attribute 'next'

在python3.x版本中，python2.x的g.next()函数已经更名为g.__next__()，所以只需要将g.next()换成g.__next__()就可以了。但是经我测试，python2 中不能用next() 然而 python3中可以用.__next__()...

原创 mac 终端如何新建一个窗口

command + t而linux 是 ctrl + shift + t

原创 python 进程和线程关于函数内的变量与全局变量的异同

函数内的变量线程和进程完成多任务的时候都不共用全局变量线程是共用的，但是进程不共用，各人是各人的

原创 当屏幕宽度大于640时，跳转到另一个页面

var qwid=screen.width;if(qwid>640){ window.location="http://m.baidu.com";}

原创 python 创建线程的几种方式

方式一：使用threading 模块

原创 python 进程间通信的几种方式

方式一： 使用multiprocessing.Queue()用Process 创建的进程间的通信用from multiprocessing import Queueq = Queue(3)q.qsize()0q.put("haha")q.qsize()1方式二：要使用 multiprocessing.Manager()中的Queue()用进程池创建...

原创 Raises NotImplementedError on Mac OSX because of broken sem_getvalue()

运行qsize 在mac os 上不能运行但是在Linux上是可行的

原创 mac 普通用户 和 root用户账号间切换

su - 用户名

原创 python 创建进程的几种方式及比较

方式一 ret = os.fork()if ret ==0:#子进程else: #父进程#这种方式很少用方式二：p1 = Process(target=xxxx)p1.start()#主进程和子进程都可以执行方式三：pool = Pool(3)pool.apply_async(xxxxx)#主进程一般用来等待，...

原创 python 进行pdb调试

l ---->list 显示当前代码n ---->next 向下执行一行代码c ---->continue 继续执行代码b ---->break 添加断点clear 删除断点p---->print 打印一个变量的值a --->args 打印所有的形参数据...

原创 python 创建类的几种方法

第一种：class test(): ...: num = 0 ...: test1 = test() ...

原创 创建生成器的几种方式

方式一： 将列表生成式的中括号改成小括号列表生成式 a = [x*2 for x in range(100000000000)]生成器 a = (x*2 for x in range(100000000000))调用的时候 next(a)方式二：def creatnum(): ...: a,b = 0,1 ...:...

原创 python 中的重点

生成器，装饰器，迭代器，闭包迭代器是可以用for循环的

原创 python 通用装饰器

def func(funcname): def func_in(*args,**kwargs): ret = funcname(*args,**kwargs) return ret return func_in@funcdef test(): print("---test---") return "haha"@func...

原创 Python 可迭代对象 和 判断是否可迭代

原创 Python 私有化方法

注意from somemodule import * 禁止导入import somemodule 是可以导入