- 博客(37)
- 收藏
- 关注
RSS订阅原创 排列
'''Implement next permutation, which rearranges numbers into the lexicographically next greater permutation of numbers.If such arrangement is not possible, it must rearrange it as the lowest possi...
2018-08-06 12:55:07
179
原创 2018.07.18
#获取昨天的日期from datetime import datetime,timedeltayesterday=datetime.now()-timedelta(days=1)layout=yesterday.strftime('%Y-%m-%d')print(layout)#*args,**kwargs的区别和应用场景'''包裹位置传递--*args:args是一个元组（...
2018-07-18 19:35:37
622
原创 sorted高阶函数
sorted(iterable,key,reverse)作用：实现对可迭代对象进行排序参数一：可迭代对象参数二：我们可以使用元素的属性或者函数作为key，来进行比较参数三：排序的规则，默认为升序【False】,reverse=True 降序 reverse=False 升序注意：返回的是一个列表,不操作原序列list.sort()区别：list.sort()操作原本的列表'''...
2018-07-18 17:55:25
632
原创 闭包，装饰器，匿名函数，递归函数简单运用
#内部函数可以使用外部函数变量的行为，就叫闭包。from functools import reducedef outer(x): print('不能使用inner的参数。。。。') def inner(y): print(x+y) inner(x) return 'fuck off'outer(4)#装饰器其实就是一个闭包，把一个...
2018-07-10 21:47:18
614
原创 了解scrapy
安装：下载Twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/ pip install twisted........ pip install scrapy import scrapy'''scrapy 有两种命令，其中project-only必须切换到项目文件夹下才能执行，而gloabl...
2018-07-10 19:24:27
604
原创 datatine,time模块
from datetime import datetime,timedeltaimport time#datetime.datetime.now():获取系统当前时间print(datetime.now())#未来时间print(datetime.now()+timedelta(days=3))# 时间对象.strftime("%Y-%m-%d %X")# 将时间对象转换为字...
2018-07-08 21:12:04
598
原创 抓取中国最好大学排名-社会声誉排名2018（request,bs4,csv）
import csvimport requestsfrom bs4 import BeautifulSoup#请求头headers={'User-Agent':"Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11"}def getInfo(url): #获取页面代码 html=requests.get(u...
2018-07-07 14:50:10
801
原创 爬取广州链家二手房并写入csv
知识点：多线程，读取csv,xpathimport jsonimport csvimport requestsimport threadingimport lxmlimport lxml.etree#递归锁rLock=threading.RLock()headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW6...
2018-07-06 21:12:25
1534
原创 爬取51岗位（xpath的运用）
# coding:utf-8import osimport reimport requestsimport lxmlfrom lxml import etree#请求头headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49....
2018-07-05 19:47:06
880
原创 爬取腾讯招聘Python岗位的信息(BS4)
import requestsfrom bs4 import BeautifulSoupfrom math import ceilheaders={'User-Agent':'Mozilla/5.0 (Linux; Android 6.'}#获取岗位页数def getJobPage(url): html=requests.get(url,headers=headers).t...
2018-07-04 20:23:39
1260
原创 有道山寨版
import requests#代理IPproxies = {'http': '111.231.115.150:8888'}#请求头headers={"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0"}def youdaoApi(kw): #POST提交...
2018-07-03 16:20:18
606
原创 爬取拉勾网
import jsonimport requestsimport urllib.requestfrom urllib import parseimport redef getTotalPage(job,city): #url 编码 city=urllib.parse.urlencode({'city':city}) #字符串编码 job=urllib...
2018-07-03 11:55:34
755
原创 selenium元素定位
#导入模块import timefrom selenium import webdriver#打开浏览器driver=webdriver.Chrome()#全屏driver.maximize_window()#打开网页driver.get('http://www.baidu.com')#获取页面标题和urlprint(driver.title)print(driver.c...
2018-06-29 14:30:08
853
原创 自动评价
#导入模块import timefrom selenium import webdriver#打开浏览器from selenium.webdriver.common.by import Bydriver=webdriver.Chrome()driver.maximize_window()#打开网页driver.get('http://stu.1000phone.net/stu...
2018-06-29 14:25:34
2118
原创 代理IP,模拟登陆，request.get设置cookie
import requestsheaders = { 'Host': 'https://blog.csdn.net/weixin_42141853', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0', 'Accept': 'text/html...
2018-06-26 22:01:58
4116
原创 HelloWorld
#导入flask类库from flask import Flask,current_app,g,request,session#创建应用实例app=Flask(__name__)#绑定app和创建视图函数@app.route('/')def index(): #内置对象 #current_app当前运行的程序实例 print(current_app) #...
2018-06-25 00:10:26
1566
原创 爬取淘宝图片
import osimport reimport urllib.requestimport requestsdef getHtml(url,headers): # 代理设置 proxy = urllib.request.ProxyHandler({'http': '118.190.95.26:9001'}) # 字典 # 基本的urlopen不支持代理、co...
2018-06-24 17:00:35
2933
1
原创 爬取博客首页，并将所有博客文章写入文件
import urllib.requestimport reimport timedef getHtml(url): headers = ('User-Agent', "Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11") # 代理设置 proxy = urllib.request.ProxyHan...
2018-06-23 22:35:22
1341
原创 url.request模拟浏览器和中间代理服务器
import randomimport urllib.requestimport time#使用代理服务器进行信息爬取，很好解决IP限制的问题#http://www.xicidaili.com/def proxyServer(url,proxy_addr,headers): proxy=urllib.request.ProxyHandler({'http':proxy_addr...
2018-06-23 18:47:05
5806
原创 b站弹幕
谷歌浏览器：import requestsimport timecookie={'Cookie':'l=v; LIVE_BUVID=AUTO9115296677131525; Hm_lvt_8a6e55dbd2870f0f5bc9194cddf32a02=1529667823,1529678970,1529719880; finger=7b4f413b; buvid3=8933D0B8-60...
2018-06-23 17:09:23
2476
原创 map、reduce、fillter函数比较
from functools import reduce#生成器g=(x*x for x in range(1,10))print(g)print(list(g))#map惰性计算，一次性的data=map(lambda i:i*i,[x for x in range(1,10)])print(data)print(list(data))#用reduce和lambda计算1...
2018-06-23 16:03:02
1667
原创 将新浪新闻首页所有新闻爬取下来
'''将新浪新闻首页所有新闻爬取下来'''import urllib.requestimport urllib.errorimport re#模拟请求头headers={'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) " "Ch...
2018-06-21 15:35:05
1584
原创 选择排序
#选择排序def selectionSort(lists): long=len(lists) for i in range(long-1): for k in range(i+1,long): if lists[i]>lists[k]: lists[i] , lists[k]=lists[k],lis...
2018-06-19 17:28:58
764
原创 爬取豆瓣出版社列表并写入文件中
import reimport urllib.request#爬取豆瓣出版社列表并写入文件中resp=urllib.request.urlopen('https://read.douban.com/provider/all')data=resp.read().decode('utf-8')#print(data)pat='<div class="name">(.*?)&l...
2018-06-18 19:59:38
886
原创 九九乘法表
for i in range(1,10): for k in range(1,i+1): print('%2d*%2d=%2d'%(k,i,k*i),end=' ') print()
2018-06-15 13:23:28
1340
原创 多进程文件复制
#方法一import os,timefrom multiprocessing import Pool#实现文件的拷贝def copyFile(rpath,wpath): with open(rpath,'rb') as fr: content=fr.read() with open(wpath,'wb') as fw: fw.write(c...
2018-06-10 23:47:09
890
原创 进程
'''一个任务就是一个进程进程是系统中程序执行和资源分配的基本单位，每个进程都有自己的数据段、代码段、堆栈段单核CPU实现多任务原理：操作系统轮流让各个任务交替执行多核CPU实现多任务原理：真正的秉性执行多任务只能在多核CPU上实现，但由于任务数量远远多于CPU的核心数量，所以操作系统也会自动把很多任务轮流调度到每个核心上执行并行：真正的一起执行，任务数小于等于CPU核心数并发：任...
2018-06-10 20:08:56
767
原创 实例、类、静态方法
#python其实有3个方法，即静态方法（staticmethod),类方法（classmethod)和实例方法'''实例方法调用离不开实例，需要把实例自己传给函数，类方法一样，只不过传递的是类而不是实例 静态方法以@staticmethod装饰器进行装饰，它相当于一个写在类的作用域中的普通方法； 类方法以@classmethod装饰器进行装饰，它有一个系统默认参数cls，代表的...
2018-06-09 19:01:37
744
原创 函数参数传递
一、参数传递 参数传递的本质：实参给形参赋值的过程1.1 位置参数之值传递 值传递指传递不可变类型，一般指string、tuple和number类型def func1(a): print(a) a = 10 print(a) temp = 20#将temp作为实参传递给func1函数，将赋值给形参a#相当于 a = tempfunc1(temp)print(temp)1.2 位置...
2018-06-09 13:54:14
717
原创 迭代器
from collections import Iterablefrom collections import Iterator#列表生成式li=list(x for x in range(10))l=[x for x in range(6)]print(li)print(l)#可迭代对象'''1.可以直接作用于for循环的对象统称为可迭代对象，我们称之为：Iterator...
2018-06-09 10:37:09
724
原创 判断回文数
#判断回文数字num=input("please enter a number:")tnum=num[::-1]if num==tnum: print(num+'is a palindrome number')else: print(num + 'is not a palindrome number')
2018-06-05 21:13:28
736
原创 爬虫入门
import urllib.requestimport random#向指定url发送请求，并返回文件对象response=urllib.request.urlopen("http://www.baidu.com")#data=response.read()#print(data)#<class 'bytes'>#print(type(data))#将爬取的内容写入文...
2018-06-05 20:54:35
857
原创 python深浅拷贝
#python深浅拷贝import copya=[10,22,[12,35]]#浅拷贝外层地址改变，内层地址不变，即不会拷贝数据中的子对象b=copy.copy(a)#深拷贝，地址都改变c=copy.deepcopy(a)print(b)a[1]=100a[-1][1]=1000print(a)print(c)结果：[10, 22, [12, 35]][10, 10...
2018-06-02 23:07:11
453
原创 发送信息给飞秋
from socket import *#创建套接字udpSoctet=socket(AF_INET,SOCK_DGRAM)#接受方地址sendAddress=('10.3.134.255',2425)sendData= ('1:1:表哥:表哥:32:%s'%'下午好').encode('gbk')udpSoctet.sendto(sendData,sendAddress)udpSo...
2018-06-02 13:59:40
675
原创 复制图片
#复制图片with open('img/a.jpg','rb') as f: by=f.read() print(by)for i in range(1,60): path='img/'+str(i)+'.jpg' with open(path,'wb') as f: f.write(by)import shutil# 这个库复制文件比较...
2018-05-30 23:17:32
204
原创 zip函数
zip()是Python的一个内建函数，它接受一系列可迭代的对象作为参数，将对象中对应的元素打包成一个个tuple（元组）a=[1,2,3,4,5]print(a[:-1])print(a[1:])my_zip=zip(a[:-1],a[1:])for i in my_zip: print(i)l1=['a','b','c','d','e']l2=[1,2,3,4,5]...
2018-05-30 22:16:44
391
原创 两个列表合成字典
l1=['a','b','c','d','e']l2=[1,2,3,4,5]d=dict(zip(l1,l2))print(d)
2018-05-30 22:10:10
2399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人