- 博客(24)
- 收藏
- 关注
RSS订阅转载 爬虫[07]
任务模拟登录丁香园，并抓取论坛页面所有的人员基本信息与回复帖子内容import requests, json, re, random,timefrom bs4 import BeautifulSoupfrom selenium import webdriverfrom lxml import etreeclass getUrl(object): """docstring for g...
2019-03-07 21:33:55
119
转载 爬虫[05]
Message: ‘chromedriver’ executable needs to be in PATH的处理下载与chrome对应版本的chromedriver，解压后放入chrome的文件夹下，并将该路径添加到环境变量。如：C:\Program Files (x86)\Google\Chrome\Application添加环境变量后仍然没有用的情况下，将chromedrive...
2019-03-05 20:48:21
99
转载 爬虫[04]
【Task4 学习xpath 】学习xpath，使用lxml+xpath提取内容。使用xpath提取丁香园论坛的回复内容。from lxml import etreeimport requestsurl = "http://www.dxy.cn/bbs/thread/626626#626626"broswer = requests.session()re = requests.ge...
2019-03-04 20:44:04
83
转载 爬虫3
丁香园用户评论抓取导入必要的库import urllib.requestfrom bs4 import BeautifulSoup as bsdef dxy_spider(): headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTM...
2019-03-03 20:35:25
101
转载 爬虫[02]
豆瓣电影TOP250数据爬取1.lxml requests 方法来源：https://blog.csdn.net/m0_37788308/article/details/80378042from lxml import etreeimport requestsimport time# 通过循环爬取top250数据for a in range(10): url = 'https...
2019-03-02 16:17:21
138
原创 爬虫[01]
前期准备安装必要的库pip install urllib3 lxml requests beautifulsoup4学习 get & post方法描述GET请求指定的页面信息，并返回实体主体。POST向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。GET...
2019-03-01 17:45:46
117
原创 使用@property
使用@property为了实现将分数设定一个范围值，可以加入@property的方法，类似于之前的装饰器的作用。class Student(object): def get_score(self): return self._score@property本身又创建了另一个装饰器@score.setter，负责把一个setter方法变成属性赋值，于是，我们就拥有一...
2019-02-27 14:37:05
140
转载 廖雪峰[010]
模块#!/usr/bin/env python3# -*- coding: utf-8 -*-' a test module '__author__ = 'Michael Liao'import sysdef test(): args = sys.argv if len(args)==1: print('Hello, world!') e...
2019-02-27 14:31:11
90
原创 廖雪峰[009]
装饰器 (@语法糖)作用：在不改变func2的前提下，给其添加更多的功能。普通装饰器函数代码思路：def func1(func): def add_func(): # 在这里添加功能 return func() # func 函数名 # func() 函数调用 return add_func@func1def fun2(): # 原来的功能func2(...
2019-02-16 20:53:14
433
原创 廖雪峰[008]
返回函数函数作为返回值函数不仅可以作为函数参数，还可以作为函数返回结果def pro1(c,f): def pro2(): return f(c) return pro2#调用pro1函数时，返回的是pro2函数对象>>>a = pro1(-3,abs)#需要对a调用才能得到结果>>>a()闭包如果在一...
2019-02-14 20:16:54
113
转载 廖雪峰[07]
filterPython内建的filter()函数用于过滤序列。和map()类似，filter()也接收一个函数和一个序列。和map()不同的是，filter()把传入的函数依次作用于每个元素，然后根据返回值是True还是False决定保留还是丢弃该元素。def is_odd(n): return n % 2 == 1list(filter(is_odd, [1, 2, 4, 5...
2019-02-13 19:02:50
98
原创 廖雪峰[006]
map/reducemap：实现函数和Iterable的结合举例：求平方>>> def f(x):... return x * x...>>> r = map(f, [1, 2, 3, 4, 5, 6, 7, 8, 9])>>&amp
2019-02-12 19:20:05
75
转载 廖雪峰[005]
列表生成器简单的列表生成：>>> list(range(1, 11))[1, 2, 3, 4, 5, 6, 7, 8, 9, 10]带循环的列表生成：>>> [x * x for x in range(1, 11)][1, 4, 9, 16, 25, 36, 49, 64, 81, 100]带循环加判断的列表生成
2019-02-12 19:19:54
75
原创 廖雪峰python[004]
本章内容：迭代for ... in ...可循环判断通过collections模块的Iterable类型判断:>>> from collections import Iterable>>> isinstance('abc', Iterable) # str是否可迭代True>>> isinstance([1,2,3], Itera...
2019-02-03 10:53:25
87
原创 廖雪峰 Python[003]
切片练习利用切片操作，实现一个trim()函数，去除字符串首尾的空格，注意不要调用str的strip()方法：# -*- coding: utf-8 -*-def trim(s): if s[:1] != ' ' and s[-1:] != ' ': return s elif s[:1] == ' ': return trim(s[1:])...
2019-02-02 20:42:00
86
原创 LeetCode[007]
题目：最接近的三数之和给定一个包括 n 个整数的数组 nums 和 一个目标值 target。找出 nums 中的三个整数，使得它们的和与 target 最接近。返回这三个数的和。假定每组输入只存在唯一答案。例如，给定数组 nums = [-1，2，1，-4], 和 target = 1.与 target 最接近的三个数的和为 2. (-1 + 2 + 1 = 2).初步尝试：cla...
2019-02-02 10:59:02
98
原创 LeetCode[006]
题目：三数之和给定一个包含 n 个整数的数组 nums，判断 nums 中是否存在三个元素 a，b，ca，b，ca，b，c ，使得 a+b+c=0？a + b + c = 0 ？a+b+c=0？找出所有满足条件且不重复的三元组。注意： 答案中不可以包含重复的三元组。例如, 给定数组 nums = [-1, 0, 1, 2, -1, -4]，满足要求的三元组集合为：[[-1, 0...
2019-02-01 14:52:56
119
原创 廖雪峰Python3[02]
函数：递归函数递归定义：递归是一种计算过程，如果其中每一步都要用到前一步或前几步的结果，称为递归的。用递归过程定义的函数，称为递归函数，例如连加、连乘及阶乘等。凡是递归的函数，都是可计算的，即能行的。递归函数定义：在函数内部，可以调用其他函数。如果一个函数在内部调用自身本身，这个函数就是递归函数。举例： 阶乘def fact(n): if n==1: r...
2019-02-01 12:44:28
87
原创 LeetCode[005]
题目： 最长公共前缀如果不存在公共前缀，返回空字符串 “”。示例 1:输入: [“flower”,“flow”,“flight”]输出: “fl”示例 2:输入: [“dog”,“racecar”,“car”]输出: “”解释: 输入不存在公共前缀。说明: 所有输入只包含小写字母 a-z 。方法一：enumerateclass Solution(object): ...
2019-01-31 10:21:59
345
原创 廖雪峰python自学1
函数的参数这一章主要讲了位置参数，默认参数等。在Python中定义函数，可以用必选参数、默认参数、可变参数、关键字参数和命名关键字参数，这5种参数都可以组合使用。但是请注意，参数定义的顺序必须是：必选参数、默认参数、可变参数、命名关键字参数和关键字参数。练习以下函数允许计算两个数的乘积，请稍加改造，变成可接收一个或多个数并计算乘积：这道题我一开始删除了x项，导致一直通过不了。后来...
2019-01-30 23:04:36
172
原创 LeetCode[004]
题目：字符串转换整数 (atoi)请你来实现一个 atoi 函数，使其能将字符串转换成整数。首先，该函数会根据需要丢弃无用的开头空格字符，直到寻找到第一个非空格的字符为止。当我们寻找到的第一个非空字符为正或者负号时，则将该符号与之后面尽可能多的连续数字组合起来，作为该整数的正负号；假如第一个非空字符是数字，则直接将其与之后连续的数字字符组合起来，形成整数。该字符串除了有效的整数部分之后也可...
2019-01-30 12:25:07
181
转载 LeetCode[003]
LeetCode： 最长回文子串题目：给定一个字符串 s，找到 s 中最长的回文子串。你可以假设 s 的最大长度为 1000。示例 1：输入: “babad”输出: “bab”注意: “aba” 也是一个有效答案。初步尝试：暴力解法基本思路：全部循环得到所有可能的回文子串并储存。判断最长的回文后输出这道题我完全不知道怎么下手，参考原文地址class Solution:...
2019-01-29 14:44:11
143
原创 LeetCode[002]
题目：寻找两个有序数组的中位数给定两个大小为 m 和 n 的有序数组 nums1 和 nums2。请你找出这两个有序数组的中位数，并且要求算法的时间复杂度为 O(log(m + n))。你可以假设 nums1 和 nums2 不会同时为空。示例：nums1 = [1, 3]nums2 = [2]则中位数是 2.0思路：将两个数组合并后排序，如果是偶数就选两个中位数除以2，如果...
2019-01-27 22:26:31
121
原创 LeetCode[001]
LeetCode[001]希望自己可以坚持下去class Solution: def twoSum(self, nums, target): """ :type nums: List[int] :type target: int :rtype: List[int] "&
2019-01-26 20:37:47
178
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人