- 博客(116)
- 收藏
- 关注
RSS订阅
原创 datawhale_爬虫_spider |第八期
文章目录task01任务预览codetask01任务预览1.学习get与post请求，尝试使用requests或者是urllib用get方法向https://www.baidu.com/发出一个请求，并将其返回结果输出。2.如果是断开了网络，再发出申请，结果又是什么。了解申请返回的状态码。3.了解什么是请求头，如何添加请求头。4.学习什么是正则表达式并尝试一些正则表达式并进行匹配。5...
2019-08-19 10:59:02
1025
原创 Datawhale-mysql-08
文章目录MySQL任务1 - 3天**【任务一】****1.1 MySQL 软件安装及数据库基础****1.2 MySQL 基础 （一）- 查询语句**#作业#项目一：查找重复的电子邮箱（难度：简单）项目二：查找大国（难度：简单）**【任务说明】**项目一作业:项目二作业:MySQL任务2 - 4天**【任务二】****2.1 MySQL 基础 （二）- 表操作****#学习内容#****#作业#...
2019-08-06 15:35:15
3456
原创 Datawhale_大数据0期
【Task1】创建虚拟机+熟悉linux(2day)创建三台虚拟机在本机使用Xshell连接虚拟机CentOS7配置阿里云yum源和EPEL源安装jdk熟悉linux 常用命令熟悉，shell 变量/循环/条件判断/函数等shell小练习1：编写函数，实现将1-100追加到output.txt中，其中若模10等于0，则再追加输出一次。即10，20…100在这个文件中会出现两次。...
2019-07-25 22:15:52
2019
1
原创 python日期格式统一化： 各种日期时间格式处理为标准统一日期时间格式
import pandas as pdaa = [ '2021年12月11日 19:19', '2021年12月11日', "2021-11-24 19:40", "11/1/2018", "06-02-20",]for a in aa: b = a.replace("年", "-").replace("月", "-").replace("日", " ") # c = '-'.join(b)# print(b) # print(
2021-12-29 16:09:33
3003
原创 pycharm开头注释信息
# -*- coding: utf-8 -*-"""@Softwhare:win10 Python 3.6.3 |Anaconda, Inc.| (default, Nov 8 2017, 15:10:56) [MSC v.1900 64 bit (AMD64)] on win32@IDE--Env : ${PRODUCT_NAME}--@Time : ${DATE} ${TIME}@Author : XXXXX--bob@connect : [email protected]@Pr
2021-04-23 10:33:51
349
转载 scrapy发送post请求的两种方法,和scrapy返回400的处理方式
https://blog.csdn.net/weixin_38819889/article/details/109106942https://www.cnblogs.com/ceason/p/13935292.html方法一import scrapyclass FySpider(scrapy.Spider): name = 'fy' # allowed_domains = ['www.baidu.com'] start_urls = ['https://fanyi.baid
2021-01-04 19:28:20
620
2
原创 python 解析zip包 zip包包含xls,下载zip包的内容,直接读取为pandas DataFrame数据框
zip包包含xls,下载zip包的内容,直接读取为pandas DataFrame数据框分别是ZipFile和ZipInfo两个类的基本操作：python对zip流进行压缩和解压一个案例看机器学习建模基本过程zip包结构xxx.zip --abc (文件夹) --- 1.xls --- 2.xls# -*- coding: utf-8 -*-"""@Softwhare:win10 Python 3.6.3 |Anaconda, Inc.| (default, Oct 1
2020-09-24 20:56:11
914
原创 scrapy.cfg scrapy启用不同的配置文件settings来区分生产和本地环境
scrapy 用py 启动# -*- coding: utf-8 -*-"""@Softwhare:win10 Python 3.6.3 |Anaconda, Inc.| (default, Oct 15 2017, 03:27:45) [MSC v.1900 64 bit (AMD64)] on win32@IDE--Env : PyCharm--@Time : 2020/7/29 15:49@Author : DELL--bob@connect : [email protected]
2020-08-08 16:07:33
1765
原创 代理ip池-scrapy
代理ip池-scrapyfrom scrapy import signalsimport scrapyfrom scrapy.downloadermiddlewares.useragent import UserAgentMiddlewarefrom scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddlewareimport randomclass MyHttpProxyMiddleware(HttpProxyMiddlewa
2020-08-04 16:04:14
680
转载 PyCharm 2018.1 中Tool中没有Deployment，无法连接远程服务器的方法
setitng -->https://www.pianshen.com/article/54341258124/可以搜remote
2020-07-31 19:10:26
2165
原创 mysql占用空间过大
1.检查binlog ,可以设置默认保存10天所有log有关字段show variables like '%log%';查看当前日志保存天数mysql8.0默认2592000秒,30天：https://blog.csdn.net/vkingnew/article/details/81953350show variables like '%expire%';查看binlog日志大小限制,默认1G或512MSHOW VARIABLES LIKE '%binlog_size%';my.ini
2020-06-23 20:38:57
480
转载 python 字典修改键(key)的方法
dict_new = {}for k,v in dict.items(): print(k,v) dict_new['pre_'+k] = vhttps://blog.csdn.net/a1007720052/article/details/81542134https://blog.csdn.net/a1007720052/article/details/81542134
2020-06-17 09:47:34
761
原创 windows 执行shell命令,控制python运行
cmder,每个python,调用一个cmder,然后执行hide on tsa每个cmder,重命名为程序名
2020-04-15 15:04:15
640
原创 nohup,和& 后台挂起区别和windows下执行linux命令
#!/bin/shcount=`ps -ef |grep diagnostic_analysis.py |grep -v "grep" |wc -l`echo $countif [ 0 == $count ];then # work_path=$(dirname $(readlink -f $0)) # cd ${work_path} # source $VIRTUA...
2020-04-15 10:03:00
2025
原创 解决 'chromedriver' executable needs to be in PATH.'报错或Message: 'phantomjs' executable needs to be in
解决 ‘chromedriver’ executable needs to be in PATH.'报错Message: ‘phantomjs’ executable needs to be in PATH.把exe程序拷贝到运行python的根目录下如:
2020-04-14 09:43:43
348
转载 fiddler安装及简单使用Fiddler抓取手机,微信小程序
https://blog.csdn.net/BGONE/article/details/93007613fiddler安装及简单使用
2020-03-26 10:29:56
1253
原创 datatim python
整合成整点# from datetime import datetimerun_time = (datetime.now()+timedelta(minutes=1)).strftime('%Y-%m-%d %H:%M')# run_time = run_time + ':00'run_time = datetime.strptime(run_time, '%Y-%m-%d %H:%M')...
2020-03-01 17:12:08
113
原创 typora 画流程图
图标Created with Raphaël 2.2.0闹钟响起与床板分离分离成功?快乐的一天yesno图表Created with Raphaël 2.2.0开始框处理框结束框memea=1a=2START根据起始url先获取省份和城市id再根据城市获取主域名C结果1结果2START根据起始url先获取省份和城市id再根据城市获取主域名再获取行政区县再获取区县下的小区抓取部分字段同时...
2020-02-29 16:58:28
1724
原创 抓取加密ts视频,并合并转成MP4
# -*- coding:utf-8 -*-import osimport randomimport sysfrom imp import reloadimport requestsimport datetimefrom Crypto.Cipher import AESfrom binascii import b2a_hex, a2b_hex# reload(sys)# ...
2020-02-21 10:56:09
4669
原创 jupyter 更换已有的虚拟环境virtualenv-wap
workon 虚拟环境在虚拟环境里安装ipykernelhttps://blog.csdn.net/lt326030434/article/details/88581790执行jupyter notebook 就可以发现虚拟环境出现了
2019-12-23 15:32:39
142
原创 python列表切分日期,切片与索引效率
测试环境: jupyter py3索引%%timefrom datetime import datetimefor i in range(10000): date_li = ['2019-11-01', '2019-11-15', '2019-11-16', '2019-11-30'] for i in range(0,len(date_li),2): ##...
2019-12-19 13:53:39
1353
转载 No module named 'gdbm'The package lists or status file could not be parsed or opened.
No module named 'gdbm’The package lists or status file could not be parsed or opened.在使用apt-get的时候，提示 The package lists or status file could not be parsed or opened. 不能进行正常更新。解决：sudo rm -vf /...
2019-11-04 13:51:19
174
转载 ubuntu 断电重启报错,进入不了系统
强制下一次系统重启时，进行一次性的文件系统检查如果你想在下一次系统重启时触发一次性的文件系统检查，可以使用这个命令。$ sudo touch /forcefsck一旦你在类似上面的顶层目录（/）中创建了一个名为forcefsck的空文件，它就会在你下一次重启时，强制进行文件系统检查。系统成功启动后，/forcefsck则会自动被清除。https://www.cnblogs.com/itco...
2019-11-01 14:39:33
664
原创 mysql int 开头不能存0
alter table login1 modify checkcode1 varchar(10);alter table login2 modify checkcode2 varchar(10);修改为varchar类型即可alter table 表名 modify 字段名 类型(长度);或zifill
2019-10-30 16:48:48
1052
原创 virtualenvwrapper配置报错
修改了python2与python3 默认版本导致找不到重新安装下,就好sudo pip install virtualenvwrapper
2019-10-29 10:07:07
91
转载 Python 典藏篇-Microsoft Visual C++ 14.0 is required，官方c++运行库工具一键式解决！
Python 典藏篇-Microsoft Visual C++ 14.0 is required，官方c++运行库工具一键式解决！https://blog.csdn.net/u012914436 原创 Python 典藏篇-Microsoft Visual C++ 14.0 is...
2019-10-22 10:34:33
368
原创 阿里云 ubuntu16.04 gnome2.X桌面 Fcitx中文输入法安装
sudo apt-get install fcitx-pinyinsudo apt-get install fcitx-table-wubi安装这两个就行了点击applictons–>systermtols–>prefercence–>fcitx configuration
2019-09-02 23:10:48
269
转载 VNC怎么和宿主机共享粘贴板
https://blog.csdn.net/weixin_33919950/article/details/92889811VNC怎么和宿主机共享粘贴板VNC怎么和宿主机共享粘贴板假设目标主机是linux，终端主机是windows（就是在windows上使用VNC登陆linux）在linux中执行vncconfig -nowin&在linux选中文字后，无需其他按键，直接在win...
2019-09-01 23:03:44
354
原创 liunx 组与用户管理,smba,共享,Linux 其他用户新建的文件,windows无法访问
liunx 组与用户管理,smba,共享,Linux 其他用户新建的文件,windows无法访问把samba 用户添加到新建文件对应的组中重新连接即可https://jingyan.baidu.com/article/ce43664955b9ec3772afd377.html如何用LINUX中usermod来设置主组和附加组https://www.cnblogs.com/654wangz...
2019-09-01 12:20:56
148
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人