- 博客(51)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 UnicodeDecodeError: ‘gb2312‘ codec can‘t decode byte 0xe9 in position 5632: illegal multibyte sequen
业务需要写了个转码工具，将所有文件转成utf-8编码，但是报错了。。。原代码大概如下：import chardetdef get_coding(path): file = open(path, "rb") data = file.read() coding = chardet.detect(data).get("encoding") print(f"文件编码为：{coding}") with open(path, "r", encoding=coding)
2020-12-04 15:45:26
1099
2
原创 Shell命令遍历指定文件夹下的所有文件并将文件路径输入到文本中
百度了一圈，亲测好用，话不多说直接上代码#!/bin/bashfunction get_files(){ for element in `ls $1` do dir_or_file=$1$element if [ -d $dir_or_file ] then getdir $dir_or_file else echo $dir_or_file >> $output_
2020-11-17 10:46:02
1908
1
原创 Mysql查询报错：The total number of locks exceeds the lock table size
为何会出现这种错误这是由于innodb_buffer_pool_size过小导致的。在MySQL5.5之前，广泛使用的和默认的存储引擎是MyISAM，MyISAM使用操作系统缓存来缓存数据，InnoDB需要innodb buffer pool中处理缓存，当InnoDB表执行大批量数据的增删改查时，就需要有足够的innodb buffer pool 空间。如何设置缓冲池大小innodb_buffer_pool_size默认大小为8388608(即8M ∗\ast∗ 1024 ∗\ast∗ 102.
2020-11-06 11:37:57
3135
2
原创 python实现将不同文件夹下名字相同的文件合并
E盘temp1文件夹里有很多文件夹，每个文件夹有很多文件，不同文件夹里的文件命名可能相同，把不同文件夹下相同名字的文件合并到一个文件并写入到新的文件夹temp2，而不同名字的文件直接写入到新文件夹temp2。import osdef get(name, info): # 写入新文件夹 with open(r"E:\temp2\{}".format(name), "a") as f: f.write("\n".join(info))# 原文件夹path =
2020-05-09 16:40:25
7245
8
原创 python3使用urllib.request.quote对参数进行编码
平时爬虫的时候，个人习惯点击Form Data右侧的view source来复制整个参数，一般情况下是没有问题的直到破解某网站参数加密的时候，js文件在node环境下可以正常运行，但是放在python代码中就无法返回数据了，检查了很久发现是参数的问题，我写的是’param=param’，而将参数改成用{param:param}的方式可以正常返回数据，这时候依然想用我这种方式写该怎么办呢解决...
2020-04-15 16:34:18
5922
转载 pyspider启动失败
1、安装pyspider从http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到对应的Python版本，下载对应的wheel文件即可然后pip install pycurl-7.43.0.3-cp37-cp37m-win_amd64.whl2、安装Phantomjs从http://phantomjs.org/download.html下载压缩...
2019-10-15 11:25:30
947
原创 Airtest+Mitmprxoy自动爬取APP内容
这里以微博为例，微博网页版无法查看全部粉丝但是微博APP可以，所以从手机端抓取，我用的是模拟器，用fiddler抓包，获取微博粉丝的接口：https://api.weibo.cn/2/cardlist然后就可以用mitmproxy拦截请求了。1、首先要安装mitmproxy,可以使用pip install mitmproxy直接安装，另外还会附带mitmdump和mitmweb这两个组件...
2019-09-18 18:14:30
2997
原创 数据分析工具Pandas
Pandas是一个强大的分析和操作大型结构化数据集所需的工具集基础是Numpy,提供了高性能矩阵的运算提供了大量能够快速便捷地处理处理数据的函数和方法应用于数据挖掘，数据分析，提供数据清洗功能一、Pandas的数据结构Series是一种类似于一维数组的对象，由一组数据和与之对应的索引组成。索引(index)在左，数据(values)在右，索引是自动创建的1、通过list构建Seri...
2019-08-22 08:58:36
345
原创 python删除指定文件夹下小于100k的文件
import osdef get_path(file_path): for root, dirs, files in os.walk(file_path): for file in files: filename = os.path.join(root, file) del_file(filename) def del_file(filename): size = os...
2019-08-17 11:37:05
1346
原创 Numpy入门
一、numpy基础1、通过列表创建数组import numpy as npimport matplotlib.pyplot as pltarr1 = np.array([1, 2, 3]) # 一维数组print(arr1, arr1.shape)arr2 = np.array([[1, 2, 3], [4, 5, 6]]) # 二维数组print(arr2, arr2.shap...
2019-08-15 16:13:17
282
原创 爬虫报错：requests.exceptions.ProxyError
requests.exceptions.ProxyError: HTTPSConnectionPool(host='kuaile.mag998.com', port=443): Max retries exceeded with url: /kuaile/api/getcatevideos?cateid=4&page=1 (Caused by ProxyError('Cannot con...
2019-08-13 18:12:29
4860
2
原创 数据可视化之matplotlib
一、准备数据import matplotlib.pyplot as pltimport numpy as np# 在0.01到10之间均匀的取1000个数x = np.linspace(0.01, 10, 1000)# 在标准正态分布中随机取1000个数y = np.random.randn(1000)二、 函数用法1、plot——展现变量的趋势变化plt.plot(x, y...
2019-08-13 15:25:19
950
原创 python将多个文件夹下的内容合并到一个文件夹下
# 原文件夹old_path = "G:/MP4"# 查看原文件夹下所有的子文件夹filenames = os.listdir(old_path)# 新文件夹target_path = "G:/MP5"if not os.path.exists(target_path): os.mkdir(target_path)for file in filenames: # 所...
2019-08-09 09:15:20
10647
6
原创 Django入门
1、在github上新建工程clone or download复制路径2、复制远程仓库内容新建文件夹，右键选择Git Bash Here输入git clone 路径名3、创建python项目cd进入.git同级目录下创建python项目（需要在虚拟环境下创建）workon 虚拟环境名，进入虚拟环境django-admin startproject 项目名称4、创建应用在p...
2019-07-29 17:29:52
206
原创 Python面试题
1、用一条SQL语句查询出每门课都大于80分的学生姓名。select name, min(fenshu) from stu; select name, min(fenshu) from stu group by kecheng; select name, min(fenshu) from stu group by kecheng having min(fenshu)>80 selec...
2019-06-03 19:01:42
48768
原创 全局搜索
1、安装模块pip install django-haystackpip install whooshpip install jieba2、在settings中添加应用INSTALLED_APPS = [ 'haystack' ]3、引入全文检索路由urls.py中添加代码from haystack.views import SearchViewurlpatterns =...
2019-04-26 17:54:42
1999
原创 网络编程
网络编程就是如何在程序中实现两台计算机的通信。TCP/IP简介1、TCP/IP协议族链路层：处理与电缆或其他传输媒介的物理接口。网络层：处理数据在网络中的活动。 ip协议——>网络互连协议 用途：将多个包在网络中联系起来，传输数据包（不可靠传输），最基本功能就是寻址和分段功能，不提供端到端，路由到路由的确认，不提供重发和流量控制。是计算机网络能够互相通信的基本规则。出错则像IC...
2019-04-12 21:17:58
12907
1
原创 系统编程
进程线程对比1、根本区别 进程是操作系统资源分配的基本单位；而线程是任务调度和执行的基本单位。 每个进程都有独立的代码和数据空间；同一类线程共享代码和数据空间。 在操作系统中能同时运行多个进程（程序）；而在同一个进程中有多个线程同时执行。 内存分配方面：系统在运行的时候会为每个进程分配不同的内存空间；而对线程而言，除了CPU外，系统分配内存（线程所使用的资源来自其所属进程的资源），线程组...
2019-04-12 17:46:59
161
原创 Python高级语法
属性与方法1、类属性与实例属性类：模板定义属性和方法的封装实例：具体的类对象，是类的表现（1）实例属性会根据实例的不同而不同，类属性由类决定（2）实例属性通常在构造函数__init__中赋值（3）类属性属于类，实例属性属于实例。实例确定，实例属性确定。实例可以调用类属性，类不可以调用实例属性(Good.addr报错）class Good: # 类属性 name = "tea" ...
2019-04-09 17:45:56
237
原创 Git
1、安装程序Git-2.20.1-64-bit.exe软件链接：https://pan.baidu.com/s/1XpNAVMPNYZs6wEq4H8bU9w提取码：7qag2、新建一个空文件夹（GitText），右键点击Git Bash Here3、git init生成.git隐藏文件4、在.git同级目录下创建一个文本文件（ReadMe.txt）,写入内容5、git sta...
2019-04-03 16:47:45
127
原创 Flask入门
1、进入安装的目录，安装虚拟环境E:pip install virtualenv2、创建虚拟环境(virtualenv 虚拟环境名）virtualenv webenv3、进入虚拟环境cd webenv/Scriptsactivate webenv4、安装flask模块(在虚拟环境里安装）pip install flask5、打开pycharm，新建工程，使用虚拟环境的解...
2019-03-28 20:17:42
84
原创 Redis数据库
安装配置1、Windows安装（1）双击可执行文件 Redis-x64-3.2.100.msi（2）任务管理器关闭Redis服务（3）启动服务端，这个黑窗口不能关闭redis-server（4）打开新的黑窗口，启动服务端redis-cli2、Ubuntu安装sudo apt-get install redis-server重启服务service redis resta...
2019-03-28 19:43:19
221
原创 JS案例——点星星
鼠标点击窗口实现如图效果：代码如下：<!DOCTYPE html><html> <head> <meta charset="utf-8"> <title></title> </head> <body style="background-color: #000000;"> <...
2019-03-26 16:43:58
971
1
原创 JS案例——计数
页面元素当前点击0次开始计数停止计数默认鼠标每次点击window区域无效当点击开始计数后：鼠标每次点击window区域 计数+1点击停止计数后：鼠标每次点击window区域无效...
2019-03-26 16:35:06
1032
原创 MySql数据库
安装配置1、Windows安装配置可执行文件安装 mysql-installer-community-5.7.15.0.msi2、Ubuntu安装配置安装sudo apt-get install mysql-server mysql-client设置root密码cd uer/binsudo mysql_secure_installationsudo mysql -u root ...
2019-03-26 16:25:02
115
原创 AJAX——创建快速动态网页
JavaScript原生异步通信// 1、声明异步对象let xhr = new window.XMLHttpRequest();console.log(xhr.readyState);// 2、创建异步监听xhr.onreadystatechange = function(){ if(xhr.readyState == 4 &amp;&amp; xhr.status == 200)...
2019-03-16 11:50:26
643
2
原创 jQuery——简洁的javaScript库
jQuery库引入&amp;amp;amp;lt;script src=&amp;amp;quot;js/jquery-1.12.4.js&amp;amp;quot; type=&amp;amp;quot;text/javascript&amp;amp;quot; charset=&amp;amp;quot;utf-8&amp;amp;quot;&amp;amp;amp;gt;
2019-03-16 10:38:46
510
原创 JavaScript
JavaScript使用<body> <script type="text/javascript"> alert("可以写在body中"); </script></body><head> <script type="text/javascript"> alert
2019-03-15 21:52:07
133
原创 HTML属性
常见属性class 为html元素定义一个或多个类名&lt;div class="item"&gt;&lt;/div&gt;id 定义元素的唯一id&lt;button type="button" id="bt1"&gt;&lt;/button&g
2019-03-11 15:41:06
74
原创 CSS
CSS样式内联样式，优先级最高&amp;amp;lt;p style=&amp;quot;color:red;&amp;quot;&amp;amp;gt;这是一个段落&amp;amp;lt;/p&amp;amp;gt;内部样式,优先级仅次于内联样式&amp;amp;lt;style type=&amp;quot;text/css&amp;quot
2019-03-11 15:39:03
113
原创 HTML标签
基本标签&lt;div&gt;块级标签，自动换行&lt;/div&gt; h1—h6 一级标题—六级标题&lt;p&gt;段标签，上下有行距&lt;/p&gt;&lt;span&gt;隔离标签，普通文本&lt;/span&gt;文本标签&lt;b&am
2019-03-11 10:06:13
78
原创 python异常处理
1、出现异常choice = int(input("请输入选项:"))print(f"用户输入了一个选项:{choice}")请输入选项：aValueError: invalid literal for int() with base 10: ‘a’2、捕获异常choice = Nonetry: choice = int(input("请输入一个选项:"))
2019-03-01 21:41:38
584
原创 操作系统——ubuntu
1、安装操作系统（1）编辑虚拟计算机设置，添加光盘文件（2）设置光盘文件（3）开启虚拟机（开机）（4）安装方式选择（5）清除磁盘数据（6）开始安装**2、全屏操作**（1）安装VMware Tools（2）打开终端窗口（3）启用超级管理员账号（默认名称root）输入 sudo passwd root 命令输入当前用户密码输入两次超级管理员密码，建议为r...
2019-03-01 21:03:12
890
原创 python搭建虚拟开发环境
软件搭建虚拟环境python 模块：virtualenv,虚拟环境构建模块#&amp;amp;amp;amp;amp;amp;8195;pip install virtualenv
2019-03-01 20:01:12
279
原创 面向对象分析
面向对象概述1、什么是面向对象? what2、为什么要使用面向对象？why3、哪里使用面向对象？where4、怎么认知面向对象？how
2019-02-15 20:42:24
2105
原创 面向对象案例——个人博客开发
个人博客用户模块OOA:对用户需要的功能，以及功能中要求的限制进行分析，需求分析 用户对象：封装用户数据，处理和用户相关功能 系统对象: 核心功能 展示菜单：函数实现功能分析—— 系统相关的功能：（核心功能）用户注册、登录、退出 用户相关的功能：修改密码、完善资料OOD:根据分析的结果进行代码结构的设计User类型 属性（特征）：账号username、 密码pass...
2019-02-14 21:44:17
477
原创 面向对象案例——宠物医院
面向对象实现：宠物生病治疗分析设计：宠物：昵称、健康值、恢复人：昵称、健康值宠物医院：名字、治疗class Pet: """定义一个宠物类型""" def __init__(self, nickname, health): self.nickname = nickname self.health = health def recovery(self): """定义宠...
2019-02-13 17:56:32
483
原创 面向对象案例——老张开车去东北
面向对象实现：老张开车去东北分析：老张——人：Person车——交通工具：TrafficTools东北——地点：Placeclass Person: """人的类型""" def __init__(self, name): self.name = name def driving(self, traffic_tools, area): &
2019-02-13 17:30:44
6348
初级pygame小游戏
2019-03-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人