- 博客(42)
- 收藏
- 关注
RSS订阅原创 利用脚本轻松实现视频处理
使用ffmpeg 进行视频处理，包括去除视频水印，剪辑视频，合并视频，提取某一视频音频，视频内容，将自己喜欢的音频跟视频进行合并，以及给视频添加文字水印话不多说1：安装ffmpeg，配置好环境变量，这样，cmd窗口就可以直接实现了https://pan.baidu.com/s/1Cq_aCVCiJP69bJUGGpHGmQ 提取码：8ceq2：去除水印执行：ffmpeg -i 视频1.mp4 -filter_complex "delogo=x=190:y=10:w=165:h=25:show.
2020-08-18 16:31:02
970
1
原创 利用Python轻松实现图片相似度对比（二）
五：图像指纹 对每一张图片生成一个“指纹”，通过比较两张图片的指纹，来判断他们的相似度，是否属于同一张图片。 主要通过比较汉明距离来比较图片，值越小，越相似1：均值哈希算法（Average hash algorithm）基于比较灰度图每个像素与平均值来实现的，最适用于缩略图，放大图搜索。优点： 1：算法简单计算速度快 2：图像放大，缩小，改变纵横比，或增加，减少亮度，对比度，颜色对hash影响不大缺点： 对图片内容敏感，如果内容改变，图片hash改变比较大...
2020-06-30 16:56:11
4075
原创 利用Python轻松实现图片相似度对比（一）
关于图片相似度，主要简单介绍以下几种方法：一：通过图片像素来比较，比较简单,对使用场景有要求二：通过余弦方法来比较图片原理： 把图片表示一个向量，通过计算向量之间的余弦值来表征图片的相似度，个人认为利用余弦定理来比较语义相似度要比图像相似度比较要好的多。[0,1]，越大越相似三：SSIM（结构相似性指数）这种方法是基于sklearn中的scikit-image中的ssim来计算的一种全参考性的图像质量评价指标，分别从图像的亮度，对比度，结构三个方面度量图像的相似性[0,1]越大越相似四：直方图
2020-06-30 16:41:37
5838
1
原创 利用Python轻松实现抠图,背景色更换
只需要3行代码，5秒实现高精度抠图介绍一款工具remove.bg,通过调用此工具的API实现，API获取方式很简单，注册这个工具账号，就可以免费获得了话不多说，老规矩，直接上代码：import osfrom removebg import RemoveBgclass ChangePic(): def __init__(self,key,pic): se...
2019-07-24 20:40:44
5699
1
原创 linux 查看CPU使用率
1：toptop -bn 1 -i -ctop命令可以看到总体的系统运行状态和cpu使用效率%us: 表示用户空间程序的cpu使用效率%sy:表示系统空间程序的cpu使用效率%ni: 表示用户空间通过nice调度过的程序的cpu使用效率%id: 空闲cpu%wa:cpu运行时等待io的时间%hi: cpu运行过程中硬中断的数量%si: cpu处理软中断的数量...
2019-02-18 11:14:06
11890
1
原创 破解bilibili滑块验证码
基本逻辑：logging -----------------------》get_image(下载带缺口的图片和不带缺口的图片) ----------------------》 recover_image ...
2018-11-08 15:23:48
2694
原创 破解58自定义文字反爬
在抓取58同城租房信息时出现自定义字体，将原本正常的数据信息隐藏，如图所示： 从源码中查找，找到@font-face 自定义字体，将原本正常数据隐藏了接下来处理这段加密的脚本：def get_list(url): resp = requests.get(url) if resp: base64_str = re.findall('data...
2018-11-06 17:11:25
3729
5
原创 find: missing argument to `-exec'
在使用Linux进行搜索命令：报了以上两个错：结果后来发现在执行exec代码时因为空格方面闹出乌龙：-exec command {} \;{} 前后都是有空格的
2018-08-24 15:00:52
2066
原创 -bash: locate: command not found
在使用locate进行搜索查询的时候会报以下错误：这最主要的原因是因为没有安装mlocate如果没有updatedb的话，会继续报错：
2018-08-24 13:09:05
319
原创 python 3.x 错误 ‘generator’ object has no attribute ‘next’
import timedef consumeer(): r = '' while True: n = yield r if not n: return print('[CONSUMER] Consumer %s...'%n) time.sleep(1) r = '200 o...
2018-07-26 15:19:32
945
原创 pyhton singledispatch单泛函数重载
singledispatch 是functools模块中的函数使用@singledispatch装饰的函数会变成泛函数#python 支持函数重载 singledispatch支持 单泛函数重载，根据第一个参数类型决定使用哪个函数from functools import singledispatchfrom collections import abc@singledisp...
2018-07-25 17:04:44
439
原创 安装wordcloud
进入这个网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/搜索 wordcloud 点击进入根据自己安装的python版本 以及电脑位数选择要下载的文件下载结束后 随便放入以目录下黑窗口下执行： pip install D:\wordcloud‑1.4.1‑cp35‑cp35m‑win_amd64.whl...
2018-05-30 17:30:02
1033
原创 MySQL 大哥（主键）跟小弟（外键）
主键跟外键之间的关系，就好比说，网站里的谋篇文章，文章有一个文章ID，文章的评论有多条，每条评论又有一个评论ID，评论人，评论内容等相关信息。如果想要删除这篇文章。那就得去评论表里找相关的信息，然后删除。非常的麻烦。因此，设置一个主键，当这篇文章删除时，改文章的评论也都删除了。举个例子：CREATE TABLE test_relevancy ( u_id INT auto_increment PR...
2018-05-30 17:21:50
821
原创 MySQL三种插入方式
首先，以一个新创建的表为例：CREATE TABLE A ( id INT NOT NULL PRIMARY KEY, NAME VARCHAR (50), age INT);1：insert intoinsert into 插入数据时最鲜明的特点就是，检查主键，当主键重复时进行插入，就会报错。insert into A(id,NAME,age) VALUE(1,"bb",13);返回结果：1 b...
2018-05-23 14:33:28
4166
原创 Pyhton 路径间相互转换
1:当前文件的路径os.getwd()2:上一级目录的路径os.path.dirname(os.getwd())3:绝对路径=》相对路径os.path.relpath('C:\Users\Administrator\Desktop')4:相对路径转绝对路径path = "..\MyProj\MyFile.txt"os.path.abspath(path)...
2018-04-04 11:18:14
348
原创 知识图谱的应用
知识图谱在我们生活中的应用1：手机 智能化功能除了此昂FaceIDdeng 可以识别人之外，还有比SIRI更加聪明的助理，真正意义上的成为用户个人助理，给用户做决策。百度跟小米就AI打成深度合作，联系到DuerOS与vivo等合作来看，百度未来很可能会给手机公司提供知识图谱技术助力智能手机真正能“智能”起来。2：娱乐 爱奇艺通过自制内容战略取得突破，推动其会员
2018-02-05 18:48:27
2202
原创 人工智能-知识图谱
在进行人工智能的探索道路上，我们也需要了解其本质，或者在其基础上衍生出各种上层的智能应用。在我个人看来，知识图谱正是起到了一个这样的作用。这两三年来，互联网大佬眼必谈数据，特别是大数据。马云的“五新理论”中有一个是“新能源”，认为未来机器吃的不是电，而是数据。马化腾说数据是AI应用的四大要素之一，李彦宏也提出“由数据,算力，算法'三位一体'共同驱动的人工智能或将成为推动经济增长与时代进步的引擎
2018-02-05 16:32:12
3006
原创 正则表达式-零宽断言
(?= 子表达式)（零宽度正预测先行断言。）仅当子表达式在此位置的右侧匹配时才继续匹配。例如，\w+(?=\d) 与后跟数字的单词匹配，而不与该数字匹配。
2018-01-04 14:32:09
377
原创 centos7下Nginx配置（一）
一：环境调试确认1：确认系统网络ping www.baidu.com2：确认yum可用yum list|grep gcc3：确认关闭iptables规则查看命令：iptables -L关闭命令： iptables -F查看nat表是否存在：iptables -t nat -L关闭nat表规则：iptables -t nat -F4：确认停用selinux
2017-12-07 11:35:55
301
原创 关系型数据库-锁
数据库是一个多用户使用的共享资源。当多个用户并发地存取数据时，在数据库就会产生多个事务同时存取同一数据的情况。若并发操作不加控制就可能会读取和 存储不正确的数据，破坏数据的一致性（读脏，不可重复读，幻读等），还可能产生死锁，为解决这个问题，加锁是非常必要的技术，对实现数据库并发控制是一个好的方案。锁包括：行级锁，表级锁，悲观锁，乐观锁行级锁：一种它锁，防止另外事务修改此行；在使
2017-11-30 11:36:38
786
原创 mysql非主键设置自增字段
在数据库建表的时候，设置列自增字段，一般提示该列必须为主键，才能设置自增字段，但是，并非主键才可以设置的。create table a(id int (11) auto_increment not null,name varchar(20),key(id))key(id) 必须要写，如果不写，会报错“there can be only one auto c
2017-11-14 11:27:56
2519
原创 python3 TypeError:Unicode-objects must be encode before hashing
python3环境下，利用hash值对url进行 md5加密，时报错TypeError:Unicode-objects must be encode before hashing原因是：python3跟python2区别：python3下字符串为Unicode类型，而hash传递时需要的是utf-8类型，因此，需要类型转换调用函数时，将url进行类型转换def get_md5(ur
2017-10-12 11:31:08
5532
原创 ValueError('Missing scheme in request url :%s'%self._url')
这是因为在利用scrapy抓取网页时的setting配置中有一个相关的图片配置，ITEM_PIPELINES = { 'article_scrapy.pipelines.ArticleScrapyPipeline': 300, 'scrapy.pipelines.images.ImagesPipeline':1, }系统会默认将其
2017-10-12 11:08:41
2042
原创 ImportError:No module named 'PIL'
利用scrapy抓取网页信息，保存文章图片时，报错ImportError:No module named 'PIL'非常简单，保存图片就需要一个图片保存的库，即缺失一个pillow的数据包，在黑窗口下pip install -i https://pypi doubam.com/simple pillow
2017-10-12 11:03:56
21626
3
原创 centos7 mysql5.7 免密码登陆
1：进入root下：su密码：2：在root下编辑mysql_config_editor set --login-path=client --host=localhost --user=root --passwordEnter password:3:输入pwd在/root下生 .mylogin.cnf乱码文件[nanfengp
2017-10-09 22:50:05
5505
原创 Mysql57, 服务启动后停止。某些服务在未由其他服务或程序使用时将自动停止。 error1045
1、首先去看问题描述，即mysql的错误日志。在C:\ProgramData\MySQL\MySQL Server 5.7\Data\PC201608171713.err（在mysql安装盘下）2、逐条查看错误日志对错误的描述：（重点注意【ERROR】）针对【ERROR】解决问题即可。3、我的问题是：[ERROR] unknown variable 'log-slow-querie
2017-10-07 20:47:39
1280
原创 python常用函数库(一)
python第三方数据库数据分析函数库Numpy：用于数值计算 import numpy ads npPandas:主要用于做数据处理Ipython:更新到1.0后，功能基本完善，其中的notebook非常强大，而且是基于web，在合作分享方面非常好Scripy:数值计算的扩展包图像处理函数Matplotlib:是python著名的绘图库import matplot
2017-10-07 12:07:04
1403
原创 MySQL5.7 四种日志文件
mysql 日志包括：错误日志，二进制日志，通用查询日志，慢日志等一：通用查询日志：记录建立的客户端连接和执行的语句1）show variables like '%verision%'; 显示数据库版本号，存储引擎等信息mysql> show variables like '%version%';+-------------------------+------------
2017-09-26 21:50:04
5963
原创 Mysql5.7下的三种循环
方法一：while .....do.....end whilecreate procedure pwhile()begindeclare i int;set i = 0;while i insert into table_name values (i);set i = i+1;end while;end;call pwhile();
2017-09-23 14:24:26
19132
1
原创 Centos7 下MySQL5.7 远程连接
在centos7下安装运行后MySQL，就开始考虑远程链接centos下的MySQL，可以在windows下操做myql:遇到了各种各样的报错问题：关于登陆密码，先后报：ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executing this stateme
2017-09-20 22:18:23
571
原创 centos7 下安装MySQL
centos7 下安装MySQL5.7一：安装1：先安装wgetyum -y install wget2:从网址获取wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm3:安装MySQL源yum -y localinstall mysql57-community-rele
2017-09-20 12:01:58
469
原创 redis Creating Server TCP listening socket 127.0.0.1:6379: bind: No error
redis 第一次安装时报错：Creating Server TCP listening socket 127.0.0.1:6379: bind: No error解决方法：在运行中编辑redis-cli.exe127.0.0.1:6379>shutdownnot connected>exit之后重新运行：redis-server.e
2017-09-19 20:59:05
870
原创 Series && DataFrame
一：Series柱状图flg,axes = plt.subplots(2,1)data =Series( np.random.rand(10),index = "abcdefghij")data.plot(kind = 'bar',ax = axes[0],color = 'k',alpha = 0.7)data.plot(kind = 'barh',ax = axes[1],co
2017-07-09 21:37:10
301
原创 pandas层次化索引
import numpy as npimport pandas as pdfrom pandas import Series,DateFramedd=DataFrame(np.random.rand(4,2),columns=['data1','data2'],index=[['a','a','b','b'],['1','2','1','2']])ddfrom_tuples
2017-06-25 19:32:11
1903
原创 处理丢失的数据
import numpy as npimport pandas as pdfrom pandas import Series,DataFrame有两种丢失数据：Nonenp.nan(NaN)1. NoneNone是Python自带的，其类型为python object。因此，None不能参与到任何计算中。a=np.array([1,None,3,4])
2017-06-25 17:29:26
450
原创 Pandas(DataFrame)
DataFrameDataFrame是一个【表格型】的数据结构，可以看做是【由Series组成的字典】（共用同一个索引）。DataFrame由按一定顺序排列的多列数据组成。设计初衷是将Series的使用场景从一维拓展到多维。DataFrame既有行索引，也有列索引。行索引：index列索引：columns值：values（numpy的二维数组）1）DataFrame的创建最
2017-06-25 15:12:05
746
原创 numpy
导入numpy库import numpy as npnumpy默认ndarray的所有元素的类型是相同的如果传进来的列表中包含不同的类型，则统一为同一类型，优先级：str>float>intpython 的list类型只能是一维，而ndarray可以是多维的test=np.array([1,2,3,4,5])testarray([1, 2, 3, 4, 5])
2017-06-24 14:50:38
497
原创 数据处理（三）高级部分数据聚合
高级数据聚合可以使用pd.merge()函数包聚合操作的计算结果添加到df的每一行df=DataFrame({'color':['red','green','red','blue','green'], 'item':['pen','pencil','book','cup','watch'], 'price1':np.random.r
2017-06-14 20:44:15
461
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人