匆匆流年。-CSDN博客

base_dir = "../"for pat in os.listdir(base_dir): full_path = os.path.join(base_dir, pat) if full_path.endswith(".png"): cmd = "cd {0} ; ffmpeg -loop 1 -y -i {1} -pix_fmt yuv420p -f avi -r:v 25 -preset medium -crf 30 -s 304x220 -r 1 -t 1 .

2021-04-23 09:52:48 207

原创 RSA加解密工具

# -*- coding: utf-8 -*-## -------------------------------------------------------------------------------# Name: encrypt# Date: 2021/2/26# -------------------------------------------------------------------------------import osimport.

2021-02-26 17:41:09 231

原创 linux 生成补丁文件打补丁

生成补丁文件：diff -Naur host-squashfs-4.4/squashfs-tools/ host-squashfs-4.4.new/squashfs-tools/ > /home/zdx/CppProject/h3/buildroot/package/squashfs/0002-squashfs-encrypt.patch打补丁切换到待打补丁的目录：patch -p1 < /home/zdx/CppProject/h3/buildroot/package/squ.

2021-02-26 11:03:03 297

转载 2021-02-24

光从官网上找到的是没有linux kernel历史版本的直接下载选项的，只有通过终端或者采用输入网址的方法才能得到。直接将后面内核的版本号修改即可。修改方法：1. 查看linux内核版本号： uname -a2. 对照官网官网地址修改自己的地址。https://cdn.kernel.org/pub/linux/kernel/v4.x/linux-4.4.49.tar.xz改为https://cdn.kernel.org/pub/linux/kernel/修改/linux-修改.tar..

2021-02-24 19:48:12 67

原创 Git 本地仓库与多个远程仓库关联

将本地分支绑定远程仓库：git remote add linux_team [email protected]:/home/linux_team/git.prjs/libretro-fbalpha2012/此命令可以绑定多个远程仓库推送代码到指定仓库 (仓库名本地分支：远程分支)git push linux_team master:master...

2021-01-09 17:10:21 389

原创解决问题：安装MySQLclient时报错 OSError: mysql_config not found

近期在交接工作安装开发环境时，同事通过pip install mysqlclient时报出了OSError: mysql_config not found错误。解决办法：yum install mysql-devel gcc特此记录一下，后续说不定还要用呢、

2020-09-21 10:22:50 1203

原创 2020年 9月份最新 MariaDB 与Mysql版本对应关系

MariaDB 与Mysql版本的兼容关系从官网找来的截图，https://mariadb.com/kb/en/mariadb-vs-mysql-compatibility/

2020-09-16 17:31:45 12132

原创 MySQL 索引使用与失效测试

表结构：explain SQL语句字段解释IDselect查询的序列号，包含一组数字，表示查询中执行select子句或操作表的顺序。id相同，执行顺序由上至下；id不同，如果是子查询，id的序号会递增，id值越大优先级越高，越先被执行select_type常见和常用的值有如下几种：分别用来表示查询的类型，主要是用于区别普通查询、联合查询、子查询等的复杂查询。 SIMPLE简单的select查询，查询中不包含子查询或者UNION PRIMARY 查询中若包含任何.

2020-09-16 17:04:56 1141

转载 MySQL的乐观锁悲观锁SELECT ...for update

最近的项目中，因为涉及到Mysql数据中乐观锁和悲观锁的使用，所以结合项目和网上的知识点对乐观锁和悲观锁的知识进行总结。转载自：https://www.cnblogs.com/wxgblogs/p/6849064.html自我补充的内容：mysql console-1mysql console-2当先执行图1的内容，图二查询对应的数据，数据库锁的级别表内容：悲观锁介绍　　悲观锁是对数据被的修改持悲观态度（认为数据在被修改的时候一定会存在并发问题），因此在整个数据处

2020-06-30 18:04:35 1299 1

原创多个爬虫同时运行出现错误twisted.internet.error.ConnectBindError: Couldnt bind: 24: Too many open files.

最近项目中300个左右的爬虫总是报twisted.internet.error.ConnectBindError: Couldn't bind: 24: Too many open files.由于网络质量的问题，会出现部分连接无法回收，于是查询资料，按照网上的建议，都是修改soft max limit 参数，但是我改了，查看爬虫进程的max open files 始终不变。修改配置：ulimit -n 2048ulimit -HSn 2048查看...

2020-05-27 17:57:24 7454

转载没看完这11 条，别说你精通 Python 装饰器

对于每一个学习 Python 的同学，想必对@符号一定不陌生了，正如你所知， @ 符号是装饰器的语法糖，@符号后面的函数就是我们本文的主角：装饰器。装饰器放在一个函数开始定义的地方，它就像一顶帽子一样戴在这个函数的头上。和这个函数绑定在一起。在我们调用这个函数的时候，第一件事并不是执行这个函数，而是将这个函数做为参数传入它头顶上这顶帽子，这顶帽子我们称之为装饰器。曾经我在刚转行做程序员时的一次的面试中，被面试官问过这样的两个问题：1、你都用过装饰器实现过什么样的功能？2、如何写...

2020-05-27 13:08:49 7040

原创 windows centos 使用 GPG 进行文件加密、解密功能 python 代码实现

1.安装必备环境下载地址：地址2.安装Python环境由于使用的Python SDK调用，需安装对应的包：pip install python-gnupg3.代码生成密钥： gpg = gnupg.GPG() gpg.encoding = 'utf-8' input_data = gpg.gen_key_input(passphrase="abcdefghi", name_real="test2", name_email="[email protected]..

2020-05-20 15:19:27 10666

原创 Python API实现IPFS的文件上传、下载功能

由于IPFS提供的SDK只有go和js的，但实际应用中使用的Python开发，于是想到使用http请求来实现，go-ipfs内置了API请求接口，地址为：API server listening on /ip4/127.0.0.1/tcp/5001即：http://127.0.0.1:5001参考官方文档翻译文档实现了上传单文本功能： #!/usr/bin/env python# -*- coding: utf-8 -*-import jsonimpor...

2020-05-19 10:13:54 11813 6

原创 centos 搭建 IPFS 私有网络作为服务运行

ipfs私有网络搭建准备工作：准备IPFS节点创建密钥配置私有网络地址。一、准备IPFS节点。本人测试的使用的3台临时阿里云服务器，系统为centos7.2，使用后已删除ECS实例下载 ipfs 官网链接：安装教程wget https://github.com/ipfs/go-ipfs/releases/download/v0.5.0/go-ipfs_v0.5.0_linux-amd64.tar.gztar -xvzf go-ipfs_v0.5.0_linux-amd64.ta

2020-05-15 13:37:02 11050 7

原创 flask_login 实现多用户角色登录多表登录管理员普通用户登录

由于官方的flask_login 是基于用户ID来存储当前登录用户的，如官方demo：如果有多个用户角色，比如有父账户和子账户，在同一个浏览器下，父账号登陆了，此时访问子账号的后台，也是登录状态，因为是基于ID来查询用户的，当然也可以让2个角色的用户ID不冲突，或者参考flask_login_multi我的需求也是实现用户后台登录不冲突，登陆了父账户，即使子账户存在同样的用户ID，访问子后台，任需登录，于是产生了一下解决办法， @login_manager.user_loader.

2020-05-09 18:30:23 13289

原创 docker中安装centos 部署测试项目

宿主机中安装docker yum install docker -y 拉取centos官方镜像 dcker pull centos 查看镜像列表，创建容器[将宿主机的81端口映射到容器的80端口，容器名为 my_centos] docker ps -adocker run -dit --privileged --name my_centos -p 81:8...

2020-04-27 14:30:21 9666

原创 Flask接收请求，将指定字符串作为文件返回，浏览器端实现下载功能 Flask文件下载功能

最近项目中有这样的需求，用户上传一个xml的文件，服务端对它进行处理，返回一个TXT文件需要将用户上传的文件保存后，再进行处理，生成TXT文件，返回给用户，但这样会产生文件冗余的情况，用户上传的文件可以即时删除，但是返回的这个文件什么时候删除呢？于是想到如果返回一个文件流呢，那样就不会生成新的文件了。参阅flask官方文档 http://www.pythondoc.com...

2020-04-10 12:14:55 10660 2

原创 tensorflow serving 配合docker 部署模型的多版本

docker 安装 ; tensorflow serving 服务搭建，可参数另一篇文章 docker tensorflow 部署多模型 ckpt模型文件转pb文件参考：tensorflow官方文档常规的配置文件（多模型单一版本[最新版本]）：model_config_list { config:{ name: "english", base_p...

2019-12-20 16:18:16 9952

原创 Python3.x 安装 pyltp

最近在提取文章因果关系时，需要安装pyltp环境，使用pip 一直安装失败，最终在CSDN上下载了一个 whl文件成功安装，特提供下载地址http://download.csdn.net/download/m0_37932636/12013039https://pan.baidu.com/s/1qidjwVL2Di8V42IUrsHwsQ...

2019-12-04 10:57:50 10259 2

原创 docker中文件迁移

从宿主机拷文件到容器里面容器名为testCentos,现在要将宿主机/home/test.txt 文件拷贝到容器里面的/dockerHome/路径下面 docker cp /home/test.txt testCentos：/dockerHome/ 从容器里面拷文件到宿主机假设容器名为testCentos,要从容器里面拷贝的文件路为：/dockerHome/...

2019-11-21 11:25:27 9816

原创 docker tensorflow 部署多模型 ckpt模型文件转pb文件

安装docker docker pull tensorflow/serving cd /root/software 克隆仓库 tensorflow-serviing仓库git clonehttps://github.com/tensorflow/serving将要部署的多个模型pb文件放在一个目录下，同时新建models.config输入一下内容：model...

2019-11-13 14:10:55 10119 10

原创 python2中urllib.unquote乱码的原因与解决方法

发现问题Python中的urllib模块用来处理url相关的操作，unquote方法对应javascript中的urldecode方法，它对url进行解码，把类似"%xx"的字符替换成单个字符，例如：“%E6%B3%95%E5%9B%BD%E7%BA%A2%E9%85%92”解码后会转换成“法国红酒”，但是使用过程中，如果姿势不对，最终转换出来的字符会是乱码“æ³•å›½çº¢é…”。笔者...

2019-05-22 12:15:33 5465

原创 centos7 配置深度学习环境 (gtx1060)

目录一、安装gtx1060显卡驱动二、安装CUDA 10.0三、安装cuDNN四、安装GPU版tensorflow五、测试是否安装成功一、安装gtx1060显卡驱动到英伟达官网下载驱动点击跳转选择合适的驱动进行下载./NVIDIA-Linux-x86_64-375.39.run 运行此文件按照提示输入 y/n进行下一步操作安装好后用nvid...

2019-03-11 17:34:43 5444

转载 8张图学习大型网站技术架构（转）

原链接：点击跳转1 大型网站架构演化2 大型架构模式3 大型网站核心架构要素4 瞬时响应：网站的高性能架构5 万无一失：网站的高可用架构6 永无止境：网站的伸缩性架构7 随机应变：网站的可扩展性架构8 固若金汤：网站的安全机构...

2019-01-16 16:46:31 16062

原创 scrapy 爬取新浪微博的微博列表及微博内容

代码地址：GitHub参考：博客通过scrapy框架爬取指定账号的信息和微博截止到目前(2019年01月15日)的微博账号粉丝排名：爬取方法：提取网页版的微博接口1.重写start_request方法 def start_requests(self): weibo_id = [1195354434, ] for wid in we...

2019-01-15 17:34:04 13710

转载写代码水平的几个发展阶段（转）

来自大佬的总结，提醒自己！原文链接目录懵懂会用会看会写会想总结懵懂刚开始学习编程或学习一种新技术的时候，会有种雾里看花的感觉，似懂非懂，就算记住了也不会用。要突破这个阶段的方法就是“练习”，通过各种项目让自己熟练起来，做到任何一个不太难的业务需求可以快速想到解决方案并且开始动手实现。会用通过 google、stackoverflow、各种专业社...

2019-01-14 15:59:57 14770

原创中文语料自动分词、标注词性工具

基于已有的第三方网站在线语料切分，分析其获取规则，制作的小小的工具参数均为须标注的文章或字符串，返回值均为标注好词性的内容链接如下：语料库在线传媒语言语料库在线分词标注系统请合理使用，勿频繁使用它们的接口！#!/usr/bin/env python# -*- coding: utf-8 -*-import pymysqlimport requestsimpor...

2019-01-14 11:57:31 17227 2

原创 flask-sqlalchemy 中查询出的数据转换为字典

近期，将以前写的代码修改了一次，由于以前是用SQL语句查询数据，改为model操作后，发现查询出的结果不是字典格式，故查找了许久的资料，终于找到了解决办法.....def model_to_dict(result): from collections import Iterable # 转换完成后，删除 '_sa_instance_state' 特殊属性 ...

2019-01-09 15:41:03 19989 1

原创记录：LDA主题模型训练异常

最近在做LDA模型训练时，当扩大主题数量时，并同时使用了多核心一起训练数据，遇到了这样的错误：struct.error: 'l' format requires -2147483648 <= number <= 2147483647 经过查找资料，最终找到了解决办法，需要替换Python3内置的多线程multiprocessing的部分代码，(PS:建议备份源代码)...

2018-12-28 10:41:14 12028

原创 scrapy_redis 分布式去重配置

近期接手别人的爬虫项目，需要改写成分布式的方式部署上服务器，使用srapy_redis完成此项功能，记录下相关的配置信息爬虫文件继承的类名必须更改为scrapy_redis对应的类名，在前面加上Redis即可去重组件和调度器也需更改：# DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"# SCHEDULE...

2018-11-13 17:10:23 12200

原创使用fabric的异常处理

from fabric.api import put如果报没有该模块，则需要安装指定版本的fabric(pip install fabric==1.14.0) (test_setup) D:\Project\test_setup>fab package deploydeactivateTraceback (most recent call last): File...

2018-11-13 16:52:16 11696

植物大战僵尸素材与源码

python3 pyltp whell文件下载.rar

空空如也