- 博客(91)
- 资源 (6)
- 收藏
- 关注
RSS订阅
原创 Redirecting to /bin/systemctl status iptables.service Unit iptables.service could not be found.
centosservice iptables status 报错Redirecting to /bin/systemctl status iptables.serviceUnit iptables.service could not be found.解决办法 yum install iptables-services
2019-12-23 11:30:19
21401
2
原创 python列表进行模糊查询
先看一下代码a=['时间1', '时间2', '时间3', 'ab','asds']dd = [i for i,x in enumerate(a) if x.find('s')!=-1]print(dd)需要注意的是这个方法只适合与都是字符串的，因为find是字符串重的方法， 如果list中有数字和None,都是不行的...
2019-09-24 14:37:55
12402
原创 flask gunicorn 超时问题
这两天遇到一个大坑，用falsk做了一个下载的功能，但是当文件大于20兆的时候，用谷歌浏览器就会重新请求，而且在本地运行都是完美的没有问题解决了两天发现是gunicorn的问题gunicorn中有个默认的请求超时时间是30秒gunicorn -w 2 -b 0.0.0.0:4343 manage:app -t 50 -D加上 -t 50 代表修改为50秒问题解决...
2019-08-06 18:10:23
7134
3
原创 pyecharts出错TypeError: __init__() got an unexpected keyword argument 'width'
今天在使用pyecharts的map绘制地图时候mac一直出错TypeError: init() got an unexpected keyword argument ‘width’很郁闷，win的就不会出错然后网上查了很久没有查到，最后发现可能是版本问题pip install pyecharts==0.1.9.4这个就很好用了from pyecharts import Bar,Pie...
2019-07-16 17:02:38
29187
11
原创 flask 实现下载文件功能
第一种方式： UPLOAD_FOLDER = './info/modules/passport/{}.csv'.format(file_name) # 第一种方法 ROOT_FOLDER = os.path.join(os.getcwd(), UPLOAD_FOLDER) # 整合绝对路径 response = mak...
2019-07-12 09:51:09
10159
4
原创 python列表中出现最多的元素，和元素出现次数
对列表进行操作，查看列表中出现最多的元素，以及出现的次数array = [1, 2, 3, 3, 2, 1, 0, 2]print(max(array, key=array.count))print(array.count(max(array, key=array.count)))计算列表中每个元素出现的次数def all_np(arr): arr = np.a...
2019-07-09 14:08:06
9622
原创 git push error: 无法推送一些引用到XXX 错误
git push -u origin master后报错Username for ‘https://gitee.com’: Lizhiming0321Password for ‘https://[email protected]’:To https://gitee.com/Lizhiming0321/LZMtest.git! [rejected] master ...
2018-11-20 16:47:57
34097
4
原创 No module named 'flask_sqlalchemy'
我记得这个问题遇到好几次了 怪自己没有脑子 ，没有记下来， 所以今天必须记下来 就这样的，一直引入不进去。研究了很久发现是虚拟环境没有用对‘’设置里面 改成正确的虚拟环境 就OK了...
2018-09-04 18:02:38
7796
1
原创 PaddleOCR的安装及使用
1.anaconda建立虚拟环境conda create -n paddle3.7 python=3.72.cpu版本安装python -m pip install paddlepaddle==2.0.0rc1 -i https://mirror.baidu.com/pypi/simple# 镜像可能不行，用下面命令python -m pip install paddlepaddle==2.0.0rc1# 或者试一下其他镜像阿里云 http://mirrors.aliyun.com
2022-02-09 16:44:13
4488
原创 srs3.0安装及部署，推拉流测试
1.安装srs3.0版本docker pull ossrs/srs:v3.0-r02.源站配置及启动#源站配置listen 1935;max_connections 1000;daemon off;srs_log_tank console;http_api { enabled on; listen 1985;} http_server { enabled
2021-07-12 18:11:47
1961
原创 蓝鲸智云App应用部署(完整版)
App应用发布部署,其中包含了docker部署gitea，mysql，redis组件2.1新建应用，填写应用信息，如下图所示2.2填写git仓库2.3修改app应用代码中配置修改 config/init.py2.4添加appt 测试服务器信息2.5点击节点管理，配置安装测试服务器agent2.6点击测试服务器信息 — 激活 ---- 此时可能激活失败登陆中控机，编辑 install.config , 新增一行10.0.0.2 appt并将原来 install.config
2021-07-12 18:03:03
2717
5
原创 蓝鲸智云5.1版本安装部署(完整版)
环境要求：1.蓝鲸部署机器：centos 72.App 应用部署机器：centos 7一：蓝鲸安装部署1.1环境准备1.2使用 epel 源yum install epel-release -y1.3关闭 SELinux# 检查 SELinux 的状态，如果它已经禁用，可以跳过后面的命令sestatus# 通过命令临时禁用 SELinuxsetenforce 0# 或者修改配置文件sed -i 's/^SELINUX=enforcing/SELINUX=disabled/g'
2021-07-07 11:08:47
1051
原创 golang环境安装及beego项目运行
1.安装golangwget https://dl.google.com/go/go1.15.12.linux-amd64.tar.gz2.解压tar -C /usr/local -xzf go1.15.12.linux-amd64.tar.gz3.添加环境变量export PATH=$PATH:/usr/local/go/bin测试 go version4.设置代理go env -w GO111MODULE=ongo env -w GOPROXY=https://goproxy.i
2021-05-08 09:33:16
168
1
原创 sqlserver 同步数据库表结构（python实现，适用于同步表中有不一样的字段的）
第二种：还是直接上代码# _*_ coding: utf-8 _*_# @Time : 2020/12/29 13:35 # @Author : lizm# @File : testdk.pyimport decimalimport loggingimport pymssql"""适合两个数据库都有相同表，字段不相同时"""def sync_db_structure(sou_conn, tar_conn): """ 同步数据库表结构 :param sourc
2020-12-30 17:26:19
416
原创 sqlserver 同步数据库表结构（python实现，适用于同步全部表结构）
第一种：直接上代码，可以直接运行import decimalimport loggingimport pymssql"""适用于一个库有，一个库没有的,同步表结构"""class Copy_Mes_Bank(): def __init__(self, **kwargs): self.sou_conn = kwargs['sou_conn'] self.tar_conn = kwargs['tar_conn'] """根据SQL查询数据库数
2020-12-30 17:24:40
492
2
原创 ES 插入报错：‘blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]；
这里是因为es开启了只读模式，不能进行写入的操作了我们先看一下是不是http://192.168.130.28:9200/索引/_settings?pretty如果是的话，我们直接在终端执行curl -XPUT '192.168.130.28:9200/索引/_settings' -H 'Content-Type: application/json' -d '{"index.blocks.read_only_allow_delete": null}'...
2020-11-30 09:50:39
538
原创 mysql 主从复制(完整版)
如果我们原库中有很多数据，要提前进行备份复制可以使用mysqldump进行数据备份并还原到从服务器以实现数据的复制。mysqldump -uroot -pmysql --all-databases --lock-all-tables > ~/master_db.sql接下来要导入到从库中。此处省略主服务器：192.168.130.46从服务器：192.168.130.481.进入主服务器,停止主服务mysql服务: systemctl stop mysqld;主节点编辑配置文件vim
2020-11-06 15:44:23
362
原创 CentOS7下安装mysql5.7(完整版)
一、安装YUM Repo1、由于CentOS 的yum源中没有mysql，需要到mysql的官网下载yum repo配置文件。下载命令：wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm2、然后进行repo的安装：rpm -ivh mysql57-community-release-el7-9.noarch.rpm执行完成后会在/etc/yum.repos.d/目录下生成两个repo文件mysql
2020-11-05 17:39:15
160
原创 flask + gunicorn + webskokrt 启动方法
第一种方法安装pip install gevent-websocket启动gunicorn -k geventwebsocket.gunicorn.workers.GeventWebSocketWorker -b 0.0.0.0:9199 manage:app第二种方法安装pip install gevent 报错的话，不用安装eventletpip install eventletgunicorn -k gevent -w 1 -b 0.0.0.0:9199 manage:ap
2020-11-04 10:41:37
205
原创 python微服务框架nameko入门案例
1.安装注册中心nameko采用RabbitMQ作为注册中心，所以使用nameko必须要先安装RabbitMQ以docker容器的方式运行RabbitMQ是最为简便快捷的方式，两行命令就搞定了，这里介绍如何使用docker运行RabbitMQ。第一步：从DockerHub拉取rabbitmq镜像docker pull rabbitmq:management第二部：运行RabbitMQ容器docker run -d --hostname my-rabbit --name rabbit -p 15
2020-11-03 09:39:30
1147
原创 ETL主题仓库之datax日志分析
这篇是对于datax的日志进行分析方便我们管理直接上代码#!/usr/bin/python# -*- coding: UTF-8 -*-# 0 5 * * * source /etc/profile && /usr/bin/python2.7 /opt/datax/job/save_log_to_db.py > /dev/null 2>&1import reimport osimport pandas as pdimport datetime as dt
2020-09-14 08:51:09
1372
原创 python3钉钉机器人主动推送版
我们要进去群里设置然后获取Webhookimport requestsimport jsondef dinding(mag): HEADERS = {"Content-Type": "application/json;charset=utf-8"} key = "access_token" url = "xx/send?access_token=%s" % key data_info = { 'msgtype' : 'text', '
2020-08-28 15:46:27
271
原创 python3 获取天气预报api接口
直接上代码，一个接口# http://flash.weather.com.cn/wmaps/xml/beijing.xml# http://flash.weather.com.cn/wmaps/xml/china.xml我就直接上代码#coding=utf-8# http://flash.weather.com.cn/wmaps/xml/beijing.xml# http://flash.weather.com.cn/wmaps/xml/china.xmlfrom urllib impor
2020-08-28 14:04:48
495
原创 python3获取服务器运行状态及进程详细信息
有了这些信息我们就可以对linux服务器做监控了，也可以对所有的项目进行状态监控了linux 服务器状态import psutil # 进程运行情况import platform # 包含系统信息查询函数import osimport logging## # 硬件信息svmem = psutil.virtual_memory()mem_total = svmem.total # 系统内存总数mem_used = svmem.used # 内存已使用mem_free = svme
2020-08-20 17:23:31
2833
原创 docker 部署 mongodb
拉取镜像docker pull mongo查看镜像docker images运行一个容器docker run --name mongodb -v ~/docker/mongo:/data/db -p 27017:27017 -d mongo然后我们进入容器docker exec -it mongodb bash看看是不是可以进去mongo远程连接开启在MongoDB容器中操作：#更新源apt-get update# 安装 vimapt-get install vim
2020-07-31 17:19:42
153
原创 docker 部署python项目flask + gunicorn + gevent (完整版)
环境：centos，docker我们创建项目文件夹，在创建manage.py可以正常启动就可以了，manage.pyfrom flask import Flaskimport timefrom flask import render_templateapp = Flask(__name__)@app.route('/')def index(): return render_template('index1.html')if __name__ == '__main__':
2020-07-31 16:25:13
904
3
原创 CentOS下安装MongoDB
我们用wget安装：wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-4.0.1.tgz解压tar -zxvf mongodb-linux-x86_64-4.0.1.tgz重命名mv mongodb-linux-x86_64-4.0.1 mongodb创建文件:db用来存放数据库、logs用来存放日志cd mongodbmkdir db logs添加配置文件cd binvi mongodb.conf内容如下
2020-07-28 17:36:22
109
原创 supervisor 管理 python3 + flask + gunicorn
我们先安装一下supervisor对python3支持不好，须使用python2切记这里不要把他装到python3 的环境中，要不然后续会有很多问题sudo pip install supervisor配置运行echo_supervisord_conf命令输出默认的配置项，可以如下操作将默认配置保存到文件中echo_supervisord_conf > supervisord.confvim 打开编辑supervisord.conf文件，修改[include]files = re
2020-07-28 10:44:42
320
原创 flask+gunicorn+nginx部署
cetnos 7yum install nginxsystemctl status nginx #查看状态systemctl stop nginx #停止systemctl start nginx #启动查看一下端口ps -ef | grep nginxlsof -i:80我们可以访问自己的网址,可以看到欢迎centos 或者 欢迎nginx ，说明成功配置一下我们的nginx配置目录在 /etc/nginxvi /etc/nginx/nginx.conf
2020-07-27 16:06:22
397
原创 ssh连接docker中的centos
我们进入容器中安装sshyum -y install openssh-server启动ssh服务systemctl start sshd修改 /etc/ssh/sshd_config 配置信息去掉如下注释Port 22ListenAddress 0.0.0.0ListenAddress ::permitrootlogin yesUsePAM yes 改为 UsePAM noGSSAPICleanupCredentials no改为GSSAPICleanupCredent
2020-07-23 16:26:33
798
原创 解决Linux新建虚拟环境virtualenvwrapper报错问题
报错信息：which: no virtualenv in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin)ERROR: virtualenvwrapper could not find virtualenv in your pathcd /usr/bin/ls -al | grep virtualenvcd /usr/local/python3/bin/ln virtualenv /usr/bin/virtualenv
2020-07-23 14:47:45
1387
原创 python定时任务apscheduler安装及使用
我们直接安装pip install apscheduler但是有的可能安装不上我们需要换一下 pip install setuptools pip install --ignore-installed apscheduler这样就ok 安装成功了。写一个demofrom datetime import datetimefrom datetime import datefrom apscheduler.schedulers.blocking import BlockingSchedul
2020-07-16 09:32:31
2666
原创 python3操作hdfs
我们要先安装一下pip install hdfsfrom hdfs.client import Clientclient = Client("http://xxx:50070/",root="/")lists = client.list(hdfs_path="/",status=True)print("hdfs中的目录为:", lists)print(client.status(hdfs_path="/py_test_demo",strict=True))print("根目录下的文件数量为:
2020-07-03 15:31:57
1217
原创 在log日志中查找出访问最多的ip
我们编写shell脚本，或者直接执行命令也可以log文件内容{"client_ip":"111.182.100.112","latency_time":"1.249429ms","level":"info","me thod":"GET","msg":"","path":"/gateway? pid=7431dg46a67k38d6ek6d\u0026t=1592195120523","status_code":200,"time":"2020 -06-15 12:25:20"} {"client_i
2020-06-29 08:38:32
964
原创 python时间戳转换年，月，日，季度，周
数据结构def q_year_day(): week_day_dict = { 0: '星期一', 1: '星期二', 2: '星期三', 3: '星期四', 4: '星期五', 5: '星期六', 6: '星期天', } for x in range(0,366): time_item = {} star_time = int(ti
2020-06-18 12:08:33
2720
原创 查看并杀死sqlserver死锁
可以查看他的sidWITH CTE_SID ( BSID, SID, sql_handle )AS ( SELECT blocking_session_id ,session_id ,sql_handleFROM sys.dm_exec_requestsWHERE blocking_session_id <> 0UNION ALLSELECT A.blocking_session_id ,A.session_id ,A.sql_handleFROM sys.dm_exec_
2020-06-02 14:11:32
305
原创 asyncio执行多个request请求
我们先写一个flask小程序demo.pyfrom flask import Flaskimport timeapp = Flask(__name__)@app.route('/')def index(): time.sleep(3) return 'Hello!'@app.route('/tests')def tests(): time.sleep(3) return 'Hello tests!'if __name__ == '__main__'
2020-05-28 16:57:54
764
原创 datax中使用时间增量回滚同步
发现datax中对增量同步做的不够完善，有写数据库没有update操作。以sqlserver为例。时间戳增量同步：假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每次更新的时间戳，在下一个同步周期时，通过这个时间戳同步该时间戳以后的增量数据。这是时间戳增量同步。时间增量回滚同步：但是时间戳增量同步不能对源数据库中历史数据的删除操作进行同步，我们可以通过在每次同步时，把时间戳往前回滚一段时间，从而同步一定时间段内的删除操作。这就是时间戳增量回
2020-05-27 14:48:16
1661
原创 datax中sqlserver 数据同步到sqlserver
网上的好多例子都是失败的，最后看的官方文档成功了。json文件{ "job": { "setting": { "speed": { "channel": 5 } }, "content": [ { "reader": { "name": "sqlserverreader",
2020-05-22 15:49:19
2148
nginx_flask_cluster.zip
2020-12-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人