- 博客(95)
- 收藏
- 关注
RSS订阅原创 python logging进程不安全问题处理
python logging TimedRotatingFileHandler 进程不安全 多进程
2022-02-09 10:58:41
814
原创 docker_practice
CentOS 安装 Docker CE 卸载旧版本: 旧版本的 Docker 称为 docker 或者 docker-engine ，使用以下命令卸载旧版本 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-co...
2019-07-01 13:09:41
306
原创 salt
介绍 SaltStack是为我们批量管理千万台机器的基础工具，拓展起来也十分方便。SaltStack可以进行动态的编辑，配置管理，远程执行命令等等。 Saltstack包括master和minion，master是控制端，minion是被管理节点。安装 yum install salt-master 配置文件: /etc/salt/master 配置文件...
2019-06-27 15:31:35
477
原创 zipline TA-Lib 安装
conda create -n py36 python=3.6source anaconda3/bin/activate py36安装ziplineconda install -c Quantopian zipline安装TA_Libhttps://github.com/mrjbq7/ta-libhttp://prdownloads.sourceforge.net/ta-lib/...
2019-02-24 09:41:10
420
原创 格式化print示例
def print_format_result(result): class DatetimeNpPdEncoder(json.JSONEncoder): def default(self, obj): if isinstance(obj, datetime.datetime): return "datetime.d...
2019-02-14 13:30:01
200
原创 安装aconda并开启jupyter服务
Install 安装完成后添加环境变量 D:\Anaconda3\Scripts D:\Anaconda3 验证安装完成 conda --version # 出现conda版本 python # 可以进入到python环境 安装完成后无法导入numpy(有可能是没有进入base环境) st...
2019-02-13 17:49:22
3529
原创 线程池示例
from concurrent.futures import ThreadPoolExecutor, wait, ALL_COMPLETEDimport requestsclass ConRun: def __init__(self, args_list, success_handle_func=lambda result_args, result: None, failed_ha...
2019-01-02 13:59:34
176
原创 导出oracle存储过程
import cx_oracleuser = "my_user"password = "password"ip = "1.1.1.1"sid = "bloom"db_dsn = cx_oracle.makedsn(ip, '1521', sid=sid)def start(): db_conn, cursor = None, None
2019-01-02 13:44:45
2208
原创 使用docker安装elk数据分析
docker: sudo yum install -y yum-utils device-mapper-persistent-data lvm2 sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo sudo yum install docker-...
2018-10-24 10:02:00
251
原创 sqlalchemy执行sql
from sqlalchemy import create_engineengine = create_engine("mysql://root:@localhost:3306/webpy?charset=utf8",encoding="utf-8", echo=False)conn = engine.connect()conn.execute("SELECT * FROM user")
2018-09-06 17:35:18
1802
原创 sql 技巧
update时连表https://stackoverflow.com/questions/1293330/how-can-i-do-an-update-statement-with-join-in-sqlANSI/ISO:update ud set assid = ( select sale.assid from sale ...
2018-08-20 14:14:06
323
原创 mysql_入门使用
登录mysql -u mysql -p 或者 mysql -u mysql -p bank # bank是要用的库执行sql脚本source /home/mysql/LearningSQLExample.sql;查看当前时间select now(); 或 select now() from dual; # 为了与oracle兼容常用数据类型...
2018-08-09 08:31:31
260
原创 docker简单使用
docker安装sudo yum install -y yum-utils device-mapper-persistent-data lvm2sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.reposudo yum install docker-ce...
2018-08-03 09:07:02
232
转载 centos7 设置服务开机启动
centos 7以上是用Systemd进行系统初始化的，Systemd 是 Linux 系统中最新的初始化系统（init），它主要的设计目标是克服 sysvinit 固有的缺点，提高系统的启动速度。Systemd服务文件以.service结尾，比如现在要建立nginx为开机启动，如果用yum install命令安装的，yum命令会自动创建nginx.service文件，直接用命令syste...
2018-07-06 14:42:09
2390
原创 轻量级任务调度 schedule
https://github.com/dbader/scheduleimport datetimeimport scheduleimport threadingimport timedef job1(): print("I'm working for job1") time.sleep(2) print("job1:", datetime.datetime....
2018-07-02 15:26:19
693
原创 nginx 简单使用
编译安装./configure --prefix=/usr/local/nginxmakesudo make install默认情况下，Nginx 会被安装在 /usr/local/nginx。通过设定编译选项，你可以改变这个设定查看安装后的程序版本: /usr/local/nginx/sbin/nginx -v常用命令nginx -s stop 快速关闭Ngi...
2018-06-23 20:15:30
372
原创 线程
启动一个子线程# 任何进程默认就会启动一个线程，我们把该线程称为主线程，主线程又可以启动新的线程，# Python的threading模块有个current_thread()函数，它永远返回当前线程的实例。主线程实例的名字叫MainThread，子线程的名字在创建时指定，我们用LoopThread命名子线程。# 名字仅仅在打印时用来显示，完全没有其他意义，如果不起名字Python就自动...
2018-06-07 13:52:29
163
原创 python操作进程
启动一个子进程并等待其结束from multiprocessing import Processimport os# 子进程要执行的代码def run_proc(name): print('Run child process %s (%s)...' % (name, os.getpid()))if __name__ == '__main__': print(...
2018-06-07 11:15:35
391
原创 mapreduce_demo
准备 配置客户端hosts 关闭防火墙 常用apiimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import java.io.IOException;import ...
2018-05-23 21:06:48
255
原创 hadoop_api_demo
准备 配置客户端hosts 关闭防火墙 常用apiimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import java.io.IOException;import ...
2018-05-23 21:06:17
189
原创 hadoop install
配置机器环境, 可参照 vmware虚拟机安装 及 scp配置 https://blog.csdn.net/flydedog/article/details/79851969 https://blog.csdn.net/flydedog/article/details/78533048解压安装包 tar -zxf software/hadoop-2.6.5.tar.gz -C ~/app...
2018-05-23 21:05:42
346
原创 spark install
视频 https://ke.qq.com/course/238513centos7: hadoop用户加sudo权限 http://blog.csdn.net/flydedog/article/details/78878630 配置hostname http://blog.csdn.net/flyDeDog/article/details/78883547 安
2018-05-23 21:03:36
364
原创 airflow
关闭防火墙 systemctl stop firewalld.service（systemctl disable firewalld.service）/usr/local/python3.6.5/bin/virtualenv --python=/usr/local/python3.6.5/bin/python3.6 --no-site-packages stock_data_getpip i...
2018-05-23 21:00:42
805
原创 flask结构示例
结构project main.py util_base/db_util one_moudle/views.pyutil_base/db_utilimport cx_Oracledef get_db_pool(): try: db_pool = cx_Oracle.SessionPool(username, password, dsn=cx_Oracl
2018-04-20 16:17:45
328
原创 logging
import loggingfrom logging import handlershandler = handlers.RotatingFileHandler('./flask2.log', encoding='UTF-8', maxBytes=124, backupCount=0)logging_format = logging.Formatter( '%(asctime)s - %
2018-04-18 15:05:03
230
原创 centos7 挂载ntfs格式u盘
切换到系统yum目录并下载阿里的epel[root@localhost ~]# cd /etc/yum.repos.d/ [root@localhost yum.repos.d]# wget http://mirrors.aliyun.com/repo/epel-7.repo安装：[root@localhost yum.repos.d]# yum -y install ntfs-3g挂载U
2018-04-15 11:00:36
795
原创 安装CENTOS 7,出现no controller found
1.只需要耐心等待，等一会之后会不断的滚动错误警告，这个时候继续等待，那么一会就会出来命令行输入界面，这个时候输入以下命令：ls /dev/sd*, 输入命令之后会列出所有的存储设备，这个时候一般情况下第一块硬盘是sda，如果有多个分区，那么依次就是sda1、sda2等等2.接下来输入命令reboot重启计算机，在安装界面，先不要选择安装，这个时候按一下e键，会进入编辑界面，移动光标进行如下修
2018-04-15 09:57:32
34335
原创 vmware虚拟机安装
IP地址 vi /etc/sysconfig/network-script/ifcfg-eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static NAME=ens33 DEVICE=ens33 IPADDR=19
2018-04-08 14:52:26
345
原创 进程重启脚本示例
from subprocess import call, check_outputprocesses = check_output("ps -ef|grep python", shell=True)processes = processes.decode().split("\n")python_process_id = Nonefor process in processes: if
2018-03-30 16:27:56
496
原创 pytest
测试框架pytest, 文档方面感觉比nose好很多pip install pytest==3.4.2pip install pytest-html==1.16.1import os.pathimport pytestdef getssh(): # pseudo application code return os.path.join(os.path.expanduser("~ad
2018-03-15 13:56:02
2116
原创 requests
发送rpc请求parameters = {"jsonrpc": "2.0","method": "get_test_result","params": {},"id": "1"}result = requests.post("http://localhost:5000/api", json=parameters).json()
2018-03-15 13:39:54
250
转载 hadoop-集群管理——内存设置
hadoop-集群管理——内存设置1.内存hadoop为各个守护进程（namenode,secondarynamenode,jobtracker,datanode,tasktracker）统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。大部分情况下，这个统一设置的值可能并不适合。例如对于namenode节点，1000M的内存只能存储几百万个文
2018-02-26 17:05:53
2026
转载 curl模拟http发送get或post接口测试
一、get请求 curl "http://www.baidu.com" 如果这里的URL指向的是一个文件或者一幅图都可以直接下载到本地curl -i "http://www.baidu.com" 显示全部信息curl -l "http://www.baidu.com" 只显示头部信息curl -v "http://www.baidu.com" 显示get请求全过程解析...
2018-02-26 15:30:08
597
原创 Sphinx--python模块自动生成文档
安装pip install sphinx假设现在我们有一个叫run.py的文件，如下# run.pydef run(name): """ this is how we run :param name name of people who runs """ print name, 'is running'创建一个文件夹demo/，并将
2018-02-02 17:21:25
641
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人