- 博客(32)
- 收藏
- 关注
RSS订阅原创 pykafa Producer get_producer 5秒发送一次消息，__consumer_offsets生成大量日志问题
python 通过 pykafka 发送数据和消费数据，遇到两个问题，与大家分享下。问题11. 通过pykafa 发送数据时候，每隔5s才发送一次，几百万数据，效率大大影响。生产者只有get_producer 方法，当前参数 ack_timeout_ms=1000, linger_ms=5000只有两个。查询官网 https://pykafka.readthedocs.io/en/...
2019-09-30 15:49:57
970
1
原创 Python Unitest 自动化测试框架（V2.0）生成测试报告 发送邮件 excel用例数据驱动 接口自动化 Selenium 页面自动化 测试结果记录数据库
自动化测试框架说明框架结构当前自动化测试框架结构如下图所示：自动化测试项目结构目录与文件作用如下：AutoTest：自动化测试项目 Lib：测试项目相关的公用代码 Projects：按项目存放测试程序及所需数据、产生的报告等文件 Projects目录： BaseTest：自动化测试的公共模块，如：登录、用户管理等。 IDC：用于存...
2018-12-07 18:37:42
2169
原创 Hyperledger Composer REST server 浏览器访问区块链二 （整理版）
登录浏览器http://ip:3000/explorer/访问区块链网络入口界面包括四部分：Trader : A participant named TraderCommodity : An asset named CommodityTrade : A transaction named TradeSystem : General business network methodsTrader 是这...
2018-06-12 20:48:55
920
翻译 区块链 Hyperledger Composer 管理部署现有网络（五）
1. 参与者和身份概念A Participant是商业网络中的演员。参与者可能是个人的组织。参与者可以创建资产，并与其他参与者交换资产。参与者通过提交交易来处理资产。参与者拥有一组Identity可以验证的文件来证明参与者的身份。例如，一个人可能有一个或多个以下身份证明文件证明他们是谁：护照驾驶执照指纹视网膜扫描SSL证书在Hyperledger Composer中，参与者与可用于与业务网络进行交...
2018-06-12 13:55:51
888
原创 区块链Hyperledger Composer 环境安装 一（整理版）
Hyperledger Composer 环境安装1. 安装基本软件包**如果使用Linux安装Hyperledger Composer，请注意以下建议：以普通用户身份登录，而不是root用户。否则后续有很多问题不要su根。安装先决条件时，使用curl，然后使用sudo进行解压缩。以普通用户身份运行prereqs-ubuntu.sh。它可能会提示输入root密码，因为它的某些操作需要以root身份...
2018-06-12 13:48:40
2577
1
翻译 Hyperledger Composer REST API 集成现有系统（四）
1.生成REST API安装REST服务器Hyperledger Composer REST服务器可以使用npm或Docker进行安装。要使用npm进行安装，请运行以下命令：Copy复制npm install -g composer-rest-server要使用Docker安装REST服务器，请参阅部署REST服务器。运行REST服务器Hyperledger Composer包含独立的Node....
2018-06-12 13:13:05
2311
翻译 区块链Hyperledger Composer 开发应用程序（三）
1. 编写Node.js应用程序应用程序开发人员使用composer-clientnpm模块以编程方式连接到已部署的业务网络，创建，读取，更新和删除资产和参与者并提交事务。如果应用程序需要能够部署或管理业务网络，则composer-admin可以使用npm模块。样本landregistry.js文件包含代表土地登记处的类别，并包含列出土地标题，添加默认标题和提交交易的方法。这已使用JavaScri...
2018-06-12 11:26:46
1176
翻译 区块链 Hyperledger composer 发布商业环境（二）
1. 业务网络定义业务网络定义是Hyperledger Composer编程模型的一个关键概念。它们由模块中BusinessNetworkDefinition定义的类表示，composer-common并由两者composer-admin和composer-client。业务网络定义由以下部分组成：一组模型文件一组JavaScript文件一个访问控制文件模型文件定义了业务网络的业务领域，而Java...
2018-06-12 11:22:48
1068
1
翻译 区块链 Hyperledger Composer 使用教程(环境搭建、项目开发 一)
Hyperledger Composer使用教程介绍1. 欢迎来到Hyperledger作曲家Hyperledger Composer是一个广泛的，开放的开发工具集和框架，可以使开发区块链应用程序变得更容易。我们的主要目标是加快实现价值的时间，并使您更容易将区块链应用程序与现有业务系统集成。您可以使用Composer快速开发用例，并在几周内部署区块链解决方案，而不是几个月。Composer允许您为...
2018-06-10 12:01:13
13993
2
原创 python 急速导入mysql 3000万数据，LOAD DATA INFILE
python 导入3000万条数据到mysql，尝试了很多种方法，发现LOAD DATA INFILE 导入的效率是最高，不到1分钟就导入完毕，效率实在是高，LOAD DATA INFILE 具体说明大家可以看其它文档。贴上代码和遇到的坑描述下。功能：按天创建新表，如果不存在则创建。创建完毕按天文件导入hash数据到表中。遇到问题1：python 通过load data 导入mysql 数...
2018-06-04 21:13:03
4824
1
原创 ubuntu16.4 caffe opencv3.4 CPU python版本安装
caffe 版本有GPU 、CPU版本，本文为虚拟机上面搭建的CPU版本，采用ubuntu16.4系统，opencv3.4版本。CPU版本不需要cuda 等。安装模块如下：1. 依赖lib安装2.opencv3.4安装3.安装caffe4.pycaffe安装5.验证安装步骤如下：1. 各种依赖包安装感觉不止这多，包括opencv 、lmdb等su
2017-12-27 16:34:19
2829
1
原创 Nginx Tomcat 之间时延过长性能问题
现象：生产环境中，提供给第三方服务的时延每隔2分钟总有时延大于200ms，影响了用户体验。前期排查以为是系统内部问题，nginx +tomcat +redis。发现业务模块之间ok。排查nginx 机器 发现查看nginx进程ps -ef|grep nginx 180个WAIT_TIMEtcpdump 抓包TCP重连耗时近1分钟，底层连接出问题了。nginx 和tomcat之间的握手不停重连。 ...
2017-12-14 13:02:27
5858
原创 简单好用 性能测试之 ab测试
ab测试简单易用。只需要一条命令即可完成性能测试要求，使用简单，结果清晰。特别适合快速需要相关性能指标的情况。一般关注tps和时延。再结合其他资源监控工具，比如nmon监控当前系统资源。ab -c 1000 -n 500000 "http://192.168.142.75:10000/xs_api/video/search?fetchNum=5&ip=192.168.142.145&a...
2017-12-14 09:49:51
1590
原创 python 性能提升之 并行map 线程池过亿数据量
前段时间进行单一目录下10万张图片发送，效果很差，数据积压原来越多。性能问题提上议程。采用多线程 多进程 感觉比较繁琐，网上有介绍 map的并行处理的，使用后性能提高明细。网上介绍map如下介绍：MapMap是一个很棒的小功能，同时它也是Python并行代码快速运行的关键。给不熟悉的人讲解一下吧，map是从函数语言Lisp来的。map函数能够按序映射出另一个函数。例如...
2017-11-06 20:25:59
11105
原创 nginx添加lua 业务不中断平滑升级
架构：当前系统架构采用nginx +keepalive 架构，为了不影响业务中断，采用平滑升级策略。方案1：nginx 编译完毕后，keepalive 主备切换完成升级。方案2：nginx 编译完成后，make upgrade 升级。验证工具 nginx ab 工具。升级步骤：1. 备份 2.编译 3.替换 4. 升级5.验证方案1 ，2 前3步骤都一样，主要在第4
2017-11-02 18:00:34
728
原创 python linecache 处理固定格式文本数据
小程序大功能对一批报文要处理要处理里面的得分，发现python linecache ，特记录如下。#!/usr/bin/env python# -*- coding: utf-8 -*-''''提取result结果分值'''import linecacheimport osimport os.pathrootdir = r"./815old/"for pare
2017-11-01 19:13:06
692
原创 cv2 python 图片的批量处理
最近要生成大批量图片来进行样本准备，处理图片除了用ffmpeg外，cv2也是个不错的工具。通过cv2 生成大量图片。炸弹，单个目录生成了40G的图片，所有图片放入一个输出目录存在读取问题，最终格式化了磁盘。# encoding:utf-8import osimport cv2 as cvimport imghdrimport timeimport os#扫描输出图片列
2017-11-01 19:02:09
5914
原创 python性能测试之 gevent 效果不错
python性能测试之 gevent 效果不错最近要对格式URL比如ftp 、http、https 等进行处理，并且进行性能测试，发现gevent效果不错。包括根据文本处理数据和发送消息测试数据1.txtftp://dy:[email protected]:10120/[迅雷下载www.2tu.cc]恋爱前规则.HD1024高清国语中字.rmvb,noname,11
2017-11-01 18:32:05
1602
原创 locust python 性能测试，简单好用
python 编写的 locust性能测试，简单好用。自带图形界面#!/usr/bin/env python# -*- coding: utf-8 -*-from locust import *import jsonimport subprocessclass OpenAPI_penformance(TaskSet): #测试环境 app_key =
2017-11-01 16:22:29
1513
原创 python unittest自动化测试，生成测试报告，自动发邮件
项目进行自动化测试，采用python 的unittest架构进行。架构代码如下：lib dataconfigReport.pytlib 为封装好的公共lib库，比如发送邮件、测试报告模板、访问数据库、hbase等cofig为生成的公共配置data 为测试数据集Report 为生产报告结果目录all_test.py 为执行用例入库Test*.py为
2017-11-01 13:18:11
15036
1
原创 python 调用系统ffmpeg进行视频截图，并进行图片http发送
python 调用系统ffmpeg进行视频截图，并进行图片http发送ffmpeg 是个好东西。视频、图片的各种处理。最近在做视频、图片的 色情、版权、暴*恐的深度学习识别，用到了ffmpeg部分功能，功能如下：调用ffmpeg 对不同目录视频进行截图，通过http发送到后台进行算法识别。每5分钟扫描最近的视频，生成图片，发送完毕图片删除。代码如下：#!/usr/bin/e
2017-11-01 11:14:26
5471
原创 spark平台 mllib K-Means聚类算法 实现
spark平台 mllib K-Means聚类算法 python版本 实现 K-Means 聚类算法可以认为是机器学习比较简单算法，无监督学习。把自然界的各类人、物属性向量化，来划分k类。迭代来求k类的中心点。直接上spark自带源码，spark源码自带kmeans_data.txt 0.0 0.0 0.00.1 0.1 0.10.2 0.2 0.29
2017-04-19 20:59:06
1076
原创 python kafka producer consumer redis数据从kafka发送写人redis
本例子介绍 python kafka producer发送数据consumer 接收，并且写入redis简单步骤kafka-python-producer.pyproducer 来发送数据，更新时间戳，ID自增长。5秒发送一次#!/usr/bin/python# -*- coding:utf-8 -*-#kafka-python-producerfrom
2017-04-14 18:18:20
1782
原创 python http post json 加密发送
post 采用http协议发送加密的json报文根据密钥进行md5和base64 加密 发送。简单实现如下#!/usr/bin/env python#coding=utf-8#post-http-json md5-base64import jsonimport hashlibimport base64import httplibtimeQuotaJsonList=[{"date":"...
2017-04-13 13:43:21
4613
转载 统计基本知识-1
网易大课堂有相关统计学的系统课程。大家可以学习。转载http://blog.sina.com.cn/s/blog_62ded7bf0101aqba.html 图片可能无法显示，请查看原文。均值-中位数-众数-极差-中程数-方差-标准差-变异系数极差 ->方差->标准差->变异系数本文大纲：1. 数据挖掘分析&算法前奏之data exploration做什么
2016-12-17 12:31:22
1314
转载 python 数据挖掘
转载http://python.jobbole.com/83563/未经作者同意转载，暂存，过几天删除。大家可以移步伯乐在线查看，里面的python数据挖掘相关写的很好。第一节介绍数据挖掘是一个隐式提取以前未知的潜在有用的数据信息提取方式。它使用广泛，并且是众多应用的技术基础。本文介绍那些使用Python数据挖掘实践用于发现和描述结构模式数据的工具。近些
2016-12-16 18:37:06
894
转载 Python数据分析
最近，Analysis with Programming加入了Planet Python。作为该网站的首批特约博客，我这里来分享一下如何通过Python来开始数据分析。具体内容如下：数据导入导入本地的或者web端的CSV文件；数据变换；数据统计描述；假设检验单样本t检验；可视化；创建自定义函数。数据导入这是很关键的一步，为了后续的分析我们首先需要导入数据。通
2016-12-12 17:34:37
375
转载 python数据分析入门学习笔记儿
python 数据分析学习流程前言：各种和数据分析相关python库的介绍（前言1~4摘抄自《利用python进行数据分析》）1.Numpy： Numpy是python科学计算的基础包，它提供以下功能（不限于此）： (1)快速高效的多维数组对象naarray (2)用于对数组执行元素级计算以及直接对数组执行数学运算的函数 (3)用于读写硬盘上基于数组的数据集的...
2016-12-09 18:01:16
1117
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人