4 meiguopai1

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 8w+

pykafa Producer get_producer 5秒发送一次消息,__consumer_offsets生成大量日志问题

python 通过 pykafka 发送数据和消费数据,遇到两个问题,与大家分享下。问题11. 通过pykafa 发送数据时候,每隔5s才发送一次,几百万数据,效率大大影响。生产者只有get_producer 方法,当前参数 ack_timeout_ms=1000, linger_ms=5000只有两个。查询官网 https://pykafka.readthedocs.io/en/...

2019-09-30 15:12:22

Python Unitest 自动化测试框架(V2.0)生成测试报告 发送邮件 excel用例数据驱动 接口自动化 Selenium 页面自动化 测试结果记录数据库

自动化测试框架说明框架结构当前自动化测试框架结构如下图所示:自动化测试项目结构目录与文件作用如下:AutoTest:自动化测试项目 Lib:测试项目相关的公用代码 Projects:按项目存放测试程序及所需数据、产生的报告等文件 Projects目录: BaseTest:自动化测试的公共模块,如:登录、用户管理等。 IDC:用于存...

2018-12-07 18:37:42

Hyperledger Composer REST server 浏览器访问区块链二 (整理版)

登录浏览器http://ip:3000/explorer/访问区块链网络入口界面包括四部分:Trader : A participant named TraderCommodity : An asset named CommodityTrade : A transaction named TradeSystem : General business network methodsTrader 是这...

2018-06-12 20:48:55

区块链 Hyperledger Composer 管理部署现有网络(五)

1. 参与者和身份概念A Participant是商业网络中的演员。参与者可能是个人的组织。参与者可以创建资产,并与其他参与者交换资产。参与者通过提交交易来处理资产。参与者拥有一组Identity可以验证的文件来证明参与者的身份。例如,一个人可能有一个或多个以下身份证明文件证明他们是谁:护照驾驶执照指纹视网膜扫描SSL证书在Hyperledger Composer中,参与者与可用于与业务网络进行交...

2018-06-12 13:55:51

区块链Hyperledger Composer 环境安装 一(整理版)

Hyperledger Composer 环境安装1. 安装基本软件包**如果使用Linux安装Hyperledger Composer,请注意以下建议:以普通用户身份登录,而不是root用户。否则后续有很多问题不要su根。安装先决条件时,使用curl,然后使用sudo进行解压缩。以普通用户身份运行prereqs-ubuntu.sh。它可能会提示输入root密码,因为它的某些操作需要以root身份...

2018-06-12 13:48:40

Hyperledger Composer REST API 集成现有系统(四)

1.生成REST API安装REST服务器Hyperledger Composer REST服务器可以使用npm或Docker进行安装。要使用npm进行安装,请运行以下命令:Copy复制npm install -g composer-rest-server要使用Docker安装REST服务器,请参阅部署REST服务器。运行REST服务器Hyperledger Composer包含独立的Node....

2018-06-12 13:13:05

区块链Hyperledger Composer 开发应用程序(三)

1. 编写Node.js应用程序应用程序开发人员使用composer-clientnpm模块以编程方式连接到已部署的业务网络,创建,读取,更新和删除资产和参与者并提交事务。如果应用程序需要能够部署或管理业务网络,则composer-admin可以使用npm模块。样本landregistry.js文件包含代表土地登记处的类别,并包含列出土地标题,添加默认标题和提交交易的方法。这已使用JavaScri...

2018-06-12 11:26:46

区块链 Hyperledger composer 发布商业环境(二)

1. 业务网络定义业务网络定义是Hyperledger Composer编程模型的一个关键概念。它们由模块中BusinessNetworkDefinition定义的类表示,composer-common并由两者composer-admin和composer-client。业务网络定义由以下部分组成:一组模型文件一组JavaScript文件一个访问控制文件模型文件定义了业务网络的业务领域,而Java...

2018-06-12 11:22:48

区块链 Hyperledger Composer 使用教程(环境搭建、项目开发 一)

Hyperledger Composer使用教程介绍1. 欢迎来到Hyperledger作曲家HyperledgerComposer是一个广泛的,开放的开发工具集和框架,可以使开发区块链应用程序变得更容易。我们的主要目标是加快实现价值的时间,并使您更容易将区块链应用程序与现有业务系统集成。您可以使用Composer快速开发用例,并在几周内部署区块链解决方案,而不是几个月。Composer允许您为...

2018-06-10 12:01:13

python 急速导入mysql 3000万数据,LOAD DATA INFILE

    python 导入3000万条数据到mysql,尝试了很多种方法,发现LOAD DATA INFILE 导入的效率是最高,不到1分钟就导入完毕,效率实在是高,LOAD DATA INFILE 具体说明大家可以看其它文档。贴上代码和遇到的坑描述下。功能:按天创建新表,如果不存在则创建。创建完毕按天文件导入hash数据到表中。遇到问题1:python 通过load data 导入mysql 数...

2018-06-04 21:13:03

ubuntu16.4 caffe opencv3.4 CPU python版本安装

caffe 版本有GPU 、CPU版本,本文为虚拟机上面搭建的CPU版本,采用ubuntu16.4系统,opencv3.4版本。CPU版本不需要cuda 等。安装模块如下:1. 依赖lib安装2.opencv3.4安装3.安装caffe4.pycaffe安装5.验证安装步骤如下:1. 各种依赖包安装感觉不止这多,包括opencv 、lmdb等su

2017-12-27 16:34:19

Nginx Tomcat 之间时延过长性能问题

现象:生产环境中,提供给第三方服务的时延每隔2分钟总有时延大于200ms,影响了用户体验。前期排查以为是系统内部问题,nginx +tomcat +redis。发现业务模块之间ok。排查nginx 机器 发现查看nginx进程ps -ef|grep nginx  180个WAIT_TIMEtcpdump 抓包TCP重连耗时近1分钟,底层连接出问题了。nginx 和tomcat之间的握手不停重连。 ...

2017-12-14 13:02:27

简单好用 性能测试之 ab测试

ab测试简单易用。只需要一条命令即可完成性能测试要求,使用简单,结果清晰。特别适合快速需要相关性能指标的情况。一般关注tps和时延。再结合其他资源监控工具,比如nmon监控当前系统资源。ab -c 1000 -n 500000   "http://192.168.142.75:10000/xs_api/video/search?fetchNum=5&ip=192.168.142.145&a...

2017-12-14 09:49:51

python 性能提升之 并行map 线程池过亿数据量

前段时间进行单一目录下10万张图片发送,效果很差,数据积压原来越多。性能问题提上议程。采用多线程 多进程 感觉比较繁琐,网上有介绍 map的并行处理的,使用后性能提高明细。网上介绍map如下介绍:MapMap是一个很棒的小功能,同时它也是Python并行代码快速运行的关键。给不熟悉的人讲解一下吧,map是从函数语言Lisp来的。map函数能够按序映射出另一个函数。例如...

2017-11-06 20:25:59

nginx添加lua 业务不中断平滑升级

架构:当前系统架构采用nginx +keepalive 架构,为了不影响业务中断,采用平滑升级策略。方案1:nginx 编译完毕后,keepalive 主备切换完成升级。方案2:nginx 编译完成后,make upgrade 升级。验证工具 nginx ab 工具。升级步骤:1. 备份 2.编译 3.替换 4. 升级5.验证方案1 ,2 前3步骤都一样,主要在第4

2017-11-02 18:00:34

python linecache 处理固定格式文本数据

小程序大功能对一批报文要处理要处理里面的得分,发现python linecache  ,特记录如下。#!/usr/bin/env python# -*- coding: utf-8 -*-''''提取result结果分值'''import linecacheimport osimport os.pathrootdir = r"./815old/"for pare

2017-11-01 19:13:06

cv2 python 图片的批量处理

最近要生成大批量图片来进行样本准备,处理图片除了用ffmpeg外,cv2也是个不错的工具。通过cv2 生成大量图片。炸弹,单个目录生成了40G的图片,所有图片放入一个输出目录存在读取问题,最终格式化了磁盘。# encoding:utf-8import osimport cv2 as cvimport imghdrimport timeimport os#扫描输出图片列

2017-11-01 19:02:09

python性能测试之 gevent 效果不错

python性能测试之 gevent 效果不错最近要对格式URL比如ftp 、http、https 等进行处理,并且进行性能测试,发现gevent效果不错。包括根据文本处理数据和发送消息测试数据1.txtftp://dy:dy@xlj.2tu.cc:10120/[迅雷下载www.2tu.cc]恋爱前规则.HD1024高清国语中字.rmvb,noname,11

2017-11-01 18:32:05

locust python 性能测试,简单好用

python 编写的 locust性能测试,简单好用。自带图形界面#!/usr/bin/env python# -*- coding: utf-8 -*-from locust import *import jsonimport subprocessclass OpenAPI_penformance(TaskSet): #测试环境 app_key =

2017-11-01 16:22:29

python unittest自动化测试,生成测试报告,自动发邮件

项目进行自动化测试,采用python 的unittest架构进行。架构代码如下:lib dataconfigReport.pytlib 为封装好的公共lib库,比如发送邮件、测试报告模板、访问数据库、hbase等cofig为生成的公共配置data 为测试数据集Report 为生产报告结果目录all_test.py 为执行用例入库Test*.py为

2017-11-01 13:18:11

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。