• 等级
  • 356412 访问
  • 222 原创
  • 92 转发
  • 7883 排名
  • 30 评论
  • 44 获赞

对于为一个key,对应多个value, 取最新时间的value, 采用{key:[]}结构进行存储, 通过key获取value,采用对value列表升序排列,然后取第一个值

"""对于为一个key,对应多个value,取最新时间的value,采用{key:[]}结构进行存储,通过key获取value,采用对value列表升序排列,然后取第一个值"""test_data={"1":["mac|2019-03-2910:13:20","mac|2019-03-2912:13:20","mac|2019-03-2909:13:20"]...

2019-04-02 14:29:45

去掉组合的多余列数据

temp_field=stb_info.split("|")stb_value="|".join(temp_field[1:])#去掉多余的MAC列

2019-04-01 19:18:13

python 自动识别 文件编码格式,并将原文件编码格式转化为utf-8格式

"""自动识别文本编码格式"""importchardetdefdetectCode(path):withopen(path,'rb')asfile:data=file.read(20000)dicts=chardet.detect(data)returndicts["encoding"]defp...

2019-03-21 15:22:02

python 操作多线程和多进程

"""python标准模块,提供ProcessPoolExecutor进程异步调用ThreadPoolExecutor线程异步调用"""fromconcurrent.futures.processimportProcessPoolExecutorfromconcurrent.futures.threadimportThreadPoolExecutorimportt...

2019-03-20 22:15:49

快速取出ES索引中该索引所有字段名称

#快速取出ES索引中该索引所有字段名称#1、通过命令GET索引名称/_mapping获取该索引所有字段信息#2、取出"properties"中所有字段,如test_dict中#3、通过test_dict.keys()获取所有字段值#4、转化为list,list(test_dict.keys()),输出结果可以直接用于获取数据的所有字段test_dict={...

2019-03-20 14:33:24

python 通过stomp操作ActiveMQ

windows下,在cmd命令下执行pipinstallstomp.py安装stomp#-*-coding:utf-8-*-importstompimporttimetopic_name='test_topic'listener_name='SampleListene'mq_ip="1.0.0.1"mq_port=61613classSa...

2019-03-19 16:58:01

python 对存在认证(用户名和密码)的kafka数据进行消费

fromkafkaimportKafkaConsumerfromdatetimeimportdatetime,timedeltafromconfluent_kafkaimportConsumerimporttimetopic_name='apk_with_receivetime'f_w=open("/data/test/data_dir/consume...

2019-03-18 10:23:44

win 10 连接远程桌面出现 身份验证错误,要求的函数不正确的解决办法

win10教育版和家庭版的解决方案:1、使用windows+R命令打开运行,之后输入regedit打开注册表依次打开路径 计算机\HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\Policies\System\CredSSP\Parameters 注意:如果\CredSSP...

2019-03-18 10:07:46

python 往mysql中批量插入数据

1、可以批量插入[(value1,value2),(value3,value4)]列表中是元组类型2、可以批量插入[[value1,value2],[value3,value4]]列表中是列表类型fields=['a','b']sql="insertintotest2({fields})values({mark})".format(fields='...

2019-03-15 18:14:23

python 实现当大于本周五取本周五的日期,小于本周五取上周五的日期

importcalendarfromdatetimeimportdatetime,timedeltawhileTrue:today=input("输入今天日期(月日)")today_date=datetime.strptime(today,"%Y%m%d")iftoday_date.week...

2019-03-15 17:23:51

python 对值打包和解包

reslt={}reslt['1']=[1,2]reslt['2']=[2,3]pickle.dump(reslt,open('test.rst','wb'))result=pickle.load(open("test.rst","rb"))print(result)

2019-03-15 17:06:18

ES 查询一个字段的值小于另一个字段的值

查询语句:"query":{"bool":{"must":[{"script":{"script":{"inline":"doc['fieldA'].v...

2019-03-15 15:07:35

linux 下sftp 登录ftp服务器并下载文件

1、使用sftp命令登录到ftp服务器sftp-oport=端口用户名@ftp服务器之后出现输入ftp密码,2、使用get命令从ftp服务器上将文件下载到本地getftp服务器上文件本地路径...

2019-03-13 20:00:21

mysql 批量查询

sql="SELECTarea_id,area_nameFROM`t_area_info`WHEREarea_idIN({mark})".format(mark=','.join(["%s"]*1000))withconn.cursor()ascursor:new_sql=sql%tuple(value_list)#需要将v...

2019-03-09 15:00:29

airlfow 三种操作mysql 获取数据方式

#!/usr/bin/envpython#-*-coding:utf-8-*-"""airflow操作mysql数据库获取数据的三种方式"""fromairflow.hooks.mysql_hookimportMySqlHookfromairflow.hooks.dbapi_hookimportDbApiHookdefget_DaApi_data()...

2019-03-06 15:31:22

python 使用队列和多线程实例

fromthreadingimportThreadfromqueueimportQueuequeues=Queue()defpro_que():"""产生队列:return:"""foriinrange(10):queues.put(i)queues.put(None)def...

2019-02-18 16:13:17

elasticsearch 创建索引别名

根据需求,有时需要对索引创建别名,便于对多天或者多个索引的数据进行查询。操作:1、kibana中创建别名POST/_aliases{"actions":[{"add":{"index":"test-20190120","alias":"test-2019"}}]}...

2019-01-25 16:37:14

Elasticsearch 在kibana中对索引名称进行重命名

问题:在实际的工作中,遇到已经将数据写入es,但是后边需要对这个索引进行重命名。如test-20190122、test-20190121需要重命名为test-2019。对于数据量比较少时,创建多个索引,需要创建多个分片,造成存储资源的浪费,需要将多个索引的数据合并到一个索引中。操作步骤:1、在kibana中执行以下命令:POST_reindex{"source":...

2019-01-25 16:18:33

ByteBuffer、byte[]、String相互转化

@OverridepublicStringdecodeKey(ByteBufferbytes){Charsetcharset=Charset.forName("utf-8");returncharset.decode(bytes).toString();}@Overridepublicbyte[]decodeValue(ByteBufferby...

2019-01-17 11:17:09

python 获取文件行数

方法一:"对于文件内容比较多,采用enumerate获取文件行数"count=0forindex,lineinenumerate(f):count+=1print(count)方法二:"对于文件内容比较少,采用该方法获取文件行数"withopen("data/aggregation.txt",'r')asf:print(len(f.re...

2019-01-05 13:22:26

sxf_0123

关注
  • 中国