11 NoneSec

尚未进行身份认证

聊以记录点滴

等级
TA的排名 1w+

X-Pack的machine learning

如何使用X-Pack的machinelearning最近在使用X-Pack中的机器学习功能,主要的就是利用非监督的时间序列模型,用来检测流量的变化,关于X-Pack这块的文章好像可以参考的比较少,所以我在这篇文章中大致的把X-Pack的机器学习功能做一个简单的介绍。1.X-Pack的安装我们本身是要搭建一个ELK平台,X-Pack只是其中的一部分,ELK平台的搭建网上有

2018-01-31 23:32:34

pyspark的pickle.PicklingError

今天在用pyspark的时候在一个类中调用rdd的map的时候报错,代码如下:rdd=df.filter(size(df.emission)>50).\rdd.map(lambdarow:hmm_learn(row,self._id))rdd.collect()运行的时候报错:pickle.PicklingError:Cannotpicklefiles

2017-08-21 18:08:27

一行代码引发的"血案"

昨天在使用pykafka的时候又遇到了之前我遇到过的PartitionOwnedError、ConsumerStoppedException异常,关于这个异常我之前写过一篇分析的文章(链接在这里),我自认为之前应该是把这个问题彻底解决了的,但是这次它又幽灵般的出现了,使我百思不得其解。一、问题的出现我在多台机器上面同时开启了多个进程来读写同一个topic,这个topic有5个partitio

2017-07-15 17:07:17

Python2的function cache实现

今天看到Python3中有lru_cache的functioncache,无聊就试着在Python2.7中实现了一个简单的版本:#!envpython#coding=utf-8##Author:liuxingen@nsfocus.com##CreatedTime:2017年05月28日星期日09时34分06秒##FileName:test

2017-05-28 10:19:14

multiprocessing解析(二):Pool解析

前面一篇已经把multiprocessing.Process这个最基础的类给解剖了,接下来的这篇就是整个multiprocessing中最重要的类Pool的浅析了,因为如果把Pool的所有方方面面都顾及到的话篇幅会比较长,所以我只会把Pool的整体框架整理一下,细节的内容可以更多的去阅读源码。1.multiprocessing.Pool的几个参数的解读Pool的构造参数中有三个我认为比较有

2017-05-22 19:21:07

multiprocessing解析(一):Process的解析

最近项目中为了提升Python的运行效率,要使用到multiprocessing模块,场景其实不算复杂但是为了避免带来一些隐晦的bug,我觉得还是深入了解一下它比较好。因为当我使用multiprocessing的时候我觉得Python替我做的事情太多了(其实也就是用multiprocessing太方便了)给我带来了快感却没有安全感,还有一个主要的原因就是我觉得fork是最”奇幻”的函数。可能会分

2017-05-21 09:45:41

pykafka性能比较

最近做了一下pykafka的性能测试,主要涉及到use_greenlets、use_rdkafka、sync这三个参数。1.测试的数据我用一个770MB的日志文件来作为测试数据,文件包含的行数为10175702行。2.测试的demo在写测试demo的时候遇到了几个问题,别看这么简单、很短的代码却也遇到了几个”棘手”的问题。#!envpython#coding=utf-8#

2017-05-12 22:41:32

python-daemon日志记录的一个小问题

最近用到了python-daemon这个库来使一个进程成为daemon进程,代码大致如下:#!envpython#coding=utf-8importloggingimportmultiprocessingimportlogging.configimportdaemonfromtestimportwrapper2logger=Nonepool=Nonedefm

2017-05-04 13:46:16

Django的request.POST获取不到内容的原因

我通过如下的一段程序发送post请求:importurllib3pool=urllib3.connection_from_url('http://127.0.0.1:8090')resp=pool.request('POST','/polls/',fields={'key1':'value1','key2':'value2'},headers={'Content-Type':'

2017-01-07 17:34:14

解决centos中"ImportError: No module named _tkinter"问题

今天想要用Metasploit的时候出现了"ImportError:Nomodulenamed_tkinter"的错误,_tkinter是被Tkinter模块引用的,因为对Tkinter不太熟悉所以也不知道为什么会有这个错误。我本身是在centos中,而且系统中存在不同的账号分别使用了不同版本的Python,所以我先在root账号下试了一下importTkinter是OK的,接着用命令

2016-12-28 14:16:18

pykafka的SessionExpiredError、PartitionOwnedError、ConsumerStoppedException

这两天一直在使用pykafka做简单的开发,但是这个看起来简单的开发任务中却遇到了几个问题,在网上找了一下好像关于这几个问题的讨论(回答)不多,在这里记录一下,为其他遇到类似问题的同学提供一些思路。任务简化一下就是多个输入把日志信息输入kafka队列中,为了提高处理的效率在队列的另外一端开启多个进程处理日志信息,也就是对一个topic有多个consumers,所以理所当然的用到了kafka的b

2016-11-26 18:24:03

pykafka的NoBrokersAvailableError原因

pykafkaNoBrokersAvailableErrorkafka

2016-11-17 16:34:27

kafka启动过程中的一个小问题

最近项目要用到kafka,按照网上的示例操作一遍,发现第一步就会报错,折腾了半天才发现问题的原因。这里记录一遍以避免同样的问题。第一步下载了kafka的tar源码包,然后要启动zookeeper,执行如下命令:bin/zookeeper-server-start.sh-daemonconfig/zookeeper.properties此时就会有如下的错误出现:错误:找不到或无法

2016-11-06 11:33:07

Python相对、绝对导入浅析

这篇文章从另外一个不同的视角来分析一下Python的import机制,主要的目的是为了搞懂import中absolute、relativeimport遇到的几个报错。这里不同的视角是指从Pythonimporthooks这个方面来展开,当然本身关于Pythonimporthooks有很多的文章,我这里不打算展开聊这个方面的内容,文章中主要会结合代码和PEP302–NewImpo

2016-09-15 16:10:41

如果获得页面跳转的最终URL

最近做一个小功能,就是获取一个页面经过跳转后的最终页面URL,这里的跳转方式包含但不仅限于HTTP301/302、js、metarefresh。下面是我想到的三种可能的解决方式,可能会有更优的方法,期望大家提出更好的方法。首先的解决方法就是解析html页面,获得html页面中跳转的URL。这种方式是我能想到的最高效、速度最快的方法,但是也有可能是最难维护的,因为我们必须对各种跳转方式都要了

2016-08-06 16:15:23

Cython初窥

这篇关于Cython的文章主要是用来阐述什么是Cython,Cython的主要用途是什么。对于Cython的具体用法基本不涉及,因为我觉得了解它的主要用途以及它的优缺点,那么等到有使用场景的时候再来学习一下它的document就可以了。1.Python的扩展模块(extentionmodule)我们知道可以用c、c++来扩展Python,这样做的目的就是为了把一些关键功能用更快、更高效的

2016-06-14 14:38:03

HTTP的303、307状态码

之前在《http权威指南》中看到了HTTP的307状态码,当时因为没有找到可以实验的网站所以没有比较深的印象,今天在排查一个问题的时候恰巧遇到了HTTP/1.1307TemporaryRedirect,所以特意记录一下。    客户的站点url为:http://www.seechina.com.cn:80,我用命令curlhttp://www.seechina.com.cn:80-vv执

2016-05-26 22:43:33

ImportError: No module named 'xxx'的另外一种原因

今天遇到了一个关于Python的ImportError:Nomodulenamed'xxx'问题,其中也算是一些经验总结,特记录如下。    问题的场景大致是这样的:在django中我新建了一个名为sitesetting的app,这个app不是通过django的pythonmanage.pystartappsitesetting命令来新建的,而是我手动mkdirsitesettin

2016-05-19 09:32:23

DNS的备忘

最近稍微深入的了解了一下DNS,本文记录过程中的一些知识点作为备注。1.权威应答or非权威应答在用nslookup来查询域名的DNS时有时候会出现“Non-authoritativeanswer“的情况。其现象如下:lxg@lxg-ThinkPad-X240:~$nslookupbaidu.comServer:127.0.1.1Address:127.0.1.1

2016-05-10 22:27:39

遇到的一个坑

遇到的一个坑这两天没事看了一下Python的metaclass机制,然后把网上的一个示例直接拿来跑了一下。在示例的基础上面加了一点其它的功能想验证一下自己的想法,发现出现了一个很诡异的情形,最后发现是自己给自己挖的一个坑。1.Python的metaclass 关于Python的metaclass机制文章网上已经有很多优秀的文章了,我就不再赘述了,简单的总结一下我的理解:1.Pytho

2015-12-01 13:36:30

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!