- 博客(75)
- 收藏
- 关注
RSS订阅
原创 AlgoSec破解license
AlgoSec是防火墙规则审计的好工具。但是其license奇贵无比，一个防火墙的license动辄几万人民币。所以如果想试用的话，需要进行破解。1. 查找关键文件一开始我也不知道破解的入口在哪里。大胆猜测，在服务器上以关键字license和lic进行查找，发现了以下文件：/usr/share/fa/bin/install_lic_cli。运行一下，结果为： [root@localhost af
2017-05-04 23:11:31
2032
2
原创 Elasticsearch中X-Pack破解试用
X-Pack破解试用声明：本文仅作为学习交流，请勿用于商业用途，否则后果自负。如需使用黄金或白金版X-Pack请购买正版。 从5.0版本开始，Elastic将一些重要的插件整合成了X-Pack。免费的license只能使用一年，而且很多插件无法使用。如果想要试用，需要进行破解。 0. 首先完成原版X-Pack在Elastic上的安装。 1. 下载x-pack-5.2.0.zip，找到x-pac
2017-03-23 16:20:27
17627
16
原创 Cisco ACS 5.4破解license及root shell
Cisco ACS 5.4破解license及root shellCisco ACS是用作身份识别、授权的好工具。ACS5.4基于Redhat 5.1定制，命令行默认用户admin登录后无法执行完整的Linux命令。但生产系统中我们经常有自己的Linux系统规范，比如各种配置、日志、登录等方面的规范。为此需要破解ACS的root shell。 ACS5.4和ACS5.2的区别在于，ACS5.2中用
2017-03-10 01:12:45
14193
2
原创 Cloudera 6.x 手工配置TLS加密
本文详细介绍了Cloudera配置TLS的步骤，解决无license情况下无法使用auto-TLS自动配置的问题。
2021-05-18 12:36:19
460
原创 pandas的DataFrame转spark时空值问题
pandas生成DataFrame时，Series为数值类型则会把空值视为NaN。而spark在处理NaN时并不视为Null，有可能会导致问题。例如：>>> pdf = pd.DataFrame([(0,‘Alice’,1.1),(1,‘Bob’,None),(2,None,3.3)], columns=(‘id’,‘name’,‘score’))>>> sdf = spark.createDataFrame(pdf)>>> sdf.show()
2020-11-09 12:49:57
647
原创 spark.jars.packages使用镜像源加速
我们知道，通过指定spark.jars.packages参数，可以添加依赖的包。而且相比于用spark.jars直接指定jar文件路径，前者还可以自动下载所需依赖，在有网络的情况下非常方便。然而默认情况下spark会到maven的中央仓库进行下载，速度非常慢。我们可以使用国内的镜像源进行加速。以华为云镜像为例。1. 指定ivy2配置文件路径spark是通过ivy2进行包下载的，而其配置文件默认打包在了$SPARK_HOME/jars/ivy-2.4.0.jar里，因此无法修改。我们通过spark配置来
2020-11-09 12:25:46
2433
原创 DataFrame保存为hive表时的换行符问题
pyspark的DataFrame，在直接保存为hive表时，如果字符串中带有换行符，会导致换行错误。以spark 3.0.0版本为例。我们向hive表保存1条包含换行符字符串的数据，统计行数时却得到2行：>>> df = spark.createDataFrame([(1,‘hello\nworld’)], (‘id’,‘msg’))>>> df.write.format(‘hive’).saveAsTable(‘test.newline0’)>>&
2020-11-09 12:24:31
1300
原创 Python3中实现代码运行超时报错
写代码时经常遇到这样的需求：某些语句执行时间过长时，需要报错。timeout-decorator模块可以很方便地实现。使用前先安装：pip3 install timeout-decorator这是装饰器，所以对于预先确定的超时时间、用于显示定义的函数，没有问题。对于需要运行时才确定的超时时间，可以参考以下做法：from timeout_decorator import timeoutimport
2018-05-04 11:44:05
5087
2
原创 RedHat/CentOS挂载LVM磁盘
可通过以下命令挂载LVM磁盘。注意，有些命令是根据上一命令的输出确定的，最好一句一句执行。lsblkparted -s /dev/sdd mklabel msdosparted /dev/sdd printparted -s --align cylinder /dev/sdd mkpart primary 512B 550GBparted /dev/sdd printparted /dev
2018-03-27 08:16:23
774
原创 CentOS/RedHat 7安装Python3.7
CentOS/RedHat默认是带Python2.7的，且无法通过yum等方式安装Python3，智能通过源码方式安装。为避免安装中python的冲突，可以按以下方式安装。安装完后，python3和python2都能正常运行。 注意，安装中第一步yum安装依赖包最好执行。没有这些依赖，configure时就会缺少一些组件。导致后期如果要使用还要再编译一次，非常麻烦。yum install.........
2018-02-26 14:43:21
2654
原创 pandas中one-hot编码的神坑
机器学习中，经常会用到one-hot编码。pandas中已经提供了这一函数。 但是这里有一个神坑，得到的one-hot编码数据类型是uint8，进行数值计算时会溢出！！！import pandas as pdimport numpy as npa = [1, 2, 3, 1]one_hot = pd.get_dummies(a)print(one_hot.dtypes)print(one
2018-01-28 17:57:57
10906
原创 深圳小汽车车牌竞拍价格预测
深圳小汽车车牌竞拍价格预测这几个月深圳小汽车车牌竞拍价格持续飙高，令人发指。 现在均价已经来到9.5万。如果能稍微预测得准一点，不仅可以增加拍中几率，而且可以省下近万块钱。于是我决定动用核武器…… 不得不说深圳市政府还是很人性化的，往期的报价统计在这里可以查到： http://xqctk.sztb.gov.cn/bszn/20171206/1512524976335_1.html 我们
2018-01-15 09:15:47
9106
原创 Adobe Acrobat Reader离线安装包下载
Adobe Acrobat Reader官网默认下载在线安装包，离线包下载地址可到https://get.adobe.com/cn/reader/enterprise/。
2017-12-25 12:22:46
45838
原创 Win10使用Ctrl+Space切换输入法
用惯了Win7的人可能对于Win10的微软输入法很不习惯。在Win10中，不能用Ctrl+Space切换输入法。而且单按Ctrl或Shift，就会进行输入法的中英切换，用起来很别扭。 以搜狗输入法为例，我们希望达到以下目标：系统默认输入法为“英语（美式键盘）”；中文输入法为搜狗拼音输入法；Ctrl+Space可以在“英语（美式键盘）”和搜狗拼音输入法间切换；在“英语（美式键盘）”下单按Ct
2017-12-15 16:20:04
31884
6
原创 Win7/Win10多用户同时使用远程桌面
Win7/Win10正常情况下是不允许多用户同时远程的，即一个用户远程进来会把另一个用户踢掉，需要破解。 Win7：https://pan.baidu.com/s/1kVlCloV，直接安装即可。 Win10：https://pan.baidu.com/s/1i4JpVM1，下载后运行install.bat，然后运行RDPCheck.exe。如果全绿则破解成功；如果出现Listening [no
2017-12-15 14:18:08
52060
2
原创 CentOS双网卡配置默认路由
CentOS使用双网卡时，如果要指定其中一个网卡的网关作为默认路由，不能直接用route命令进行修改，或者只是删除其中一个 [Expert@sec-cpsc-8001sz:0]# ifconfig eth0 Link encap:Ethernet HWaddr 00:50:56:A6:4F:9A inet addr:99.1.16.7
2017-12-06 15:20:25
5729
原创 Windows远程桌面到Linux
1. Ubuntu/Debian执行apt-get install xrdpapt-get install xfce4echo 'echo "xfce4-session" >~/.xsession. /etc/X11/Xsession' >> /etc/xrdp/startwm.shservice xrdp restart第一次连接会出错，关掉重连就可以了。2. CentOS/RedHa
2017-11-22 11:43:17
500
原创 MySQL新建用户并授权
用root登录执行：use mysql;create user user_name;grant privileges on database_name.table_name to 'user_name'@'host' identified by 'pass_word';flush privileges;这里： - privileges：select、insert、update等，所有权限写
2017-11-20 09:15:18
417
原创 Lostash event API详解
我们使用Logstash的ruby filter时，不可避免地要对event进行处理。然而蛋疼的是，Elastic的官方文档https://www.elastic.co/guide/en/logstash/5.6/event-api.html只给出了get和set两个API的描述。exm？ 文档没有，只能看源码了。Event API的描述位于https://github.com/elastic/l
2017-09-23 13:20:34
2865
原创 Logstash事件字段遍历
有时候我们需要对Logstash中event的每一个字段进行操作。但问题是，字段的名称和数量有可能是不确定，比如当输入时json时。这时就需要借助ruby filter中的event接口：input { stdin { codec => json }}filter { ruby { code => ' event.to_hash.each do |k, v
2017-09-23 11:49:14
5039
原创 Logstash中ruby filter的调试器
ruby filter可以说是Logstash中最强大的一个filter了，通过自己编写ruby代码可以灵活地实现各种功能。显然，每次修改ruby filter后运行Logstash来调试是非常低效的。Logstash启动需要时间，而且错误信息只能在日志里看。最好的方法其实是复制几个消息，然后在irb中调试好ruby filter之后，再更新到Logstash配置文件中。 在Elastic 5.0
2017-08-11 13:23:18
6179
原创 GrokDebug离线部署
本文主要参照了http://fengwan.blog.51cto.com/508652/1758845的思路。 GrokDebug是调试Logstash中Grok Filter的工具。虽然有一个在线网站http://grokdebug.herokuapp.com/，但是需要翻墙，而且对于企业内网来说用起来也不方便。本文介绍如何在在可以联网的情况下打好包，然后在隔离环境进行部署，系统为RHEL7.2
2017-07-10 21:22:34
1059
原创 ElasticSearch使用SQL
ElasticSearch一个非常不好的地方，就是查询语句写起来太麻烦，这个用过的人都深有体会。比如说，这么一个简单的查询：select count(*) from bonree_web where @timestamp between "now-3d/d" and "2017-07-08" group by CITY_CODE limit 3在ES里写出来的查询语句能有这么长：GET /bonre
2017-07-09 17:13:05
11630
7
原创 坑爹的logstash条件判断
logstash可以使用条件判断来控制filter的执行。官方说明见Accessing Event Data and Fields in the Configuration。支持的运算符包括：equality: ==, !=, <, >, <=, >=regexp: =~, !~inclusion: in, not inboolean: and, or, nand, xorunary: !
2017-07-06 09:36:13
9998
原创 ElasticSearch按日生成index的两种方法
我们经常会遇到这样的需求，即日志只保留一定天数，过期的删除。当然如果你存储无限大，请忽略此文。 注：以下会用到Date math。1. 使用Delete By Query API不靠谱Delete By Query API可以搜索文档并删除。使用这种方法，就是所有日志都在一个index里，然后搜索过期的日志并删除。例如：POST twitter/_delete_by_query{ "qu
2017-06-18 18:33:26
16646
1
原创 ElasticSearch使用Array
ElasticSearch允许使用Array作为数据类型。根据Array datatype的描述，Array中所有元素的数据类型必须和第一个元素的数据类型一样。 对于字符串、整数这些基本类型还好，但对于时间、IP这些需要额外指定格式的怎么办？ 其实你什么都不用干……只要为该字段指定mapping即可，例如：PUT /bonree_web{ "mappings": { "_defau
2017-06-18 16:03:49
8225
原创 Win10中Ubuntu优化配置
今年的微软创意者更新允许在Win10中直接运行Ubuntu，而且还是最新版的16.04。为了用起来更方便，还需要进行以下配置。1. 修改APT源内置的APT源是国外的，奇慢无比。为此将其修改为国内的源，例如163的源。vim /etc/apt/sources.list，注释掉原来的并改为如下配置： deb http://mirrors.163.com/ubuntu/ trusty main re
2017-06-17 17:18:27
1964
原创 AlgoSec修改天融信取配置命令
1. 问题原因AlgoSec对于天融信支持不是太好，不能解析做防火墙规则分析不说，连仅有的查看变更历史的功能都有问题。原因是，AlgoSec在天融信上取配置的命令是show，会把More...这样的提示符当成配置给取走。于是在变更分析时，会像下面这样： EXM？就因为加了个对象导致某一行从--More--上面移到下面，就多出一处变更？囧…… 而且，天融信也没办法像Juniper那样进行全局设
2017-06-07 16:26:44
2784
原创 “易升”升级Win10卡在99%的处理办法
微软提供了“易升”用于Win10大版本的升级，即下载后名为Windows10Upgrade**.exe的文件。但是蛋疼的是，最后经常卡在99%。此时，重启电脑，显示文件夹中的隐藏目录，然后运行C:\$GetCurrent\media\setup.exe进行手动安装即可。
2017-06-04 17:34:11
39325
1
原创 F5安装配置VE版本
F5的VE版本虽然安装起来相对简单，也提供免费试用license，但是F5的官方网站设计得非常不人性化，各种步骤分散在各个地方。而且，申请的免费试用license只适用于最新版，经常需要重复申请。这里简单记录安装过程，以LTM为例。在https://downloads.f5.com/esd/productlines.jsp下载所需的VE镜像；在https://www.f5.com/tria
2017-04-23 14:19:22
3846
原创 Elasticsearch使用syslog发送Watcher告警事件
Elasticsearch从5.0版本开始，把Watcher插件整合到了官方的X-Pack插件中。Watcher是Elasticsearch内置的计划任务管理器，定期执行某些脚本或查询语句，将结果用于告警。具体介绍见Alerting on Cluster and Index Events。 可但是、但可是，Watcher的告警模块十分蛋疼，设计了一堆Email、HipChat、Slack、Page
2017-04-13 23:56:24
3495
1
原创 Kibana 5.x插件打包为离线安装包
Kibana有很多插件，可以制作基本功能以外的图表，官方提供的清单见https://www.elastic.co/guide/en/kibana/5.2/known-plugins.html。我们制作离线安装包，出于以下几方面考虑： - 生产环境的集群一般不能访问外网，无法通过在线下载方式安装； - Kibana插件的更新周期与Kibana的更新周期并不完全一致，导致在线安装有时会提示版本不
2017-04-04 18:13:17
3154
1
原创 Linux安装配置Spark集群
Linux安装配置Spark集群假设我们有99.1.36.164（Master）、99.1.36.165（Slave01）、99.1.36.166（Slave02）三台机器，想要搭建一个Spark集群。首先我们需要搭建一个分布式的Hadoop集群，如果是零基础建议从单机伪分布式的集群开始学习，具体可以参见Linux安装配置Hadoop 。这篇文章里我们针对生产环境的需求，会修改一些默认配置。另外，由
2017-03-05 20:49:14
992
原创 Ubuntu16.04使用Firefox中国版
Ubuntu16.04使用Firefox中国版Ubuntu默认使用Firefox国际版。其他平台访问官网下载到的都是中国版，而国际版和中国版使用两套账号体系，相互之间无法同步，导致Ubuntu的Firefox无法和其他平台的Firefox同步书签等，为此可将Ubuntu改为使用国际版。访问Firefox中国官网，下载最新版Firefox：http://www.firefox.com.cn/down
2017-02-28 13:25:44
6500
1
原创 Ubuntu16.04搜狗拼音输入法候选栏无法显示中文（英文乱码）
Ubuntu16.04搜狗拼音输入法候选栏无法显示中文（英文乱码）输入中文时，若候选栏显示英文乱码、无法显示中文，如下图所示，可按如下方式处理：cd ~/.configrm -rf SogouPY* sogou*然后注销重新登录即可。
2017-02-19 13:02:24
26897
6
原创 maven优化仓库配置
maven优化仓库配置1. 使用阿里云仓库maven默认的仓库位于国外，速度很慢，可以改为使用阿里云仓库：http://maven.aliyun.com2. 安装jar包到本地仓库将jar包安装到本地仓库有以下好处： - 便于重用自己编写的jar包或中央仓库中没有的包； - 在不同的环境中用不同的jar包编译时，不影响pom.xml文件。例如，测试环境和生产环境定制了不同的公司内部用的jar
2017-02-17 14:36:08
891
原创 Logstash使用grok解析IIS日志
Logstash使用grok解析IIS日志1. 安装配置安装Logstash前请确认Elasticsearch已经安装正确，参见RedHat6.4安装Elasticsearch5.2.0。 下载链接为：logstash-5.2.0.rpm。 下载完成后，rpm -i logstash-5.2.0.rpm即可安装。 Logstash默认的配置文件位置为./config和/etc/log
2017-02-10 00:15:42
8664
原创 RedHat6.4安装Kibana5.2.0
RedHat6.4安装Kibana5.2.0安装Kibana前请确认Elasticsearch已经安装正确，参见RedHat6.4安装Elasitcsearch5.2.01. 下载安装下载链接为：kibana-5.2.0-x86_64.rpm 安装前，需要停止Elasticsearch。另外，强烈建议安装X-Pack。service elasticsearch stoprpm -i kibana
2017-02-09 16:51:45
1409
原创 RedHat6.4安装Elasitcsearch5.2.0
RedHat6.4安装配置Elasitcsearch5.2.0elastic的5.2.0版本最近刚刚发布，相比之前版本变动很大，而且其中的所有组件（包括Elasticsearch、Kibana、X-Pack等）都统一到了5.2.0版本。为避免兼容性问题，建议所有组件都使用5.2.0版本。 本文使用环境：elastic 5.2.0套件+RedHat 6.4 64bit，也适用于CentOS。1. 下
2017-02-09 13:14:25
2394
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人