lhyzws的专栏

原创 CENTOS上的网络安全工具（二十七）SPARK+NetSA Security Tools容器化部署(3)

上回说到在我们搭好的YAF3环境上使用yaf处理pcap文件得到silk flow，再使用super mediator工具转为ipfix，继而在spark中导入mothra，就可以开始数据分析了。然而在我们粗粗一用之下，却发现DPI信息在ipfix文件中找不到，到底是提取的时候就没提取出来（ipfix不支持dpi信息存储）？还是说我们的分析方式不对？——换句话说yaf、super-mediator、methora这三个环节，问题到底出在哪里了？我们卖了个关子，为本篇开启留了个伏笔。实则是我也不知道……。

原创 CENTOS上的网络安全工具（二十六）SPARK+NetSA Security Tools容器化部署(2)

介绍NetSA工具集 yaf + super mediator + mothra的安装部署方法，实现数据流、DPI信息的大数据分析平台构建。

原创 CENTOS上的网络安全工具（二十五）SPARK+NetSA Security Tools容器化部署(1)

介绍在容器中安装rwflowpacker、yaf和silk等NetSA 工具集的过程。由于将NetSA工具集和spark组装起来需要更加复杂的操作，所以相关内容将安排在后续同名文章中。。

原创 CENTOS上的网络安全工具（二十四）Windows下的Hadoop+Spark编程环境构建

前面我们搭建了hadoop集群，spark集群，也利用容器构建了spark的编程环境。但是一般来说，就并行计算程序的开发，一刚开始一般是在单机上的，比如hadoop的single node。但是老师弄个容器或虚拟机用vscode远程访问式开发，终究还是有些不爽。还好，hadoop和spark都是支持windows的。不妨，我们弄个windows下的开发环境。然而，windows下开发环境的构建，需要一个转换程序winutils.exe，这个需要根据下载的hadoop的版本对应编译。

原创 CENTO OS上的网络安全工具（二十三）VSCODE SPARK 容器式编程环境构建

总之装这个一路都很玄学，因为有些下载在输出窗口里面是能看到的（如果选择了观察logs），有些下载操作在窗口是什么都看不到的——如果你以为什么动静都看不到就是装完了而试图区执行代码的时候，一般会收到internal error。由于我们使用的是jdk 11，所以pom文件的这里需要改动一下：……当然，在开始编程之前，使用spark-shell交互式环境，体验一下scala的使用效果，也是不错的。错误的图木有了，正确的图示如上，总之这个semanticdb插件没有的话，就不行，还得手动安装一下。

原创 CENTO OS上的网络安全工具（二十二）Spark HA swarm容器化集群部署

在基于swarm构建hadoop ha集群的基础上，进一步构建了基于swarm的spark ha集群

原创 CENTO OS上的网络安全工具（二十一）Hadoop HA swarm容器化集群部署

探讨利用swarm一键部署hadoop的分布式高可用环境。

原创 CENTO OS上的网络安全工具（二十）ClickHouse swarm容器化集群部署

简要介绍了使用docker swarm方式进行clickhouse的跨物理节点集群化部署。

原创 CENTO OS上的网络安全工具（十九）ClickHouse集群部署

Clickhouse的集群化部署

原创 CENTO OS上的网络安全工具（十八）ClickHouse及编程环境部署

Clickhouse的单节点部署，及VSCODE开发环境的连接。

原创 CENTO OS上的网络安全工具（十七）搭建Cascade的Docker开发环境

结合cascade调试环境的构建案例，介绍VSCODE+Docker Desktop的开发调试环境构建方式，以及基于Dockerfile和docker-compose.yml配置启动基于容器或多服务容器的开发环境过程。

原创 CENTOS上的网络安全工具（十六）容器特色的Linux操作

记录了容器环境下精简操作系统限制条件下一些常规操作的方法，包括获取系统信息，网络配置，文件编辑，以及更换镜像源等。

原创 CENTOS上的网络安全工具（十五）cascade的部署

介绍了MITRE公司cascade分析工具的手工部署于docker、docker-compose部署方式

原创 CENTOS上的网络安全工具（十四）搬到Docker上（2）?

主要介绍了docker上systemctl不能正常运用的原因和解决方案，讨论了如何在容器中启动服务；结合docker中容器与主机间网络互访的实现，并讨论了windows主机无法ping通容器的问题；进一步，介绍了如何通过Windows远程桌面连接工具图形化登陆centos的方法，以及这种方法是否能在docker上实现的尝试。从多个方面的折腾实践，来微观地理解docker到底是什么，以及什么场景适合使用docker的问题。

原创 CENTOS上的网络安全工具（十三）搬到Docker上（1）?

简介在CentOS stream 8和windows系统上安装及使用docker的过程；以及如何从scrach或官方镜像开始，构建属于自己的基础镜像；重要的是，解决了从scrach构建镜像时可能遭遇的找不到应用文件的问题，以及为解决该问题附带的C、C++运行时静态库gligc/libstdc++的安装部署问题。

原创 CENTOS上的网络安全工具（十二）走向Hadoop（4） Hadoop 集群搭建

介绍了Hadoop完全分布式构建的详细过程，包括java版本、static user权限踩坑指南，4个xml配置文件的尽可能最小集尝试和解释，及根据start-dfs.sh，start-yarn.sh脚本分析得来的Hadoop完全手工启动流程。

原创 CENTOS上的网络安全工具（十一）走向Hadoop（3） MapReduce示例解析

对MapReduce示例程序Grep.java的源码执行流程进行分析，涉及Configuration,FileInputFromat,RegexMapper,ToolRunner,Tool,RecordReader等主要类

原创 CENTOS上的网络安全工具（十）走向Hadoop（2） MapReduce调试环境构建

使用VSCODE和MAVEN构建Hadoop MapReduce的调试环境，解决源代码不能同时下载，无法在IDE中参考浏览的问题。

原创 CENTOS上的网络安全工具（九）走向Hadoop（1） SingleNode模式安装与配置

简介CentOS 8 Stream下Hadoop之SingleNode模式的安装部署

原创 CENTOS上的网络安全工具（八）Scapy协议解析

以DNS为例，简述基于scapy解析pcap文件，提取协议元数据，并在pymysql和pandas配合下，使用mysql进行数据管理和检索使用的方法。

原创 CENTOS上的网络安全工具（七）MYSQL也不能少

记录了在CENTOS8上在线以及离线安装mysql数据的过程，并简述了配置vscode进行远程数据库编程的基本操作。

原创 CENTOS上的网络安全工具（六）CODE之酱油打到底

介绍CODE的C++编译环境和远程编译环境的构建，包括CODE最主要的三个配置文件的生成和编辑方法，即负责生成器配置的task.json，负责调试器配置的launch.json，和负责解析器配置的c_cpp_properties.json，在此基础上进一步介绍了CODE的远程调试配置方法。

原创 CENTOS上的网络安全工具（五）CODE来打个酱油

介绍GCC、G++、PYTHON、VSCODE的在线离线安装和配置使用方法

原创 CENTOS上的网络安全工具（四）wireshark离线安装

介绍yumdownloader、createrepo命令的离线安装；介绍exfat、ntfs格式的centos系统装载；介绍wireshark的安装。

原创 CENTOS上的网络安全工具（三）NetSA SiLK离线部署

介绍NetSA工具SiLK的离线安装方法，以及对rwflowpack yaf rwfilter配置过程中的一些容易出错的问题，给出了原因和解决方案。

原创 CENTOS上的网络安全工具（二）ARKIME部署安装

Arkime（Moloch）的在线与离线安装配置过程

原创 CENTOS上的网络安全工具（一）Suricata 离线部署

构造rpm包及其依赖的离线安装环境离线安装suricata，离线更新suricata规则，使用suricata离线检查pcap包

原创 VSFTPD搭建过程记录

对在CentOS上部署VSFTPD服务器的过程进行记录。主要针对搭建过程中，因为①用户鉴权问题；②FTP主被动模式问题；③防火墙问题等所导致的搭建失败现象进行了记录与讨论。涉及500 OOPS，500 Illegal PORT，530 Permission Denied等错误现象。

原创 Windows内核编程笔记（一）

介绍了使用VMWare或者Hyper-V虚拟机搭建传统的Windows内核编程开发调试环境的方法，并利用VS2015新建了一个极其简单的NT式驱动程序HelloWorld，通过介绍HelloWorld的安装、调试和设置DbgPrint过滤等知识，概要展现一个内核开发调试环境的搭建和使用方式。

原创 记一次驴唇不对马嘴的DIY之旅（十）

修好装盒子的木工活

原创 记一次驴唇不对马嘴的DIY之旅（九）

DVP-891使用的MT389，及其激光头功率控制电路的分析

原创 记一次驴唇不对马嘴的DIY之旅（八）

修理过程回顾

原创 记一次驴唇不对马嘴的DIY之旅（七）

DH321的工作原理

原创 记一次驴唇不对马嘴的DIY之旅（六）

用于开关电源的AZ431稳压芯片和PC817光耦

原创 记一次驴唇不对马嘴的DIY之旅（五）

原创 记一次驴唇不对马嘴的DIY之旅（四）

原创 记一次驴唇不对马嘴的DIY之旅（三）

原创 记一次驴唇不对马嘴的DIY之旅（二）

原创 记一次驴唇不对马嘴的DIY之旅（一）

原创 VSTO创建的Excel文档中序列型下拉列表造成文档无法打开的问题

由于工作并不是在手头这台机器上做的，所以只简单文字记录一下，希望能说得清楚。    最近在搞一个Excel扩展的东西，用VSTO自动设计并且填写电子表格。……这是个对于个人休闲作品来说略显复杂的工程，仅C#代码量约达到3000行，还要设计十几个页面模板，并融合约千行VBA代码……。在调试环境中一切正常，一上到实际环境就出问题了……而且我完全不知道问题出在什么地方……可以想象其时我有多么沮丧