- 博客(1527)
- 收藏
- 关注
RSS订阅转载 PySpark 的背后原理--在Driver端，通过Py4j实现在Python中调用Java的方法.pyspark.executor 端一个Executor上同时运行多少个Task，就会有多少个对应的...
PySpark 的背后原理Spark主要是由Scala语言开发，为了方便和其他系统集成而不引入scala相关依赖，部分实现使用Java语言开发，例如External Shuffle Service等。总体来说，Spark是由JVM语言实现，会运行在JVM中。然而，Spark除了提供Scala/Java开发接口外，还提供了Python、R等语言的开发接口，为了保证Spark核心实现...
2019-09-25 16:22:00
872
转载 python为什么要使用闭包
为什么要使用闭包闭包避免了使用全局变量，此外，闭包允许将函数与其所操作的某些数据（环境）关连起来。这一点与面向对象编程是非常类似的，在面对象编程中，对象允许我们将某些数据（对象的属性）与一个或者多个方法相关联。一般来说，当对象中只有一个方法时，这时使用闭包是更好的选择。来看一个例子：def adder(x): def wrapper(y): r...
2019-09-24 21:39:00
910
转载 字符串解压缩问题——贪心算法
import sysdef load_data(): return sys.stdin.read()def get_position_map(s): result = {} stack = [] for i,c in enumerate(s): if c == "[": ...
2019-09-24 19:56:00
759
转载 有意义的单词分割——经典dfs题目
import sysimport jsondef load_data(): data = json.loads(sys.stdin.read()) return data["string"], set(data["word_list"])def dfs(s, start, words, arr, results): if...
2019-09-24 19:55:00
227
转载 Charles 4.2.1 HTTPS抓包
Charles 4.2.1 HTTPS抓包CharlesiPhone抓包Mac必须与iPhone连接同一WiFiProxy->SSL Proxying Settings->SSL Proxying->AddHost:为需要过滤的域名地址,*表示不过滤Port:固定为443,*...
2019-09-21 10:51:00
142
转载 ARP欺骗
ARP欺骗的运作原理是由攻击者发送假的ARP数据包到网上，尤其是送到网关上。其目的是要让送至特定的IP地址的流量被错误送到攻击者所取代的地方。因此攻击者可将这些流量另行转送到真正的网关（被动式数据包嗅探，passive sniffing）或是篡改后再转送（中间人攻击，man-in-the-middle attack）。攻击者亦可将ARP数据包导到不存在的MAC地址以达到阻断服务攻击的效果...
2019-09-21 10:18:00
150
转载 python dijkstra 最短路算法示意代码
def dijkstra(graph, from_node, to_node): q, seen = [(0, from_node, [])], set() while q: cost, node, path = heappop(q) seen.add(node) path = path+[node]...
2019-09-20 14:42:00
312
转载 heapq 对有序的数组列表进行整体排序
"""功能：实现对有序的多个数组整体排序，获取top k个最小元素"""from heapq import *def heap_sort(arr, top_k): q = [] for i in range(len(arr)): heappush(q, (arr[i][0], i, 0)) result =...
2019-09-20 12:08:00
153
转载 IPS检测
华为IPS语法：https://isecurity.huawei.com/sec/web/ipsmanual.doIPS漏洞查询（例如搜索反弹shell）：https://isecurity.huawei.com/sec/web/ipsVulnerability.do转载于:https://www.cnblogs.com/bonelee/p/11549524.html...
2019-09-19 14:41:00
245
转载 面向切面编程AOP——加锁、cache、logging、trace、同步等这些较通用的操作，如果都写一个类，则每个用到这些功能的类使用多继承非常难看，AOP就是解决这个问题的，python AOP就是...
面向切面编程（AOP）是一种编程思想，与OOP并不矛盾，只是它们的关注点相同。面向对象的目的在于抽象和管理，而面向切面的目的在于解耦和复用。举两个大家都接触过的AOP的例子：1）java中mybatis的@Transactional注解，大家知道被这个注解注释的函数立即就能获得DB的事务能力。2）python中的with threading.Lock()，大家知道，被这个...
2019-09-18 10:07:00
322
转载 主机异常流量示例
ü Syn报文在所有tcp报文中通常不应该超过1/7 --- 否则进行Syn Flood攻击ü HTTP请求(如128个)中Web Server的响应码200比例不应该太低(60%+)ü 连接数从未突破某个值(如1000)ü 主机收到的ICMP端口/协议不可达数量不会超过2000个ü (横向)使用某些协议是活跃数量, 如SSDP协议转载于:https://w...
2019-09-12 15:49:00
126
转载 python代码安全扫描工具
python代码安全扫描工具：Coverity、 Fortify、SecMissile（漏扫，对源代码提供基于语义的搜索和分析能力，实现已知安全漏洞的快速扫描）转载于:https://www.cnblogs.com/bonelee/p/11504741.html...
2019-09-11 10:21:00
870
转载 联邦学习
联邦学习（Federated Learning）from：https://blog.csdn.net/cao812755156/article/details/89598410联邦学习简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，在 2016 年由谷歌最先提出，原本用于解决安卓手机终端...
2019-09-10 21:32:00
771
转载 数据库索引数据结构总结——ART树就是前缀树
数据库索引数据结构总结from:https://zhewuzhou.github.io/2018/10/18/Database-Indexes/摘要数据库索引是数据库中最重要的组成部分，而索引的数据结构设计对数据库的性能有重要的影响。本文尝试选取几种典型的索引数据结构，总结分析，以窥数据库索引之全貌。B+TreeB+Tree 是一种树数据结构，是一个n叉排序树，每...
2019-09-10 15:09:00
1422
转载 Python 3 新特性：类型注解——类似注释吧，反正解释器又不做校验
Python 3 新特性：类型注解Crossin上海交通大学 计算机应用技术硕士95 人赞同了该文章前几天有同学问到，这个写法是什么意思：def add(x:int, y:int) -> int: return x + y我们知道 Python 是一种动态语言，变量以及函数...
2019-08-30 11:10:00
268
转载 python deque的内在实现 本质上就是双向链表所以用于stack、队列非常方便
How collections.deque works?Cosven前言：在 Python 生态中，我们经常使用 collections.deque 来实现栈、队列这些只需要进行头尾操作的数据结构，它的 append/pop 操作都是 O(1) 时间复杂度。list 的 pop(0) 的时间复杂度是 O(n)， 在这个场景中，它...
2019-08-30 10:51:00
185
转载 联邦学习的一些使用库
https://github.com/WeBankFinTech/FATE支持传统机器学习和深度学习 转载于:https://www.cnblogs.com/bonelee/p/11432241.html
2019-08-29 21:49:00
116
转载 python assert 在正式产品里禁用的手法 直接-O即可
How do I disable assertions in Python?There are multiple approaches that affect a single process, the environment, or a single line of code.I demonstrate each.For the whole processUsi...
2019-08-26 17:40:00
177
转载 Koadic的安装和使用---http c2远控工具
Koadic的安装和使用2017.11.26 11:02字数 690阅读 611评论 0喜欢 2概述Koadic是DEFCON分型出来的一个后渗透工具，主要通过vbscript、jscript进行大部分操作废话不多说开始演示环境准备我准备的是两台虚拟机一台kali就是攻击机器一台windows7 64位就是受害者了...
2019-08-24 11:08:00
307
转载 动态域名作为dga的做法
https://wenku.baidu.com/view/54b1df373968011ca3009183.htmldga算法import timefrom ctypes import c_int, c_uintimport argparsedef rand(r): t = c_int(1103515245 * r + 12435).valu...
2019-08-21 21:26:00
6326
转载 如何通过“流量线索”进行恶意程序感染分析
流量安全分析（五）：如何通过“流量线索”进行恶意程序感染分析from:https://www.sec-un.org/traffic-safety-analysis-v-how-to-traffic-trail-for-malware-infections/原始PCAP 数...
2019-08-20 11:59:00
311
转载 下载恶意pcap包的网站汇总
说几个我经常用的，免费的：1. Malware Traffic Analysis: http://www.malware-traffic-analysis.net/2018/index.html 这个网站每天更新，主要是欧美地区的新鲜流行木马样本，基本上当天更新的马都很新～2.Virus Bay： https://beta.virusbay.io/ ...
2019-08-20 11:55:00
2027
转载 下载恶意pcap包的网站
说几个我经常用的，免费的：1. Malware Traffic Analysis: http://www.malware-traffic-analysis.net/2018/index.html 这个网站每天更新，主要是欧美地区的新鲜流行木马样本，基本上当天更新的马都很新～2.Virus Bay： https://beta.virusbay.io/ 这个算是社区贡...
2019-08-19 20:50:00
1369
转载 metasploit 一款开源的渗透测试框架
渗透神器漏洞利用框架metasploitfrom:https://zhuanlan.zhihu.com/p/30743401metasploit是一款开源的渗透测试框架软件也是一个逐步发展与成熟的漏洞研究与渗透代码开发平台metasploit体系如下:基础库文件(Libraris):提供了核心框架和一些基础功能的支持模块(Modules):实现渗透测试功...
2019-08-19 19:22:00
1016
转载 TCN时间卷积网络——解决LSTM的并发问题
TCN是指时间卷积网络，一种新型的可以用来解决时间序列预测的算法。在这一两年中已有多篇论文提出，但是普遍认为下篇论文是TCN的开端。论文名称：An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling作者：Shaojie Bai 1 J. Z...
2019-08-19 11:56:00
4664
转载 一些带dga域名的恶意软件
04/02/2019 06:17下午 6,488,759 f4f242a50ba9efa1593beba6208a2508_PWS.win32.Simda_1250_DGADNS.pcap Simda僵尸网络恶意软件 Simda是一种“安装付费”恶意软件，主要用来传播非法软件和其他类型的恶意软件，包括能够窃取用户金融数据的恶意软件。04/02/2019 06:15下午 1,13...
2019-08-16 20:15:00
746
转载 python使用 pdb 进行调试--- python -m pdb xxx.py 即可 和gdb使用一样
使用 pdb 进行调试pdb 是 python 自带的一个包，为 python 程序提供了一种交互的源代码调试功能，主要特性包括设置断点、单步调试、进入函数调试、查看当前代码、查看栈片段、动态改变变量的值等。pdb 提供了一些常用的调试命令，详情见表 1。表 1. pdb 常用命令命令解释break 或 b 设置断点设置断点continue...
2019-08-13 09:51:00
131
转载 亚洲唯一：瀚思科技入选2019 Gartner SIEM 领域 Peer Insights，其他第一象限的有splunk和logrithym，elastic==，RSA、fortinet、rapid7...
亚洲唯一：瀚思科技入选 Gartner SIEM 领域 Peer Insights网络安全技术与产业，正在由传统的合规驱动，走向合规与需求双轮驱动。关注用户需求、倾听用户声音，根据实际情况打造优质的安全产品和服务，是任何一家优秀网络安全提供商的立命之本。——安全牛主编李少鹏近日，瀚思科技（HanSight）以客户综合...
2019-08-07 16:48:00
341
转载 攻击链路识别——CAPEC（共享攻击模式的公共标准）、MAEC（恶意软件行为特征）和ATT&CK（APT攻击链路上的子场景非常细）...
结合知识图谱对网络威胁建模分析，并兼容MITRE组织的CAPEC（共享攻击模式的公共标准）、MAEC和ATT&CK（APT攻击链路上的子场景非常细）等模型的接入，并从情报中提取关键信息对知识图谱进行扩展。转载于:https://www.cnblogs.com/bonelee/p/11314521.html...
2019-08-07 12:04:00
3722
转载 APT 信息收集——shodan.io ,fofa.so、 MX 及 邮件。mx记录查询。censys.io查询子域名。...
信息收集目标是某特殊机构，外网结构简单，防护严密。经探测发现其多个子机构由一家网站建设公司建设。 对子域名进行挖掘，确定目标ip分布范围及主要出口ip。 很多网站主站的访问量会比较大。往往主站都是挂了CDN的，但是分站就不一定了，所以可能一些分站就没有挂CDN，所以有时候可以尝试通过查看分站IP，可能是同个IP或者同个站。shodan.io ,fofa.so、 MX 及 邮件。mx记...
2019-08-03 11:10:00
937
转载 Python中str()与repr()函数的区别——repr() 的输出追求明确性，除了对象内容，还需要展示出对象的数据类型信息，适合开发和调试阶段使用...
Python中str()与repr()函数的区别from:https://www.jianshu.com/p/2a41315ca47e在 Python 中要将某一类型的变量或者常量转换为字符串对象通常有两种方法，即str()或者repr()。>>> a = 10>>> type(str(a))<class 'st...
2019-07-26 17:51:00
162
转载 python coding style guide 的快速落地实践——业内python 编码风格就pep8和谷歌可以认作标准...
python coding style guide 的快速落地实践机器和人各有所长，如coding style检查这种可自动化的工作理应交给机器去完成，故发此文帮助你在几分钟内实现coding style的自动检查。1.有哪些著名的Python Coding Style GuidePEP8https://www.python.org/dev/pep...
2019-07-25 12:00:00
191
转载 python代码规范 自动优化工具Black
自动优化工具Black在众多代码格式化工具中，Black算是比较新的一个，它***的特点是可配置项比较少，个人认为这对于新手来说是件好事，因为我们不必过多考虑如何设置Black，让 Black 自己做决定就好。1).安装与使用与pylint类似，直接pip install black即可完成该模块的安装，不过black依赖于Python 3.6+，但它仍然可以格式化Pytho...
2019-07-25 11:57:00
191
转载 函数式编程之pipeline——很酷有没有
Pipelinepipeline 管道借鉴于Unix Shell的管道操作——把若干个命令串起来，前面命令的输出成为后面命令的输入，如此完成一个流式计算。（注：管道绝对是一个伟大的发明，他的设哲学就是KISS – 让每个功能就做一件事，并把这件事做到极致，软件或程序的拼装会变得更为简单和直观。这个设计理念影响非常深远，包括今天的Web Service，云计算，以及大数据的流式计算等等...
2019-07-24 09:41:00
996
转载 函数式编程——做到并发，不可变数据修改就只能复制后修改返回
函数式编程from：https://coolshell.cn/articles/10822.html当我们说起函数式编程来说，我们会看到如下函数式编程的长相：函数式编程的三大特性：immutable data 不可变数据：像Clojure一样，默认上变量是不可变的，如果你要改变变量，你需要把变量copy出去修改。这样一来，可以让你的程序少很多Bug。因...
2019-07-24 09:40:00
247
转载 圈复杂度本质上就是——分支覆盖率达到100%需要的测试用例数
圈复杂度主要与分支语句（if、else、，switch 等）的个数成正相关。如下代码：publicStringcase2(intindex,Stringstring){StringreturnString=null;if(index<0){...
2019-07-22 16:44:00
529
转载 Struts2漏洞导致的反弹shell——青藤云安全使用的是agent进程采集器进行检测
安全老司机 | Struts2漏洞爆发后，与黑客的一次正面交锋from：https://zhuanlan.zhihu.com/p/66122521备注：青藤云安全：——用的是进程信息采集器通过对用户进程行为的实时监控，结合行为分析，及时发现非法shell连接引起的反弹shell行为，可以有效地感知0Day漏洞利用的行为痕迹，可以提供反向shell...
2019-07-22 14:18:00
944
转载 RBF神经网络——直接看公式，本质上就是非线性变换后的线性变化（RBF神经网络的思想是将低维空间非线性不可分问题转换成高维空间线性可分问题）...
Deeplearning Algorithms tutorial谷歌的人工智能位于全球前列，在图像识别、语音识别、无人驾驶等技术上都已经落地。而百度实质意义上扛起了国内的人工智能的大旗，覆盖无人驾驶、智能助手、图像识别等许多层面。苹果业已开始全面拥抱机器学习，新产品进军家庭智能音箱并打造工作站级别Mac。另外，腾讯的深度学习平台Mariana已支持了微信语音识别的语音输入法、语音开放...
2019-07-17 17:56:00
1098
转载 如何利用AI识别未知——加入未知类（不太靠谱），检测待识别数据和已知样本数据的匹配程度（例如使用CNN降维，再用knn类似距离来实现），将问题转化为特征搜索问题而非决策问题，使用HTM算法（记忆+模式...
https://www.researchgate.net/post/How_to_determine_unknown_class_using_neural_network里面有讨论，说是用rbf神经网络，O-SVM可以搞定https://www.reddit.com/r/MachineLearning/comments/7t3xei/d_detecting_unknown_c...
2019-07-17 14:49:00
1749
转载 python __main__ 里的变量是全局变量 因此在函数里面可以访问到
__main__ and scoping in pythonfrom:https://stackoverflow.com/questions/4775579/main-and-scoping-in-pythonAsk Question283I was somehow surprised by the following ...
2019-07-16 17:15:00
2370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人