- 博客(29)
- 收藏
- 关注
RSS订阅原创 解决python使用logging模块出现的重复日志问题
名词解释：超参数：必须在学习算法外设定学习：对于某类任务T和性能度量P，一个计算机程序通过经验E改进后，在任务T上由性能度量P衡量的性能有所提升样本：是指我们从某些机器学习系统处理的对象或事件中收集到的已经量化的特征(feature)的集合。常见的机器学习任务：分类 输入缺失分类 回归 转录 机器翻译 结构化输出 异常检测 合成和采样 缺失值填补 去噪 密度...
2021-10-14 14:54:36
1428
原创 python多线程嵌套示例
如果应用场景是需要并行执行两个任务，且每个任务都是一个多线程程序，则需要进行线程的嵌套。本文将给出最简单的python3线程嵌套示例代码。import threadingimport timeclass myThread(threading.Thread): def __init__(self, name, delay): threading.Thread.__init__(self) self.name = name self.dela
2021-09-26 17:01:49
2869
原创 python生成正态分布随机数
使用python基础库random生成具备正态分布特征的随机数，并对生成的随机数的统计性质进行了计算。经过多次实验，生成的随机数序列统计特征随着样本数量的增加逐渐逼近均值，在百万数量级的数据测试中，均值和方差都向下接近于设定参数。import randomdef randomTestCase(mu, sigma, loop=5000000): data = [] for _ in range(loop): data.append(...
2021-09-23 15:11:48
9310
原创 python多线程任务按照任务阶段顺序执行的实现方式
python3简单实现多线程多阶段的任务，希望可以帮助到小白们，高手请在留言区多多指教。【应用场景】任务分为多个阶段（stage1-->stage2-->stage3），每个阶段都可以采用多个线程并行执行以提高运行效率（比如执行报文收发或者任务文件读写等）； 任务不同阶段之间具备严格的时间顺序，即阶段1所有的线程完成之后才可以进行下一个阶段的任务；【解决方式】不同阶段间采用join函数分隔，即可使用python多线程编程本身语法实现上述应用场景。join语法实现了...
2021-09-22 17:22:56
1078
原创 python3多线程编程入门-线程锁示例代码
很多初学多线程编程的同学肯定都会遇到多线程教程中提到的一个问题，就是共享变量在多个线程中的同步问题。典型的例子如下：有A、B两个线程，data为共享变量。如果在B打印data的时候，A去修改了data的数值，则会造成线程之间的变量不同步。那么，需要在操作共享变量的时候，加上线程锁，从而保证数据的同步。初学者在学习的过程中复现这个场景并不是很容易，大牛请忽略本篇文章。所以，我将字符串作为需要同步的变量，将逐个字符的修改作为两个线程竞争的条件，复现这个场景，希望可以为初学者提供一些参考。imp
2021-08-16 14:15:44
194
原创 python3安装crypto
python3中使用加密算法库crypto时，经常会遇到如下问题： 找不到Crypto或Crypto.Ciphrer对应的模块1.使用conda或者虚拟环境的情况下，可以去相应环境下的site-packages文件夹下，找到crypto文件夹，由于在python3代码中通常使用如下方式引用该代码库，所以我们可以将该文件夹改名为Crypto.import Cryptofrom Crypto.Cipher import AES2. 如果进行了上述修改后，...
2020-12-15 10:53:22
4340
原创 关于云计算安全责任模型的疑问
最近在制定《云计算安全扩展要求》的过程中有两个疑问：（1）CSA制定的《云计算安全技术要求-总则》和其他国内外文献中将虚拟化资源划分给了IaaS层，等保2.0划给了PaaS层，个人觉得应该是划给IaaS更合理；（2）按照《云计算安全技术要求》中的《云服务类别与资源控制范围的关系2》中描述，只存在以下几种商业模式：（2.1）独立IaaS 提供商（2.2）独立PaaS提供商（2.3...
2019-09-06 17:25:02
348
原创 云计算模式分界的思考与疑问
1、同一条要求针对不同的云计算服务模式有不同的具体理解。 例（扩展要求）：不同云服务客户之间虚拟网络隔离，对于这条云计算的扩展要求来说，不同服务模式有下面要求： IaaS:因为IaaS提供的是基础网络设施，即服务器、网络、存储等。所以，该条要求是在这些方面对隔离的要求。 PaaS:因为提供的是平台层，比如对于数据库服务，不同的用户都部署了数据库服务，数据库之间应实现虚拟化隔离。...
2019-08-26 10:10:09
184
原创 浅谈传统防御技术（上）
网络攻防一直处于一个“道高一尺魔高一丈”的易攻难守的局面。想想为什么会形成这个局势且多年来都没有达到破局的效果呢？原因很简单，就是当前的防御措施太依赖先验知识了。那么先验知识哪里来呢？先验知识就是被黑客一次次攻破，我们去分析攻击流量和攻击行为，提炼出攻击特征配置到以防火墙为代表的规则防御产品上去。或者，借助人工智能的东风，将攻击流量作为样本训练一些机器学习模型，比如HMM模型，长短时记忆模...
2019-08-21 10:39:37
1112
原创 数值计算
花书上的第四章学习，做笔记一方面是为了打卡激励自己学习，一方面是为了让看的书多过一遍脑子，帮助记忆。希望有相同学习兴趣的小伙伴留言讨论，包括但不限于网络安全(本行)、深度学习(工具)以及其他纬度和层面的知识。**********************************************************************************************...
2019-07-31 09:51:59
587
原创 概率之结构化概率模型
结构化概率模型(structured probabilistic model)也称为图模型(graphical model)，是指使用图论中的“图”的概念来描述概率分布的分解。有两种主要的图模型：有向图和无向图。两种图模型都使用图,其中图的每个节点都对应着一个随机变量，连接两个随机变量的边意味着概率分布可以表示成这两个随机变量之间的直接作用。有向(directed)模型使用带有有向边的图，...
2019-07-26 11:21:36
735
1
原创 概率之信息论
信息论的基本想法是一个不太可能发生的事情发生了，具有更多的信息量。自信息(self-information)定义为： 以log表示自然对数，其底数为e，单位是奈特(nats)。底数为2的对数，单位是比特(bit)或者香农(shannons...
2019-07-26 10:43:11
354
原创 概率之常用函数
某些函数在处理概率分布时经常会出现，尤其是深度学习的模型中用到的概率分布。logistic sigmoid函数：通常用来产生Bernoulli分布中的参数。softplus函数：可以用来产生正态分布的和参数，因为它的值域是以上两个函数的重要性质：函数在统计学中被称为分队数(logit)，但是这个函数在机器学习中...
2019-07-25 20:25:19
1370
原创 概率之常用概率分布
1. Bernoulli分布单个二值随机变量的分布。它由单个参数控制，给出了随机变量等于1的概率。它具有如下的一些性质。2. Multinoulli分布Multinoulli分布(multinoulli distribution)或者范畴分布(categorical distribution)是指在具有k个不同状态的单个离散型随机变量上的分布，其中k是一个有限值。...
2019-07-25 19:48:12
1030
原创 概率之基础概念
1 概率分布(probability distribution)用来描述随机变量或一簇随机变量在每一个可能取到的状态的可能性大小。描述概率分布的方式取决于随机变量是离散的还是连续的。离散型变量和概率质量函数(probability mass function, PMF)离散型随机变量的概率分布可以用PMF来描述。通常使用大写字母P来表示PMF。例如。PMF将随机变量能够取得的每个状...
2019-07-25 14:56:05
1683
原创 深度学习入门篇(一)
首先明确什么是机器学习，换言之机器学习程序相较于其他计算机硬编码程序有哪些能力？硬编码计算机程序试图以极其复杂的形势化规则描述这个世界，但是对于人类而言非常简单的语音和图像却好像不是那么容易以一种形式化的语言来描述的。在追逐计算机智能发展的进程中，人们为此做了大量的努力，比如“知识库方法(Cyc)”和大量的专家系统。最后都难以在业界取得成功，因为尽善尽美形式化描述本身就是难以实现的。所以A...
2019-07-16 10:19:04
103
原创 学习
使用线程标记去退出后台线程，线程池也可以实现后台线程接收CTRL+C from concurrent.futures import ThreadPoolExecutor #线程池使用grequest或者aiohttp去异步执行request请求。可以实现每秒钟2000次请求。requests是阻塞型的请求，每个线程都会被服务器的响应阻塞，导致线程数上不来#coding...
2019-07-15 09:17:18
86
原创 MacBook安装python3.x后如何使得在命令行里面python默认为3.x版本
MacBook的MacOsX系统自带有python2.7版本，但是现在的统计机器学习的算法库以及深度学习的大部分算法库已经逐渐抛弃python2.x版本，转向python3.x版本了。以tensorflow为例，原本的estimator库已经被v1所收纳。所以，在学习环境上安装python3.x版本从尝鲜变成了刚需。但是呢，网上有很多人都在说mac自带的python2.7版本服务于多个mac服务，...
2019-07-15 09:15:15
2267
原创 Typora撰写Markdown文档上传到github上图片显示问题
OS：Windows软件：Typora相信很多人都有撰写Markdown文档的需求，在这里首先安利一下Markdown撰写利器---typora。Typora支持多种快捷方式生成markdown语法，快速入门，排版整齐漂亮。当我们向markdown中粘贴图片资源的时候，会自动提示保存图片到... 这时我们可以在存放markdown文档的地方建立一个assert或者pic静态资源文...
2019-07-08 14:07:56
4337
4
原创 【python】【在函数中清空全局列表变量】
如果需要在python函数中清空全局列表变量，很多开发人员的第一反应也许会是：lst1 = []lst2 = []def clean_list(): lst1 = [] lst2 = []但是在python的体系中，这会导致函数重新定义了作用域在函数体内的新的局部变量，和在全局作用域中定义的全局变量，即使名称相同，也会是指向不同地址的完全不想干的两个变量。那么有什么...
2019-04-29 11:56:14
5483
原创 c语言使用system函数后台运行python脚本
最近需要在c工程的mian函数中使用system函数调用一个shell脚本，shell脚本是用来将某些系统配置通过sock通信发送给主核进程，但是可能出现偶发性的配置失败情况，经过分析可以大概断定是由于sock通信的时候，主核进程正在忙于其他事物导致未能在expire之前将消息接受并处理，导致消息丢失，而发送方无法感知系统是否成功加载配置。 所以，需要在脚本的最后...
2019-04-29 11:42:22
2463
翻译 Linux下运行dpdk出现error while loading shared libraries : xxxx.so
./tests: error while loading shared libraries: xxx.so.0:cannot open shared object file: No such file or directory出现这类错误表示，系统不知道xxx.so放在哪个目录下，这时候就要在/etc/ld.so.conf中加入xxx.so所在的目录.一般来说，系统会将很多的so存放在/us...
2018-08-14 10:37:45
1232
原创 DDos学习——CC攻击（一）
本文主要记录DDoS攻击中的CC攻击。CC攻击又可以分为代理CC攻击和肉鸡CC攻击。（1）代理CC攻击是黑客借助代理服务器生成指向受害主机的合法网页请求，实现DDoS和伪装 （2）肉鸡CC攻击是黑客使用CC攻击软件，控制大量肉鸡，发动攻击，相比来后者比前者更难防御。因为肉鸡可以模拟正常用户访问网站的请求。伪造成合法数据包。 CC(challenge Collapsar，挑战黑洞)，其前...
2018-07-02 16:52:47
7387
1
原创 numpy中矩阵的几种乘法，尤其是没有骨气的multiply(a,b)
from numpy import *a = [1,2,3]b = [0,0,1]c = [[1,2],[3,4]]a = mat(a)b = mat(b)c = mat(c)d = eye(2)def testMatMulti(a,b): y1 = multiply(a,b) print("multiply:\n", y1) y2 = dot(a,b...
2018-06-20 01:06:25
2742
原创 Jupiter notebook显示数据和图片 备忘
import cv2 as cvimport numpy as np%matplotlib inline #将图片显示在页面内np.set_printoptions(threshold=np.inf) #显示大量数据 path = '/Users/yuanl/Desktop/test1.jpg'img = cv.imread('/Users/yuanl/Desktop/test1.j...
2018-06-12 00:54:00
1720
2
原创 如何判断和处理.DS_Store文件
在Mac上经常会遇到.DS_Store文件，.DS_Store是Mac OS保存文件夹的自定义属性的隐藏文件，如文件的图标位置或背景色，相当于Windows的desktop.ini.那么在使用os.listdir(path)等函数对文件进行操作的时候就会出现invalid literal for int() with base 10 错误。这是因为.DS_Store文件也会包含进去。 ...
2018-05-07 11:27:31
7387
3
原创 在python中使用shutil库移动和复制文件
写一段python脚本，将文件夹中的文件根据文件名称、属性或者时间将文件分成几个不同种类，并保存到设定好的文件夹中。在这里需要用到几个模块。os模块。主要使用该模块的两个功能，一是检查涉及到的文件夹是否存在，如不存在给出解决方案，停止运行或者新建文件 夹。二是listdir(path)提取源文件夹中的文件目录列表，可遍历此列表实现对文件夹中文件的遍历。shu...
2018-05-05 15:17:33
1130
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人