- 博客(37)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 社工查询网站
shodan https://www.shodan.io/zoomeye https://www.zoomeye.org/censys https://censys.io/pipl https://pipl.com/reg007 https://www.reg007.com/whois https://www...
2019-06-14 22:40:02
111466
13
原创 Ada学习笔记
- 注释; 语句终止符with 指定库use 使用clausegeneric 定义通用类型package ... is 定义包（类）procedure ... is 定义过程（函数的行为，无返回值）function ... return 定义函数（有返回值）begin 过程开始end 过程结束return 返回值...
2019-06-14 18:24:38
1290
1
转载 32个爬虫项目
WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的She...
2019-06-11 10:24:40
840
原创 cuckoo-droid安装详解
默认已安装cuckoo1.2版本VMware14.1.3 如未安装，请参考cuckoo安装流程环境：VMware14.1.3host: Ubuntu16.04guest: Ubuntu16.04************************************************host安装配置************************************...
2019-05-29 17:56:37
3023
3
原创 无法打开Android模拟器：libGL error
错误信息：libGL error: unable to load driver: swrast_dri.solibGL error: failed to load driver: swrastX Error of failed request: GLXBadContext Major opcode of failed request: 155 (GLX) Minor opco...
2019-05-29 16:41:40
482
原创 cuckoo1.2安装详解
本文仅安装说明，安装过程中如遇问题请参考另一篇cuckoo避坑指南环境：VMware14.1.3host: Ubuntu16.04guest: xp****************************************host安装配置**************************************************建议安装aptitude （包管理工...
2019-05-28 18:28:11
2689
原创 cuckoo及cuckoo-droid安装过程中遇到的坑
此篇只记录安装过程中遇到的坑，具体安装过程参考另一篇cuckoo安装流程cuckoo:（1.2版本）-------------------------------------------------------------------###安装时不要使用root权限--------------------------------------------------------------...
2019-05-28 14:18:09
2244
原创 python setup.py build 编译错误
1 fatal error: Python.h:原因：没有安装python的开发环境以及开发包解决：sudo apt-get install python-dev2fatal error: fuzzy.h原因：头文件丢失，通常为缺少对应的开发包解决：sudo apt install libfuzzy-dev...
2019-05-22 16:50:06
8847
1
原创 pip错误 ImportError: No module named _internal
2.x：curl https://bootstrap.pypa.io/get-pip.py -o get-pip.pypython2.7 get-pip.py --force-reinstall如果上述方法未能解决，尝试以下方法python2 -m pip install --user --upgrade pip3.x：wget https://bootstrap...
2019-05-09 11:41:44
1520
原创 python3-cookbook 学习笔记（一）
一、数据结构与算法序列操作：序列解包占位符：_ 占位需要丢弃的值 解包可迭代对象：* 产生一个列表对象，解压不确定个数或任意个数的可迭代对象时使用 想要解压后丢弃的值可使用*_或*ign(ignore) 命名切片： slice() 创建切片对象 属性：start、stop、step 方法：indices(size) 映射到一个已知大小...
2019-04-30 14:55:13
315
原创 整理了一些工作(学习)中用到的python包
爬虫requests HTTP客户端库 urllib 处理url selenium 提供所有WebDriver的实现 beautifulsoup 从web页面获取信息 lxml 解析html和xml，支持xpath解析数据（数据分析/机器学习/自然语言处理/数据可视化...）keras 构建深度学习原型（基Tensorflow/Theano/C...
2019-04-30 14:52:36
307
原创 python写的一些小功能合集(持续更新ing)
获取字典中的objkey对应的值，适用于字典嵌套# dict:字典# objkey:目标key# default:找不到时返回的默认值def dict_get(dict, objkey, default): for k, v in dict.items(): if k == objkey: return v else: ...
2019-04-30 14:19:47
253
原创 python：ImportError: No module named 'setuptools'
两种方法安装setuptools:===1===Python 2.x: sudo apt-get install python-setuptoolsPython 3.x: sudo apt-get install python3-setuptools如果安装后出现以下错误：AttributeError: module 'setuptools.dist' has no a...
2019-04-26 10:29:30
26084
7
转载 transformer模型原理
原文链接：http://jalammar.github.io/illustrated-transformer/ 高级外观让我们首先将模型看作一个黑盒子。在机器翻译应用程序中，它将使用一种语言的句子，并将其翻译输出到另一种语言中。弹出Optimus Prime的优点，我们看到了编码组件，解码组件以及它们之间的连接。编码组件是一堆编码器（纸张堆叠其中六个相互叠加 - 没有什...
2019-02-19 15:52:49
3188
1
转载 Docker核心技术与实现原理
提到虚拟化技术，我们首先想到的一定是 Docker，经过四年的快速发展 Docker 已经成为了很多公司的标配，也不再是一个只能在开发阶段使用的玩具了。作为在生产环境中广泛应用的产品，Docker 有着非常成熟的社区以及大量的使用者，代码库中的内容也变得非常庞大。同样，由于项目的发展、功能的拆分以及各种奇怪的改名 PR，让我们再次理解 Docker 的的整体架构变得更加困难。虽然 Do...
2019-02-01 15:27:30
250
原创 linux常见问题
设置时区：timedatectl set-timezone "Asia/Shanghai"快捷键无法打开终端（ctrl+shift+F1）：sudo apt-get -f install (修复安装)快捷键无法打开命令行（ctrl+shift+T）：sudo apt-get install --reinstall ubuntu.desktop （重装桌面，时间较长）fi...
2019-01-24 15:27:20
371
原创 Python虚拟环境--virtualenv
安装pip install virtualenv使用： 创建一个虚拟环境： cd my_project_dirvirtualenv venv #venv为虚拟环境目录名，目录名自定义 virtualenv venv 将会在当前的目录中创建一个文件夹，包含了Python可执行文件，以及 pip 库的一份拷贝，这样就能安装其他包了。虚拟环境的名字（此例中是 venv ）可...
2019-01-23 13:09:25
132
原创 xpath中extract()使用
title = response.xpath("//div[@class='entry-header']/h1/text()") title = response.xpath("//div[@class='entry-header']/h1/text()").extract() title = response.xpath("//div[@class='entry-header']/h1/te...
2018-12-02 14:36:45
7839
3
原创 Redis持久化配置
进入配置文件：sudo redis-server /配置文件的路径/redis.conf 1 rbd快照优点：rdb是数据的内存映射，直接载入到内存，所以速度比较快缺点：如果出现异常宕机，数据丢失率高配置如下：save 900 1 // 900内,有1条写入,则产生快照save 300 1000 // 如果300秒内有1000次写入,则产生快照save ...
2018-11-12 09:21:02
160
转载 数学符号及读法大全
常用数学输入符号： ≈ ≡ ≠ ＝ ≤≥ ＜ ＞ ≮ ≯ ∷ ± ＋ － × ÷ ／ ∫ ∮ ∝ ∞ ∧ ∨ ∑ ∏ ∪ ∩ ∈ ∵ ∴ ⊥ ‖ ∠ ⌒ ≌ ∽ √ （） 【】｛｝ Ⅰ Ⅱ ⊕ ⊙∥α β γ δ ε ζ η θ Δ 大写 小写 英文注音 国际音标注音 中文注音 ...
2018-11-11 09:52:25
162279
4
原创 python实现栈在 O(1) 时间内求 min
python的栈是用list实现的，只要将list的append和pop封装到stack类中，即实现了压栈和退栈。如果不考虑时间复杂度可以使用min()，min()可以在不开辟新空间的情况下o(n)的返回栈内最小值。但是如果栈内元素很多，需要被频繁调用返回函数，导致耗时大，为了降低时间复杂度，最理想的方法就是用空间换时间。可以考虑利用两个栈来实现，一个栈保存所有数据，另一个保存对应状态下的最小值。...
2018-11-10 09:52:09
719
原创 Django常用配置
MySQL数据库DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'NAME': '数据库名字', 'PORT': 3306, 'HOST': '数据库IP地址', 'USER': '数据库用户名', 'PAS...
2018-10-31 12:53:36
162
原创 scikit-learn LogisticRegression原理及实例
Attibutescoef_ : 变量中的系数。shape (1, n_features) or (n_classes, n_features)intercept_ ：截距。shape (1,) or (n_classes,)n_iter_ ：所有类的实际迭代次数。shape (n_classes,) or (1, )Methodsdecision_function(X)：预测样...
2018-10-20 11:23:35
4270
原创 scikit-learn fetch_olivetti_faces人脸识别实例
分别使用线性回归，岭回归，KNN，以及ExtraTrees回归进行分析from sklearn.linear_model import LinearRegression,Ridgefrom sklearn.neighbors import KNeighborsRegressorfrom sklearn.ensemble import ExtraTreesRegressorimport sk...
2018-10-19 21:30:21
5259
2
原创 scikit-learn 线性回归 原理与使用
一、 普通线性回归数学依据：最小二乘法（y - w*x）^2 y^2 - 2*w*x*y + x^2*w^2-2xy + 2x^2*w = 0-y + wx = 0xw = yxTxw = xTy # 两边乘以xT 转置矩阵w = (xTx)^-1(xTy) # 平方和最小的情况：w在求导时为0 Attibutescoef_ : 变量中的系数。sh...
2018-10-19 20:27:55
560
原创 scikit-learn K-近邻算法（KNN）
k-近邻算法原理：采用测量不同特征值之间的距离方法进行分类。优点：精度高、对异常值不敏感、无数据输入假定。 缺点：时间复杂度高、空间复杂度高。 适用数据范围：数值型和标称型。 工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签，即我们知道样本集中每一数据 与所属分类的对应关系。输人没有标签的新数据后，将新数据的每个特征与样本集中数据对应的 特征进行比较，...
2018-10-17 18:18:56
5931
原创 python Panads
Panads是基于NumPy的一种工具,该工具是为了解决数据分析任务而创建的,其纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具，Panads的数据类型包含Series、DataFrame和Panel.本文主要介绍Series和DataFrame类型的基本使用方法。import numpy as npimport pandas as pdfrom pandas ...
2018-10-14 18:14:32
516
原创 Scrapy运行流程
Scrapy组件：* 引擎【Engine】：处理整个系统的数据流处理 触发事务* 调度器【Scheduler】：接收Engine发来的请求并压入队列，在请求时执行出队* 下载器【Downloader】：通过Engine拿到调度器出队的URL执行下载操作，并将response返回给Spiders* 爬虫【Spiders】：从Downloader返回的response中提取item，即实体（...
2018-10-12 21:42:44
935
原创 python NumPy
NumPy中数据类型包含array（数组）、matrix（矩阵）和character（字符串数组）。array类旨在成为用于多种数值计算的通用n维数组，matrix类则专门用于促进线性代数计算，而chararray类的存在是为了向后兼容Numarray(不建议用于新开发)。本文主要介绍array类及其子类matrix的基本使用方法。#导入numpy库import numpy as np...
2018-10-11 20:00:29
254
原创 RESTful API开发
REST全称是Representational State Transfer，中文意思是表征性状态转移。RESTful是指具有REST表征的web架构风格，并非必须遵守的规则。REST分离了API的结构和逻辑，主要应用于客户端和服务器交互类的软件。基于这种风格设计的软件更加简洁，更有层次，更易于实现缓存等机制。当REST架构的约束条件作为一个整体应用时，将生成一个可以扩展到大量客户端的应用程序...
2018-09-26 18:50:43
705
原创 常用正则表达式
单字符匹配： [] ：匹配 []中包含的单个字符 \d ：匹配数字字符 相当于[0-9] \D ： 除了\d以外所有字符 \s ： 匹配所有的空白字符 例如：\t \n 空格等 \S ：除了\s以外所有字符 \w ：匹配数字、字母、下划线、中文 相当于[0-9a-zA-Z_] \W ：除了\w以外所有字符 . ： 匹...
2018-09-25 21:35:34
143
原创 python urllib库基本使用
urllib是python提供的一个爬虫的原生框架，python发起网络请求都是通过该框架 1 request.urlopen(url) 打开远程连接 返回值是一个响应对象，响应对象包含响应头和响应体【注意】urlopen()这个函数只能用于发送简单的请求，无法添加请求头，添加请求头需要使用request.Request()方法import urllib.request...
2018-09-20 15:52:21
1742
原创 python BeautifulSoup
对象的种类：Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: Tag 、NavigableString 、BeautifulSoup、Comment 。1 Tag：Tag 对象与XML或HTML原生文档中的tag相同Tag对象属性 属性 解释 属性 解释 .name 获取tag的名字...
2018-09-19 20:32:09
388
转载 Session机制详解
虽然session机制在web应用程序中被采用已经很长时间了，但是仍然有很多人不清楚session机制的本质，以至不能正确的应用这一技术。本文将详细讨论session的工作机制并且对在Java web application中应用session机制时常见的问题作出解答。 一、术语session 在我的经验里，session这个词被滥用的程度大概仅次于transaction，更加有趣...
2018-09-08 13:08:15
223
原创 MySQL、Redis、Mongodb的安装与配置
MySQL安装：sudo apt-get install mysql-serversudo apt isntall mysql-clientsudo apt install libmysqlclient-dev 安装后可通过以下命令测试是否安装成功：sudo netstat -tap | grep mysql 进入服务：mysql –u用户名 -p密码 ...
2018-09-04 20:23:41
648
转载 Python的22个编程技巧
1. 原地交换两个数字Python 提供了一个直观的在一行代码中赋值与交换（变量值）的方法，请参见下面的示例：x,y= 10,20print(x,y) # (10, 20)x,y= y,xprint(x,y) # (20, 10)赋值的右侧形成了一个新的元组，左侧立即解析（unpack）那个（未被引用的）元组到变量 和 。一旦赋值完成，新的元组变成了未被引用状...
2018-09-03 23:00:33
197
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人