- 博客(26)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 阻止scrapy的debug信息输出到控制台
原文：https://blog.csdn.net/Cristal_tina/article/details/53739378 一般采用该条命令启动scrapy crawl spider_name 但是，由这条命令启动的爬虫，会将所有爬虫运行中的debug信息及抓取到的信息打印在运行窗口中。很乱，也不方便查询。所以，可使用该命令代替：scrpay crawl spid...
2019-02-19 10:19:42
7850
原创 centos7：python3.7安装scrapy框架过程
一、ssl错误pip安装时出现ssl证书问题，无法安装第三方包而且无法import ssl出现以下错误：>>> import sslTraceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python3.7...
2019-02-18 10:32:07
434
转载 python3.7 导入ssl错误解决方法
>>> import sslTraceback (most recent call last): File "<stdin>", line 1, in <module> File "/usr/local/lib/python3.7/ssl.py", line 98, in <module> import _ssl
2019-02-18 10:01:42
6235
2
原创 汇编指令（一）：数据传输指令
目录数据传输指令通用数据传送指令传送指令 MOV进栈指定 PUSH 出栈指令POP交换指令 XCHG累加器专用传送指令输入指令 IN、输出指令 OUT换码指令XLAT地址传送指令有效地址传送器 LEALDS，LES标志寄存器传送指令LAHF 标志寄存器的低字节送AH SAHF AH送标志寄存器低字节PUSH 标志进栈指令POPF 标志...
2018-10-24 00:52:47
1772
原创 解决pip安装第三方包出现socket.timeout: The read operation timed out超时问题
这个问题的出现就是字面意思，链接超时。出现这个原因是两边网络连接速度慢。要解决这个问题要么提高网速----这个有的时候是服务器网速较慢，那没办法给他提高。要么就增加他的超时判定时间。使用语句：pip3 --default-timeout=100 install pymysql...
2018-10-20 08:59:01
15199
3
原创 ubuntu1604和centos7简单配置vim
vim配置分为全局（面向所有用户的配置）配置和个人配置。在~/.vimrc中配置的是当前用户个人的配置。这些配置信息只在该用户中生效。下面写的是配置全局。centos7：vim /etc/vimrc在文件的底部加入这些文本："-------------------2018-10-19-------------------set nu "显示行号set sh...
2018-10-19 20:13:47
211
原创 阿里云申请免费的SSL证书-nginx配置https反向代理配置
如果希望自己服务器支持https服务，就需要给自己的域名申请一个证书并配置好。首先在控制台中选中左边的产品与服务。往下拉找到SSL证书。点进去。可以看到这个界面，选择购买证书：它里面的免费SSL证书选项是隐藏的。需要做如下操作。在界面中点击Symantec并选中一个域名。这时候你会发现有了免费证书这一个选项。选择，点立即购买然后在下一个界面中勾选协议。点立即...
2018-10-19 18:58:35
3132
1
原创 centos7 mysql设置一个远程登录用户并且管理用户权限
在mysql默认的设置下，root是不可以通过远程连接进行登录的。如果需要进行远程登录怎么办呢？这里我们可以通过添加用户及访问权限来完成。要么直接在root用户的基础上在加一个记录。通过命令：grant all privileges on *.* to 创建的用户名 @"%" identified by "密码";flush privileges; * 刷新刚才的内容*...
2018-10-19 17:18:41
2892
原创 centos7 阿里云 mysql5.7安装并登录
1、配置YUM源YUM源rpm安装包地址：https://dev.mysql.com/downloads/repo/yum/选择linux 7的那个链接。在shell中用wget下载源：wget http://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm然后安装mysql源：yum localinst...
2018-10-19 15:05:05
484
原创 汇编语言之寻址方式
目录 寻址方式立即数寻址方式寄存器寻址方式存储器寻址方式转移地址寻址参照自：https://www.cnblogs.com/exRunner/p/7567334.html寻址方式立即数寻址方式立即数（imm）可以是8位数值，也可以16位数值。立即数寻址方式常用来给寄存器赋值MOV AX, 1234H寄存器寻址方式操作数存放在CPU的内部寄存器...
2018-10-18 23:00:05
2376
原创 SQL 函数
文本纯手打，表格例子出自W3网站中！目录总合计函数（Aggregate functions） AVG（）COUNT（）FIRST（）LAST（）MAX（） MIN（）sum（）Scalar函数GROUP BYHAVINGUCASE（） LCASE（）MID（）LEN（）ROUND（）NOW（）FORMAT（）ALL（）...
2018-10-13 23:05:51
118
原创 SQL查询语句
目录基础语句DISTINCTWHEREAND ORORDER BYTOP通配符INAlias（别名）JOINUNION基础语句DISTINCTSELECT DISTINCT 列名称 FROM 表名称表示在查询结果中对该列进行去重，不过，只能指定一个列进行去重。WHERESELECT 列名称 FROM 表名称 WHERE 列 运算符...
2018-10-12 11:14:58
641
原创 linux进程通信之管道-含代码例子
目录 分类功能区别无名管道命名管道分类1、无名管道2、命名管道功能区别无名管道只能用于有父子关系的进程之间，通过公用进程描述符来实现连接在同一个管道。命名管道可以实现任意两个进程之间的通信。无名管道（此图从别处盗用过来的）从这个图中可以看出来：1、父进程首先创建了一个管道，管道的连个文件描述符分别保存在fd[0],fd[1]中，这两个...
2018-10-10 09:48:09
880
原创 1014 - Niven Numbers
链接：http://acm.hit.edu.cn/problemset/1014这个题首先是需要用字符串接收后面那个数字，还有就是在取余时候应该边乘边取余。贴个ac代码：#include<stdio.h>#include<stdlib.h>int base;char n[1001];int output(){ long long int sum...
2018-09-06 23:07:17
187
原创 pip安装第三方包出现ssl错误的解决方法
我的情况是这样的centos7系统，内置python2.7，python3.4，（后来加上自己又安装了一个python3.6）pip安装第三方包时，用pip2可以安装，没有报错。pip3安装会报ssl错误。python3控制台中import ssl报错。因为个人解决的时候试了很多种方法，所以具体有哪几个步骤才是关键的我也不是很清楚。但总的来看有这些地方。首先记得安装相关的依...
2018-09-05 21:31:19
7573
1
原创 1012 - Decoding Task
链接：http://acm.hit.edu.cn/problemset/1012这个题考的就是一个异或运算。话说英语差真的有毒，题目看了老半天不知道是啥......题目的核心就是通过给出的两个加密后的数据，一个是N字节，一个是N+1字节。其中N+1字节的数据就是开头多了一个空格，而空格对应的十进制数是32，之后的原始数据和N字节的数据是一致的。通过这个来推出N+1字节对应的N+1字节长...
2018-09-04 23:49:38
283
8
原创 1011 - UNIX ls
做一个类似linux下的ls命令。列出文件名称，思路非常简单，就是排序。然后打印输出。打印的时候找对表达式来就OK了不过我用C写了一个代码在codeblocks中运行没问题，在oj上提交就说runerror，具体原因我也没找出来。这里贴一下代码：#include<stdio.h>#include<stdlib.h>char* a[102];int sum;...
2018-09-03 23:56:21
147
原创 1010 - The Angle
这个题比较水，简单的算一个时钟分钟指针的夹角问题。这里只要把分钟作为一个偏移量加在时钟上。然后两个相减取绝对值再乘上一个比例系数就可以得出最后的角度。这里有一个点就是要输出01,02之类的格式话数字。可以这样做：printf("%02d",a);这里的02的意思是这个数占据两个格子，如果不够两个格子就用0来补上。最后附上ac代码：#include<stdio.h>...
2018-09-02 23:43:12
143
原创 1009 - Fat Cat
肥猫题，比较水，思路挺好找的题目Problem DescriptionFat cat's duty is to catch mice, and it controls several rooms arranged in a matrix in which mice often come. Now a mouse comes into this room matrix and digs ...
2018-09-02 00:21:31
283
原创 1008 - How many N
题目：Problem DescriptionFind a minimal interger K which is merely comprised of N and can be divided by M.For example,11 is the minimal number that and be divided by 11, and it is comprised of two ...
2018-09-01 22:22:52
365
1
原创 dpkt和scapy对处理大pcap包分析对比
对于scapy对pcap包的处理在我之前的一篇博客中有写：https://blog.csdn.net/qq_38231051/article/details/81460427这里对用scapy包对大pcap文件处理做出了简单的解决方法，但scapy包处理这种大文件有一个没法忍的缺点就是：太慢了！！！没错，特别慢，基本一个1G的文件要15分钟+，每跑一次数据我就得去看一集数码宝贝.....
2018-08-24 17:52:05
12950
11
原创 python3使用scapy分析修改pcap大文件（1G）
对pcap文件分析比较常用的是C语言进行分析。这里由于常用python3，所以在网上寻找使用python3来处理这种大pcap包。不过现在网上有的对应教程非常少，而一大部分是用rdpcap来打开文件的，这个方法在打开大文件是完全行不通的，内存完全不够大，而且运行太慢。最后我找到了使用PcapReader读文件返回一个迭代器来解决大文件占用太多内存的问题。在pcap中数据结构里处理中也遇到了...
2018-08-06 20:36:45
10038
原创 python3使用logging包，把日志写到系统的rsyslog中
最近要写一个python程序写日志到rsyslog中，并通过配置rsyslog的文件来将他存到一个指定文件中。首先，我想来看看logging提供的常用模块：logger：logger主要是用来配置和发送日志消息的。可通过logging.getLogger(name)来返回一个logger对象。不指定name就默认为root。这里可以取一个合适的名字。相同的name会返回同一个logger对...
2018-08-02 14:26:13
3098
原创 pymysql插入和查询mysql中文编码设置
环境：centos7+mysql5.7.22+pythen3.6+pymysql设置mysql编码：--在 [mysql] 标签下加上一行default-character-set = utf8 --在 [mysql.server]标签下加上一行default-character-set = utf8 --在 [mysqld_safe]标签下加上一行...
2018-08-01 17:29:42
3735
原创 centos7:rsyslog简单配置客户端和服务器端
实现把一个主机作为客户端，把日志发送到指定的服务器端：【服务器端】开放tcp端口，udp端口：vim /etc/rsyslog.conf:# Provides UDP syslog reception$ModLoad imudp$UDPServerRun 514# Provides TCP syslog reception#$ModLoad imtcp#$InputT...
2018-08-01 16:45:33
5823
原创 centos7中：python3.6.5中使用slipt函数切割字符串后中文乱码
由于python默认为Unicode编码，导致utf-8中文字符切割后输出为乱码 解决办法：思路是设置编码格式为utf-8代码：import ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf-8')这样既可解决切割字符串后中文乱码问题。...
2018-08-01 16:15:24
499
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人