- 博客(19)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 用redis实现scrapy的url去重与增量爬取
scrapy 自带了去重方案，通过RFPDupeFilter类完成去重，查看源码。def request_seen(self, request): fp = self.request_fingerprint(request) if fp in self.fingerprints: return True self.fin...
2018-07-13 20:11:16
3164
4
原创 scrapy学习笔记—— CrawlSpider Requests添加header
CrawlSpider爬虫，在使用rule提取链接后，如何添加headers、cookies--------------------------------Scrapy框架中分两类爬虫，Spider类和CrawlSpider类。在scrapy中，对有规律或者无规律的网站进行自动爬取时，常用到CrawlSpider类，它通过定义了一些规则(Rule类)提取页面的url，并自动发起request跟进...
2018-06-07 20:29:42
3280
原创 git使用之撤销部分修改
修改了文件a、b，假设需要撤销文件a的修改，使用git命令：情况1、如果没有被git add到索引区git checkout a 便可撤销对文件a的修改2、如果被git add到索引区，但没有做git commit提交1）使用git reset将a从索引区移除（但会保留在工作区）git reset HEAD a2）撤销工作区中文件a的修改git checkout a 3、如果已被提
2017-07-26 22:52:50
1348
转载 linux中断的上半部和下半部
linux中断机制处理器一旦接收到中断，就会打断正在执行的代码，调用中断处理函数。如果没有禁止中断，该中断处理函数执行过程中仍有可能被其他中断打断。所以，中断处理函数执行得越快越好。另外，中断上下文中不能阻塞，这也限制了中断上下文中能干的事。因此，基于上面的原因，内核将整个的中断处理流程分为了上半部和下半部。上半部就是之前所说的中断处理函数，而一些需要在中断处理函数后继续执行的操作，内核建议把它放在下半部执行。有三种方法来实现下半部：软中断、tasklet和等待队列。
2017-07-09 19:50:41
735
转载 Linux网络驱动框架
Linux网络驱动框架，Linux网卡驱动框架网络协议接口层向网络层协议提供提供统一的数据包收发接口，都通过dev_queue_xmit()函数发送数据，并通过netif_rx()函数接受数据。这一层的存在使得上层协议独立于具体的设备。网络设备接口层向协议接口层提供统一的用于描述具体网络设备属性和操作的结构体net_device，该结构体是设备驱动功能层中各函数的容器。设备驱动功能层各函数是网络设备接口层net_device数据结构的具体成员，网络设备与媒介层是完成数据包发送和接受的物理实体。
2017-07-09 18:56:29
1858
转载 分析usb驱动框架（usb-skeleton）
分析usb驱动框架（usb-skeleton）以下是linux2.6.28 内核代码树 drivers/usb/中的文件usb－skeleton.c，usb－skeleton是usb驱动的框架通过修改一下部分代码就可一轻松的实现一个简单的设备驱驱动每一个USB设备在内核中抽象为一个数据结构 usb_device,它描述了一个USB设备的所有的特性。linux中的驱动一部分被编译进内核，一部分是以模块的形式可动态的加载到内核，驱动是以模块被加载到内核，驱动在加载时是按模块来加载的。模块的入口函数是
2017-07-05 21:42:19
543
原创 Python使用Telnetlib模块实现telnet远程操作
Python使用Telnetlib模块实现telnet远程操作，Python内置了telnetlib模块，支持telnet远程操作，只要直接import就可以。TypeError: 'in <string>' requires string as left operand, not bytes。tn.read_until('login: '.encode('utf-8'))
2017-06-26 21:44:33
36501
原创 Git简明教程
Git简明教程。git代码回退命令。git工作流和四大域，本地仓库由 git 维护的三棵“树”组成。工作目录，它持有实际文件；暂存区（Index），它像个缓存区域，临时保存你的改动；最后是 HEAD，它指向你最后一次提交的结果。回退或者撤销代码。git status git stash git reset
2017-06-19 23:18:56
313
转载 Linux platform设备驱动开发框架概述
Linux platform设备驱动开发框架概述。通过一个实例来深入学习Linux platform设备驱动开发流程。 platform模型驱动编程，需要实现platform_device(设备)与platform_driver（驱动）在platform(虚拟总线)上的注册、匹配，相互绑定，然后再做为一个普通的字符设备进行相应的应用，总之如果编写的是基于字符设备的platform驱动，在遵循并实现platform总线上驱动与设备的特定接口的情况下，最核心的还是字符设备的核心结构：cdev、 file_op
2017-06-19 23:07:22
444
转载 很清晰的解读i2c协议
很清晰的解读i2c协议。I2C协议：2条双向串行线，一条数据线SDA，一条时钟线SCL。 SDA传输数据是大端传输，每次传输8bit，即一字节。 支持多主控(multimastering)，任何时间点只能有一个主控。i2c起始信号、结束信号、应答信号。i2c读写流程概述。
2017-06-17 02:15:29
84916
7
转载 linux下 i2c设备驱动开发（2）
I2C设备驱动的编写方式: 一种是直接操作CPU的I2C控制器，正对于某一个设备写一个字符驱动，这种驱动相对来说比较直接，不需要太依赖于内核相关配置，但是这类设备驱动依赖CPU，可移植性较差。 一种是基于linux内核I2C子系统完成设备驱动的编写，一般内核会继承相关CPU的控制器驱动即使没有也可以通过技术支持可以获得，所以我们只需要使用linux下I2C子系统提供的相关接口来构建我们的设备驱动就行了。这样我们的设备驱动并不依赖于某一个特定的CPU，可移植性较好。
2017-06-17 01:58:15
1735
转载 linux下 i2c设备驱动开发（1）
3.编写驱动需要完成的工作 编写具体的I2C驱动时，工程师需要处理的主要工作如下：1).提供I2C适配器的硬件驱动，探测，初始化I2C适配器(如申请I2C的I/O地址和中断号)，驱动CPU控制的I2C适配器从硬件上产生。2).提供I2C控制的algorithm, 用具体适配器的xxx_xfer()函数填充i2c_algorithm的master_xfer指针，并把i2c_algorithm指针赋给i2c_adapter的algo指针。3).实现I2C设备驱动中的i2c_driver接口，用
2017-06-17 01:49:08
1354
原创 linux I2C 设备驱动学习笔记
linux下的驱动思路:内核态驱动和用户态驱动 一是把I2C设备当作一个普通的字符设备来处理，用i2c-dev.c文件提供的API，封装设备时序数据，直接操作i2c适配器驱动对应的设备文件，实现与设备的通讯。属于用户态驱动。 二是利用linux下I2C子系统框架体系来实现。属于内核态度驱动，用户空间的应用程序直接操作从器件对应的设备文件，既可用通用的API实现与从器件的数据交互。
2017-06-16 00:02:14
7131
4
转载 linu spi子系统驱动开发笔记之实例（2）
Linux SPI子系统驱动开发介绍基于SPI子系统驱动开发框架，并以FS_S5PC100上的M25P10芯片为例（内核版本2.6.29），写了一个Linux SPI驱动实例。实现流程：实现platform设备，实现platform驱动。主要设计结构体Platform_driver，Platform_device.
2017-06-14 21:21:17
446
转载 linu spi子系统驱动开发笔记之实例（1）
linu spi子系统驱动开发实例以W25Q32BV芯片为例子，介绍了 linu spi子系统驱动开发流程。platform_device设备定义及注册。platform_driver设备驱动实现。
2017-06-13 23:30:50
376
原创 Linux SPI 子系统驱动笔记之Linux spi设备驱动与SPI控制器驱动的匹配问题
Linux SPI 子系统驱动开发之Linux spi设备驱动与SPI控制器驱动的匹配问题。1.SPI协议层驱动是怎么与SPI控制器（spi_master）匹配的。2.spi控制器是怎么区分多个spi设备的。在SPI协议层中，spi_device是通过spi_register_board_info来注册的（在注册spi控制器驱动即spi_master之前）。首先创建一个spi_board_info结构描述spi设备板级信息，然后调spi_register_board_info()将其添加到board_lis
2017-06-13 23:07:40
1500
原创 Linux SPI 子系统驱动程序开发笔记
Linux SPI 子系统驱动程序开发笔记。介绍了SPI协议及总结了linux spi 子系统驱动开发流程。然后用SPI接口的FLASH芯片W25Q32BV为例，具体概述了linux spi 子系统驱动开发流程。1.注册平台设备2.注册平台驱动 .probe()函数中注册描述spi控制器的spi_master3.注册spi设备：spi_board_info4.注册spi_driver .probe()函数中注册描述外设的设备结构体，如char设备5.用户操作API实现。read()/wri
2017-06-11 22:32:05
1669
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人