自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(9)
  • 收藏
  • 关注

原创 Python爬虫去重方案

信息摘要 hash算法指可以将任意长度文本、字节数据,通过一个算法得到一个固定长度文本。如MD5(128位)、SHA1(160位)等。只要源文本不同,计算得到的结果必然不同(摘要)摘要:摘要算法主要用于比对信息源是否一致,因为只要源发生变化,得到的摘要必然不同;而且摘要通常要比源短很多,所以称为摘要因此,利用摘要算法能大大降低去重容器的存储空间使用率,并提高判断速度,且由于其唯一性的特征,几乎不存误判普通内存版本Redis持久化版本Mysql持久化版本import six#基类。

2023-10-07 21:26:49 859 1

原创 爬虫系统 Crawlab 搭建

保证您已经安装好 Docker,并能够拉取 Crawlab 和 MongoDB 的镜像。

2023-05-03 10:59:26 505

原创 微机原理简答题

1.计算机需要对内存分段,以分配给不同的程序使用,每一个段就有一个段基址,而段寄存器保存的就是段基址的高16位。2.8086/8088设定了4个段寄存器,专门用来保存段地址。CS:代码段寄存器DS:数据段寄存器SS:堆栈段寄存器ES:附加段寄存器CS和IP配合使用可跟踪程序的执行过程SS和SP配合使用可指向目前堆栈段段顶的位置BP可用作SS的一个相对基址位置SI用来存放相对于DS段的源变址指针DI用来存放相对于ES段的目的变址指针。

2023-03-31 18:35:42 2813

原创 三行代码、三步实现 Scrapy 动态 User-Agent

三行代码、三步实现 Scrapy 动态 User-Agent

2022-07-23 14:28:09 467 2

原创 JAVA 反幻方

反幻方我国古籍很早就记载着2 9 47 5 36 1 8这是一个三阶幻方。每行每列以及对角线上的数字相加都相等。下面考虑一个相反的问题。可不可以用 1~9 的数字填入九宫格。使得:每行每列每个对角线上的数字和都互不相等呢?这应该能做到。比如:9 1 28 4 37 5 61 2 34 5 67 8 9你的任务是搜索所有的三阶反幻方。并统计出一共有多少种。旋转或镜像算同一种。比如:9 1 28 4 37 5 67 8 95 4 16 3 22 1 93 4

2020-10-03 10:04:05 307 2

原创 递归实现Fibonacci(斐波那契数列)

Fibonacci首先我们要了解什么是斐波那契数列斐波那契数列(Fibonacci sequence),又称黄金分割数列、因数学家列昂纳多·斐波那契(Leonardoda Fibonacci)以兔子繁殖为例子而引入,故又称为“兔子数列”,指的是这样一个数列:1、1、2、3、5、8、13、21、34、……在数学上,斐波那契数列以如下被以递推的方法定义:F(1)=1,F(2)=1, F(n)=F(...

2020-02-23 16:36:40 778

原创 指针

指针指针就是存放地址的变量左边是一个变量,右边是一个指针变量*变量的地址是00DEFF44, *ptr_num=&num 是把变量num的地址赋值给指针ptr_num, 相当于 指针ptr_num存着num的地址 也就是根据地址找到了num相对应的空间#include<stdio.h>int main(){ int year=999; int *ptr_n...

2019-10-28 07:52:27 135

原创 C语言 字符串加密解密

C语言加密解密当用户输入字符串后 字符串 传入加密函数 进行加密,返回加密后的结果。解密也是同理。加 i 的值是因为 i 是不断增加的 这样会使得加密后的值不会直接找到规律加密 偏移量也可以用别的值替代。#include<stdio.h>#include<stdlib.h>#include<string.h>#define KEY 5 // ...

2019-10-23 21:23:33 3033 1

原创 c语言作用域,局部变量以及全局变量。

C语言.// An highlighted blockvar foo = 'bar';生成一个适合你的列表项目项目项目项目1项目2项目3 计划任务 完成任务创建一个表格一个简单的表格是这么创建的:项目Value电脑$1600手机$12导管$1设定内容居中、居左、居右使用:---------:居中使...

2019-08-11 18:42:20 682

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除