2 cui_yonghua

尚未进行身份认证

我要认证

海底月是天上月

等级
TA的排名 1k+

用python爬取阳光电影的链接

用python爬取阳光电影的链接,并存入文本。把链接直接复制到迅雷软件即可下载电影,方便快捷。python代码如下:# -*- encoding: utf-8 -*-"""@Author: cuiyonghua@CreateDate: 2020/10/15 3:44 下午@Description: """import requestsimport refor page in range(1, 223): url = 'http://www.ygdy8.net/html/gndy

2020-10-20 17:59:21

用python实现代码雨(电影黑客帝国里的效果,代码可直接运行)

用python实现代码雨:# -*- coding:utf-8 -*-import randomimport pygamefrom pygame.locals import *from sys import exitPANEL_width = 1920PANEL_highly = 1080FONT_PX = 40pygame.init()# 创建一个可视窗口, 如果不想全屏运行,可以把 FULLSCREEN 参数去掉winSur = pygame.display.set_mode

2020-10-15 13:14:43

scrapy源码8 - contextfactory

contextfactory.py 这个文件,相对文件内容不多。from OpenSSL import SSLfrom twisted.internet.ssl import ClientContextFactoryfrom scrapy import twisted_version这3句代码, 导入ssl,导入ClientContextFactory ,导入twisted_version我们看看这个version是啥内容twisted_version = (_txv.major, _t

2020-10-13 20:10:01

vi的常用命令汇总

在工作中,要对 服务器 上的文件进行 简单 的修改,可以使用 ssh 远程登录到服务器上,并且使用 vi 进行快速的编辑即可常见需要修改的文件包括:源程序配置文件,例如 ssh 的配置文件 ~/.ssh/config在没有图形界面的环境下,要编辑文件,vi 是最佳选择!每一个要使用 Linux 的程序员,都应该或多或少的学习一些 vi 的常用命令01 vi 和 vim在很多 Linux 发行版中,直接把 vi 做成 vim 的软连接vi 是 Visual inte.

2020-10-12 16:52:05

三种加密方式: sha1加密、MD5加密、Base64加密 (附H5源码和js源码)

js的加密没特别多的办法,常见的就三种, MD5加密、Base64加密和sha1加密一. sha1加密H5源码:<!DOCTYPE html><html> <head> <meta charset="utf-8" /> <title>shal加密</title> <meta name="viewport" content="width=device-width, initial-scale=1">

2020-09-29 11:38:23

mac下关闭chrome浏览器的自动更新

方法一:首先关闭Chrome浏览器,然后进入目录“/Library/Google/GoogleSoftwareUpdate”。(进入的是Mac系统目录下的“/Library/Google/GoogleSoftwareUpdate”这个目录)cd /Library/Google/GoogleSoftwareUpdate然后删除该目录下的GoogleSoftwareUpdate.bundle即可。可以通过命令行删除,或者Finder手动删除都可以。表示我们禁用chrome的自动更新成功了。如果你点击了

2020-09-14 17:39:41

scrapy源码7:downloader的源码分析

这里我们看看scrapy.core.downloader 这个吧。from __future__ import absolute_import# 在python2.5,你可以打开 import的行为直接去绝对导入使用一个 from __future__ import absolute_import 。这个绝对导入行为将成为一个默认的细节在将来的python中。一旦绝对导入被默认,import string 将总是寻找基本库。# 建议用户尽可能多的使用绝对导入,因此在你的代码中使用from pkg im

2020-09-01 10:03:16

scrapy源码6:deffer和parallel的源码分析

deferscrapy的核心的代码大量用到deffer对象,还有一些并行的东西。 这里简单去学习下deffer和并行的方法知识 。twisted.interet.defer 这个官方的api就是下面的网址了。http://twistedmatrix.com/documents/current/api/twisted.internet.defer.html我们可以看到这个defer是twisted提供的internet方法的包twisted先了解下twisted是个什么。Twisted: The

2020-08-31 19:24:35

scrapy源码5:middleware的源码分析

这个文件是中间件的基类了。from collections import defaultdictimport loggingimport pprint# 这几个都是引用默认字典, 日志, 打印的,没啥问题。 from scrapy.exceptions import NotConfiguredfrom scrapy.utils.misc import load_object# 导入了notconfigure没有配置的异常, 导入了load_object去完成字符串到对应类对象的方法。前面

2020-08-31 13:03:33

scrapy源码4:spidermw的源码分析

import sixfrom twisted.python.failure import Failure# 导入six包和导入failurefrom scrapy.middleware import MiddlewareManager# 这里导入了一个中间件管理的基类,应该适用于后续的继承的吧。 from scrapy.utils.defer import mustbe_deferredfrom scrapy.utils.conf import build_component_list#.

2020-08-31 12:45:19

scrapy源码3:scraper的源码分析

我们看看scraper.py文件吧。从注释中我们可以看出这个scraper模块是实现爬虫组件去解析响应流并且提取数据的。import loggingfrom collections import deque# 这2个就是日志的deque队列的导入。from twisted.python.failure import Failurefrom twisted.internet import defer# 这2句,导入了一个Failure和一个defer延迟。from scrapy.util

2020-08-31 09:50:04

C语言-数据结构-排序汇总(代码可直接运行)

一. 冒泡排序冒泡排序(英语:Bubble Sort)是一种简单的排序算法。它重复地走访过要排序的数列,一次比较两个元素,如果他们的顺序(如从大到小、首字母从A到Z)错误就把他们交换过来。#include <stdio.h>void bubble_sort(int arr[], int len) { int i, j, temp; for (i = 0; i < len - 1; i++) for (j = 0; j < len - 1 - i;

2020-08-18 19:25:36

Elasticsearch的介绍 以及使用python操作es详细步骤

一. 什么是 Elasticsearch想查数据就免不了搜索,搜索就离不开搜索引擎,百度、谷歌都是一个非常庞大复杂的搜索引擎,他们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说,肯定就没必要用这么复杂的技术了,如果我们想实现自己的搜索引擎,方便存储和检索,Elasticsearch 就是不二选择,它是一个全文搜索引擎,可以快速地储存、搜索和分析海量数据。Elasticsearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RESTful w

2020-07-22 13:45:30

python3中超级好用的日志模块-loguru模块详解

一. 使用logging模块时用python写代码时,logging模块最基本的几行配置,如下:import logginglogging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')logger = logging.getLogger(__name__)logger.info('this is another debug message')logge

2020-07-21 20:54:16

Ajax动态刷新-有道翻译案例(python经典编程案例)

1. 网站分析爬取网站:http://fanyi.youdao.com/1.1 在输入框中输入需要翻译的字段,翻译动态刷新.可知此链接为Ajax.1.2 经过一系列测试发现,其实际需操作的URL为 http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule 。上述篮框中的意思为:e 为输入所翻译的内容ts 为七位整数的时间戳salt 为时间戳后加上一位,大于0小于9的数字bv 为User-Agent的

2020-07-20 20:39:05

MySQL用户管理与PostgreSQL用户管理的对比

一. MySQL用户管理【例1.1】使用root用户登录到本地mysql服务器的test库中mysql -uroot -p -hlocalhost test【例1.2】使用root用户登录到本地mysql服务器的test库中,执行一条查询语句mysql -uroot -p -hlocalhost test -e "DESC person;"【例1.3】使用CREATE USER创建一个用户,用户名是jeffrey,密码是mypass,主机名是localhostCREATE USER 'jef

2020-07-13 12:42:34

scrapy源码2:scheduler的源码分析

一. scheduler核心Scheduler主要负责scrapy请求队列的管理,即进队与出队。进一步来说,会涉及到队列的选择,队列去重,序列化。from_crawler(cls, crawler): settings = crawler.settings dupefilter_cls = load_object(settings['DUPEFILTER_CLASS']) dupefilter = dupefilter_cls.from_settings(

2020-07-02 20:54:33

用java实现4种加密解密算法(包括:换位加密解密、替换加密解密、位加密解密、一次一密)

案例1: 换位加密解密算法import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import java.util.*;public class demo { static char[] jiami(char[] str, int n) //加密算法 { int i, j, k, d; i

2020-07-02 09:47:35

思维拓展:用java实现巧妙过桥问题

问题:小明一家过一座桥,过桥的时候是黑夜,所以必须有灯。现在小明过桥要 2 分钟,小明 的弟弟要 5 分钟,小明的爸爸要 6 分钟,小明的妈妈要 9 分钟,小明的爷爷要 13 分钟。每次 此桥最多可以过两人,而过桥的速度根据过桥最慢者而定,而且灯在点燃后 40 分钟就会熄灭。 问小明一家如何过桥时间最短?代码如下:public class demo { static int index; //过桥临时方案的数组下标 static in

2020-07-01 13:31:38

算法思维拓展:用java实现蛇形打印

class demo { static int length = 8; static int value = 1; static int[][] snake = new int[length][length]; static Direction lastDirection = Direction.Right; static enum Direction { Right, Down, Left, Up; } public stati.

2020-06-30 20:49:27

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 签到达人
    签到达人
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 阅读者勋章Lv2
    阅读者勋章Lv2
    授予在CSDN APP累计阅读博文达到7天的你,是你的坚持与努力,使你超越了昨天的自己。
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。
  • 原力新人
    原力新人
    在《原力计划【第二季】》打卡挑战活动中,成功参与本活动并发布一篇原创文章的博主,即可获得此勋章。
  • 原力探索 · S
    原力探索 · S
    在《原力计划【第二季】》打卡挑战活动中,发布 12 篇原创文章参与活动的博主,即可获得此勋章。(本次活动结束后统一统计发放)