• 等级
  • 93342 访问
  • 88 原创
  • 4 转发
  • 32302 排名
  • 53 评论
  • 92 获赞

CSDN2018博客之星评选结果预测第二弹

CSDN2018博客之星评选结果预测第二弹CSDN2018博客之星活动开始之初,出于个人娱乐,我做了一次《大数据预测CSDN2018博客之星评选结果》,受到了较多好评,当然也十分荣幸的受到CSDN官方重视,并将文章放置在Banner推广位。至今,CSDN2018博客之星的评选结果即将出炉。我很荣幸收到了CSDN官方的邀请,他们希望我能够在结果出炉之前再次作出一次大胆预测。所以,我将再次开启大胆...

2019-02-10 17:59:26

深度学习Python协程

深度学习Python协程基本定义可迭代对象迭代器生成器yield协程基本案例协程状态使用协程连续计算平均值协程返回值yieldfromyieldfrom与同步非阻塞基本定义可迭代对象可迭代对象(Iterable):可以直接作用于for循环的对象统称为可迭代对象。可以使用isinstance()判断一个对象是否是Iterable对象。>>>fromcollectio...

2018-12-24 19:49:06

精通RabbitMQ之死信队列与延迟任务调度

精通RabbitMQ之死信队列与延迟任务调度死信队列死信队列实现延迟任务application.ymlAMQPConfig.java消息发送到设置过期事件的队列消费死信队列中的延迟之后的消息死信队列在某些情况下,例如当一个消息无法被成功路由时,消息或许会被返回给生产者并被丢弃;或者如果我们为消息设置了有效期,延期后消息会被放入一个所谓的死信队列中。此时,消息生产者可以选择配置死信队列参数来处理...

2018-12-23 12:54:34

精通RabbitMQ之RPC同步调用

精通RabbitMQ之RPC同步调用前面我们对应用解耦做过分析,我们能够使用消息中间件来完成应用解耦,很大一部分原因是因为我们的系统之间可以异步处理并且不关心结果回执。假如我们现在需要异步处理的结果,我们还可以使用消息队列吗?实际上Rabbitmq是支持Remoteprocedurecall(RPC)同步调用的。RabbitMQRPC同步调用实际上是使用了两个异步调用完成的,生产者投递...

2018-12-23 12:33:31

精通RabbitMQ之Exchange和路由分发

精通RabbitMQ之Exchange和路由分发交换机默认交换机直连交换机广播交换机主题交换机头交换机交换机交换机的责任主要在于路由分发生产者的消息到队列中,一个Exchange可以binding多个Queue,一个Queue可以同多个Exchange进行binding。默认交换机前面我们聊过,我们在简单的使用过程中甚至可以不声明交换机,但这并不意味者rabbitmq可以没有exchang...

2018-12-23 12:27:38

精通RabbitMQ之消息确认回执和拒绝

精通RabbitMQ之消息确认回执和拒绝消费消息确认显式确认模式确认消息API拒绝消息API发送消息确认事务confirm消费消息确认从安全角度考虑,网络是不可靠的,消费者是有可能在处理消息的时候失败。而我们总是希望我们的消息不能因为处理失败而丢失,基于此原因,rabbitmq提供了一个消息确认(messageacknowledgements)的概念:当一个消息从队列中投递给消费者(con...

2018-12-23 12:16:38

精通RabbitMQ之安装RabbitMQ

精通RabbitMQ之安装RabbitMQ安装说明选择版本Centos下安装Erlang安装RabbitMQ安装启动rabbitmq开启管理虚拟主机(vhost)与用户管理登录管理控制台安装说明前面我们说过,RabbitMQ的服务端是使用Erlang语言编写的,所以我们需要首先安装Erlang。并且我们需要注意Erlang和RabbitMq版本需要一致,否则会因为版本不匹配而安装失败。选择版...

2018-12-23 12:05:10

精通RabbitMQ之初识RabbitMQ

精通RabbitMQ之初识RabbitMQRabbitMQAMQP模型AMQP协议层角色相关的概念消息中间件相关的概念RabbitMQ我们知道AMQP(高级消息队列协议)是一个用于在分布式系统中存储转发消息进行通信网络协议。而RabbitMQ是实现AMQP协议的消息中间件的一种(主要用于应用程序的异步通信和解偶,消息的发送者无需关心消息使用者,反之亦然。),RabbitMQ的服务器端用Erl...

2018-12-23 11:10:20

精通RabbitMQ之AMQP杂谈

精通RabbitMQ之AMQP杂谈何为AMQPAMQP能够做什么应用解耦(异步)异步处理同步调用顺序调度通知分发高并发缓冲并发限流延时任务调度失败重试何为AMQPAMQP,即AdvancedMessageQueuingProtocol(高级消息队列协议),它的定义使得符合要求的客户端应用(application)和消息中间件代理(messagingmiddlewarebroker)之...

2018-12-23 10:44:06

C语言回炉之预处理器

C语言回炉之预处理器C预处理器includedefine用#define实现求最大值和最小值的宏宏参数的连接用宏得到一个字的高位或低位的字节用宏定义得到一个数组所含元素的个数ifdef和ifndefiferrorextern"C"ifndefA_HdefineA_HendifC预处理器C预处理器不是编译器的组成部分,但是它是编译过程中一个单独的步骤。简言之,C预处理器只...

2018-12-19 14:46:24

C语言回炉之字符串和格式化输入输出

C语言回炉之字符串和格式化输入输出char[]和null字符串和字符defineconst明示常量printf转换说明符printf转换修饰符printf转换标记scanf的转换说明符scanf的转换修饰符printf和scanf的*修饰符printf()的*修饰符scanf()里边的*修饰符char[]和nullC语言没有专门用于存储字符串的变量类型,字符串都被存储在char...

2018-12-18 18:02:39

C语言回炉之 基本数据类型

C语言回炉之基本数据类型数据类型关键字修饰整数类型printf数据类型占位符_Bool类型可移植类型stdint.h和inttypes.h浮点数floatdoublelongdouble复数和虚数类型案例demo数据类型关键字数据类型关键字标准说明charK&R字符型(c语言中是最小的整形处理)shortK&R短整形intK&...

2018-12-18 15:31:44

大数据预测CSDN2018博客之星评选结果

大数据预测CSDN2018博客之星评选结果闲话不多说,我们直接用数据说话。(因为绝大多数同学都只是关心一下结果,后面再给大家演示数据是怎么得到的)按照CSDN的要求:自荐方式如下:在评论中放上您的CSDN博客地址、并进行简要说明。候选人自荐截止时间为2018年12月11日。则目前为止自荐参与人数733。(是不是很意外,这么火的CSDN报名参加人数居然这么少)那么这733人当中的,原...

2018-12-11 12:27:12

ElasticSearch学习笔记之三十三 IK分词器扩展字典及text全文类型数据分词聚合查询

ElasticSearch学习笔记之三十三IK分词器扩展字典及text全文类型数据分词聚合查询专属词汇分词失败扩展字典查看当前词库自定义词典更新配置再次查看分词text全文类型数据分词聚合新建索引插入数据聚合查询专属词汇分词失败前面我们已经知道了IK分词器已经可以很好的为中文的text全文类型数据分词,但是有一些特定行业的特定专属词汇,IK分词器却不能按照我们的设想来分词,例如人名/书名/...

2018-12-07 14:02:19

Scrapy Selenium实战:Selenium登录知乎保存cookies后访问需要登录页面

ScrapySelenium实战:Selenium登录知乎保存cookies后访问需要登录页面安装chromedriver新建爬虫zhihu.py获取浏览器真实的User-Agent执行验证selenium是一套完整的web应用程序测试系统,包含了测试的录制(seleniumIDE),编写及运行(SeleniumRemoteControl)和测试的并行处理(SeleniumGrid)...

2018-12-07 11:13:39

Scrapy爬虫实战:使用代理访问

Scapy爬虫实战:使用代理访问Middleware中间件设置代理middlewares.pysettings.pyspider配置meta使用proxy快代理前面我们简单的设置了headers就可以骗过ip138.com,但是绝大多数比较复杂的网站就不是那么好骗的了,这个时候我们需要更高级的方案,富人靠科技,穷人靠变异,如果不差钱的话,可以考虑VPN,也可以使用免费的代理。我们这里试着使用代...

2018-12-06 14:32:18

scrapy爬虫实战:伪装headers构造假IP骗过ip138.com

scrapy爬虫实战:伪装headers构造假IP骗过ip138.comscrapy伪造useragent我们在爬虫的过程中,经常遇到IP被封的情况,那么有没有伪装IP的方案呢,对于一些简单的网站我们只要伪造一下headers就可以了。我们一般来说想知道自己的IP,只需要访问一下http://www.ip138.com/就可以知道自己的IP了使用浏览器检查工具,具体查看一下就可以...

2018-12-06 13:14:36

scrapy实战:伪造headers的多种实现

scrapy实战:伪造headers的多种实现新建爬虫ip138.py默认headers默认User-Agentsettins.py默认HEADERSsettins.pycustom_settingsheaders=headersMiddleware中间件设置middlewares.pysettings.py简单动态User-Agentsettings.pymiddlewares.pyfake-...

2018-12-06 13:03:52

scrapy实战:scrapy-splash抓取动态数据

scrapy实战:scrapy-splash抓取动态数据docker安装拉取scrapinghub/splash镜像启动Splash安装scrapy-splash新建taobaospider项目settings.py运行测试我们知道,为了加速页面的加载速度,页面的很多部分都是用JS生成的,而对于用scrapy爬虫来说就是一个很大的问题,因为scrapy没有JSengine,所以爬取的都是静...

2018-12-05 18:20:57

Scrapy爬虫实战:百度搜索找到自己

Scrapy爬虫实战:百度搜索找到自己背景分析怎么才算找到了自己怎么才能拿到百度搜索标题怎么爬取更多页面baidu_search.py声明BaiDuSearchItemItemsitems.pyItemPipelinepipelines.py配置Pipelinesettings.py运行测试这里我们演示从百度找到我自己来让大家理解了解爬虫的魅力。背景有啥不懂的问度娘,百度搜索引擎可以搜到我...

2018-12-05 17:51:53

灵动的艺术

关注
奖章
  • 专栏达人
  • 持之以恒
  • 1024勋章