3 carson0408

尚未进行身份认证

热衷于编程,喜欢研究算法,挑战难题,享受AC的过程,希望自己能够不断进步,不断成长。

等级
TA的排名 1w+

JMeter工具及其常用tips

1.JMeter如何测试一个http接口2.批量参数测试get请求3.批量参数测试post请求4.断言

2019-11-11 00:40:39

springboot整合ActiveMQ

目前随着微服务以及分布式的发展,消息中间件的作用越来越大了。消息中间件可以起到系统之间解耦的作用,比如用户进行购买商品,有加入购物车操作,还有下单操作以及支付操作等。在微服务的情况下,这些将是不同的服务,有可能部署在不同的容器中,因此,这个购买操作存在各个系统之间的调用关系。其中支付之后会有支付信息,以及物流等信息反馈给用户。但是如果在一个串行调用的系统中则是非常不合理的。对于用户...

2019-11-09 20:56:49

ubuntu常见问题集锦

1.ubuntu18.04安装软件出现Could not get lock /var/lib/dpkg/lock使用如下命令解决:(1).sudo rm /var/lib/apt/lists/lock(2).sudo rm /var/cache/apt/archives/lock(3).sudo apt-get update...

2019-10-24 23:18:22

springcloud之服务的负载均衡----Ribbon实现客户端负载均衡

在微服务架构中,为了解决单点故障以及高并发的情况,会引入负载均衡机制,以提升服务整体的可用性。一般负载均衡分为服务端负载均衡和客户端负载均衡。其中,springcloud生态中通过Ribbon组件来实现客户端负载均衡。1.负载均衡策略1.RandomRule(随机策略)2.RoundRobinRule(轮询策略)3.RetryRule(重试策略)4.BestAv...

2019-09-18 22:55:47

springcloud之网关(zuul)

微服务架构下,会存在多个服务交叉,那么对于外界用户来说如果需要访问,如果只能访问各个服务的url的话,那么会十分不友好,同时对于服务本身来说,安全性不高。因此,springcloud引入了网关的概念,统一了服务对外的地址,简化了服务与用户之间的互动。本文将沿用之前的学生与老师两个微服务,来讲解网关zuul组件给微服务架构带来的好处。 如果在没有使用网关的时候,用户...

2019-09-28 18:22:14

springcloud之Hystrix---微服务的容错处理

服务之间的调用,如果出现网络抖动、服务提供者宕机、连接超时等情况,就会造成服务消费者的请求出现错误,同时造成外界对服务消费者访问的报错,会出现一连串的反应。这种情况就需要一种容错处理机制,从而提升服务的可用性。比如,双十一的时候,天猫、淘宝等网站的并发量大的惊人,对于各个服务来说负载都非常大,尤其对于基础服务来说,因此,这些商城在促销时会选择性地给一些服务容错的空间,从而保证另一些...

2019-09-22 21:34:45

springcloud之Feign

由前面springcloud的例子可以实现服务发现与服务注册,但是对于服务消费者来说,调用远程服务则需要通过RestTmplate解析URL从而获取相应的服务。这种方式针对参数较多的情况下代码冗余度过高,不易于维护。因此,本文主要讲解springcloud中用于解决这种问题的组件--Feign。1.Feign的工作原理 Feign主要将远程服务通过代理的形式与...

2019-09-22 14:22:26

springcloud之服务注册与发现---Eureka组件

传统的调用一个服务,一般将ip地址等信息都配置到服务消费方,那么当远程服务ip发生变化时,则会需要重新更新服务消费方,不易于维护。而微服务则将服务消费方与服务提供方的ip等信息解耦,利用服务发现与服务注册机制来使微服务网络地址发生变更时,会重新注册到服务发现组件,就无须人工更改服务提供方的ip信息了。springcloud中常用的服务发现组件用的是Eureka。Eureka包含两个...

2019-09-05 00:26:32

spring-cloud之服务提供者和服务消费者

springcloud是当前比较成熟的微服务的完整方案,所谓微服务就是基于SOA基础之上,将服务进一步拆分,使得粒度更细化。比如原有的服务可能包含多个功能模块,而微服务则是每个服务代表一个功能。由于粒度细化,那么会涉及到服务之间的相互调用,那么就涉及到服务提供者和服务消费者。所谓服务提供者就是表示该服务提供给其他服务调用,服务消费者则是调用其他服务的服务,每个服务既可以是服务提供者...

2019-09-01 23:29:14

使用prometheus和grafana监控springboot项目

最近在工作中,除了需要做开发的业务,还需要对一些业务指标在代码中进行埋点监控,因此梳理了prometheus进行指标埋点,通过grafana进行数据展示。本文主要通过简单的一个springboot项目,通过暴露一个http rest的接口,并对接口处通过prometheus埋下监控点,并将点的数据保存在prometheus的时序数据库中,然后grafana通过获取数据源,然后进行图...

2019-08-16 00:51:03

mybatis逆向工程

由于现在互联网蓬勃发展,为了求快,持久层使用的框架已经从Hibernate转化为mybatis,不过笔者从使用两者之后的感觉明显就是Hibernate高大上,但是学习起来门槛比较高;而mybatis则学起来难度较低,而且在开发过程中使用mybatis可以提升开发效率。现在笔者也从Hibernate往mybatis转移,但是后续还是会离不开Hibernate,尤其是业务开始使用spr...

2019-08-04 22:59:14

Scrapy爬取网页信息并存储到MySQL

Scrapy项目之自动爬取网页信息一文介绍了利用Scrapy框架可以方便地进行网页信息的自动爬取。本文则是基于前文内容,将前文所述爬取的信息存储到MySQL中,使网页信息结构化。1.创建爬虫项目crawltosql2.编写items.pyimport scrapyclass CrawltosqlItem(scrapy.Item): # define ...

2019-05-30 17:48:06

Scrapy项目之自动爬取网页信息

前文已经介绍了利用Scrapy框架与手写爬虫,比较了Scrapy框架的优势。前面介绍的scrapy框架爬取是针对一个网页的爬取,而本文介绍的是实现多个网页的自动爬取,本文将以爬取虎扑湿乎乎论坛帖子信息为例,讲解自动爬取网页信息的爬虫。1.分析页面 打开https://bbs.hupu.com/vote页面,该页面就是开始爬虫页面,点击进去,页面如下图所示:...

2019-05-11 20:32:31

Scrapy爬虫项目中避免被禁止爬虫的几种方法

现在网站的安全性越来越高,并会通过分析用户的行为以及相关信息来判断该用户是否是自动爬虫并会将爬虫行为禁止。不同的网站判断依据也不同,有的根据ip、有的根据用户信息、有的根据访问频率等。因此,本文将具有针对性地介绍几种方法应对不同的情况。1.禁止Cookie 有的网站会通过用户的Cookie信息堆用户进行识别和分析,如果将本地的Cookie信息让对方网站无法识别...

2019-05-10 22:35:17

Scrapy框架的了解与使用

Scrapy框架是比较常用且成熟的python爬虫框架,可以高效率地爬取web页面并提取出我们关注的结构化数据。前面介绍了手写爬虫的例子,但是每个爬虫都这么写,效率不高,同时造成代码的冗余。而使用爬虫框架可以使代码更加简洁,大大提升效率。本文主要了解一下Scrapy整体的架构、工作流程、常用命令以及创建Scrapy项目。1.Scrapy架构 如上图所示,s...

2019-05-10 20:20:20

爬虫常见错误及解决方法

在爬虫或者安装框架过程中,会碰到一些报错或者问题,本文主要对这些问题进行收集整理。1.ERROR: No matching distribution found for win32api解决方法:折是缺少win32api模块,这里需要安装pypiwin32库,安装命令:pip install pypiwin322.pycharm安装库时出现AttributeErr...

2019-05-10 09:29:40

爬虫入门实践之多线程爬虫

有的爬重只需要单线程就可以完成,而有的爬虫可以拆分成多线程实现,能够提高爬虫效率。比如爬虫入门实践之爬取虎扑论坛帖子一文中,介绍使用的是用单线程实现的,首先在首页找出所有的url,然后遍历url,找出相关信息。其实,仔细分析,可以发现,该例子可以使用多线程来实现,比如一个线程用于获取url,一个线程根据已有的url来爬取相关信息,这样一来,总的等待时间更短了。因此,本文针对改写该例...

2019-05-07 22:30:18

爬虫入门实践之爬取虎扑论坛帖子

现在网络以及移动互联网发展迅速,大家花费越来越多的时间逛一些网站浏览帖子,比如贴吧、论坛等。博主喜欢打篮球,爱看NBA,因此常常行迹于虎扑论坛,看一些精彩赛事以及比较好的帖子。本文主要通过对虎扑某一版的帖子进行统一收集,并总结这些帖子的相关信息。1.选择需要操作的版块 本文主要针对NBA版块进行信息的批量收集,https://bbs.hupu.com/all...

2019-05-06 21:09:49

爬虫入门实践之图片爬虫

现在电商平台网站是大家访问最多的网站之一,比如看重一个商品,想到电商网站下载相应的大量图片,如果采用一张张下载则会耗费很多时间。这里可以通过爬虫程序对该商品的图片进行自动下载。本文以在京东上搜索面霜为例子进行讲解。1.了解待爬虫网页 https://list.jd.com/list.html?cat=1316,1381,1391点开该网址,即可进入面霜页面,里...

2019-05-06 11:02:52

正则表达式及Python中常见的相关函数

在日常生活中,如果批量进行筛选或者操作某特定格式的信息,一个个进行操作工作效率会特别低,但使用正则表达式则可以大大提升工作效率。正则表达式就是描述字符串排列的一套规则,而这个规则是根据实际需求进行定义的。1.正则表达式相关知识1.常见打印字符与通用字符 符号 含义 ...

2019-05-05 20:16:39

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv3
    勤写标兵Lv3
    授予每个自然周发布7篇到8篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。