5 Celine丹

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 2k+

舆情系统实战——思路

前言最近在做一个爬虫项目,爬取微博评论,项目提测了,现在就来简单的总结一下。项目架构因为公司的架构体系,所以python不能直接连接redis,需要写一个java的项目,来做连接数据库的工具。所以整个项目包含了6部分:python(爬虫)、python(cookie生成器)、python(情感分析,用的snownlp的库),java(服务端:用于连接es、redis、mysql),java(...

2019-03-24 19:02:53

第五章 数据链路与局域网总结

一、 数据链路层服务传输单元:帧提供服务:组帧、链路接入(点对点、广播)、可靠交付、差错控制二、差错控制1.概念:通过差错编码技术、实现对信息传输差错的检测,并基于某种机制进行差错纠正和处理,是计算机网络中实现可靠传输的重要技术手段,并在是许多数据链路层协议中应用2.差错控制典型机制(1) 检错重发(2) 前向纠错(发送端首先对数据进行纠错编码,然后发送包含纠错编码信息的帧,接收端利...

2019-03-17 19:38:01

java如何判断微博cookie是否失效

前言这周用java实现了一个cookie池的功能,主要是因为python程序无法连接公司的redis,所以就用java写了一版。cookie池顾名思义就是用来给爬虫提供可用cookie,使其能够顺利登陆程序。cookie池由三部分构成:生成、检测、获取。生成cookie这部分是python实现的,然后使用flask给java暴露一个接口。检测部分就涉及到了今天这篇博客的主题,下边我们就来详细的记...

2019-03-03 18:30:45

记录python安装过程

前言最近在做一个舆情系统,需要爬取和公司有关的评论,所以从今天开始会记录一些学习python的过程,今天就先记录一下python的安装步骤下载网站:https://www.python.org/downloads/windows/我是64位windows系统,所以选择红框里的这个选项下载下来是一个.exe程序,直接运行就好了选择自定义安装,并且勾选添加到环境变量这个选项...

2019-02-24 20:40:53

Cat源码分析(三):10种分析器

分析器的共同特点一、 消息分析器接口定义了如下方法,通过这些方法,我们可以知道分析器他要做哪些事涉及到重要的功能方法:分析(analyze)、存储(doCheckpoint) 、销毁(destroy)二、 我们再来看看消息分析器的抽象实现类AbstractMessageAnalyzer做了什么定义了两个重要的抽象方法:a) doCheckpoint:存储b) process:处理...

2018-12-08 10:29:09

Cat源码分析(二):Server端

初始化服务端消费客户端发来的消息进行分析和展示,所以这个的初始化指的是CatHomeModule的初始化CatHomeModule依赖TcpSocketReceiver和MessageConsumer,前者用来接收客户端发送的消息,后者用来消费消息。TcpSocketReceiver通过Messagecodec对MessageQueue中的MessageTree进行解码,还原成为Messa...

2018-10-29 14:20:02

Cat源码分析(一):Client端

客户端初始化我们首先看一下Cat这个类的初始化过程 public static void initialize(PlexusContainer container, File configFile) { ModuleContext ctx = new DefaultModuleContext(container); Module module = ctx.lookup(Module.c...

2018-10-27 13:57:22

Cat监控系统学习笔记

前言最近公司要基于cat做监控系统的研发工作,这个系列博客就记录一下近一个月Cat的学习过程目录Cat概览windows单机Cat搭建过程Cat接入SpringMVC实例Cat源码分析(一):Client端Cat源码分析(二):Consumer端Cat源码分析(三):10种分析器Cat源码分析(四):告警机制数据分析过程Cat源码分析(五):告警机制发送信息过程Cat源码分...

2018-10-27 11:06:59

CATwindow单机版搭建手册

环境Jdk: 1.7.0_80Maven: 3.3.9(使用的idea自带的maven,没有自己配置)Tomcat7.0.91Mysql 5.6.41IDEA 2018.2.4x步骤一、 从GitHub上拉取代码,并导入到idea中 : https://github.com/dianping/cat.git二、 直接拉取下来的CAT默认使用jdk1.5,需要手动改成自己电脑上的...

2018-10-02 17:12:07

CAT概述

前言最近,刚换了一家公司,第一个任务就是要在CAT的基础上做二次开发,老大让先看一个星期的源码,利用国庆假期,就好好的做一下总结。首先,这一篇博客就来聊一聊CAT到底是个什么鬼思维导图+概述下边是我总结的思维导图,分别从what?why?how?的角度进行说明what是什么:cat是由美团的尤勇和吴其敏主导设计,使用java开发打造的实时应用监控平台。why为什么:它可以帮助我们解决...

2018-10-02 16:49:09

Zookeeper学习总结

概念ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,他基于ZAB协议完成一套主备模式的架构来保证数据的一致性。今天这个总结按照下边的导图展开:数据模型 zk的数据结构是类似文件系统的树形结构,他的最小单位称为znode,他可以完成数据保存和节点的挂载。znode又分为四种类型,分别为持久化节点,持久化有序节点,临时节点(会话结束节点自动被清理),临时有序节点。...

2018-08-26 20:05:48

对象序列化详解

前言我们在做web项目的时候,在网络传输中,序列化是绕不过去的重要一环。今天就来总结一下序列化到底能为我们做些什么概念 序列化机制:允许把内存中的Java对象转换成平台无关的二进制流,从而允许把这种二进制流持久地保存在磁盘上,通过网络将这种二进制流传输到另一个网络节点。其他程序一旦获得了这种二进制流(无论磁盘还是网络),都可以将这种二进制流恢复成原来的Java对象。如何实现一...

2018-07-28 11:07:16

分布式架构由来

周六在公司看了两集分布式概览的视频,从宏观了解一下分布式的发展,老师讲的很清楚,所以这一篇博客就来记录一下上课的笔记第一版:程序和数据库在一台应用服务器上第二版:数据库和系统分开两个服务器 第三版:出现集群 第四版:部署多台服务器,出现负载均衡,session跨域问题随之而来,一般使用cookie来解决这个问题,在cookie中保存access_token,当向服务器发送请...

2018-07-24 19:52:46

spring中的设计模式——动态代理(一)

前言

2018-06-24 21:04:49

AOP名词解释

每次学习AOP的时候都会被几个名词搞晕,今天就来类比这几个名词到底是什么意思 一、建言(Advice) 你要附加的功能,安全、事物、日志等等。定义好,在哪里想用就可以用了,通常使用@After,@Before,@Around定义建言二、连接点(JoinPoint) 就是spring允许使用建言的地方,基本每个方法前后都可以使用,抛出异常时也可以使用,所以这些统统都是连接点三、切入点(...

2018-06-09 11:48:25

CodePiece - if else替换之:三元表达式

展示代码如下:public static Double getNumberByMinAndMax(Double num, Double min, Double max) { if(num == null) { return min; } else { num = get4Double(num.doubleValue()); m...

2018-05-26 09:51:44

js 如何id为xx的div中包含的ul中的符合条件的li元素

需求:首页左侧有导航栏,点击导航栏,会出现一个div,div中有很多可以跳转的页面,但是有的div需要添加一个滚轮,所以需要找到这个div,然后添加一个特殊的类名重点代码就是: var div=document.getElementById(“nav_sub”); var uls=div.getElementsByTagName(“ul”); var lis=ul...

2018-05-21 09:22:36

js打印表格出现中断现象怎么处理

前言 昨天静姐交给我一个打印的需求,开始想着导出到word在打印,后来洪肖哥说那样太麻烦,直接在页面上打印比较快,所以就有了这篇博客。 实现过程: 1. 查询数据库,前台得到json 2. 拼接表格 3. 打印遇到的问题 打印预览css失效 一页打印不下,必须两个页面,但是第一个和第二个页面中间出现表格中断的现象,特别丑 解决方案 一、css...

2018-05-10 16:59:16

多线程总结(一)

前言 吐槽csdn,刚才写好了,结果保存的时候卡死了!好气哦!项目上个星期在等投标的结果,所以没有什么事情,就抓紧时间把《Java多线程核心技术》敲了一遍,今天就来总结总结里边的知识点概念 进程:cpu中运行的exe,一个进程包含很多线程 线程:进程中独立运行的子任务 举例:我们运行一个QQ程序,其实就是一个QQ的进程,我们在聊天的同事还可以干许多其他的事情,比如传个资料,逛逛qq...

2018-05-06 20:19:11

虑重

校验:类似List中嵌套Map的集合,去重的时候如何操作,其实很简单,设置标识位就ok,比如我在项目中用到的:List<Map<String, Object>> prodParamList = productInterfaceDao.getProdConfList(param);Set<Integer> termSet = new HashSet&lt...

2018-04-24 22:10:02

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!