4 星小丫头辰

尚未进行身份认证

命运它不知道有多努力才能让岁月现在这么温柔地待我

等级
博文 509
排名 842

我的语雀喊你去参观

个人语雀:https://www.yuque.com/onion-kjztq一些总结,学习的知识点,欢迎大家一起交流学习。这段时间原以为是丰富多彩生活,回头来不过一片空白、各自凌乱,不免汗颜,好在消沉了一段,现在重拾行囊准备出发!...

2019-06-15 12:45:26

redission

https://github.com/redisson/redisson/wikihttps://www.jianshu.com/p/6f7d6a1c3bc2分布式锁:java编写支持rediscluster,master-slave,redis哨兵和redis单机上面的wiki很丰富了,请看两遍,谢谢...

2019-05-30 20:59:28

开源监控:Prometheus

开源的系统监控及告警工具,适用于以服务器为中心,高动态面向服务架构的监控;架构图:prometheusserver:核心,据配置采集数据,服务发现,数据存储prometheustargets:探针exporter提供采集接口,或应用本身提供的支持promethenus数据模型采集接口pushgateway:为部分push场景提供插件,监控数据先推送到push...

2019-05-29 22:54:16

Java常用方法--集

活这么长时间,突然间意识到这个世界上最笨的方法便是我的捷径!看到电脑上丁一给我的背景图——Wuli乔妹,笑起来很美丽,就像我们丁一一样善良、热心肠世界上有许多想离开的时刻,但是因为那些人、那些记忆,你留了下来、没有离开进入主题:写这篇是有原因的,我不说你不知道,还是进入主题吧String:StringBuffer:字符串增删改前后缀:startsWith(String...

2019-05-09 22:59:53

hive初识

联机分析OLAPhttps://www.cnblogs.com/qingyunzong/p/8707885.html系列博客Hive将HQL转换成MapReduce执行,实质是基于HDFS的MapReduce计算框架,对存储在HDFS的数据分析管理优点:可自由扩展集群规模,不需要重启;横向扩展:分担压力方式扩展集群规模纵向:硬件,一台服务器cpu...

2019-03-28 22:25:25

canal详解

EventParserWorkFlowEventStore负责存储解析后的Binlog事件,而解析动作负责拉取Binlog,它的流程比较复杂。需要和MetaManager进行交互。比如要记录每次拉取的Position,这样下一次就可以从上一次的最后一个位置继续拉取。所以MetaManager应该是有状态的。EventParser的流程如下:Connection获取上一次解析成功的...

2019-03-28 21:06:22

Hive-百度百科

hive基于Hadoop的一个数据仓库工具,将结构化的数据文件映射为一张数据库表,提供简单的sql查询功能,将sql语句转换为MapReduce任务进行运行,可通过类SQL语句HQL快速实现简单的MapReduce统计,十分适合数据仓库的统计分析;Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此,Hive并不能够在大规模数据集上实...

2019-03-28 21:03:52

kafka入坑

高级消费者提供消费消息的方法而屏蔽底层细节;高级消费者在zk特点分区存储最后的偏离(kafka启动时准备完毕),全局kafka集群消费群体,任何老逻辑的消费者应该被关闭然后运行新的代码,当一个新的进程拥有相同的消费者群的名字,kafka新增进程的线程来消费topic且引发“重新平衡”:分配现有分区到all可用线程如果你提供比在topic分区多的线程数量,一些线程将永远不会看到消息。 如果...

2019-03-19 22:04:26

kafka入坑

kafka之前好像写过,如果没写的话便是之前接触过,哈哈已经用kafka实现了几个小功能,不过还是实实在在领会精华才好;提前说好,这篇当然非原创,各处copy而来,不过也融入了在下的心血,所以厚着脸皮写原创;kafka是消息中间件的一种,用于构建实时数据管道和流应用程序。具有横向扩展,容错,wickedfast(变态快像canal一样)等优点;先说说分布式这个...

2019-03-18 19:52:20

canal详解

CanalServerWithEmbedded含多个instance,成员变量canalInstances记录了instance名称与实例映射关系同server不出现相同的instance名称:Map结构publicclassCanalServerWithEmbeddedextendsAbstractCanalLifeCycleimplementsCanalServer,...

2019-03-09 17:47:37

canal详解

canal在github上的文档:https://github.com/alibaba/canal/wiki/ClientExamplemysqlcanal伪装成mysqlslave,如此“降低”姿态,mysql当然要做出些表示:那便是开启binlog支持[mysqld]log-bin=mysql-bin#添加这一行就okbinlog-format=ROW#选择row模式...

2019-03-09 16:46:45

canal基于数据库的日志解析

阿里巴巴mysql数据库binlog的增量订阅&消费组件背景:早期,阿里巴巴B2B公司因为存在杭州和美国双机房部署,存在跨机房同步的业务需求。不过早期的数据库同步业务,主要是基于trigger的方式获取增量变更,不过从2010年开始,阿里系公司开始逐步的尝试基于数据库的日志解析,获取增量变更进行同步,由此衍生出了增量订阅&消费的业务,从此开启了一段新纪元。m...

2019-03-07 20:07:16

ClickHouse 来一篇

是时候来见证一下真正的面向列的DBMS了!!!真正的DBMS没有任何垃圾值,数据紧凑存储(无需存数值长度):定长数值clickhouse容许在运行时可建表建库,加载数据进行查询,不需要重新配置重启服务器快:不是一般的飞快支持事务,无隔离级别:ACID是没戏了,so数据可能不一致我们CK是分析性数据库嘛 引擎:合并树MergeTree系列通主键字典排序,主键可以是列...

2019-03-03 10:30:46

Guns和iView简单介绍

  Guns基于SpringBoot2,致力于做更简洁的后台管理系统。Guns项目代码简洁,注释丰富,上手容易,同时Guns包含许多基础模块(用户管理,角色管理,部门管理,字典管理等10个模块),可以直接作为一个后台管理系统的脚手架! Guns官方交流群:254550081(满)684163663(满)207434260 iView特性 高质量、功能丰富 ...

2019-02-25 22:17:43

ES与spring boot集成 杂烩

主要是摘抄其他博客,汇成此篇,主要是担心自己忘了做些笔记和链接首先推荐《ElasticsearchTemplate的详细使用,完成多条件查询、匹配度查询等》写的很好,图看不到的请点击查看https://blog.csdn.net/tianyaleixiaowu/article/details/76149547《ElasticSearchRepository和ElasticSearchTe...

2019-02-12 16:31:13

OkHttp和RxJava 2.x

OkHttp高效的请求效率,且节省宽带,提供了很多开箱即用的网络疑难杂症解决方案支持HTTP/2,HTTP/2通过使用多路复用技术在一个单独的TCP连接上支持并发,通过在一个连接上一次性发送多个请求来发送或接收数据 如果HTTP/2不可用,连接池减少请求延迟 支持GZIP,可以压缩下载体积 响应缓存可以避免重复请求网络 会从很多常用的连接问题中自动恢复,如果您的服务器配置了多...

2019-01-29 15:46:04

OKio与Retrofit

OKio  轻量级IO框架,结合java.io和java.nio,提供阻塞IO和非阻塞IO的功能,对缓存等底层结构做了优化,核心的代码大约5000行    最基本的接口Sink、Source,基础IO操作, BufferedSink和BufferedSource接口分别继承自Sink和Source,扩展了读写功能,定义了各式各样的读和写。   Buffer(可读、可...

2019-01-29 11:52:47

大杂烩

Resource+Autowired   Autowired按byType自动注入   Resource按byName,name解析为beanName      同时指定name和type,找到唯一匹配的bean装配      都无指定,byName装配,无、回退为一原始类型匹配      i:在字段上,去字段名查找      i:setter方法上,去属性名装配...

2019-01-27 11:31:17

clickhouse之bit hash

bit 位函数可用于UInt8、UInt16、UInt32、UInt64、Int8、Int16、Int32、Int64、Float32或Float64中的任何类型对 结果类型是一个整数,其位等于其参数的最大位。如果至少有一个参数是有符号的,那么结果就是一个有符号的数字。如果参数是浮点数,则将其强制转换为Int64。bitAnd(a,b)/bitOr(a,b) bitXor(a,...

2019-01-24 15:41:55

clickhouse之函数(二)数组

arrayarrayElement(arr,n),operatorarr[n]  从array中获取索引为n的元素,索引从1开始,支持负数,-1指最后一位;索引超过大小返回类型的默认值has(arr,elem)  arr中是否有elem元素,0无1有hasAll(set,subset)   检查arr是否是另一个arr的子集;0无1有,空arr是如何a...

2019-01-24 15:32:19
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。