8 aa1215018028

尚未进行身份认证

暂无相关描述

等级
TA的排名 5k+

Kafka数据到Hdfs

找时间总结整理了下数据从Kafka到Hdfs的一些pipeline,如下1>Kafka->Flume–>HadoopHdfs常用方案,基于配置,需要注意hdfs小文件性能等问题.GitHub地址:https://github.com/apache/flume2>Kafka->KafkaHadoopLoader->Had...

2019-08-23 11:03:55

hive读取Hbase的数据

1、文档(不会的直接找文档最方便)HBaseIntegration2、拷贝jar文件2.1将Hbase/bin目录下面文件拷贝到Hive/bin目录下 cd/home/hbase/lib cp./*/home/hive/lib 2.2把Hive的lib目录下面的hive-hbase-handler-0.13.1.jar拷贝到Hbase的li...

2019-08-22 20:10:14

Hive学习实例

正文一、求单月访问次数和总访问次数1、数据说明数据字段说明用户名,月份,访问次数数据格式A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2015-02,10B,2015-02,5A,2015-03,16A,...

2019-08-20 17:06:15

mysql视图和临时表的区别

视图视图是由从数据库的基本表中选出来的数据组成的逻辑窗口,它与基本表不同的是,视图是一个虚表。数据库中只存放视图的定义,而不存放视图包含的数据,这些数据仍存放在原来的基表中。所以基表中的数据如果发生改变,从视图中查询出的数据也随之改变。视图是一个虚表,他是通过执行SQL查询所产生的。视图以select命名存储于数据字典当中。每当SQL查询包含有视图名称的时候,数据库管理系统会执行在视图定义...

2019-08-20 14:35:58

Elasticsearch:跨集群数据迁移之离线迁移

跨集群数据迁移用户在腾讯云上自建的ES集群或者在其它云厂商购买的ES集群,如果要迁移至腾讯云ES,用户可以根据自己的业务需要选择适合自己的迁移方案。如果业务可以停服或者可以暂停写操作,可以参考离线迁移的四种方案。离线迁移离线迁移需要先停止老集群的写操作,将数据迁移完毕后在新集群上进行读写操作。适合于业务可以停服的场景。离线迁移大概有以下几种方式:elasticsearch-dum...

2019-08-13 10:48:27

HashMap哈希算法引出的求余%和与运算&转换问题

1、引出问题  在前面讲解HashMap的源码实现时,有如下几点:  ①、初始容量为1<<4,也就是24=16    ②、负载因子是0.75,当存入HashMap的元素占比超过整个容量的75%时,进行扩容,而且在不超过int类型的范围时,进行2次幂的扩展(指长度扩为原来2倍)    扩大一倍    ③、新添加一个元素时,计算这个元素在H...

2019-08-06 10:34:36

Mqtt Qos 深度解读

1.QoS含义:QualityofService,服务质量2.作用域发布者的Qos订阅者的Qos3.等级与作用level0:最多一次的传输level1:至少一次的传输,(鸡肋)level2:只有一次的传输4.交互过程qos0对于qos1而言,对于client而言,有且仅发一次publish包,对于broker而言,有且仅发一次publish,简而...

2019-08-05 18:19:39

TCP协议状态转换详解

、三次握手和四次挥手1、建立连接(三次握手)(1)服务器会处于listen状态,客户端发送一个带SYN标志的TCP报文到服务器。(2)服务器端回应客户端的请求,这是三次握手中的第2个报文,这个报文同时带SYN标志和ACK标志。因此它表示对刚才客户端SYN报文的回应;同时又标志SYN给客户端,询问客户端是否准备好进行数据通讯。(3)客户必须再次...

2019-08-05 15:46:39

Flink并行度与slot之间的关系

简介Flink运行时主要角色有两个:JobManager和TaskManager,无论是standalone集群,flinkonyarn都是要启动这两个角色。JobManager主要是负责接受客户端的job,调度job,协调checkpoint等。TaskManager执行具体的Task。TaskManager为了对资源进行隔离和增加允许的task数,引入了slot的概...

2019-08-05 12:17:40

ReenTrantLock详解

首先介绍下各个参数的含义;Node节点的参数含义:关于SIGNAL、CANCELLED、CONDITION、PROPAGATE四个状态,JDK源码的注释中同样有了详细的解读,再用一张表格总结一下:接下来查看源码,以下所有备注都写在代码中,主要本人也没写过什么博客,文字功底比较差,大家见谅。下面说到的源码都采用非公平锁来讲解:首先说下lock()方法1f...

2019-08-05 10:03:04

SkipList算法原理分析

为什么选择跳表目前经常使用的平衡数据结构有:B树,红黑树,AVL树,SplayTree,Treep等。想象一下,给你一张草稿纸,一只笔,一个编辑器,你能立即实现一颗红黑树,或者AVL树出来吗?很难吧,这需要时间,要考虑很多细节,要参考一堆算法与数据结构之类的树,还要参考网上的代码,相当麻烦。用跳表吧,跳表是一种随机化的数据结构,目前开源软件Redis和LevelDB...

2019-08-01 16:58:53

CompletableFuture的使用

总的来说,就是解决future模式的缺点。主要是a.为了解决Future虽然可以实现异步获取线程的执行结果,但是future没有提供通知机制,调用方无法得知future什么时候执行完的问题。b.要么使用阻塞,在future.get()的地方等待future返回结果,这时会变成同步操作。如果使用isDone()方法进行循环判断,就会消耗cpu资源。Complet...

2019-07-31 19:02:02

TCP的状态转换及生产问题实操

前文本号介绍了TCP协议主要的流程,包括建立连接、传输数据和断开连接。如果大家认真阅读了附图,应该可以看到在各个流程中套接字的状态是在不断变化的,不同的状态标识了套集字所处的阶段。如图1是TCP一个完整的状态转换图,图中包含了套接字的所有状态,以及发生状态转变的触发条件。可能会有人问,了解这些状态有什么用呢?我们平时编程又用不到。图1TCP状态转换图为了说明上述问题,我们从3个角度进...

2019-07-27 17:05:14

Java并发编程:CountDownLatch、CyclicBarrier和Semaphore

Java并发编程:CountDownLatch、CyclicBarrier和Semaphore  在java1.5中,提供了一些非常有用的辅助类来帮助我们进行并发编程,比如CountDownLatch,CyclicBarrier和Semaphore,今天我们就来学习一下这三个辅助类的用法。  以下是本文目录大纲:  一.CountDownLatch用法  二.CyclicBa...

2019-07-27 16:48:08

Flink state,checkpoint详解

目录目录背景(1)介绍,实现方式分类(2)使用ManageState,Flink自动实现state保存和恢复(3)自定义state自行实现实现checkpoint接口借鉴文章背景Flink相对于Storm和SparkStream比较大的一个优势就是State,pipline中可以保存状态,这对于解决业务是有巨大的帮助,否则将...

2019-07-22 14:55:31

通过jstack与jmap分析一次线上故障

一、发现问题下面是线上机器的cpu使用率,可以看到从4月8日开始,随着时间cpu使用率在逐步增高,最终使用率达到100%导致线上服务不可用,后面重启了机器后恢复。二、排查思路简单分析下可能出问题的地方,分为5个方向:1.系统本身代码问题2.内部下游系统的问题导致的雪崩效应3.上游系统调用量突增4.http请求第三方的问题5.机器本身的问题三、开始排查...

2019-07-11 15:59:13

OpenTsdb官方文档----查询过滤器

任何数据库系统的关键功能是使用某种形式的过滤来获取完整数据集的子集。OpenTsdb从版本1.x开始提供了过滤功能,并从2.2开始具有了扩展功能。过滤器目前在标签值上运行,这意味着在拉取数据时,任意指标和标签Key都必须按照与数据库中完全相同的出现方式来进行指定。示例数据  由于每个过滤器都会在下面进行说明,都会用到下述数据集。它由单一指标组成,定义在各个标签上的多个时间序列。作为例子,在...

2019-07-04 17:37:24

java.io.IOException: Too many open files

今天后台服务器(Linux)在转音源的时候报java.io.IOException:Toomanyopenfiles在网上查了一些资料记录如下:打开的文件过多,一般来说是由于应用程序对资源使用不当造成,比如没有及时关闭Socket或数据库连接等。但也可能应用确实需要打开比较多的文件句柄,而系统本身的设置限制了这一数量。异常1java.net.SocketExcepti...

2019-07-04 10:18:00

jdk8以上G1垃圾回收器的配置参数

#最大堆大小-Xmx2048m#初始堆大小      -Xms2048m#年轻代大小        -Xmn1024m#每个线程栈大小,JDK5.0以后每个线程堆栈大小为1M。-Xss512k#Eden区与Survivor区的大小比值,设置为8,则两个Survivor区与一个Ed...

2019-07-01 11:09:21

Java8 Stream 分组求和使用笔记

话不多说,直接贴代码,分组使用classFoo{privateintcode;privateintcount;publicFoo(intcode,intcount){this.code=code;this.count=count;}publicintgetCode()...

2019-06-29 19:08:14

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。