8 冰 河

尚未进行身份认证

高级软件架构师,Java编程专家,开源分布式消息引擎Mysum发起者、首席架构师,开源消息中间件Android-MQ独立作者,国内知名开源分布式数据库中间件Mycat核心架构师,精通Java, C, C++, Python, Hadoop大数据生态体系,熟悉MySQL内核,Android底层架构。多年来致力于分布式系统架构、微服务、分布式数据库、大数据技术的研究,曾主导过众多分布式系统、微服务及大数据项目的架构设计、研发和实施落地。在高并发、高可用、高可扩展性、高可维护性和大数据等领域拥有丰富的经验。对Hadoop、Spark、Storm等大数据框架源码进行过深度分析并具有丰富的实战经验。

等级
TA的排名 100

Linux之—— Unable to connect to system bus: Failed to connect to socket /var/run/dbus/system_bus_sock

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/99694223报错信息如下:status:Unabletoconnecttosystembus:Failedtoconnecttosocket/var/run/dbus/system_bus_socket:Nosuchfileordire...

2019-08-17 16:07:41

Storm之——Storm2.0.0配置详解

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/99126674Storm2.0.0中defaults.yaml文件的配置如下(链接为:https://github.com/apache/storm/blob/v2.0.0/conf/defaults.yaml):#LicensedtotheApacheSoft...

2019-08-10 23:23:09

Storm之——启动Storm报错(ImportError: No module named argparse)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98970056问题:启动Storm的nimbus和supervisor时,会报错,比如在命令行输入如下两个命令中的任何一个。stormnimbusstormsupervisor均会报如下错误信息。Traceback(mostrecentcall...

2019-08-09 17:33:24

Kafka之——Python3.X执行Python编写的生产者和消费者报错

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98966741Python3.X执行Python编写的生产者和消费者报错,报错信息如下:Traceback(mostrecentcalllast):File"mykit_kafka_producer.py",line9,in<module&g...

2019-08-09 16:51:18

Flume之——监听Nginx日志发送到Hive表

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98945268一、环境准备首先,有关Hadoop环境的搭建,大家可以参考博文《Hadoop之——基于3台服务器搭建Hadoop3.x集群(实测完整版)》,有关Nginx的安装和配置,可以参见博文《Nginx+Tomcat+Memcached负载均衡集群服务搭建》,有关Hiv...

2019-08-09 11:13:57

Kafka之——三种消费模式

自动提交offset以下实例代码展示了如何自动提交topic的offset:publicvoidautoOffsetCommit(){Propertiesprops=newProperties();props.put("bootstrap.servers","binghe100:9092");props.put("group.id",...

2019-08-03 21:51:24

Flume之——监控

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98127601Http监控这种监控方式比较简单,只需要在启动Flume命令中加入Http监控配置,如下命令所示:flume-ngagent-c/usr/local/flume-1.9.0/conf-f/usr/local/flume-1.9.0/conf/f...

2019-08-02 00:49:44

Flume之——配置多个Sink源(一个Source对应多个Channel和Sink)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98055100配置模型如下图:Flume的配置如下:myagent.sources=r1myagent.sinks=k1k2myagent.channels=c1c2myagent.sources.r1.selector.type=rep...

2019-08-01 14:18:06

Flume之——配置详解

Flume:=====================Flume是一种分布式的、可靠的、可用的服务,可以有效地收集、聚合和移动大量的日志数据。它有一个基于流数据的简单而灵活的体系结构。它具有健壮性和容错能力,具有可调的可靠性机制和许多故障转移和恢复机制。它使用一个简单的可扩展数据模型,允许在线分析应用程序。source:源...

2019-08-01 13:39:20

Hadoop之——Flume采集Nginx日志到Hive的事务表

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97975539注意:笔者这里使用的各软件版本为:Hadoop3.2.0、Flume1.9.0、Hive2.3.5、Nginx1.17.2。简单流程示意图如下:1.Nginx数据格式有关Nginx的安装和配置可以参见博文《Nginx+Tomcat+Memc...

2019-07-31 23:25:02

Flume之——配置案例

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97934236监听telnet44444端口myagent.sources=r1myagent.sinks=k1myagent.channels=c1#Describe/configurethesourcemyagent.sources.r1.t...

2019-07-31 17:02:54

Hadoop之——通过distcp并行复制

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97814582distcp是一个分布式复制程序,改程序可以从Hadoop文件系统间复制大量数据,也可以将大量的数据复制到Hadoop中distcp的典型应用是在两个HDFS集群间传输数据hadoopdistcphdfs://binghe101/foohdfs:/...

2019-07-30 20:28:51

SVN之——安装SVN服务

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97171953Windows下安装到链接https://www.visualsvn.com/server/download/下载安装包安装即可。Linux下安装1.检查本地是否已经安装了subversionrpm-qa|grepsubversion...

2019-07-24 21:43:29

Sqoop之——Sqoop连接数据库报错(找不到org/apache/commons/lang/StringUtils)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/97135322问题:Sqoop连接数据库报错,报错信息为:Exceptioninthread"main"java.lang.NoClassDefFoundError:org/apache/commons/lang/StringUtilsat...

2019-07-24 15:33:49

SpringMVC之——Filter需要配置多个url-pattern

最近做项目遇到一个Filter需要配置多个url-pattern,上网查了下资料,经测试,现总结下filter-mapping元素位于web.xml文件中filter元素之后serlvet元素之前。它包含如下三个可能的子元素。filter-name这个必需的元素必须与用filter元素声明时给予过滤器的名称相匹配。url-pattern此元素声明一个以斜杠(/)开始的模式,它指定过滤器应用...

2019-07-24 10:12:19

Hive之——防止数据被误删除

1、HDFS层面开启trash功能(fs.trash.interval)被删除的数据在HDFS中的/user/$USER/.Trash目录中,开启这个功能秩序要将配置属性fs.trash.interval得知你设置成为合理的整数,单位是分钟。设置值1440为24小时。如果删除了重要的数据,可以重新建一张表,重新建所需的分区,再从.Trash目录将误删除的文件移动到正确的文件夹目录下。2、创建...

2019-07-21 23:27:06

Hive之——内部表与外部表相互相互转化

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/96768919直接上代码,大家都懂createtabletablePartition(sstring)partitionedby(ptstring);altertabletablePartitionaddifnotexistspartition...

2019-07-21 22:09:04

Hive之——Hive-hiveserver2-beeline

在Hadoop集群中任选一台服务器作为Hive的服务器。主要配置Hive,配置好后,启动该服务器的meterstore,并配置<!--配置使远程客户端连接Hive服务器bidev-cdh005--><property><name>hive.metastore.uris</name><value>thrift:/...

2019-07-18 19:17:02

Hive之——使用hive的beeline连接报错hadoop is not allowed to impersonate hadoop (state=08S01,code=0)解决方案

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/96444889问题:使用hive的beeline连接Hive的远程模式终端时报错,报错信息为:hadoopisnotallowedtoimpersonatehadoop(state=08S01,code=0)原因:hiveserver2增加了权限...

2019-07-18 19:01:29

Hadoop之——crontab 定时运行 hadoop 任务(以Hadoop用户身份运行crontab报错)

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/95964457问题:在/etc/crontab里添加任务,想以hadoop用户去执行这个脚本。*/5****hadoop/bin/sh/home/hadoop/runhadoop.sh一直报错,如下:crontabErrorcreati...

2019-07-15 14:28:42

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024勋章
    1024勋章
    #1024程序员节#活动勋章,当日发布原创博客即可获得
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。