3 xp_lx12

尚未进行身份认证

越努力越幸运!

等级
TA的排名 3w+

配置集群模式下的ssh免密码登录

在使用hadoop配置集群模式时,必然要使用ssh进行各个机器之间的免密码登录。环境准备:  集群模式下会有多个主机,而本教程使用的主机名和IP地址如下:192.168.1.160master192.168.1.161slave1一、安装ssh服务:  若系统中没有安装ssh服务,则要在每台机器中都安装ssh服务  redhat,fedora,cento...

2019-09-22 11:14:57

人工智能大数据,公开的海量数据集下载

数据集的网站:1、PublicDataSetsonAmazonWebServices(AWS)http://aws.amazon.com/datasetsAmazon从2008年开始就为开发者提供几十TB的开发数据。2、Yahoo!Webscopehttp://webscope.sandbox.yahoo.com/index.php3、Konectisa...

2019-09-19 09:45:24

Sqoop1.4.6快速入门总结

1Sqoop概述传统的应用程序管理系统,即应用程序与使用RDBMS的关系数据库的交互,是产生大数据的来源之一。由RDBMS生成的这种大数据存储在关系数据库结构中的关系数据库服务器中。当大数据存储和Hadoop生态系统的MapReduce,Hive,HBase,Cassandra,Pig等分析器出现时,他们需要一种工具来与关系数据库服务器进行交互,以导入和导出驻留在其中的大数据。在这里,S...

2019-09-04 16:13:22

SQurriel配置和客户端无法连接Phoenix问题

问题描述:环境:ESC中搭建的ambari大数据管理平台,添加Hbase服务时勾选Phoenix支持,Phoenix本版4.7。step1:添加phoenix服务器安装目录下的phoenix-[version]-client.jar到squirrel-sql安装目录lib/下step2:添加驱动,填写驱动类名:org.apache.phoenix.jdbc.PhoenixDrivers...

2019-09-03 16:41:41

Ambari2.6详细安装步骤

Ambari详细安装步骤 Ambari简介Ambari跟Hadoop等开源软件一样,也是ApacheSoftwareFoundation中的一个项目,并且是顶级项目。目前最新的发布版本是2.7.3。就Ambari的作用来说,就是创建、管理、监视Hadoop的集群,但是这里的Hadoop是广义,指的是Hadoop整个生态圈(例如Hive,Hbase,Sqoop,Zookeeper等...

2019-08-29 11:30:20

hive与hbase的十大区别与联系

问题导读:hive与hbase的底层存储是什么?hive是产生的原因是什么?habase是为了弥补hadoop的什么缺陷?共同点:1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别:2.Hive是建立在Hadoop之上为了减少MapReducejobs编写工作的批处理系统,HBase是为了支持弥补Hadoop对实时操作的缺陷的项目。3.想象你在操作RM...

2019-08-26 15:48:31

docker安装mysql:5.6

一、拉镜像:dockerpullmysql:5.6二、启动容器:dockerrun--namemysql-p3307:3306-eMYSQL_ROOT_PASSWORD=123-dmysql:5.6MYSQL_ROOT_PASSWORD:设置初始密码。注意:密码设置成"123"可以连接,"123456"无法远程连接,原因我也没找到为什么!...

2019-08-24 11:02:44

伪分布式模式安装HBase和ZooKeeper

第一步:安装单机ZooKeeper1.在namenode机器下,配置zookeeper,先解压安装包,使用命令:tar-zxvfzookeeper-3.4.4.tar.gz2.进入zookeeper的配置目录,首先把zoo_sample.cfg重命名一下,可以重新复制一遍,使用命令:cpzoo_sample.cfgzoo.cfg3.配置zoo.cfgdat...

2019-08-20 14:32:53

Hive使用HiveServer2服务端配置、启动允许远程连接

1、hive命令行模式直接输入./hive/bin/hive的执行程序,或者输入hive–servicecli用于linux平台命令行查询,查询语句基本跟MySQL查询语句类似。2、jdbc远程连接hiveserver2(1)、hiveserver2增加了权限控制,需要在hadoop的配置文件中配置增加权限。在hadoop的core-site.xml中添加如...

2019-08-15 14:38:35

docker命令总结

1、强制删除全部containerdockercontainerrm-f$(dockercontainerls-a-q)2、强制删除所有镜像dockerimagerm-f$(dockerimagels-a-q)3、运行redis命令:dockerrun-d--nameredis-p16...

2019-07-08 17:15:47

SpringBoot整合Graylog3.0

Graylog简介Graylog是一个开源的完整的日志管理工具,功能和ELK类似,安装部署更方便。官方网站https://www.graylog.org1、pom.xml引入以下包<!--日志收集--><dependency><groupId>de.siegmar</groupId><artifact...

2019-07-06 16:52:40

VMware虚拟机 NAT模式 配置静态ip

前言:Ubuntu16.04VMware虚拟机NAT模式配置静态ip,这个问题困扰我好长时间,桥接的静态ip我会了,然而用NAT的方式配置集群会更好。(NAT方式客户机之间的通讯不经过路由器),所以想着换成NAT方式会更好。要使用NAT方式设置静态ip,需要相当多的计算机网络知识了。第一先查看你的主机的网卡是否把网络共享给虚拟网卡vmnet8了吗?打开网络共享中心———&...

2019-05-30 10:23:56

Linux下RocketMQ环境的配置

RocketMQ是一款分布式消息系统,最初是由阿里巴巴消息中间件团队研发并大规模应用于生产系统,满足线上海量堆积的需求,在去年捐赠给Apache开源基金会,并列为孵化项目,今年成功的正式成为了apache顶级项目;早期阿里曾经基于ActiveMQ研发的消息系统,随着业务消息的规模增大,瓶颈逐渐明显,后来也考虑过Kafka,但是因为在低延迟和高可靠性方面没有选择,最后才自主研发了RocketMQ,各...

2019-05-28 11:53:51

Spring事务嵌套引发---Transaction rolled back because it has been marked as rollback-only

使用@Transactional(propagation=Propagation.REQUIRES_NEW)注解就可以。

2019-05-22 17:21:48

RocketMQ之console监控平台使用详解

一、序现在网上“同质性”的技术文章太多了,本来想了解下rocketmq-console监控平台的文档使用,不知道是搜索姿势有问题还是没这需求,找到的全是rocketmq-console的部署安装。测试了很遍,结合理解,差不都搞懂了很多关于此监控平台的用法,分享记录一波。二、模块1.OPS这里很容易看清楚,双击标签可以修改NameSer的I...

2019-05-22 15:48:53

记一次spring boot项目启动服务器内存不足

1、top然后按m,显示内存剩余大小:2、ps-aux--sort-rss|head列出进程拿物理内存占用排序使用psaux查看系统进程时,第六列即RSS列显示的就是进程使用的物理内存。psaux--sort=-rss(rss查看内存量)3、free-mtotal:本机共有多少内存used:本机已消耗的内存free:本机空闲的内...

2019-04-28 14:24:36

IDEA配置修改和常用插件使用

一、Idea配置修改。 自动编译开关 忽略大小写开关 智能导包开关 悬浮提示开关 取消单行显示tabs的操作 项目文件编码 设置行号显示 正文自动编译开关在Eclipse中自动编译开关是开着的,如下所示那么,在IDEA中,务必要手动将其打开,非常重要!如下所示忽略大小写开关IDEA默认是匹配大小写,...

2019-04-13 17:25:51

idea安装插件plugin(主要针对网络连接不上的情况)

STEP1:ctrl+alt+s打开settingsSTEP2:在输入框键入PluginsSTEP3:输入你想要的插件名称,我这边输入的是nodejs,因为最近在学(我这边是安装过的...所以这样显示)。STEP4:点开中下方的前两个按钮(Installplugins;Browserepositories)就可以在线进行下载了敲重点!敲...

2019-04-13 11:07:51

java中异常抛出

//代码1publicstaticvoidtest()throwsException{thrownewException("参数越界");System.out.println("异常后");//编译错误,「无法访问的语句」}//代码2try{thrownewException("参数越界");}catch(Exceptio...

2019-03-20 09:48:30

mybatis工作原理

我将其工作原理分为六个部分: 读取核心配置文件并返回InputStream流对象。 根据InputStream流对象解析出Configuration对象,然后创建SqlSessionFactory工厂对象 根据一系列属性从SqlSessionFactory工厂中创建SqlSession 从SqlSession中调用Executor执行数据库操作&&amp...

2019-03-20 09:21:24

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。