11 超人-归来

尚未进行身份认证

我要认证

开心每一天!!

等级
TA的排名 10w+

linux + idea + scala + cdh环境

http://www.jetbrains.com/idea/download/软件下载上传解压[root@hadoop01 opt]# tar xvf ideaIU-2018.1.4.tar.gz 配置java环境变量export JAVA_HOME=/usr/java/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$ORACLE_HOME/bin:$R_HOME/b...

2018-06-19 16:25:47

sqoop操作大全

sqoop介绍Sqoop依赖与hadoop       数据的一方,存储在hdfs       底层的数据传输实现map/reduceyarn 只有map任务因为官网sqoop没有hadoop2.5对应的版本,要根据hadoop的版本进行编译(好像不用对应版本也可以,不过建议最好对应版本)。所以这里使用CDH,选择cdh对应的sqoop版本。比较稳定。去Cloudera的官网下载相应的发布版本号 ...

2018-06-19 16:23:52

excel中的表定义导入到powerdesigner

tools ---execute commands---edit/run scripts将下面脚本保存execltopdm------脚本---------------Option Explicit   Dim mdl ' the current model Set mdl = ActiveModel If (mdl Is Nothing) Then     MsgBox "There is no...

2018-06-12 14:23:09

linux解压rar

安装wget http://www.rarlab.com/rar/rarlinux-3.8.0.tar.gztar zxvf rarlinux-3.8.0.tar.gzcd rarmakemake install压缩rar a dir.rar /dir解压rar x dir.rar unrar -e dir.tar报错error while loading shared libraries: li...

2018-06-05 15:45:14

vnc远程屏幕大小设置

安装软件tigervnc-serveryuminstall*vnc*-y注释/etc/sysconfig/vncservers VNCSERVERS="1:root"VNCSERVERARGS[1]="-geometry800x600"开启远程执行命令vncserver 第一次需要配置密码远程屏幕大小设置vim /usr/bin/vncserver$geometry="1280x10...

2018-06-04 09:38:48

大数据之----IDE开发环境部署idea + hadoop + meavn + scala环境

安装软件 汉化 破解注册 参考下面http://www.jb51.net/softjc/549047.html

2018-05-28 18:45:09

hadoop01:8020 failed on connection exception: java.net.ConnectException: 拒绝接

实验中使用hdfs报错,怎么也能连接hadoop,重启还是报错,仔细排查下[root@hadoop01 ~]# hadoop fs -ls /ls: Call From hadoop01/172.16.18.133 to hadoop01:8020 failed on connection exception: java.net.ConnectException: 拒绝接; For more de...

2018-05-28 16:12:11

ogg基本监控脚本

开发监控模块加人对ogg基本监控指标,监控软件每次调用只需要获取1行字符串结果,直接保存到结果表中,写了个简单ogg定期保存ogg状态 延时结果数据[oracle@db ~]$ more ogg_process.sh #!/bin/bash ######配置Oracle环境变量#########export ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME...

2018-05-25 17:13:26

ogg同步不同表名不同列名配置

t1(id number(10),name (varchar(20));t2(id number(10,name2 (varchar(20));标端replicat参数文件需要map对应不同表名,不同列map scott.t1, target scott.t2 , colmap(usedefaults, "name1"="name");不同表名,不同列同步配置...

2018-05-25 10:03:37

Linux上传下载软件lrzsz

安装lrzsz 可以在Linux 和 windows直接相互传文件,Linux无论ssh跳过去也可以sz rz打开图像进行传输文件[root@hadoop01 ~]# yum install lrzsz ----主机hadoop01是通过其他主机ssh过去的[root@hadoop01 input]# rz  ----上传文件[root@hadoop01 input]# lsfilexfer.da...

2018-05-25 09:33:10

shell常用格式

1.文件名称格式: xxx.sh2.文件内容的第一行: #!/bin/bash3.命令全部融合在一起4.定义变量  key=value静态变量  a='www.ruozedata.com'动态变量  b=`date`该怎么使用?echo $a echo $abc/d   找不到的echo ${a}bc/d   {}包起来5.if判断  整数  字符串  小数  文件夹是否存在  文件是否存在  ....

2018-05-22 16:14:45

world图片批量设置大小

Alt + F11  -----> Miscrosoft Visual Bsic  ------->Miscrosoft word对象---->插入模块粘贴下面代码 调整自己大小Sub Macro() Mywidth = 4.13 Myheigth = 5.48 For Each iShape In ActiveDocument.InlineShapes iShape.Heigh...

2018-05-22 16:12:43

shell使用sudo echo x > 时,Permission denied问题

#!/bin/bash -xDNS_SERVER=10.xx.xx.xx;echo "Add DNS Server";sudo chattr -i /etc/resolv.conf;sudo echo "nameserver $DNS_SERVER" >> /etc/resolv.conf;sudo chattr +i /etc/resolv.conf[oracle@md...

2018-05-22 16:07:11

大数据之----hadoop中各pid进程号之快速定位

经常管理和监控,需要进行shell编程,直接对进程kill或者重启操作。我们需要进行快速定位到每个进程的pid号pid默认存储在/tmp目录pid内容为进程号ps -ef|grep hadoop 出现PID A,B,C 可能误杀B,C [hadoop@hadoop000 sbin]$ cat hadoop-daemon.sh |grep pid# HADOOP_PID_DIR The p...

2018-05-21 16:06:03

大数据之---CDH集群离线部署全网终极篇--更新中

1、软件环境和IP规划RHEL6 角色 jdk-8u45apache-maven-3.3.9hive-1.1.0-cdh5.7.1-src.tar.gz hadoop-2.8.1.tar.gz mysql-connector-java-6.0.6.tar.gz apache-maven-3.3.9 cloudera-manager-el6-cm5.9.3_x86_64.tar my...

2018-05-19 10:27:46

大数据之---Yarn伪分布式部署和MapReduce案例

 1、软件环境RHEL6角色jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址NNhadoop01xx.xx.xx.xx ip地址DNhadoop02xx.xx.xx.xx ip地址DNhadoop03xx.xx.xx.xx ip地址DNhadoop04xx.xx.xx.xx ip地址DNhadoop05本次涉及伪分布式部署只是要主机hadoop01,软...

2018-05-17 14:37:10

大数据之---官方文档使用大全终极篇----持续更新中

HDFSweb访问50070YARNweb管理8088HistoryServerweb管理19888Zookeeper服务端口2181Hive服务端口10000Kafka服务端口9092azkabanweb界面8443Hbaseweb界面16010,60010Sparkweb界面8080SparkURL7077   默认端口hadoop官方网站hadoop.apache.orghttp://had...

2018-05-17 14:12:25

大数据之---hadoop问题排查汇总终极篇---持续更新中

1、软件环境RHEL6角色jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址NNhadoop1xx.xx.xx.xx ip地址DNhadoop2xx.xx.xx.xx ip地址DNhadoop3xx.xx.xx.xx ip地址DNhadoop4xx.xx.xx.xx ip地址DNhadoop5本次涉及伪分布式部署只是要主机hadoop1 2、启动密钥互信...

2018-05-17 12:06:39

大数据---hadoop生态圈之架构HDFS-MR-YARN原理图汇总终极篇

HDFS架构原理图namenode元数据管理机制

2018-05-16 15:32:43

大数据之---hadoop常用命令大全终极篇---持续更新

软件环境RHEL6.8hadoop2.8.1apache-maven-3.3.9findbugs-1.3.9protobuf-2.5.0.tar.gzjdk-8u45(操作环境root安装启动的hadoop)hadoop fs == hdfs dfs 将文件上传至hadoop的根目录/下载至本地hadoop dfs -put filename /     hadoop dfs -get /file...

2018-05-16 11:52:54

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!