- 博客(30)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 linux + idea + scala + cdh环境
http://www.jetbrains.com/idea/download/软件下载上传解压[root@hadoop01 opt]# tar xvf ideaIU-2018.1.4.tar.gz 配置java环境变量export JAVA_HOME=/usr/java/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$ORACLE_HOME/bin:$R_HOME/b...
2018-06-19 16:25:47
685
原创 sqoop操作大全
sqoop介绍Sqoop依赖与hadoop 数据的一方，存储在hdfs 底层的数据传输实现map/reduceyarn 只有map任务因为官网sqoop没有hadoop2.5对应的版本，要根据hadoop的版本进行编译（好像不用对应版本也可以，不过建议最好对应版本）。所以这里使用CDH，选择cdh对应的sqoop版本。比较稳定。去Cloudera的官网下载相应的发布版本号 ...
2018-06-19 16:23:52
2489
原创 excel中的表定义导入到powerdesigner
tools ---execute commands---edit/run scripts将下面脚本保存execltopdm------脚本---------------Option Explicit Dim mdl ' the current model Set mdl = ActiveModel If (mdl Is Nothing) Then MsgBox "There is no...
2018-06-12 14:23:09
581
原创 linux解压rar
安装wget http://www.rarlab.com/rar/rarlinux-3.8.0.tar.gztar zxvf rarlinux-3.8.0.tar.gzcd rarmakemake install压缩rar a dir.rar /dir解压rar x dir.rar unrar -e dir.tar报错error while loading shared libraries: li...
2018-06-05 15:45:14
879
原创 vnc远程屏幕大小设置
安装软件tigervnc-serveryum install *vnc* -y注释 /etc/sysconfig/vncservers VNCSERVERS="1:root"VNCSERVERARGS[1]="-geometry 800x600"开启远程执行命令vncserver 第一次需要配置密码远程屏幕大小设置vim /usr/bin/vncserver$geometry="1280x10...
2018-06-04 09:38:48
19943
原创 大数据之----IDE开发环境部署idea + hadoop + meavn + scala环境
安装软件 汉化 破解注册 参考下面http://www.jb51.net/softjc/549047.html
2018-05-28 18:45:09
3033
1
原创 hadoop01:8020 failed on connection exception: java.net.ConnectException: 拒绝接
实验中使用hdfs报错，怎么也能连接hadoop，重启还是报错，仔细排查下[root@hadoop01 ~]# hadoop fs -ls /ls: Call From hadoop01/172.16.18.133 to hadoop01:8020 failed on connection exception: java.net.ConnectException: 拒绝接; For more de...
2018-05-28 16:12:11
15164
1
原创 ogg基本监控脚本
开发监控模块加人对ogg基本监控指标，监控软件每次调用只需要获取1行字符串结果，直接保存到结果表中，写了个简单ogg定期保存ogg状态 延时结果数据[oracle@db ~]$ more ogg_process.sh #!/bin/bash ######配置Oracle环境变量#########export ORACLE_BASE=/u01/app/oracleexport ORACLE_HOME...
2018-05-25 17:13:26
4416
原创 ogg同步不同表名不同列名配置
t1(id number(10),name (varchar(20));t2(id number(10,name2 (varchar(20));标端replicat参数文件需要map对应不同表名，不同列map scott.t1, target scott.t2 , colmap(usedefaults, "name1"="name");不同表名，不同列同步配置...
2018-05-25 10:03:37
2016
原创 Linux上传下载软件lrzsz
安装lrzsz 可以在Linux 和 windows直接相互传文件，Linux无论ssh跳过去也可以sz rz打开图像进行传输文件[root@hadoop01 ~]# yum install lrzsz ----主机hadoop01是通过其他主机ssh过去的[root@hadoop01 input]# rz ----上传文件[root@hadoop01 input]# lsfilexfer.da...
2018-05-25 09:33:10
4331
原创 shell常用格式
1.文件名称格式: xxx.sh2.文件内容的第一行: #!/bin/bash3.命令全部融合在一起4.定义变量 key=value静态变量 a='www.ruozedata.com'动态变量 b=`date`该怎么使用？echo $a echo $abc/d 找不到的echo ${a}bc/d {}包起来5.if判断 整数 字符串 小数 文件夹是否存在 文件是否存在 ....
2018-05-22 16:14:45
4196
原创 world图片批量设置大小
Alt + F11 -----> Miscrosoft Visual Bsic ------->Miscrosoft word对象---->插入模块粘贴下面代码 调整自己大小Sub Macro() Mywidth = 4.13 Myheigth = 5.48 For Each iShape In ActiveDocument.InlineShapes iShape.Heigh...
2018-05-22 16:12:43
2559
原创 shell使用sudo echo x > 时,Permission denied问题
#!/bin/bash -xDNS_SERVER=10.xx.xx.xx;echo "Add DNS Server";sudo chattr -i /etc/resolv.conf;sudo echo "nameserver $DNS_SERVER" >> /etc/resolv.conf;sudo chattr +i /etc/resolv.conf[oracle@md...
2018-05-22 16:07:11
3570
1
原创 大数据之----hadoop中各pid进程号之快速定位
经常管理和监控，需要进行shell编程，直接对进程kill或者重启操作。我们需要进行快速定位到每个进程的pid号pid默认存储在/tmp目录pid内容为进程号ps -ef|grep hadoop 出现PID A,B,C 可能误杀B,C [hadoop@hadoop000 sbin]$ cat hadoop-daemon.sh |grep pid# HADOOP_PID_DIR The p...
2018-05-21 16:06:03
1072
原创 大数据之---CDH集群离线部署全网终极篇--更新中
1、软件环境和IP规划RHEL6 角色 jdk-8u45apache-maven-3.3.9hive-1.1.0-cdh5.7.1-src.tar.gz hadoop-2.8.1.tar.gz mysql-connector-java-6.0.6.tar.gz apache-maven-3.3.9 cloudera-manager-el6-cm5.9.3_x86_64.tar my...
2018-05-19 10:27:46
2619
1
原创 大数据之---Yarn伪分布式部署和MapReduce案例
1、软件环境RHEL6角色jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址NNhadoop01xx.xx.xx.xx ip地址DNhadoop02xx.xx.xx.xx ip地址DNhadoop03xx.xx.xx.xx ip地址DNhadoop04xx.xx.xx.xx ip地址DNhadoop05本次涉及伪分布式部署只是要主机hadoop01，软...
2018-05-17 14:37:10
219
原创 大数据之---官方文档使用大全终极篇----持续更新中
HDFSweb访问50070YARNweb管理8088HistoryServerweb管理19888Zookeeper服务端口2181Hive服务端口10000Kafka服务端口9092azkabanweb界面8443Hbaseweb界面16010，60010Sparkweb界面8080SparkURL7077 默认端口hadoop官方网站hadoop.apache.orghttp://had...
2018-05-17 14:12:25
296
原创 大数据之---hadoop问题排查汇总终极篇---持续更新中
1、软件环境RHEL6角色jdk-8u45hadoop-2.8.1.tar.gz sshxx.xx.xx.xx ip地址NNhadoop1xx.xx.xx.xx ip地址DNhadoop2xx.xx.xx.xx ip地址DNhadoop3xx.xx.xx.xx ip地址DNhadoop4xx.xx.xx.xx ip地址DNhadoop5本次涉及伪分布式部署只是要主机hadoop1 2、启动密钥互信...
2018-05-17 12:06:39
605
原创 大数据之---hadoop常用命令大全终极篇---持续更新
软件环境RHEL6.8hadoop2.8.1apache-maven-3.3.9findbugs-1.3.9protobuf-2.5.0.tar.gzjdk-8u45(操作环境root安装启动的hadoop)hadoop fs == hdfs dfs 将文件上传至hadoop的根目录/下载至本地hadoop dfs -put filename / hadoop dfs -get /file...
2018-05-16 11:52:54
2241
原创 mysql慢查询Copying to tmp table消耗99%
mysql> EXPLAIN -> SELECT -> * -> FROM -> ( -> SELECT -> EO.ID, -> hos.Affiliated_System AS ResourceSystem, -> EO.InfluenceEntity, -> EW.Secur
2018-05-15 17:17:29
3680
原创 大数据之---hadoop伪分布式部署(HDFS)全网终极篇
1、软件环境RHEL6jdk-8u45hadoop-2.8.1.tar.gzsshxx.xx.xx.xx ip地址hadoop1xx.xx.xx.xx ip地址hadoop2xx.xx.xx.xx ip地址hadoop3xx.xx.xx.xx ip地址hadoop4xx.xx.xx.xx ip地址hadoop5本次部署只涉及伪分布式部署只是要主机hadoop1 2.伪分布式部署伪分布式部署文档参考...
2018-05-15 17:15:49
346
原创 大数据之----部署安装编译打包hadoop终极篇
------------------------------软件版本--------------------------------------RHEL6.8hadoop2.8.1apache-maven-3.3.9 findbugs-1.3.9protobuf-2.5.0.tar.gzjdk-8u45------------------------------软件版本------------...
2018-05-15 15:44:19
746
原创 shell命令之column对齐字段
可以将文本结果转换为整齐的表格，上下对齐命令: Column使用的参数：-t ：表格，默认以空格间隔-s：需要配合-t使用，指定分隔符 监控ogg命名字段对齐[oracle@db ogg]$ (echo info all;echo exit)|./ggsci|grep -E "EXTRACT|REPLICAT" |awk 'BEGIN {FS=" +"} {print $3,$2,$4,$5}'...
2018-05-15 11:06:23
15209
原创 Oracle字符集AL32UTF8 改ZHS16GBK字符集
数据导入数据突然发现大量报错，字段长度不够 ORA-02374: conversion error loading table "ECM"."C_CAR_CARD"ORA-12899: value too large for column CARD_MANUFACTURER (actual: 48, maximum: 32) ORA-02372: data for row: CARD_MANUFA
2018-05-10 16:21:58
2157
原创 11.2.0.4 rac asm静默部署
需要将一套单机库数据迁移到rac环境中，需要部署一套11.2.0.4 rac asm 环境，特殊环境客户现场提供的服务器没有图形，又不能在服务器上面安装软件。系统软件专人安装，只能在无图形下进行安装，远程网络还不给力，多折腾一天。 1、安装软件包 安装：yum install xxx -y binutils-2.20.51.0.2-5.11.el6 (x86_64) c
2018-05-10 11:21:16
1503
原创 命令screen
-S sockname 创建一个会话-r 进入一个detached会话 -list 查看会话列表 会话状态:1.detached 无人2.Attached 有人 退出会话，会话后台执行: crtl+a+d 建立窗口 screen –S chaoren crtl+a+d退出，会话后台执行 [root@mds ~]# screen -S chaor
2018-05-08 14:18:29
135
原创 访问V$LOCK视图出现性能问题和temp报错
开发人员反映查询v$lock特别慢； 手工执行报错 [oracle@testdb ~]$ sqlplus / as sysdba SQL*Plus: Release 11.2.0.3.0 Production on Mon May 7 16:53:19 2018 Copyright (c) 1982, 2011, Oracle. All rights reserved. Connected to
2018-05-07 17:34:15
272
原创 大数据之---Spark编译安装
官方文档：spark.apache.org/docs/latest Spark背景 MapReduce局限性： 1>) 繁杂 map/reduce (mapjoin没有reduce) low_level constained 需求 测试 每次改代码再测试 2>) 技术效率低
2018-05-07 14:50:47
133
原创 Open Live Writer安装发布管理博客
官网下载http://openlivewriter.org/ 配置相关信息 CSDN： 博客地址：http://blog.csdn.net/CSDN用户名 用户名：CSDN用户名 密码：CSDN登录密码 选择“Metaweblog API”、填写“远程发布url” 远程发布博客地址：http://write.blog.csdn.net/xmlrpc/index 51cto 博客
2018-05-07 12:19:29
224
屏幕画笔大师 V3.0.zip
2020-08-18
LogView查看大日志文件和大文本文件神器
2020-03-26
mysql-5.6.30和mysql-5.7.12 for linux 64bit通用版本下载
2017-11-02
Toad-for-Oracle-DBA培训教程
2017-09-08
NoteCase 笔记软件
2012-04-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人