Cleoprtra.L的博客

转载 weblogic报Multicast socket receive error Socket closed

启动weblogic 被管服务器，出现如下错误信息：<span style="font-size:14px;"><Nov 13, 2013 12:57:10 PM CST> <Error> <Cluster> <BEA-000109> <An error occurred while sending multicast mess...

原创 关于dsg.sh和dsg_aix.sh脚本执行不成功的处理办法

1、dsg.sh和dsg_aix.sh脚本是为了获取dsg每个channel的安装配置信息，所以执行该脚本的用户必须有dsg安装目录的访问权限。2、dsg.sh和dsg_aix.sh脚本目前只支持南方版和北方版。但是已发现的（青海、宁夏）地区dsg版本比较特殊，既不属于南方版也不属于北方版，这种情况需要实施人员手工收集信息：使用vi编辑器，在dsg-agent安装目录的config目...

原创 Ratel不进行预测，一段时间后恢复正常

问题现象：ratel稳定运行一段时间后，不进行预测；不做任何操作一段时间后，自动恢复正常产生原因：环境内存不足，其他任务无法进行解决方案：增加服务器内存总大小，或及时释放内存...

原创 the jre_home environment variable is not defined correctly this environment vari

1、分析startup.bat启动脚本：发现其调用了catalina.bat,而catalina.bat调用了setclasspath.bat2、在setclasspath.bat的头部定义了JAVA_HOME和JRE_HOME的值，那么这里需要我们手动设置JAVA_HOME变量和JRE_HOME变量（红色代码为新添加）注意：你所设置的变量要和自己的电脑中”环境变量“里的JAVA_HOME...

转载 aix系统安装 jdk

aix6.1安装jdk 1.7一、下载jdk1.7       去ibm网站（http://www.ibm.com）下载：http://www.ibm.com/developerworks/Java/jdk/aix/service.html#i1        aix系统在jdk1.7之后提供jre的单独下载，安装jdk1.7，需要下载如下两个文件（这样才能完整安装jdk1.7）：...

原创 AIX上解压tar.gz

o  压缩§ # tar cvf - folder | gzip &gt; filename.tar.gzo  解压§ # gunzip -c filename.tar.gz | tar -xvf -

原创 kafka彻底删除topic

如果只是用kafka-topics.sh的delete命令删除topic，会有两种情况：如果当前topic没有使用过即没有传输过信息：可以彻底删除 如果当前topic有使用过即有过传输过信息：并没有真正删除topic只是把这个topic标记为删除（marked for deletion）。要彻底把情况2中的topic删除必须把kafka中与当前topic相关的数据目录和zookeeper与...

原创 Kafka报错：Couldn't find leaders for Set

程序从Kafka读数据的程序运行期间报了如下异常：org.apache.spark.SparkException: ArrayBuffer(org.apache.spark.SparkException: Couldn't find leaders for Set这个异常意思是程序找不到partition的Leader。查看监控后发现，在异常发生的时间点，有一个Broker挂掉了。可是对应...

原创 server.properties各参数项说明

default.replication.factor=2，节点的一半 默认副本数num.partition=8 节点数的2/4/6/8倍 分区数num.replica.fetchers =节点数 同步进程数auto.create.topics.enable=true 自动创建topicdelete.topic.enable=true 物理删除topic...

原创 Kafka Shell基本命令（包括topic的增删改查）

创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注： partitions指定topic分区数，replication-factor指定topic每个分区的副本数partitions分区数: pa...

转载 ES启动报错：bootstrap checks failed

原创 机器ip变化导致无法识别集群里面的机器

机器ip变化导致无法识别集群里面的机器解决办法：网上很多都是基于postgresql数据库的解决方案，如果是基于mysql安装的CM，要使用当时安装CM初始化数据库的用户名和密码登陆数据库，修改cm数据库中的HOSTS表即可。...

原创 8888,50070,8088等端口无法访问

现象：master机器通过wget可以正确的得到页面，但是外网却无法获取，而且网络的设置是正确的。查看端口占用发现这些端口全部绑定在内网IP上而不是0.0.0.0。解决方法：去各自的配置文件中配置即可，选择绑定至0.0.0.0端口，然后重启即可。...

原创 Yarn服务无法启动

Yarn服务无法启动1有一次同事拿着我写的安装手册去安装CDH，结果在启动Yarn服务这一步一直失败，而且没有log文件生成，也就是根本就不知道是什么错误。经过百般尝试后依然无果。于是问同事是不是严格按照我的文档上来的，同事说是。结果又尝试和排查了很多次后，同事突然说，我想起来了，打通ssh没按照你的来，你是生成key了分发到其它机器，其实有种口令直接就能分发key到其它机器，不用在本机生...

原创 如何利用Cloudera Manager来手动安装parcel包

1、问题的描述：　　当你利用Cloudera Manager部署了CDH的集群后，也许随着你的业务需求，你需要对你的就去哪做一些优化，或者扩展之类的，这个时候你可能需要下载安装一些组件。例如，我最近在阅读Cloudera 官方文档的是，看到有一节的内容说到Performance Management的时候，发现为了提升集群的性能，经常会将数据进行压缩，此时就会需要添加一些parcel的安装。...

原创 启动agent报错-ERROR ：Failed to connect to previous supervisor.

确认将老的supervisord都杀干净了。可以先ps ax | fgrep supervisord 看下是否有老的进程[root@hadoop2 ~]# ps ax | fgrep supervisord  python -c 'import socket; print socket.getfqdn(), socket.gethostbyname(socket.getfqdn())'...

原创 CDH5.X完全卸载步骤

//CDH5.X完全卸载步骤# by coco# 2015-01-14 1. 关闭集群中的所有服务。 这个可以通过clouder manger 主页关闭集群。2. 卸载[root@master ~]# /usr/share/cmf/uninstall-cloudera-manager.sh  [root@slave1 ~]# service cloudera-s...

原创 heap交换空间设置的小

组件搭建后，不几天磁盘被写满，在/tmp目录下每3分钟产生一个700M左右的mgmt_navigatormetaserver_pid***.hprof文件，而且权限是600官方文档如图 原因：heap交换空间设置的小，调大到2G在/tmp目录下，赋予mgmt_*_navigatormetaserver_pid*.hprof 777权限。然后，刷新/tmp目录...

原创 启动Oozie,impala失败

错误展示 原因没有mysql-java连接jar包解决方法# ls CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz manifest.json CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 jdk-8u91-lin...

原创 启动NFS Gateway失败

错误展示原因解决方法# yum -y install rpcbind # systemctl start rpcbind # echo "systemctl start rpcbind" &gt;&gt; /etc/rc.d/rc.local # chmod +x /etc/rc.d/rc.local

原创 启动Hive失败

错误展示原因根据提示发现是没有mysql-java连接的驱动jar包解决方法# ls CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel cloudera-manager-centos7-cm5.7.0_x86_64.tar.gz manifest.json CDH-5.7.0-1.cdh5.7.0.p0.45-el7.parcel.sha1 jdk-8...

原创 启动server报错：install- invalid user ‘cloudera-scm’

错误展示# /opt/cm-5.7.0/etc/init.d/cloudera-scm-server start install: invalid user ‘cloudera-scm’原因没有创建运行server的用户解决方法#useradd --system --home=/opt/cm-5.7.0/run/cloudera-scm-server --shell=/bin/...

原创 cloudera-scm-agent start 启动失败

cloudera-scm-agent start 启动失败# /opt/cm-5.7.0/etc/init.d/cloudera-scm-agent start Starting cloudera-scm-agent: [FAILED]查询日志# cd /opt/cm-5.7.0/log/cloudera-scm-agent/ # ls cloudera-scm-agent.out #...

原创 配置用户免密钥登录

1、 切换到对应用户，使用ssh-keygen -t rsa -P '' 命令生成密钥：2、 切换到/home/bigdata/.ssh目录，3、 创建authorized_keys文件，并使用id_rsa.pub文件中的内容拷贝到authorized_keys文件中，将其它所有主机生成的id_rsa.pub文件中的内容都追加到authorized_keys这个文件中：使用scp au...

原创 Windows环境，agent在后台运行

解决：1.在run.bat文件修改set JAVA="%JAVA_HOME%/bin/javaw"，启动的时候双击run.bat即使命令行关闭了也不会影响服务2.停止服务：cmd命令行进入script目录后，run.bat stop即可停止...

原创 RAC环境Oracle agent启动失败，日志报错

产生原因：rac文件权限问题：两个节点的 /u01/app/oracle/product/11.2.0/dbhome_1/bin/oracle 这个文件的权限不一致解决方案：正确文件权限：-rwxr-s--x共享模式进入 /u01/app/oracle/product/11.2.0/dbhome_1/bin目录执行命令：chmod 6751 oracle...

原创 Oracle agent启动日志报错

产生原因：部署agent的用户没有读取Oraclealert日志的权限，或没有访问alert日志所在路径的权限解决方案：赋予部署agent用户读取整个路径读的权限chmod 754 -R path...

原创 操作web端同步记录校验无法返回结果

Oracle数据库执行SQL：select TABLE_NAME,NUM_ROWS from dba_all_tables where OWNER = 'username' ;“NUM_ROWS”列无返回结果产生原因：Oracle数据库未做定时分析统计解决方案：Oracle数据库中执行exec dbms_stats.gather_schema_stats('username');...

原创 若在原DSG链路中新增通道对并进行监控

1）若master.properties配置文件中auto.config.channel配置为true，先执行dsg.sh文件在channel.uselocal文件中生成新增通道的配置信息，再重启agent2）若master.properties配置文件中auto.config.channel配置为false，直接重启agent注：新增通道对需已启动...

原创 DSG目标端注册入库后端口为0

产生原因：目标端.profile_dt配置文件中没有REMOTE_VAGENTD_PORT导致端口注册为0解决方案：1、DSG Agent的master.properties配置文件中auto.config.channel必须配置为true并执行dsg.sh脚本          2、删除错误注册信息后重新注册该channel...

原创 执行 ./dsg.sh，报错没有文件目录权限

产生原因：部署agent的用户未在部署DSG软件用户所属组中解决方案：将部署agent的用户添加到部署DSG软件用户所属组中执行usermod -a -G 用户组用户

原创 DSG Agent启动后报错

产生原因：master.properties文件中auto.config.channel中设置为true但未执行./dsg.sh解决方案：1、修改master.properties文件中auto.config.channel=false；2、或先执行./dsg.sh文件后启动DSG Agent（AIX系统执行./dsg_aix.sh）...

原创 kafka分区无leader

产生原因：kafka分区无leader解决方案：1、重启Icop-Rice2、或重启kafka服务

原创 升级Python依赖包报错

Cannot uninstall 'pyparsing'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.解决：sudo pip install --...

原创 若重新启动ratel，需确定是否还存在僵死进程

执行命令：ps -ef|grep ratel若存在如上图所示，则执行以下命令：ps aux|grep ratel_s_main.py|grep -v grep|awk '{print $2}'| xargs kill -9再次执行ps -ef|grep ratel命令无ratel进程即可正常启动ratel...

原创 iCop-Ratel执行run_local.sh文件报错

若run_local.sh文件执行报错执行命令whereis sh修改run_local.sh文件：

原创 pip install --no-index -f . fbprophet报错： error: command 'gcc' failed with exit status 1

产生原因：python和gcc编译环境可能有问题解决方案：yum install –y libevent-devel python-devel tkinter libffi-devel openssl-devel gcc

原创 pip: command not found

若提示pip: command not found表示未安装pip，可获取pip安装包进行安装若安装pip时出现如下画面，需安装setuptools：下载：http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11-py2.7.egg然后执行：sh setuptools-0.6c11-py2.7.egg   ...

原创 Logstash启动报错

原因：缺少处理多行的插件解决：logstash目录下执行./bin/logstash-plugin install logstash-filter-multiline

原创 Logstash未接收到rsyslog

原因：rsyslog.conf文件配置问题解决：@ip:port前再加一个@（一个@走的是UDP协议，两个@走的是TCP协议）