12 风语飘摇

尚未进行身份认证

XXXXXXX

等级
TA的排名 4w+

kudu 文件描述符 更改

kudu 文件描述符超过阀值kudu 文件描述符缺省打开文件数为32768在/etc/security/limits.d/下找到了cloudera的limit配置文件,里面限制为32768/etc/security/limits.d/cloudera-scm.conf修改:32768会覆盖系统配置,cm启动的进程最大打开文件数都是32768.要修改这个配置,需要修改cm...

2019-11-26 15:51:37

Idea Error:java: Compilation failed: internal java compiler error

Idea Error:java: Compilation failed: internal java compiler error解决办法很简单:File-->Setting...-->Build,Execution,Deployment-->Compiler-->Java Compiler 设置相应Module的target bytecode version的合适版本...

2019-11-26 13:51:46

HUE middleware INFO Processing exception: StandbyException: Operation category RAD is not supported

HUE middleware INFO Processing exception: StandbyException: Operation category RAD is not supported原因是:HDFS高可用(HA)活动节点变了,而HUE HDFS Web url没有变,导致HUE HDFS Web url用的是NameNode节点是standby namenode,所以出现问...

2019-11-21 14:23:27

Keras 更新指令

Keras 更新指令pip install git+git://github.com/fchollet/keras.git --upgrade --no-deps

2019-01-19 11:59:05

CDH5 某机器节点每个角色都提示:此角色的主机的运行状况为存在隐患。 以下运行状况测试存在隐患 网络接口速度. 看看是不是网络问题

CDH5 某机器节点每个角色都提示:此角色的主机的运行状况为存在隐患。 以下运行状况测试存在隐患  网络接口速度.  看看是不是网络问题问题解决:   1、查找不是网络及网卡问题;2、查看防火前状态(OS:RHEL7.3)  发现防火墙是开着的 #systemctl status firewalld● firewalld.service - firewalld - dynamic...

2018-09-21 10:09:42

PR曲线,ROC曲线,AUC指标等,Accuracy vs Precision

混淆矩阵(Confusion Matrix): PR Precision-Recall曲线,这个东西应该是来源于信息检索中对相关性的评价吧,precision就是你检索出来的结果中,相关的比率;recall就是你检索出来的结果中,相关的结果占数据库中所有相关结果的比率;所以PR曲线要是绘制的话,可以先对decision进行排序,就可以当作一个rank值来用了,然后把分类问题

2018-02-02 12:24:19

java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeE

写了一个storm集成kfaka的程序,kafkaSpout消费的数据作为storm的数据源。运行报错如下:java.lang.RuntimeException: java.lang.RuntimeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brok

2018-01-10 20:29:29

CentOS 6.6 升级GCC G++ (当前最新版本为v6.1.0) (完整)

---恢复内容开始---CentOS 6.6 升级GCC G++ (当前最新GCC/G++版本为v6.1.0)没有便捷方式,yum update....   yum install 或者 添加yum 的 repo 文件 也不行, 只能更新到 4.4.7!then,  只能手动编译安装了,那么开始第一步下载源代码吧,GO!1、 获取安装包并解压wget http://ft

2017-03-18 09:04:54

Spark集群某些worker无法停止的原因分析和解决

今天想停止spark集群,发现执行stop-all.sh的时候spark的相关进程都无法停止。提示:no org.apache.spark.deploy.master.Master to stopno org.apache.spark.deploy.worker.Worker to stop上网查了一些资料,再翻看了一下stop-all.sh,stop-master.sh,

2017-03-13 10:06:27

centos install scipy 问题:File "scipy/linalg/setup.py", line 20, in configuration raise NotFoundE

依赖包:pyparsing、dateutil、scipy、numpy、libpng 1.2 (or later)、`freetype` 1.4 (or later)安装pyparsing:# pip install pyparsing安装numpy:# pip install numpy安装dateutil:# pip install

2017-03-13 08:54:03

Hbase万亿级存储性能优化总结

背景      Hbase主集群在生产环境已稳定运行有1年半时间,最大的单表region数已达7200多个,每天新增入库量就有百亿条,对hbase的认识经历了懵懂到熟的过程。为了应对业务数据的压力,hbase入库也由最初的单机多线程升级为有容灾机制的分布式入库,为及早发现集群中的问题,还开发了一套对hbase集群服务和应用全面监控的报警系统。总结下hbase优化(针对0.94版本)方面

2017-03-08 12:07:55

Spark(二): 内存管理

Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块; Spark的内存可以大体归为两类:execution和storage,前者包括shuffles、joins、sorts和aggregations所需内存,后者包括cache和节点间数据传输所需内存;在Spark 1.5和之前版本里,两者是静态配置的,不支持借用,spark1.6 对内存管理模块进行了优化,通过内存

2017-03-08 11:29:17

Spark(一): 基本架构及原理

Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势:Spark提供了一个全面、统一的框架用于管理各种有着不同性质(文本数据、图表数据等)的数据集和数据源(批量数据或实时的流数

2017-03-08 11:26:45

centos7 能联通内网,但是不能访问外网网页问题

需要把连接配置文件(/etc/sysconfig/network-scripts/ifcfg-Shared_Wired_Connection)内容中:BOOTPROTO=none 改为 BOOTPROTO=static 或 BOOTPROTO=dhcp 即可。注:这个是网络配置参数:BOOTPROTO=static   静态IPBOOTPROTO=dhcp   动态

2017-03-03 15:19:54

Hue 安装问题django.core.exceptions.ImproperlyConfigured: Error loading MySQLdb module: libmysqlclient.so

问题:[root@master hue-3.11.0]# build/env/bin/hue syncdbTraceback (most recent call last):  File "build/env/bin/hue", line 9, in     load_entry_point('desktop==3.11.0', 'console_scripts', 'hue'

2017-03-01 14:56:05

park将数据写入hbase以及从hbase读取数据

本文将介绍1、Spark如何利用saveAsHadoopDataset和saveAsNewAPIHadoopDataset将RDD写入Hbase2、spark从hbase中读取数据并转化为RDD操作方式为在eclipse本地运行spark连接到远程的hbase。Java版本:1.7.0Scala版本:2.10.4zookeeper版本:3.4.5(禁用了hbase自带zoo

2017-02-06 18:58:14

HIVE2:ERROR [main]: ql.Driver (:()) - FAILED: Execution Error, return code 1 from org.apache.hadoop.

在Hive2.1 on Tez环境中运行select count(*) from students;时,遇到ERROR [main]: ql.Driver (:()) - FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask查看hive日志,具体问题是:2016-12

2016-12-21 11:31:53

HIVE2 :beeline连接设置用户名和密码注意问题

beeline connect有几种方式,见hive-site.xml,缺省为NONE。     hive.server2.authentication    NONE          Expects one of [nosasl, none, ldap, kerberos, pam, custom].      Client authentication types

2016-12-19 17:26:17

HIVE2 Error: Failed to open new session: java.lang.RuntimeException: org.apache.hadoop.ipc.RemoteExc

LF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory]Connecting to jdbc:hive2://localhost:10

2016-12-19 17:00:44

https://packages.elastic.co/elasticsearch/2.3/centos/repodata/repomd.xml: [Errno 14] PYCURL ERROR 22

操作系统CENTOS#  yum install  xinetdLoaded plugins: fastestmirror, refresh-packagekit, securitySetting up Install ProcessLoading mirror speeds from cached hostfile * base: mirrors.btte.net *

2016-11-29 16:17:53

查看更多

勋章 我的勋章
    暂无奖章