11 魏大宾

尚未进行身份认证

暂无相关简介

等级
TA的排名 3w+

hive报错: Specified key was too long; max key length is 767 bytes(详解!!!)

这篇文章将hive的报错还是比较清楚的。 还是一句老话,菜鸡一只,如果有说错的地方,请大家海涵!!~也希望能够批评指出,让小弟能够学习到更多东西~废话不多说,报错如下:DataNucleus.Datastore(Log4JLogger.java:error(115))-Anexceptionwasthrownwhileadding/validatingclass...

2018-12-20 15:16:14

cent6.5 设置open_files max_user_processes

 cent6.5设置单用户的open_files和max_user_processes的方法如下: vi/etc/security/limits.conf 增加如下配置:root      hard  nproc 10000root      soft  nproc 10000root      hard  nof...

2018-12-11 15:27:36

Bringing up interface eth0: Error: No suitable device found: no device found for connection 'System

经试验此方法在centos6.5测试没有问题遇到的问题:#servicenetworkrestartShuttingdownloopbackinterface:                         [ OK ]Bringinguploopbackinterface:                           [ OK ]Bring...

2018-12-05 10:28:30

解决Linux关闭终端(关闭SSH等)后运行的程序自动停止

问题描述:之前在服务器上起一个python的服务,放到后台运行。pythonpyserver.py&. 当我关闭这个SSH之后,该服务不可用,再次登入到服务器,已经没有这个python进程啦。问题定位:通过上面问题的表象,可以发现是跟SSH关闭有关。为什么ssh关闭,会导致正在运行的程序死掉。通过查看相关的资料,发现真正的元凶是SIGHUP信号导致的。在linux中...

2018-11-04 19:16:43

hadoop集群日常维护中遇到的一些问题汇总

 Connectionresetbypeerjava.io.IOException:Connectionresetbypeer        atsun.nio.ch.FileDispatcherImpl.write0(NativeMethod)        atsun.nio.ch.SocketDispatcher.write(SocketDispatcher....

2018-11-01 15:15:48

Hive支持的数据类型

Hive支持原始数据类型和复杂类型,原始类型包括数值型,Boolean,字符串,时间戳。复杂类型包括array,map,struct,union。一,原始数据类型类型名称 大小 示例 TINYINT 1字节整数 45Y SMALLINT 2字节整数 12S INT 4字节整数 10 BIGINT 8字节整数 244...

2018-11-01 13:35:51

从tcp原理角度理解Broken pipe和Connection Reset by Peer的区别

以前我们经常会碰到Brokenpipe或者Connectionresetbypeer之类的异常,但是tcp实现里什么情况下会抛出这些异常呢,以前我给对方的回答都是模棱两可的,自己说实话都没把握,因为自己也没有验证过,对它们的认识都是从网上看来的,正确与否也不知道,昨天独明突然又问到这个问题,前段时间正好对tcp这块研究了一段时间,有了点理论知识之后再从实践角度对此问题进行一下分析,下面对我...

2018-11-01 13:21:11

CXF拦截器介绍及自定义拦截器实现

这篇文章从理论角度描述CXF的拦截器,描述的比较清楚。CXF拦截器是功能的主要实现单元,也是主要的扩展点,可以在不对核心模块进行修改的情况下,动态添加功能。当服务被调用时,会经过多个拦截器链(InterceptorChain)处理,拦截器链在服务输入(IN)或输出(OUT)阶段实现附加功能,拦截器可以在客户端加入,也可以在服务端加入。拦截器链的阶段:拦截器链有多个阶段,每个阶段...

2018-09-20 14:37:46

图解ByteBuffer

ByteBuffer前前后后看过好几次了,实际使用也用了一些,总觉得条理不够清晰。《程序员的思维修炼》一本书讲过,主动学习,要比单纯看资料效果来的好,所以干脆写个详细点的文章来记录一下。概述ByteBuffer是NIO里用得最多的Buffer,它包含两个实现方式:HeapByteBuffer是基于Java堆的实现,而DirectByteBuffer则使用了unsafe的API进行了堆外...

2018-08-17 14:12:21

java堆栈溢出怎么解决

当一个Java程序没有内存可用时就会导致堆栈溢出,从而抛出异常:java.lang.OutOfMemoryError:Javaheapspace,error,此时可以通过增大jvm的堆内存来解决这个问题,当然了这个是最直接的方式,如果可以优化代码也是可以的,比如使用单例模式去优化代码。在运行Java程序时,有两个参数可以用于对jvm堆内存的调整:-Xms和-Xmx0如何设置j...

2018-08-15 10:51:37

远程debug调试java代码

远程debug调试java代码日常环境和预发环境遇到问题时,可以用远程调试的方法本地打断点,在本地调试。生产环境由于网络隔离和系统稳定性考虑,不能进行远程代码调试。整体过程是通过修改远程服务JAVA_OPTS参数,然后本地通过Eclipse或IDEA等工具调试。下面简单介绍下理论。 理论JPDA(JavaPlatformDebuggerArchitecture)是Java平台调试体系结构的缩...

2018-06-13 10:50:42

UrlConnection 请求乱码的解决办法

原先的代码如下:publicclassGetMessage{privatestaticfinalStringv_url="";publicstaticStringgetPostInfo(Stringv_methodname,Stringv_urlparam)throwsIOException{PrintWriterout=...

2018-06-13 10:11:03

maven 错误 invalid CEN header (bad signature)

一、发现问题右击pom.xml,runas—>maveninstall,会看到console中有时报mavenRepository\repos\org\mortbay\jetty\servlet-api-2.5\6.1H.14.1\servlet-api-2.5-6.1H.14.1.jar时出错等某些包的报错等类似信息,pom.xml显示红叉。 二、原因分析该包没有下载正确。 三、解...

2018-06-11 09:10:45

When can I get the "java.net.SocketException: Permission denied:connect" message? And how can it be

The"java.net.SocketException:Permissiondenied:connect"exceptionmessagemayhappenwhenyouareworkinginApplicationServerorwithaclient/serverenvironmentviaVPNconnectionandyouareus...

2018-05-16 16:04:06

java项目中设置 System.getProperty(“XXX”)自定义变量

经测试,本方法在windows环境下安装的tomcat是起作用的。在java项目中设置自定义变量的方法有很多种,如果你项目中使用 System.getProperty(“XXX”)来获取自定义变量有以下两种办法:  一、选择项目按右键->Runas->Runasconfigurations…    在VMarguments后追加-DXXX=****(-D不能省略),这样就可以通...

2018-05-16 15:59:53

Hadoop 参数 mapred.map.child.java.opts

最近发现HadoopJob集群的load非常高,最后发现是mapred.child.java.opts设置过大导致的,我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽,进而开始不断swap磁盘上数据,load升高在执行一个Task的时候,首先会根据JobConf中设定的JVM参数写入一个taskjvm.sh文件中,然后调用Linux命令bin/bash-ctaskj...

2018-05-07 10:59:38

java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read

环境:-Spark2.11-2.0.2-Hadoop2.6.5使用Spark连接HDFS,在高并发的时候,偶尔会遇到以下异常:[plain] viewplain copy2017-01-26 10:30:29,079 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: xxx:50010:DataXceiver error pro...

2018-04-25 14:05:11

初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No su

刚刚安装好hive,进行第一次启动提君博客原创[hadoop@ltt1bin]$./hivels:cannotaccess/home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar:Nosuchfileordirectorywhich:nohbasein(/home/hadoop/hive110/b...

2018-04-23 10:49:50

Hive安装配置指北(含Hive Metastore详解)

这篇文章对Metastore的讲解还是比较清楚的。Hive安装配置指北(含HiveMetastore详解)个人主页: http://www.linbingdong.com本文介绍Hive安装配置的整个过程,包括MySQL、Hive及Metastore的安装配置,并分析了Metastore三种配置方式的区别。网上有很多介绍HiveMetastore三种配置方式的文章,但是理解都不对,给读者造成了...

2018-03-12 13:49:17

Apache Kylin的入门安装

在hadoop启动时,要启动JobHistoryServer,否则kylin会出现各种各样的异常。ApacheKylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。从官网的介绍来看Kylin是一个OLAP的数据查询引擎,其特点就是快

2018-01-11 13:32:25

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!