- 博客(94)
- 资源 (3)
- 收藏
- 关注
RSS订阅转载 hive报错： Specified key was too long; max key length is 767 bytes（详解！！！）
这篇文章将hive的报错还是比较清楚的。 还是一句老话，菜鸡一只，如果有说错的地方，请大家海涵！！~也希望能够批评指出，让小弟能够学习到更多东西~废话不多说，报错如下：DataNucleus.Datastore (Log4JLogger.java:error(115)) - An exception was thrown while adding/validating class...
2018-12-20 15:16:14
403
原创 cent6.5 设置open_files max_user_processes
cent6.5 设置单用户的open_files 和max_user_processes的方法如下： vi /etc/security/limits.conf 增加如下配置：root hard nproc 10000root soft nproc 10000root hard nof...
2018-12-11 15:27:36
410
转载 Bringing up interface eth0: Error: No suitable device found: no device found for connection 'System
经试验此方法在centos6.5测试没有问题遇到的问题：# service network restartShutting down loopback interface: [ OK ]Bringing up loopback interface: [ OK ]Bring...
2018-12-05 10:28:30
4422
7
转载 解决Linux关闭终端(关闭SSH等)后运行的程序自动停止
问题描述：之前在服务器上起一个python的服务，放到后台运行。 python pyserver.py &. 当我关闭这个SSH之后，该服务不可用，再次登入到服务器，已经没有这个python进程啦。问题定位：通过上面问题的表象，可以发现是跟SSH关闭有关。为什么ssh关闭，会导致正在运行的程序死掉。通过查看相关的资料，发现真正的元凶是SIGHUP信号导致的。在linux中...
2018-11-04 19:16:43
1207
转载 hadoop集群日常维护中遇到的一些问题汇总
Connection reset by peerjava.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.write0(Native Method) at sun.nio.ch.SocketDispatcher.write(SocketDispatcher....
2018-11-01 15:15:48
1150
转载 Hive支持的数据类型
Hive支持原始数据类型和复杂类型，原始类型包括数值型，Boolean，字符串，时间戳。复杂类型包括array，map，struct，union。一，原始数据类型类型名称 大小 示例 TINYINT 1字节整数 45Y SMALLINT 2字节整数 12S INT 4字节整数 10 BIGINT 8字节整数 244...
2018-11-01 13:35:51
2535
转载 从tcp原理角度理解Broken pipe和Connection Reset by Peer的区别
以前我们经常会碰到Broken pipe或者Connection reset by peer之类的异常，但是tcp实现里什么情况下会抛出这些异常呢，以前我给对方的回答都是模棱两可的，自己说实话都没把握，因为自己也没有验证过，对它们的认识都是从网上看来的，正确与否也不知道，昨天独明突然又问到这个问题，前段时间正好对tcp这块研究了一段时间，有了点理论知识之后再从实践角度对此问题进行一下分析，下面对我...
2018-11-01 13:21:11
1365
转载 CXF拦截器介绍及自定义拦截器实现
这篇文章从理论角度描述CXF的拦截器，描述的比较清楚。CXF拦截器是功能的主要实现单元，也是主要的扩展点，可以在不对核心模块进行修改的情况下，动态添加功能。 当服务被调用时，会经过多个拦截器链（Interceptor Chain）处理，拦截器链在服务输入（IN）或输出（OUT）阶段实现附加功能，拦截器可以在客户端加入，也可以在服务端加入。拦截器链的阶段：拦截器链有多个阶段，每个阶段...
2018-09-20 14:37:46
4813
转载 图解ByteBuffer
ByteBuffer前前后后看过好几次了，实际使用也用了一些，总觉得条理不够清晰。《程序员的思维修炼》一本书讲过，主动学习，要比单纯看资料效果来的好，所以干脆写个详细点的文章来记录一下。概述ByteBuffer是NIO里用得最多的Buffer，它包含两个实现方式：HeapByteBuffer是基于Java堆的实现，而DirectByteBuffer则使用了unsafe的API进行了堆外...
2018-08-17 14:12:21
176
转载 java堆栈溢出怎么解决
当一个Java程序没有内存可用时就会导致堆栈溢出，从而抛出异常：java.lang.OutOfMemoryError: Java heap space，error，此时可以通过增大jvm的堆内存来解决这个问题，当然了这个是最直接的方式，如果可以优化代码也是可以的，比如使用单例模式去优化代码。在运行Java程序时，有两个参数可以用于对jvm堆内存的调整：-Xms和-Xmx0如何设置j...
2018-08-15 10:51:37
10086
转载 远程debug调试java代码
远程debug调试java代码日常环境和预发环境遇到问题时，可以用远程调试的方法本地打断点，在本地调试。生产环境由于网络隔离和系统稳定性考虑，不能进行远程代码调试。整体过程是通过修改远程服务JAVA_OPTS参数，然后本地通过Eclipse或IDEA等工具调试。下面简单介绍下理论。 理论JPDA（Java Platform Debugger Architecture）是Java平台调试体系结构的缩...
2018-06-13 10:50:42
271
转载 UrlConnection 请求乱码的解决办法
原先的代码如下：public class GetMessage{ private static final String v_url = ""; public static String getPostInfo(String v_methodname, String v_urlparam) throws IOException { PrintWriter out =...
2018-06-13 10:11:03
1392
2
转载 maven 错误 invalid CEN header (bad signature)
一、发现问题右击pom.xml，run as —> maven install，会看到console中有时报mavenRepository\repos\org\mortbay\jetty\servlet-api-2.5\6.1H.14.1\servlet-api-2.5-6.1H.14.1.jar时出错等某些包的报错等类似信息，pom.xml显示红叉。 二、原因分析该包没有下载正确。 三、解...
2018-06-11 09:10:45
8579
转载 When can I get the "java.net.SocketException: Permission denied:connect" message? And how can it be
The "java.net.SocketException: Permission denied: connect" exception message may happen when you are working in Application Server or with a client/server environment via VPN connection and you are us...
2018-05-16 16:04:06
437
转载 java项目中设置 System.getProperty（“XXX”）自定义变量
经测试，本方法在windows环境下安装的tomcat是起作用的。在java项目中设置自定义变量的方法有很多种，如果你项目中使用 System.getProperty（“XXX”）来获取自定义变量有以下两种办法： 一、选择项目按右键->Run as->Run as configurations… 在VM arguments后追加-DXXX=****(-D不能省略)，这样就可以通...
2018-05-16 15:59:53
13340
转载 Hadoop 参数 mapred.map.child.java.opts
最近发现Hadoop Job集群的load非常高，最后发现是mapred.child.java.opts设置过大导致的，我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽，进而开始不断swap磁盘上数据，load升高 在执行一个Task的时候，首先会根据JobConf中设定的JVM参数写入一个taskjvm.sh文件中，然后调用Linux命令 bin/bash -c taskj...
2018-05-07 10:59:38
1003
转载 java.net.SocketTimeoutException: 60000 millis timeout while waiting for channel to be ready for read
环境：- Spark 2.11-2.0.2- Hadoop 2.6.5使用Spark连接HDFS，在高并发的时候，偶尔会遇到以下异常：[plain] view plain copy2017-01-26 10:30:29,079 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: xxx:50010:DataXceiver error pro...
2018-04-25 14:05:11
11896
3
转载 初次启动hive,解决 ls: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No su
刚刚安装好hive,进行第一次启动提君博客原创[hadoop@ltt1 bin]$ ./hivels: cannot access /home/hadoop/spark-2.2.0-bin-hadoop2.6/lib/spark-assembly-*.jar: No such file or directorywhich: no hbase in (/home/hadoop/hive110/b...
2018-04-23 10:49:50
4879
转载 Hive安装配置指北（含Hive Metastore详解）
这篇文章对Metastore的讲解还是比较清楚的。Hive安装配置指北（含Hive Metastore详解）个人主页: http://www.linbingdong.com本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了...
2018-03-12 13:49:17
417
转载 Apache Kylin的入门安装
在hadoop启动时，要启动JobHistoryServer，否则kylin会出现各种各样的异常。Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。从官网的介绍来看Kylin是一个OLAP的数据查询引擎，其特点就是快
2018-01-11 13:32:25
2283
转载 Hbase学习1_CentOS6.5下Hbase1.1.2安装
经试验此教程在centos 7.2+hadoop2.7.2+hbase1.1.13下可以使用Hbase一、安装Hbase在两台虚拟机Master和Slave1上安装Hbase所需条件：Hadoop和Zookeeper集群安装完成Root用户下操作1、解压安装将hbase-1.1.2-bin.tar.gz拿U盘复制到/home/hadoop目录
2018-01-09 14:44:08
1104
转载 redhat7.2 centos7.2怎么配置ntp服务器
ntp服务器顾名思义就是时间同步服务器(Network Time Protocol)，linux下的ntp服务器配置相对来说都比较容易。但在linux下有一个弊端，不同时区或者说是时间相差太大的无法同步，所以在配置ntp服务器之前需要把时间配置成相同的。工具/原料两台redhat7.2作为例子步骤（
2018-01-09 13:56:36
1682
转载 Hadoop学习笔记(9) ——源码初窥
Hadoop学习笔记(9) ——源码初窥Hadoop学习笔记(9)——源码初窥之前我们把Hadoop算是入了门，下载的源码，写了HelloWorld，简要分析了其编程要点，然后也编了个较复杂的示例。接下来其实就有两条路可走了，一条是继续深入研究其编程及部署等，让其功能使用的淋漓尽致。二是停下来，先看看其源码，研究下如何实现的。在这里我就选择第二条路。
2017-11-13 15:44:39
252
原创 mysql unionall的一种使用方法
SELECT*FROM((SELECTNotificationBase.ID 通知ID,NotificationDistributed.DistributionState 通知状态FROMNotificationBaseLEFT JOIN NotificationDistributed ON NotificationBase.ID = Notificati
2017-11-06 14:47:33
813
原创 hive 数据体系构建与应用的使用过程
1，关闭防火墙。2，挂载硬盘（确定硬盘的大小是够用的）。3，设置网络。4，增加用户。5，安装hadoop。6，安装hive。7，安装sqoop。8，创建数据表。9，数据导入。
2017-10-16 10:54:20
200
原创 sqoop 导入hive分区表的方法
创建表CREATE TABLE `YDDT` ( `ID` string, `YDJC_ID` string, `YDDT_DATA_TYPE` string, `YDDT_BUSSINESS_NOW` bigint, `YDDT_USER_NOW` bigint, `YDDT_COLLECT_TIME` string, `YDDT_CREATOR`
2017-10-10 14:54:05
7123
原创 sqoop增量数据导入hive表的方法
数据表的创建样例：CREATE TABLE `YDDT` ( `ID` string, `YDJC_ID` string, `YDDT_DATA_TYPE` string, `YDDT_BUSSINESS_NOW` bigint, `YDDT_USER_NOW` bigint, `YDDT_COLLECT_TIME` string, `YDDT_CRE
2017-09-28 14:48:48
1158
原创 Centos7.2在虚拟机Vmware中增加硬盘的方法
1， 进入Vmware中的Centos7.2的设置部分，添加一块新硬盘大小60G。2， 使用df –h查看当前系统磁盘的挂载情况。3， 使用fdisk –l可以查看当前系统系统挂载的磁盘情况。4， 使用fdisk/dev/sdb（新加磁盘的路径）可以对新加磁盘进行分区操作。5， 输入命令n（新增加一个分区）。6， 输入命令p（新增加一个主分区）。7， 输入命令
2017-09-21 09:59:29
1218
原创 VMware中Centos7.2的桥接模式的网络配置
进入etc/sysconfig/networkscripts修改ifcfg-eno16777736修改结果如下：TYPE="Ethernet"BOOTPROTO="static"IPADDR="172.20.13.71"NETMASK="255.255.255.0"NM_CONTROLLED="no"DEFROUTE="yes"IPV4_FAILURE_FATA
2017-09-20 14:07:37
1802
转载 Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *
Hadoop YARN ERROR 1/1 local-dirs are bad *， 1/1 log-dirs are bad *标签： hadoopyarnnodemanager2015-07-16 16:08 3800人阅读 评论(0) 收藏 举报 分类：hadoop（3） 版权声明：本文为博主原创文章，未经博主允许不得转载。
2017-09-13 10:48:54
2592
原创 mr-jobhistory-daemon.sh 启动和关闭脚本
$hadoop_home/sbin/mr-jobhistory-daemon.sh start historyserver $hadoop_home/sbin/mr-jobhistory-daemon.sh stop historyserver
2017-09-13 10:43:55
6348
转载 Hive日志调试
Hive日志调试 Hive 2013-12-25 15:12:13 17837 0评论 下载为PDF 写在前面的话，学Hive这么久了，发现目前国内还没有一本完整的介绍Hive的书籍，而且互联网上面的资料很乱，于是我决定写一些关于《Hive的那些事》序列文章，分享给大家。我会在接下来的时间整理有关Hive的资料，如果对Hive的东西感兴趣，请关注本博客。 这些天看到很多
2017-09-11 14:30:48
397
原创 使用Yarn(可选)
使用Yarn(可选)etc/hadoop/mapred-site.xmlmapreduce.framework.nameyarnetc/hadoop/yarn-site.xml yarn.nodemanager.aux-services mapreduce_shuffle 如果不配置会报如下错误：org.apache.hadoop.yarn.ex
2017-09-08 16:09:32
178
转载 hive2.1.1安装部署
hive2.1.1安装部署一、Hive 运行模式 与 Hadoop 类似，Hive 也有 3 种运行模式：1. 内嵌模式将元数据保存在本地内嵌的 Derby 数据库中，这是使用 Hive 最简单的方式。但是这种方式缺点也比较明显，因为一个内嵌的 Derby 数据库每次只能访问一个数据文件，这也就意味着它不支持多会话连接。2. 本地模式这种
2017-09-08 10:45:16
278
转载 hive命令出现问题Failed with exception Java.io.IOException:java.lang.IllegalArgumentException: java.NET.UR
hive命令出现问题Failed with exception Java.io.IOException:java.lang.IllegalArgumentException: java.NET.URI标签： hive2017-05-25 00:32 321人阅读 评论(0) 收藏 举报 分类：大数据（3） hive（1） 版权声明：本文为博
2017-09-07 13:33:56
5607
1
转载 linux 递归修改所有权限
linux 递归修改所有权限2015-02-04 18:14 2762人阅读 评论(0) 收藏 举报 分类：linux（27） 版权声明：本文为博主原创文章，未经博主允许不得转载。命令 ： chmod -R 755 tools_command/解释 ： -R 为递归遍历tools_command文件夹, chmod 755
2017-09-06 10:55:14
9938
1
转载 重新格式化HDFS的方法
重新格式化HDFS的方法标签： 格式化HDFS2014-03-19 17:02 18280人阅读 评论(0) 收藏 举报 分类：Hadoop（20） 版权声明：本文为博主原创文章，未经博主允许不得转载。重新格式化hdfs系统的方法：（1）查看hdfs-ste.xml：[html] view
2017-09-05 14:57:51
1093
转载 Linux下*.tar.gz文件解压缩命令
Linux下*.tar.gz文件解压缩命令1.压缩命令： 命令格式：tar -zcvf 压缩文件名.tar.gz 被压缩文件名 可先切换到当前目录下。压缩文件名和被压缩文件名都可加入路径。 2.解压缩命令： 命令格式：tar -zxvf 压缩文件名.tar.gz 解压缩后的文件只能放在当前的目录。
2017-09-05 13:45:10
334
转载 centos 7.2关闭防火墙
centos 7.2关闭防火墙标签： 防火墙centos虚拟机2017-06-06 15:38 359人阅读 评论(0) 收藏 举报 分类：Linux（66） 版权声明：经验之谈，不知能否换包辣条，另转载请注明出处。1、关闭firewall：firewall-cmd --state #查看默认防火墙状态（关闭后显示no
2017-09-04 16:50:52
262
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人