- 博客(78)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 Hive：Failed with exception Wrong file format. Please check the file's format.
2012-09-11 20:32:26| 分类： 默认分类|举报|字号 订阅 指定存储格式为 Sequencefile 时，把txt格式的数据导入表中，hive 会报文件格式错（Failed with exception Wrong file format. Please check the file's format.）。 create table test1 (id int, na
2014-11-28 09:24:13
7394
原创 sqoop导入mysql数据到hive中报错
ERROR manager.SqlManager: Error reading from database: java.sql.SQLException: Streaming result setcom.mysql.jdbc.RowDataDynamic@6c4fc156 is still active. No statements may be issued when any str
2014-11-12 12:12:06
4925
原创 hadoop与hbase版本信息
HBase-0.92.xHBase-0.94.xHBase-0.96Hadoop-0.20.205SXXHadoop-0.22.xSXXHadoop-1.0.xSSSHadoop-1.1.xNTSSHadoop-0.23.xXSNTHa
2014-10-31 17:53:15
768
转载 Java多线程总结之由synchronized说开去
这几天不断添加新内容，给个大概的提纲吧，方面朋友们阅读，各部分是用分割线隔开了的： synchronized与wait()/notify()JMM与synchronizedThreadLocal与synchronizedReentrantLock与synchronized最重要一条： synchronized是针对对象的隐式锁使用的，注意是对象！ 举个小例子，该
2014-10-29 18:00:01
490
原创 Java多线程总结之Queue
上个星期总结了一下synchronized相关的知识，这次将Queue相关的知识总结一下，和朋友们分享。 在Java多线程应用中，队列的使用率很高，多数生产消费模型的首选数据结构就是队列。Java提供的线程安全的Queue可以分为阻塞队列和非阻塞队列，其中阻塞队列的典型例子是BlockingQueue，非阻塞队列的典型例子是ConcurrentLinkedQueue，在实际应用中要根据实际需要
2014-10-29 17:51:08
594
原创 Jboss配置远程调试
开发中，往往发布的应用与开发环境的环境有差异，测试环境报的问题在开发环境很难重现，也很难定位问题，如果报错，是程序问题还是环境问题，常常是让开发头痛的事。拿我们项目来说，测试环境用的服务器是JBOSS，而开发环境是Jetty或者Tomcat，既然这样，而测试的服务器我们都没有权限访问，甚至看日志的权限都没有，所以我一般在自已机器上也装一个同样版本的JBOSS。原因一：重现问题，排除
2014-10-22 15:26:59
1140
转载 hadoop计算能力调度器
需求公司里有两个部门，一个叫hive，一个叫pig，这两个部门都需要使用公司里的hadoop集群。于是问题来了，因为hadoop默认是FIFO调度的，谁先提交任务，谁先被处理，于是hive部门很担心pig这个部门提交一个耗时的任务，影响了hive的业务，hive希望可以和pig在高峰期时，平均使用整个集群的计算容量,互不影响。思路hadoop的默认调度器是FIFO，但是也有计算
2014-09-23 19:35:51
1123
转载 Hive全排序
全排序Hive的排序关键字是SORT BY，它有意区别于传统数据库的ORDER BY也是为了强调两者的区别–SORT BY只能在单机范围内排序。考虑以下表定义：CREATE TABLE if not exists t_order( id int, -- 订单编号 sale_id int, -- 销售ID customer_id int, -- 客户ID product _id int,
2014-09-20 14:00:21
742
转载 flume-ng性能优化与架构设计
1.影响flume吸能的因素都有哪些？2.哪些参数会影响sink？3.JAVA内存该如何设计？如图1所示，一个flume-ng agent主要包括source，channel和sink三部分，三部分运行在java JVM中，JVM一般运行在linux'操作系统上，因此，这些因素都可能影响最终的性能。flume-ng性能优化与架构设计，简单来讲，也主要包括
2014-09-19 17:16:32
755
转载 JVM伪共享
伪共享False sharing说明JVM底层技术也不让人那么放心。内存缓存系统中基本单元是高速缓存行(Cache lines). cpu会把数据从内存加载到高速缓存中 ,这样可以获得更好的性能，高速缓存默认大小是64 Byte为一个区域，一个区域在一个时间点只允许一个核心操作，也就是说不能有多个核心同时操作一个缓存区域。因为高速缓存是64字节，而Hotspot J
2014-09-19 15:37:21
575
原创 聚类算法之KMeans(Java实现)
聚类算法之KMeans(Java实现)KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。当初始簇心选行不好时，KMeans的结果会很差，所以一般是多运行几次，按照一定标准（比如簇内的方差最小化）选择一个比较好的结果。下图给出对坐标点的聚类结
2014-09-17 22:00:44
1133
原创 linux修改网关和ip
以root用户为例，执行下面的命令：引用# route add default gw xxx.xxx.xxx.xxx（网关的IP）如果用户想更改网关，编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件，将对应的网关设置修改之后，执行下面的命令即可：引用#/etc/init.d/network restart直接用命令行修改网关地址：
2014-07-28 14:13:02
640
原创 java通过jdbc驱动连接hive
1，hive首先要起动远程服务接口，命令：nohup hive –service hiveserver & 2，java工程中导入相应的需求jar包，列表如下:antlr-runtime-3.0.1.jarhive-exec-0.7.1.jarhive-jdbc-0.7.1.jarhive-metastore-0.7.1.jarhive-service
2014-06-28 17:58:33
4869
原创 hive和hbase整合
整合后hive的启动方法1 单节点启动 hive -hiveconf hbase.master=master:600002 集群启动 hive -hiveconf hbase.zookeeper.quorum=node1,node23.在hive中创建hbase识别的表的方法create table hbase_table_1(key int,value string, value
2014-06-28 17:29:24
854
原创 hive与hbase的兼容性问题
Hive命令行查询表时的错误信息：(hbase-0.98.X)(hive-0.12.0)Failed with exception java.io.IOException:java.lang.ClassCastException: org.apache.hadoop.hbase.client.Result cannot be cast to org.apache.hadoop.io.Writa
2014-06-28 17:05:11
2955
1
原创 eclipse调试hbase，mapreduce
package wst; import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBa
2014-05-28 20:39:58
842
原创 tomcat设置debug调试方式
set JPDA_ADDRESS=8000set JPDA_TRANSPORT=dt_socketset jdk_path=%CD%\jdk1.6.0_34set JAVA_HOME=%jdk_path%bin/catalina.bat jpda startpause
2014-03-13 15:44:22
992
原创 经验积累
重构 : http://hbzwt.iteye.com/blog/847138 http://www.open-open.com/doc/view/ed2fd81b29a744a7a347371c180847ec https://www.ibm.com/developerworks/cn/views/opensource/libraryview.jsp
2014-03-05 09:38:55
587
原创 经验积累
源码分析 : http://www.cnblogs.com/hzmark/archive/2012/12/25/LinkedList.html http://www.cnblogs.com/hzmark/archive/2012/12/25/LinkedList.html http://www.cnblogs.com/hzmark/archive/
2014-03-05 09:38:12
575
原创 经验积累
数据库 : http://mybatis.github.io/spring/zh/index.html http://blog.csdn.net/luqin1988/article/details/7831925 http://wenku.it168.com/redian/oracle/杂谈 : http://html5.group.it
2014-03-05 09:37:31
635
原创 经验积累
异常 : http://www.cnblogs.com/wjun530/archive/2008/09/10/1288453.html http://www.cnblogs.com/artech/archive/2012/10/28/automatic-exception-handling-aspnet.html http://kb.cnblogs.com/p
2014-03-05 09:36:33
694
原创 经验积累
virgo : http://www.eclipse.org/virgo/documentation/virgo-documentation-3.6.1.RELEASE/docs/virgo-user-guide/html/ch13s03.html http://springsfeng.iteye.com/category/161694 http://geor
2014-03-05 09:30:22
3139
原创 经验积累
OSGI : http://wenku.it168.com/d_000052058.shtml http://wenku.it168.com/d_000052058.shtml http://googleads.g.doubleclick.net/pagead/ads?client=ca-pub-4063139773501513&output=html&h=2
2014-03-05 09:29:55
1040
原创 经验积累
Links : http://zheng12tian.iteye.com/blog/1771040 http://w3.huawei.com/hicloud/portal/servicePortal.do?method=display&types=portal×tamp=1350285254037 http://w3.huawei.com/cn/wo
2014-03-05 09:29:10
795
原创 经验积累4
itpub : http://wenku.it168.com/d_000067861.shtml http://wenku.it168.com/wenji/683 http://home.51cto.com/index.php http://wenku.it168.com/redian/eclipse/ http://wenku.it1
2014-03-05 09:28:33
841
原创 经验积累
java : http://www.iteye.com/topic/205849 http://www.ibm.com/developerworks/cn/java/ http://developer.51cto.com/art/201102/245676.htm http://www.open-open.com/doc/view/5e728d68
2014-03-05 09:27:59
677
原创 经验积累3
ftp : http://commons.apache.org/net/api-3.1/index.html http://commons.apache.org/net/api-3.1/org/apache/commons/net/ftp/FTPClient.html http://www.open-open.com/lib/view/open13421679
2014-03-05 09:25:00
755
原创 经验积累
Eclipse : http://www.ibm.com/developerworks/cn/opensource/os-ecl-gmf/ http://salever.iteye.com/blog/980780 http://yiyanwan77.iteye.com/blog/446334 http://macrochen.iteye.com/b
2014-03-05 09:24:07
794
原创 经验积累
http://special.csdn.net/book2013/yj.htmlapache : http://archive.apache.org/dist/commons/ http://blog.csdn.net/yangjl38/article/details/7520920 http://www.oschina.net/p/bigframe
2014-03-05 09:19:35
953
原创 maven 把classpath打包到manifes.mf文件中
org.apache.maven.plugins maven-jar-plugin ${jar.version} ${third_party_path} lib true **/*drools*.jar
2013-11-27 17:23:36
4121
原创 获得OSGi Bundle相关的路径信息
(1) 获得OSGi Bundle安装的根路径：FileLocator.getBundleFile(Platform.getBundle(“bundle_id”)).getAbsolutePath();Platform.getBundle方法调用并不会Activate当前Bundle, 其只是获得当前系统内相应的被解析(Resolved)的Bundle(2) 获得OSGi Bundl
2013-11-25 17:14:49
1827
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人