- 博客(50)
- 资源 (16)
- 收藏
- 关注
RSS订阅原创 Flink1.8 yarn 模式报错
./bin/flink run -m yarn-cluster ./test.jar作业会抛出异常：Could not identify hostname and port in 'yarn-cluster'Flink1.8中，FIX了FLINK-11266,将flink的包中对hadoop版本进行了剔除，导致flink中直接缺少hadoop的client相关类，无法解析yarn-cluster参数。执行命令前，导入hadoop的classpathexport HADOOP..
2020-08-26 20:34:21
247
原创 hive 优化
1.介绍首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时间是比较长的。 sum,count,max,min等UDAF，不怕数据倾斜问题,hadoop在m...
2020-08-26 20:29:02
190
原创 hive on redis
1.单节点rediskk.shredis-cli -h 192.168.0.1 -p 6379 <<EOFDEL kk_redisexitEOFhive -f /home/kk/kk_redis.sql | grep -v "^WARN:" > /home/kk/kk_redis.txtunix2dos /home/kk/kk_redis.txt...
2018-10-08 21:10:22
1104
1
原创 hive on es
ES 和 hive数据间转换比较麻烦，通常是jdbc 连hive,用ES api入数。现可用快捷的hive on ES:1.创建index curl -X PUT "localhost:9200/kk_hive_es " -H 'Content-Type: application/json' -d'{"settings":{"number_of_shards": 3,"number_of_repl...
2018-07-14 10:29:19
1446
1
原创 hive常用时间转换
1.日期函数UNIX时间戳转日期函数: from_unixtime语法:from_unixtime(bigint unixtime[, stringformat]) 返回值: string说明: 转化UNIX时间戳（从1970-01-0100:00:00 UTC到指定时间的秒数）到当前时区的时间格式举例：hive> select from_unixtime(1323308943,'yyyyM...
2018-07-12 14:22:31
5753
原创 hive 使用小知识
1.udf快速入手：a,小程序开发// 科学计数法 换成正常2位小数 public class changeNumUDF extends UDF { public String evaluate(double number){ String str=new DecimalFormat("0.00").format(number); //Strin...
2018-07-10 17:32:09
177
原创 使用https安全传送消息数据，服务端用分布式。
关于数据安全通信设计方案背景： 数据通信时需要保证数据安全，除了敏感字加密，也可以使用https服务方式传送。技术点： 分布式 tomcat cxf restful服务 jdk key...
2015-11-01 17:57:29
1956
原创 java 时间戳和时间互转工具 和 时间偏移量计算
time /** * 时间戳 转 时间 * * @param beginDate * @return * @see [类、类#方法、类#成员] */ public static String timeStampToTime(String beginDate) { SimpleDa
2015-05-16 15:54:45
5011
原创 nginx 负载分发安装
安装make：yum -y install gcc automake autoconf libtool make---------------------------------------------------------安装gcc c++：yum install gcc gcc-c++------------------------------------------
2015-05-07 16:43:38
791
原创 redis存储和查询的java实现
1.Redis简介 Redis是一个key-value存储系统。和Memcached类似，但是解决了断电后数据完全丢失的情况，而且她支持更多无化的value类型，除了和string外，还支持lists（链表）、sets（集合）和zsets（有序集合）几种数据类型。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。
2015-04-15 17:08:02
30285
原创 任务调度的 Java 实现方法
Timer大家都已经非常熟悉 java.util.Timer 了，它是最简单的一种实现任务调度的方法，下面给出一个具体的例子：清单 1. 使用 Timer 进行任务调度import java.util.Timer;import java.util.TimerTask;public class AgdTimer extends TimerTask{ private
2015-04-09 17:16:56
778
原创 restful服务接口访问乱码 和 505错误
用cxf 发部个rest服务，用浏览器访问和 HttpURLConnection 访问。1. URL中有中文，浏览器访问正常，HttpURLConnection 失败。解决： HttpURLConnection 方式需要做兼容处理。queryParam 传入参数，服务实现方法中要处理，如果是乱码要转换，如果中文直接查询if (!isChineseChar(queryPa
2015-02-03 18:21:19
10788
原创 java图片处理工具
图片处理工具import java.io.*;import java.util.Date;import java.awt.*;import java.awt.image.*;import javax.imageio.ImageIO;import com.sun.image.codec.jpeg.*;/** * 图片压缩处理 * * @author ku
2015-02-01 15:45:51
2554
原创 FTP 上精确取文件，提供byte[]传出，再转本地文件
import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileInputStream;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java.io
2015-01-23 15:43:45
7168
原创 java多线程使用集合那点事
线程不安全的：ArrayList采用的是数组形式来保存对象的，这种方式将对象放在连续的位置中，所以最大的缺点就是插入删除时非常麻烦LinkedList采用的将对象存放在独立的空间中，而且在每个空间中还保存下一个链接的索引 但是缺点就是查找非常麻烦 要丛第一个索引开始hashMapHashMap可以让你将空值作为一个表的条目的key或value。HashMap中
2014-12-03 16:59:10
592
原创 lvs、haproxy、nginx负载均衡
lvs、haproxy、nginx负载均衡的比较分析 对软件实现负载均衡的几个软件，小D详细看了一下，从性能和稳定上还是LVS最牛，基本达到了F5硬件设备的60%性能，其他几个10%都有点困难。 不过就因为LVS忒牛了，配置也最麻烦了，而且健康检测需要另外配置Ldirector，其他HAPROXY和NGINX自己就用，而且配置超级简单。 所以建
2014-11-25 17:13:17
688
原创 hbase api常用方法使用及预分区解决热点问题
public byte[] nextId() { try { currentTime = getRowKeyResult(Long.MAX_VALUE - currentTime); byte[] lowT = Bytes.copy(Bytes.toBytes(currentTime), 4, 4);
2014-11-21 09:30:50
7710
1
原创 hbase 学习梳理
hbase是bigtable的开源山寨版本。是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(row key)和主键的range来检索数据，仅支持单行事务(可通过hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样，Hbase目标主要依靠横向扩展，通过
2014-11-17 21:50:33
733
原创 nginx 分发 tomcat集群 问题
用了nginx负载均衡后，在两台tomcat正常运行的情况下，访问http://localhost 速度非常快，通过测试程序也可以看出是得到的负载均衡的效果，但是我们试验性的把其中一台tomcat（server localhost:8080）关闭后，再查看http://localhost，发现反应呈现了一半反映时间快，一半反映时间非常非常慢的情况，但是最后都能得到正确结果。 然后我又把关闭的那
2014-11-06 11:19:33
4791
1
原创 netty简单样例
1.Nettynetty是JBOSS针对网络开发的一套应用框架，它也是在NIO的基础上发展起来的。netty基于异步的事件驱动，具有高性能、高扩展性等特性，它提供了统一的底层协议接口，使得开发者从底层的网络协议（比如 TCP/IP、UDP）中解脱出来
2014-10-09 17:43:51
617
原创 经常用到的 SimpleDateFormat ，也有坑
SimpleDateFormat 是 Java 中一个非常常用的类用来对日期字符串进行解析和格式化输出，但如果使用不小心会导致非常微妙和难以调试的问题，因为 DateFormat 和 SimpleDateFormat 类不都是线程安全的，在多线程环境下调用 format() 和 parse() 方法应该使用同步代码来避免问题。下面是你在使用 SimpleDateFormat 应该要小心的几点：
2014-09-28 10:28:45
647
原创 maven 服务搭建和使用
1.maven简介Maven是基于项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的软件项目管理工具。Maven这个单词来自于意第绪语，意为知识的积累，最早在Jakata Turbine项目中它开始被用来试图简化构建过程。当时有很多项目，它们的Ant build文件仅有细微的差别，而JAR文件都由CVS来维护。于是Maven创始者开始了
2014-09-25 16:34:34
2745
原创 查看hadoop 是否运行
/** * */package com.winhong.test.util;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.text.SimpleDateF
2014-09-16 16:26:45
8962
原创 Hbase 常用工具类
package com.hdyh.console.monitor.servlet; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apac
2014-08-26 17:53:52
3198
转载 Hadoop、Spark、HBase与Redis的适用性讨论
最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向中小互联网和传统行业，估计不少人都在考虑各种“纷繁复杂”的大数据技术的适用性的问题。这儿我就结合我这几年在Hadoop等大数据方向的工作经验，与大家讨论一下Hadoop、Spark、HBase及Redis等几个主流大数据技术的使用场景（首先声明一点，本文中所指的Hadoop，是很“狭义”的Hadoop，即在
2014-06-16 16:20:54
3477
原创 hadoop HDFS 常用shell命令
cat使用方法：hadoop fs -cat URI [URI …] 将路径指定文件的内容输出到stdout。示例：• hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2• hadoop fs -cat file:///file3 /user/hadoop/file4返回值： 成功返回0，失败返回-1
2014-04-25 15:40:37
16555
原创 HBase shell常用命令
HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系
2014-04-21 16:56:51
784
原创 hadoop2.2.0对应HBase安装说明
HBase0.96.0安装说明 注：安装配套hadoop2.2.0版本的HBase,需要hbase-0.96.2-hadoop2-bin.tar.gz1.1 下载安装包下载地址：http://mirror.esocc.com/apache/hbase/ hbase-0.96.2/hbase-0.96.2-hadoop2-b
2014-04-18 15:16:37
5495
原创 hadoop2.2.0安装说明
hadoop2.2.0安装 第一部分 Hadoop2.2下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,(最下方有FAQ解决 64位) 下载地址:http
2014-04-16 15:50:52
4587
原创 linux下卸载安装jdk
卸载其他自己安装的JDK就直接用rpm -e 卸载rpm版的jdk： #rpm -qa|grep jdk 显示：jdk-1.6.0_10-fcs 卸载：#rpm -e --nodeps jdk-1.6.0_10-fcs
2014-04-15 11:16:30
627
原创 zookeeper学习
zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper
2014-04-11 22:33:24
1760
原创 eclipse code template and code Formatter
codetemplates:<template autoinsert="false" context="gettercomment_context" deleted="false" description="Comment for getter method" enabled="true" id="org.eclipse.jdt.ui.text.codetemplates.gettercomm
2014-03-25 14:01:53
2172
原创 清理windows垃圾
@echo offecho 正在清除系统垃圾文件，请稍等......del /f /s /q %systemdrive%\*.tmpdel /f /s /q %systemdrive%\*._mpdel /f /s /q %systemdrive%\*.logdel /f /s /q %systemdrive%\*.giddel /f /s /q %systemdrive%
2012-11-08 21:41:28
541
原创 spring3 jar 说明
(1) spring-core.jar这个jar文件包含Spring框架基本的核心工具类，Spring其它组件要都要使用到这个包里的类，是其它组件的基本核心，当然你也可以在自己的应用系统中使用这些工具类。(2) spring-beans.jar这个jar文件是所有应用都要用到的，它包含访问配置文件、创建和管理bean以及进行Inversion of Control / Dependen
2012-11-03 14:03:58
382
原创 oracle小常识
1.create user username identified by password;//建用户名和密码oracle,oracle 2.grant connect,resource,dba to username;//授权 grant connect,resource,dba,sysdbato username;3.connect username/password//进入
2012-10-31 17:29:17
406
原创 类型转换工具
public class BitUtil{ private static String HexCode[] = {"0", "1", "2", "3", "4", "5", "6", "7", "8", "9", "a", "b", "c", "d", "e", "f"}; public static void intToBytes(int i,
2012-10-29 16:48:26
685
原创 eclipse远程debug 设置
前提：服务器上代码 和本地代码一样。 1.打开Eclipse，点击左上角的debug按钮，如图： 2.点击上图的红色区域 3.双击上图的红色区域 4.Project：选择你要debug的项目，Host：输入你的远程IP，Port：远程调用端口。如何知道远程端口，通过进入你的远程虚拟机的命令行，输入jps -v 命令，查找这一行-Xrunjdwp:tr
2012-08-27 15:15:02
14042
原创 maven 工程简单打包
pom.xml CDR jar jar可以换成其他如 war zip == service projects org.apache.maven.plugins maven-jar-plugin 2.3.1 false
2012-08-22 17:45:59
827
原创 java 发布包 *.bat和*.sh 文件
*.bat set CLASSPATH=%CLASSPATH%;../lib/commons-logging-1.1.1.jar;../lib/commons-net-3.0.1.jar;../lib/commons-pool-1.5.4.jar;../lib/dom4j-1.6.1.jar;../lib/logback-classic-1.0.0.jar;../lib/logback-cor
2012-08-22 17:38:13
723
https 服务的发布和调用工具工程
2015-11-01
spring + cxf + restful + soap 集成小项目
2014-12-22
eclipse 反编译工具插件
2014-04-28
对应hadoop2.2.0安装说明
2014-04-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人