9 lishuangzhe7047

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 1k+

hive基础知识

    接触hive也有一段时间了,一直把它当做传统的数据库使用的,没有出现问题。昨天的时候遇到一个问题,就是hive表中的数据有重复了,领导让尽快出方案解决,我想都没想,直接脱口就说“把重复的删除”,同事告诉我说,hive不支持删除。当时尴尬到家啦。。无知太可怕了,赶紧学习总结一下hive。补补这方面的欠缺。   hive简介:hive是一个基于Hadoop文件系统之上的数据仓库架构。它为数据仓...

2018-05-20 22:13:49

hbase rest 源码解析 对象与字符串的互转

最近用springcloud写了一个模拟的hbase rest server,供自动化测试使用,为了达到测试目的,hbase rest server除了跟原生的hbase rest的功能一样外,传入的参数,返回的结果对象,也都一样。 hbase rest返回的结果都是字符串,在程序内部都是hbase相关的对象。第一步就是对象跟字符串的转换问题。 原生的hbase rest支持两种字符串格式的

2017-11-25 21:54:37

SUSE 搭建GIT服务

1.安装git1.1在suse软件库中安装gitzypper install git不同系统的Linux安装软件包的命令不同,suse中是使用zypper。1.2检查git是否安装成功# git --versiongit version 1.7.12.4若安装成功,则显示已安装的版本号,若安装不成功,则提示命令不支持。2.创建仓库2.1创建用户及用户组1.创建git用户sudo useradd -

2017-09-20 17:19:42

Feign

Feign简介Feign是一个声明式的Web服务客户端,使用Feign可使得Web服务客户端的写入更加方便。 它具有可插拔注释支持,包括Feign注解和JAX-RS注解、Feign还支持可插拔编码器和解码器、Spring Cloud增加了对Spring MVC注释的支持,并HttpMessageConverters在Spring Web中使用了默认使用的相同方式。Spring Cloud集成了Ri

2017-08-21 15:07:49

Scope provided在IDEA中不起作用

短短两个星期中,我已经两次遇到maven的scope问题了。该长点记性了。 compile: This is the default scope, used if none is specified. Compile dependencies are available in all classpaths of a project. Furthermore, those dependenc

2017-07-17 10:30:16

Spark 共享变量

Spark中有两种类型的共享变量:一个是累加器accumulator、一个是广播变量broadcast variable。 累加器:用来对信息进行聚合 广播变量:用来高效分发较大的对象一. 累加器累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数,如:统计日志中空行数、统计错误行数等。用法:通过调用JavaSparkContext.accumulator(initivalVa

2017-07-13 15:48:44

Kafka auto.offset.reset值详解

昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset,自动将偏移量置为最早的。难道不是topic中各分区的开始?结果还真不是,具体含义如下:auto.offset.res

2017-07-06 11:25:22

spark基础

1. Spark概述1.1Spark是什么 Spark是内存计算系统,2009年它出品于UCBerkeley AMPLab伯克利下属实验室,它最早是一片博士论文,论述如何提高map和reduce的效率。后来就针对这篇论文写出了相应的实现。2013年6月捐赠了给Apache,2014年2月成为Apache的顶级项目。 最大节点的集群来自腾讯,8000个节点,单个job最大分别是阿里巴巴

2017-07-04 09:23:38

Kafka基础(一)

1.概述   经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容:Kafka背景 Kafka应用场景 Kafka架构原理   下面开始今天的博客分享内容。2.Kafka背景   Kafka它本质上是

2017-06-20 15:19:56

Kafka分区策略及自定义

默认分区策略默认分区策略是:取正(bytearray生成32位hash值)%numpartitions 这个公式的结果是得到0-(numpartitions-1)间正整数的个数大致相等,也就是说kafka的默认分区策略是无论我们给定多少个分区,我们存放的数据基本上会平均的分到各个分区上。private int defaultPartition(String topic, Object key, b

2017-06-13 17:13:18

Kafka基础(二)

首先要明确一下kafka中topic、分区与broker的关系。 broker:指的是kafka集群中的一个服务器 topic:消息的主题,指同一类别的消息 分区:消息分几块存储在broker上,一块就是一个分区一个topic分多个分区存放,如下图一个分区分布到多个broker中 在设置了分区副本时,一个分区中的数据,会在其他broker上备份,副本中的数据和数据顺序都和主分区中的一致

2017-06-13 12:22:01

Kafka 生产消费实例

环境准备 创建topic命令行模式 执行生产者消费者实例客户端模式 运行消费者生产者1. 环境准备 说明:kafka集群环境我比较懒直接使用公司现有的环境。安全起见,所有的操作都是在自己用户下完成的,若是自己的kafka环境,完全可以使用kafka管理员的用户。创建topic时需要在kafka管理员的用户下完成。1.登录到kafka集群中节点,并切换到kafka管理员用户下ssh

2017-06-12 20:28:32

Apache Kafka 介绍

流平台三个重要功能1. 发布和订阅流,在这方面它类似消息队列或企业级的消息系统2. 容错的方式存储流3. 处理流 kafka的优势有哪些它主要应用在以下两大类: 1. 构建实时的流数据管道,在应用与系统之间获取流数据。 2. 构建实时的流应用程序,对数据流进行转换或相应。为了了解kafka是如何做这些事的,我们自下而上深入探究kafka的能力。首先几个概念 kafka作为一个集群

2017-05-25 18:20:45

MySQL数据库优化(一)

1. 数据库优化的目的     1)数据库慢速查询,解决界面内容加载不出来;   2)增加数据库的稳定性;2. SQL工具2.1 慢查日志    慢查日志呢就是MySQL日志查询比较慢的SQL语句的日志。详细的记录了所有的超过某一时间的SQL语句。   1)慢查日志的开启    首先查看慢查日志是否开启:show VARIABLES like '%slow%',

2017-03-19 23:54:20

正则表达式使用总结

1,简单匹配在java中字符串可以直接使用String.matches(regex)注意:正则表达式匹配的是所有的字符串2,匹配并查找找到字符串中符合正则表达式的subString,结合Pattern Matcher 如下实例取出尖括号中的值String str = "abcdefefg";String cmd = "";Pattern p = Patt

2016-11-29 23:19:09

JSF 原理简要介绍

JSF(Java Server Faces)的本质也是Servlet,只不过实现Servlet的方式不同而已。那到底JSF是怎样的Servlet呢,有比较才会有不同。总结相同,区分不同。首先,JSF与经典的Servlet请求处理的流程不同。熟悉Servlet的程序员都清楚,Servlet的请求处理是由界面的submit提交按钮将界面表单提交给后台,服务器通过request,session等

2016-11-26 00:46:26

JNI java调用动态链接库dll

#include#includeJNIEXPORT void JNICALL JAVA_ConDll_open(JNIEnv *env,jobject obj);         生成的头文件中方法命名为java类的完整路径和方法,中间用下划线隔开。         注意:如果项目中调用现成的dll文件,我们必须知道C中方法的声明,并在java程序中创建对应的包结构,如果路径不对应

2015-05-28 22:19:01

JSF 多个配置文件

JSF应用配置是通过xml文件处理的,默认为faces-config.xml,该文件中配置应用支持的场所,bean,导航等。在实际开发中,如果项目很大,很多模块的bean都会配置到faces-config.xml文件,造成该文件过大内容也杂,最好像spring配置文件分成多个,一个模块对应一个配置文件,这样管理起来也方便。   JSF是支持多个配置文件的。默认情况下,它会查找文件w

2015-05-23 22:33:28

jsf标签 验证器的使用

jsf验证器+正则表达式验证 密码,两次密码是否一致功能。 需求说明:1,密码和确认后面显示(由10-15位字母或数字组成)2,两次密码不一致时在确认密码后提示3,更改内容后验证通过再次提示信息(由10-15位字母或数字组成)

2015-05-23 22:11:39

excel表格转换为甘特图(wps)

excel表格数据,可以直接转换为甘特图格式,详细步骤如下:(以wps为例)1,创建表格数据 注意:B列第一行单元格,不要有内容。2,转换为初级图    选中要转换的数据源包括标题,点击“插入”按钮,选择“图表”,选择图标类型为“堆积条形图”      如果纵坐标刻度显示不完整,那么选中纵坐标,点击鼠标右键-->坐标轴格式-->刻度-->

2015-02-28 17:25:33

查看更多

勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!