- 博客(162)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hive基础知识
接触hive也有一段时间了，一直把它当做传统的数据库使用的，没有出现问题。昨天的时候遇到一个问题，就是hive表中的数据有重复了，领导让尽快出方案解决，我想都没想，直接脱口就说“把重复的删除”，同事告诉我说，hive不支持删除。当时尴尬到家啦。。无知太可怕了，赶紧学习总结一下hive。补补这方面的欠缺。 hive简介：hive是一个基于Hadoop文件系统之上的数据仓库架构。它为数据仓...
2018-05-20 22:13:49
944
3
原创 hbase rest 源码解析 对象与字符串的互转
最近用springcloud写了一个模拟的hbase rest server，供自动化测试使用，为了达到测试目的，hbase rest server除了跟原生的hbase rest的功能一样外，传入的参数，返回的结果对象，也都一样。 hbase rest返回的结果都是字符串，在程序内部都是hbase相关的对象。第一步就是对象跟字符串的转换问题。 原生的hbase rest支持两种字符串格式的
2017-11-25 21:54:37
1063
原创 SUSE 搭建GIT服务
1.安装git1.1在suse软件库中安装gitzypper install git不同系统的Linux安装软件包的命令不同，suse中是使用zypper。1.2检查git是否安装成功# git --versiongit version 1.7.12.4若安装成功，则显示已安装的版本号，若安装不成功，则提示命令不支持。2.创建仓库2.1创建用户及用户组1.创建git用户sudo useradd -
2017-09-20 17:19:42
3690
1
原创 Feign
Feign简介Feign是一个声明式的Web服务客户端，使用Feign可使得Web服务客户端的写入更加方便。 它具有可插拔注释支持，包括Feign注解和JAX-RS注解、Feign还支持可插拔编码器和解码器、Spring Cloud增加了对Spring MVC注释的支持，并HttpMessageConverters在Spring Web中使用了默认使用的相同方式。Spring Cloud集成了Ri
2017-08-21 15:07:49
9102
原创 Scope provided在IDEA中不起作用
短短两个星期中，我已经两次遇到maven的scope问题了。该长点记性了。 compile: This is the default scope, used if none is specified. Compile dependencies are available in all classpaths of a project. Furthermore, those dependenc
2017-07-17 10:30:16
8184
2
原创 Spark 共享变量
Spark中有两种类型的共享变量：一个是累加器accumulator、一个是广播变量broadcast variable。 累加器：用来对信息进行聚合 广播变量：用来高效分发较大的对象一. 累加器累加器的一个常见用途是在调试时对作业执行过程中的事件进行计数，如：统计日志中空行数、统计错误行数等。用法：通过调用JavaSparkContext.accumulator(initivalVa
2017-07-13 15:48:44
2590
原创 Kafka auto.offset.reset值详解
昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最早的。难道不是topic中各分区的开始？结果还真不是，具体含义如下：auto.offset.res
2017-07-06 11:25:22
207672
34
原创 spark基础
1. Spark概述1.1Spark是什么 Spark是内存计算系统，2009年它出品于UCBerkeley AMPLab伯克利下属实验室，它最早是一片博士论文，论述如何提高map和reduce的效率。后来就针对这篇论文写出了相应的实现。2013年6月捐赠了给Apache，2014年2月成为Apache的顶级项目。 最大节点的集群来自腾讯，8000个节点，单个job最大分别是阿里巴巴
2017-07-04 09:23:38
825
转载 Kafka基础（一）
1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容：Kafka背景 Kafka应用场景 Kafka架构原理 下面开始今天的博客分享内容。2.Kafka背景 Kafka它本质上是
2017-06-20 15:19:56
1122
2
原创 Kafka分区策略及自定义
默认分区策略默认分区策略是：取正（bytearray生成32位hash值）%numpartitions 这个公式的结果是得到0-(numpartitions-1)间正整数的个数大致相等，也就是说kafka的默认分区策略是无论我们给定多少个分区，我们存放的数据基本上会平均的分到各个分区上。private int defaultPartition(String topic, Object key, b
2017-06-13 17:13:18
10918
1
原创 Kafka基础（二）
首先要明确一下kafka中topic、分区与broker的关系。 broker：指的是kafka集群中的一个服务器 topic：消息的主题，指同一类别的消息 分区：消息分几块存储在broker上，一块就是一个分区一个topic分多个分区存放，如下图一个分区分布到多个broker中 在设置了分区副本时，一个分区中的数据，会在其他broker上备份，副本中的数据和数据顺序都和主分区中的一致
2017-06-13 12:22:01
762
原创 Kafka 生产消费实例
环境准备 创建topic命令行模式 执行生产者消费者实例客户端模式 运行消费者生产者1. 环境准备 说明：kafka集群环境我比较懒直接使用公司现有的环境。安全起见，所有的操作都是在自己用户下完成的，若是自己的kafka环境，完全可以使用kafka管理员的用户。创建topic时需要在kafka管理员的用户下完成。1.登录到kafka集群中节点，并切换到kafka管理员用户下ssh
2017-06-12 20:28:32
9929
1
翻译 Apache Kafka 介绍
流平台三个重要功能1. 发布和订阅流，在这方面它类似消息队列或企业级的消息系统2. 容错的方式存储流3. 处理流 kafka的优势有哪些它主要应用在以下两大类： 1. 构建实时的流数据管道，在应用与系统之间获取流数据。 2. 构建实时的流应用程序，对数据流进行转换或相应。为了了解kafka是如何做这些事的，我们自下而上深入探究kafka的能力。首先几个概念 kafka作为一个集群
2017-05-25 18:20:45
1006
1
原创 MySQL数据库优化(一)
1. 数据库优化的目的 1）数据库慢速查询，解决界面内容加载不出来； 2）增加数据库的稳定性；2. SQL工具2.1 慢查日志 慢查日志呢就是MySQL日志查询比较慢的SQL语句的日志。详细的记录了所有的超过某一时间的SQL语句。 1）慢查日志的开启 首先查看慢查日志是否开启：show VARIABLES like '%slow%'，
2017-03-19 23:54:20
2265
4
原创 正则表达式使用总结
1，简单匹配在java中字符串可以直接使用String.matches(regex)注意：正则表达式匹配的是所有的字符串2，匹配并查找找到字符串中符合正则表达式的subString，结合Pattern Matcher 如下实例取出尖括号中的值String str = "abcdefefg";String cmd = "";Pattern p = Patt
2016-11-29 23:19:09
3167
7
原创 JSF 原理简要介绍
JSF（Java Server Faces）的本质也是Servlet，只不过实现Servlet的方式不同而已。那到底JSF是怎样的Servlet呢，有比较才会有不同。总结相同，区分不同。首先，JSF与经典的Servlet请求处理的流程不同。熟悉Servlet的程序员都清楚，Servlet的请求处理是由界面的submit提交按钮将界面表单提交给后台，服务器通过request,session等
2016-11-26 00:46:26
10909
6
原创 JNI java调用动态链接库dll
#include#includeJNIEXPORT void JNICALL JAVA_ConDll_open(JNIEnv *env,jobject obj); 生成的头文件中方法命名为java类的完整路径和方法，中间用下划线隔开。 注意：如果项目中调用现成的dll文件，我们必须知道C中方法的声明，并在java程序中创建对应的包结构，如果路径不对应
2015-05-28 22:19:01
10389
6
原创 JSF 多个配置文件
JSF应用配置是通过xml文件处理的，默认为faces-config.xml，该文件中配置应用支持的场所，bean，导航等。在实际开发中，如果项目很大，很多模块的bean都会配置到faces-config.xml文件，造成该文件过大内容也杂，最好像spring配置文件分成多个，一个模块对应一个配置文件，这样管理起来也方便。 JSF是支持多个配置文件的。默认情况下，它会查找文件w
2015-05-23 22:33:28
3111
2
原创 jsf标签 验证器的使用
jsf验证器+正则表达式验证 密码，两次密码是否一致功能。 需求说明：1，密码和确认后面显示（由10-15位字母或数字组成）2，两次密码不一致时在确认密码后提示3，更改内容后验证通过再次提示信息（由10-15位字母或数字组成）
2015-05-23 22:11:39
4714
原创 excel表格转换为甘特图（wps）
excel表格数据，可以直接转换为甘特图格式，详细步骤如下：（以wps为例）1，创建表格数据 注意：B列第一行单元格，不要有内容。2，转换为初级图 选中要转换的数据源包括标题，点击“插入”按钮，选择“图表”，选择图标类型为“堆积条形图” 如果纵坐标刻度显示不完整，那么选中纵坐标，点击鼠标右键-->坐标轴格式-->刻度-->
2015-02-28 17:25:33
18781
4
原创 导出到excel表格
/** * @param sql 查询语句 * @param contentTitle excel表格标题名称 * @param filepath 生成excel表格文件的路径 * @param filename excel表格的名称 * @return 生成excel表格文件的路径 */public String ToExcel(String sql,String cont
2015-02-06 11:57:07
2087
4
原创 zip文件解压或压缩
/** * lsz */public final class ZipUtil { /** * 解压zip文件 * @param unZipfile * @param destFile */ public static void unZip(String unZipfile, String destFile) { FileOutputStream file
2015-02-06 10:39:48
4435
1
原创 文件下载
下载图片或者文件有那么几种方法，下面详细总结。1，js方法function downloadFile(url){ var elemIF = document.createElement("iframe"); elemIF.src = url; elemIF.style.display = "none"; document.body.append
2015-02-06 10:26:27
6540
1
转载 jquery的smartWizard插件使用方法
jquery的smartWizard插件常用在一些向导式的，按步骤的功能中，是的用户按照我们设定的步骤进行操作，这样一方面有较好的用户体验，可以将庞大的表格数据分解成多个步骤，是的每个步骤的数据量减少；另一方面流程比较清晰，先做那个下一步做什么都是可控可设定的。下面说一下如何使用，首先html中引入jquery的smartWizard插件对应的jquery.smartWizard-2.0.
2015-01-22 11:57:45
16891
4
原创 jquery uploadify上传文件插件导致浏览器崩溃问题解决方法
自谷歌浏览器更新到（版本39.0.2171.99 ）后，访问上传文件界面浏览器就崩溃了，而其他的浏览器不会出现问题。 出现这种问题的原因就是谷歌浏览器缓存问题，但将访问该jsp页面路径添加上时间戳后无法解决问题，将界面引入uploadify.js中也添加了个随机变量还是不行。最后将引入js换成下面形式就解决了： 代码如下： document.wri
2015-01-20 13:42:39
6157
4
原创 easyui datagrid 多表头设置
最近在做二维报表，要求报表的表头自定义。在网上找了好久二维报表的插件，一直找不到合适的。后来就用easyui 中的datagrid替代了一下。 根据实际需求，统计的信息可能不是一个模块中的字段信息，所以需要把模块和模块下的字段都显示出来，这就用到了表格中的合并单元格，但是在datagrid中如何实现呢？ 如下： $('#text').datagrid({ border
2015-01-15 17:25:14
44246
11
原创 UEditor (JSP 1.4.3版本) 集成到ssh框架中
一：集成简单步骤1，下载UEditor文件 下载地址 2，添加jar包 打开下载的文件，结构如下所示，将jsp-lib下面的jar包添加到项目的web-inf 下的lib文件夹中3，导入源文件 在webContent路径下面创建文件夹(ueditor)，将下载的文件全都拷贝进去（除去上部添加的jar包）
2014-12-12 15:39:38
14359
8
原创 Uploadify 控件上传图片 + 预览
jquery的Uploadify控件上传图片和预览使用介绍。 在简单的servlet系统中和在SSH框架中，后台处理不同的，在三大框架中图片预览时费了不少力气，所以下面将两种情况都介绍一下。 1，前台代码script：$("#uploadify").uploadify({ 'langFile' : '/config/juploadify/uploadifyLa
2014-12-08 14:54:25
25257
5
原创 ehcache 缓存使用
一：详细配置步骤 1，添加ehcache.xml文件 将ehcache.xml文件添加到src路径下面。ehcache.xml文件内容如下 <defaultCache maxElementsInMemory="1000" eternal="false" timeToIdleSeconds="120" timeToLiveSeconds="120" overf
2014-12-02 17:20:02
48023
8
原创 image 标签能提交表单？？？
最近负责系统的重构，将servlet程序改为三大框架的。 查看原系统登录的时候发现一个问题，没有找到登录方法，form标签添加了个action路径，点击登录就能提交表单。查看了界面所有引用的js，里面都没有发现触发表单提交的方法，还有密码错误提示。。有点怪。。。 界面源码如下： 重构时，登录得有验证，验证不通过就得有提示吧，暂且不管原系统中是如何实现登录提
2014-11-26 14:59:50
2363
2
原创 MongoDB 数据库安装
首先在官网上下载数据库；官网上提供了两种形式的数据库，一种是免安装版的，一种是安装版的，这点跟apache的tomcat类似，安装版的有可视化的界面对服务进行启动和关闭，但是还是比较喜欢免安装的，不解释。。可根据个人习惯在网站下载相应的数据库。下面以免安装版为例说明。 下载完成后，就是创建数据库文件目录。 MongoDB将数据库存储在db目录下面，但该目录不会自动创建，因此我们首先要
2014-11-16 22:32:39
2028
2
原创 MongoDB 开篇
之前就听说MongoDB数据库中存的是json，前段工作中一直都在捣鼓json了索性就去学习了一下MondoDB。 MongoDB是一个基于分布式文件存储的数据库，是由C++语言编写的开源的数据库系统，是跨平台的面向文档的数据库。 MySql、Oracle或者是Sql Server数据库，创建数据库时都必须要先创建字段，插入数据时也一定要指明数据对应的列的值，MongoDB数据库则不然
2014-11-16 22:02:48
2247
2
原创 Extjs 下拉框没有数据
Extjs框架的下拉框动态加载数据时不显示数据。 1，返回结果的键值和下拉框定义的不一致 如下定义的下拉框值为value，显示为text 返回结果也必须是这种格式，不一致就会出错。 2，定义下拉框时多了个逗号 这种情况下在ie9浏览器下出错，在ie11，谷歌浏览器不出错. 所以，一定要注意最后一项的逗号使用。。
2014-10-24 15:36:26
4499
3
原创 easyui 日期控件清空值
最近用了Easyui的日期控件datebox，项目中要将选中值清空，于是就研究了一下。 1，调用方法清空$('#yourId').combo('setText',''); 2，更改js文件 从官网下载的源文件中，datebox控件界面只有‘Today’，‘Close’事件，我们可以把清空选项值的事件添加到js中去，这样，只要引用了datebox
2014-10-16 15:57:31
42844
4
原创 ajax提交表单
ajax提交表单在项目中常用，前台无论是简单的html、jsp或者是使用了easyui框架，提交表单都会使用到ajax，extjs框架其实也是使用了ajax只不过对其进行了封装了，我们使用的时候就更固定了些。 总的来说ajax提交表单可以分为两种，一种是无返回结果的，就是将表单数据提交给后台，后台处理完就完了；另一种就是有返回结果的，后台执行成功或失败的信息需要返回到前台。 1，无
2014-10-09 22:29:22
43804
10
转载 Ext.toolbar.Toolbar 工具栏、Ext.toolbar.Paging 分页栏、Ext.ux.statusbar.StatusBar 状态栏
本篇讲解三个工具栏控件。其中Ext.toolbar.Toolbar可以用来放置一些工具类操控按钮和菜单，Ext.toolbar.Paging专门用来控制数据集的分页展示，Ext.ux.statusbar.StatusBar用来展示当前的状态信息。一、Ext.toolbar.Toolbar工具栏控件可以被附加在面板、窗口等容器类控件中，可以在四个方位添加多个工具栏控件。我们演示多个E
2014-09-26 17:08:59
2719
1
原创 Extjs 下拉框
刚刚熟练了easyui控件的使用，又开始了现在的这个项目。这个项目是个半成品，前端使用的是Extjs控件，jsp中没有代码，就引用了很多的js。。。于是乎有种不知所措了呀。。。 说实话特别的不想去看那些代码，第一是不熟悉，第二是太乱没条理，还有一个原因界面连html不想看又不行，公司要做这个项目，你又不能跟公司领导说我不会，，所以还是硬着头皮看了一天。 大概了解后，就开始copy，past
2014-09-17 16:47:03
28978
7
原创 echarts高级使用
上一篇文章中介绍了echarts中柱状图的使用，从demo中我们可以看到不管是柱状图还是饼状图或者是折线图，都是导入js，准备option参数。为了使用方便我们下一步要做的就是封装了。 我们把图形类型和图形数据与图形显示分离开来，封装独立的js文件，只要传给他图形类型参数和图形数据参数就能显示出对应的图形，这样就不会出现太多的冗余代码。接下来我们说封装js文件。 是柱状图封装柱状图的j
2014-09-07 23:19:08
33728
4
原创 echarts 基本使用
最近项目中要做图形报表，要求使用echarts实现，图形报表有很多中实现之前也接触过，但echarts还是头一次听说，正好可以趁这个机会好好学习一下它。 之前不知道就不知道啦，现在知道了就了不得了，一下子喜欢上了echarts，今后项目中要是让做报表我肯定首选echarts在没有强制要求的前提下。主要是echarts太完美了：1，开源软件，无私的为我们提供漂亮的图形界面；2，使用简单，默默的
2014-08-28 11:58:25
118291
16
多组件版本升级策略文档如何？
2016-01-25
TA创建的收藏夹 TA关注的收藏夹
TA关注的人