2 y_hai_yang

尚未进行身份认证

你的现在,是你过去的选择和行为造就的。而你的将来,则是你现在的选择决定的。

等级
博文 44
排名 6w+

Spark读取hbase表中数据

pom.xml<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artifactId> <version>2.0.2.RELEASE</version> &a

2019-02-20 17:10:01

本地上传文件到服务器HDFS系统上

这里使用的是CDH5.13.0分布式系统在网上搜集了很久,找到一套能上传文件的java代码packagecom.data.sysatem.crawler;importjava.io.BufferedInputStream;importjava.io.File;importjava.io.FileInputStream;importjava.io.InputStrea...

2019-02-19 17:14:18

spring-data-jpa初步学习.

这篇博客是我自己学习spring-data-jpa时的一些理解,可能有错误.还希望看到的大牛能指正.本博客深度不够,只是简单的一些自我的理解,还望轻喷.为什么突然对spring-data-jpa(下面简称JPA)感兴趣,要说到一次我自己写的一个针对hbase数据库的增删查改的工具类.里面使用的是泛型的方式(博客链接),因为对hbase中操作表,很多方法都是可以复用的,当时第一...

2019-02-14 12:41:55

docker实战.在docker上运行springboot项目

参考博文:  点击 记录第一次使用docker发布项目docker的安装和验证就不在这里说了...网上搜索一大堆,这里遇到一个坑就是..在window系统上安装了好久都没有安装好..还是只有在linux系统上安装成功了.前提准备条件是: 1,安装了maven 2,安装好了jdk 3,安装好了docker  并且都配置好了环境变量. 在eclipse中编译一个简单的...

2019-01-11 15:17:56

判断一个点是否在一个不规则图形内

项目中遇到的问题,这里粘贴老总写的方法.学习一下...以备以后遇到时使用. packagecom.vanda.economic.common.utils;importjava.util.List;publicclassSpatialRelationUtil{privateSpatialRelationUtil(){}publicstaticcla...

2019-01-07 17:56:14

Mapreduce学习记录---从hbase中读取数据,写入mysql中

 在网上搜了一下,找到一篇博文讲了关于如何将hbase中的数据读取出来写入mysql中,这里做一下记录.参考博文: 参考博文看网上的博文,自己做了一下小改动.这里是自定义的类,map和reduce中都会使用到,作为输入输出的类型,这里的write和readFields方法可以优化,不然一个对象有上百个字段,就要写死了.这里提供了一种方法.packagemapreduce;...

2019-01-04 15:46:11

学习使用kettle链接hive数据库

最近在学习数据仓库.根据一篇文章一步一步建立一套完整的数据仓库(基于hadoop),先学习了ETL工具kettle这里记录一些使用的情况(踩的坑),供以后回过头来看. 首先,当然是下载kettle工具了...点击下载kettle工具,这里拿最新的版本7.1来举例.下载后,直接解压就可以使用了.但如果想链接hive还是很难受的.公司搭建了一套hadoop的环境,所有我就没有自己搭...

2018-11-13 16:20:25

查询时,同时有插入操作,避免插入的数据不被查询出来的问题思路.

在做项目时遇到这样一个问题,有一个定时任务,从启动开始,每隔一段时间就从数据库中查询一个表的新增/修改数据(以一个时间字段为查询条件).以开始时间每5分钟为例(如12:00开始第一次搜索则查询11:55到12:00的数据,下一次就搜索12:00到12:05的数据),但这样会出现一个问题.就是当一次查询时,如果正好这个时候有插入操作,但晚于查询操作,就会造成数据以后都查询不到了.问了一下老总,老总提...

2018-10-26 14:01:46

JAVA8新特性Streams和lambda 表达式好文推荐(初学很有帮助)

最近看到一篇很好的文章.这里发出来与大家一起分享.Java8中的StreamsAPI详解文章里面对streams有很多例子的讲解,对初学者很有帮助.

2018-10-16 17:53:33

java后台以流的形式上传图片(类似form表单提交),以base64字符串上传图片

现在很多借口调用如果要上传图片,都是采用的图片流上传,(有些会使用base64字符串),这里记录一下自己使用的方法,以备再用. 一,流形式:/***测试上传png图片**/publicstaticvoidtestUploadImage(){Stringurl="";//这里填写访问接口urlStringfile...

2018-09-19 09:32:12

使用ASTParser(抽象语法树)获取类属性注释

  项目中有一个小任务,就是将项目中涵盖有哪些字段列举出来.思来想去,想到了AST可以读取到属性的注释,就免去了把字段获取后还需要填写中文名称的麻烦.引入包<!--https://mvnrepository.com/artifact/de.defmacro/eclipse-astparser-->      <dependency>       ...

2018-09-14 12:48:11

springboot工程maven打包时,如果有依赖工程总是报找不到,解决办法

引用原文: 原文地址最近公司使用springboot开发项目,使用的构建工具是maven,项目分了很多模块,并且模块之间还存在一定的依赖,比如说一个项目common是提供各项目通用的工具类,公共的类等例子:项目root,有modulecommon,front,mall等其中front和mall都依赖于common,将来需要上线部署的也是front和mall项目,所以两个项目是要进行打包,也就是...

2018-07-12 13:05:26

记录使用springboot整合redis

pom文件中添加如下两个包<!--redis--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-redis</artifactId> &l...

2018-06-26 14:06:30

java中使用POI操作excel

/***导出excel表格*/publicvoidexportExcelForm(HttpServletResponseresponse)throwsException{OutputStreamos=null;try{if(list!=null&&list.size()!=0){/...

2018-04-25 17:23:36

kafka单机版本配置连接

1,下载并安装kafka可以通过下面连接下载kafka:下载kafka2,下载后,解压到指定目录我下载的kafka我喜欢放在虚拟机的下载目录下面.解压也需要修改相应的目录,解压代码:sudotar-zxf~/下载/kafka_2.11-1.0.1.tgz-C/usr/local前面的sudo命令如果你使用的是管理员用户就不需要加,但加上没有影响.解压后,如果觉得每次写路径kafka...

2018-03-26 14:23:34

本地主机操作虚拟机中的hadoop+hbase+自带zookeeper

1安装虚拟机及hadoop环境.     项目中需要使用hbase来储存数据,所以在电脑上安装了一个虚拟机来搭建一个hadoop环境研究hbase.这里记录一下从零到有的一个过程.1.1虚拟机的安装和hadoop+hbase的搭建     下载安装好虚拟机,这里我使用的是VMwareWorkstation虚拟机和centos7系统.这里就不赘述虚拟机的安装和系统的安装了,...

2018-03-15 13:36:42

java在window系统上使用mapreduce操作hbase数据库

项目要使用大数据环境,hadoop,所以研究了一下mapreduce,这里记录一下window想要操作hadoop,需要配置环境,1,下载hadoop.2.6.5版本(主要是我操作的是2.6.5版本),解压后配置环境变量.这里的操作和配置java变量差不多.     需要配置HADOOP_HOME,和PATH这两个变量.贴出我的变量配置  2,要在Eclipse上编译和运行MapR...

2018-03-08 18:48:21

java操作hdfs文件系统上的文件

项目中需要把消息写到hdfs文件系统中去,所以看了一下如何通过java来操作hdfs文件,这里记录一下.不过效果不是很满意.需要优化的地方还很多,希望博客大神能指导一下.下面是基本操作工具类packagetestHbase2.common.util;importjava.io.IOException;importjava.net.URI;importorg.apache.hado...

2018-03-08 11:48:54

学习笔记,使用泛型T,来构建工厂类DAO

笔记: 最近项目上使用hbase来存储数据,实体对象的存储大部分代码都是一样的,所以想写一个公用的dao来实现传入不同的实体对象,生成对应的dao工厂.但苦与技术能力不足,写出来的dao工厂不美观,犹如hibernate的读写操作,需要每次传入实体对象class.才能进行操作.希望能有大神来指点一二.不过在不断改进中,也学习到了一些东西.我现在的代码://这里是接口类interfacedao...

2018-02-24 12:08:38

springboot框架中使用java操作kafka获取数据

因为项目里面我只写了从kafka获取数据,所以这里就贴出我的代码来供有需要的读者参考,至于如何写kafka的操作,只有等我研究后再写出来了.并且网上有大量的例子还是可以的第一种方法,这种方法更繁琐点.第二种相对简单点.我使用的是springboot工程引入jar包<dependency>    <groupId>org.apache.kafka</groupId...

2018-01-05 14:48:32
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!