2 y_hai_yang

尚未进行身份认证

你的现在,是你过去的选择和行为造就的。而你的将来,则是你现在的选择决定的。

等级
TA的排名 6w+

一个事务中使用SqlSessionFactory创建连接操作数据库笔记(create不支持事务)

距离上次博文已经过去7个多月了.期间一直在为工作奔波,(其实就是没有什么收获能写),今天来记一次工作中使用连接池遇到的问题.正文: 在工作中,使用到事务和连接池是再正常不过的了.而我遇到的问题,也正是使用这两个东西时,没有注意到一些细节上的东西,就导致了这次踩坑事件.使用场景: 工作中有这么一个业务,就是一个更改或者创建,需要牵涉到很多张表,还会使用ddl语句动态创...

2019-09-24 09:41:11

Spark读取hbase表中数据

pom.xml<dependency> <groupId>org.springframework.data</groupId> <artifactId>spring-data-hadoop</artifactId> <version>2.0.2.RELEASE</version> &a

2019-02-20 17:10:01

本地上传文件到服务器HDFS系统上

这里使用的是CDH 5.13.0分布式系统在网上搜集了很久,找到一套能上传文件的java代码package com.data.sysatem.crawler;import java.io.BufferedInputStream;import java.io.File;import java.io.FileInputStream;import java.io.InputStrea...

2019-02-19 17:14:18

spring-data-jpa初步学习.

这篇博客是我自己学习spring-data-jpa时的一些理解,可能有错误.还希望看到的大牛能指正.本博客深度不够,只是简单的一些自我的理解,还望轻喷. 为什么突然对spring-data-jpa(下面简称JPA)感兴趣,要说到一次我自己写的一个针对hbase数据库的增删查改的工具类.里面使用的是泛型的方式(博客链接),因为对hbase中操作表,很多方法都是可以复用的,当时第一...

2019-02-14 12:41:55

docker实战.在docker上运行springboot项目

参考博文:  点击 记录第一次使用docker发布项目docker的安装和验证就不在这里说了...网上搜索一大堆,这里遇到一个坑就是..在window系统上安装了好久都没有安装好..还是只有在linux系统上安装成功了.前提准备条件是:  1,安装了maven  2,安装好了jdk  3, 安装好了docker   并且都配置好了环境变量. 在eclipse中编译一个简单的...

2019-01-11 15:17:56

判断一个点是否在一个不规则图形内

项目中遇到的问题,这里粘贴老总写的方法.学习一下...以备以后遇到时使用. package com.vanda.economic.common.utils;import java.util.List;public class SpatialRelationUtil { private SpatialRelationUtil() {} public static cla...

2019-01-07 17:56:14

Mapreduce学习记录---从hbase中读取数据,写入mysql中

 在网上搜了一下,找到一篇博文讲了关于如何将hbase中的数据读取出来写入mysql中,这里做一下记录.参考博文: 参考博文看网上的博文,自己做了一下小改动.这里是自定义的类,map和reduce中都会使用到,作为输入输出的类型,这里的write和readFields方法可以优化,不然一个对象有上百个字段,就要写死了.这里提供了一种方法.package mapreduce;...

2019-01-04 15:46:11

学习使用kettle链接hive数据库

最近在学习数据仓库.根据一篇文章一步一步建立一套完整的数据仓库(基于hadoop),先学习了ETL工具kettle这里记录一些使用的情况(踩的坑),供以后回过头来看. 首先,当然是下载kettle工具了...点击下载kettle工具,这里拿最新的版本7.1来举例.下载后,直接解压就可以使用了.但如果想链接hive还是很难受的.公司搭建了一套hadoop的环境,所有我就没有自己搭...

2018-11-13 16:20:25

查询时,同时有插入操作,避免插入的数据不被查询出来的问题思路.

在做项目时遇到这样一个问题,有一个定时任务,从启动开始,每隔一段时间就从数据库中查询一个表的新增/修改数据(以一个时间字段为查询条件).以开始时间每5分钟为例(如12:00开始第一次搜索则查询11:55到12:00的数据,下一次就搜索12:00到12:05的数据),但这样会出现一个问题.就是当一次查询时,如果正好这个时候有插入操作,但晚于查询操作,就会造成数据以后都查询不到了.问了一下老总,老总提...

2018-10-26 14:01:46

JAVA8新特性Streams和lambda 表达式好文推荐(初学很有帮助)

最近看到一篇很好的文章.这里发出来与大家一起分享.Java 8 中的 Streams API 详解文章里面对streams有很多例子的讲解,对初学者很有帮助.

2018-10-16 17:53:33

java后台以流的形式上传图片(类似form表单提交),以base64字符串上传图片

现在很多借口调用如果要上传图片,都是采用的图片流上传,(有些会使用base64字符串),这里记录一下自己使用的方法,以备再用. 一,流形式:/***测试上传png图片**/publicstaticvoidtestUploadImage(){Stringurl="";//这里填写访问接口urlStringfile...

2018-09-19 09:32:12

使用ASTParser(抽象语法树)获取类属性注释

  项目中有一个小任务,就是将项目中涵盖有哪些字段列举出来.思来想去,想到了AST可以读取到属性的注释,就免去了把字段获取后还需要填写中文名称的麻烦.引入包<!--https://mvnrepository.com/artifact/de.defmacro/eclipse-astparser-->      <dependency>       ...

2018-09-14 12:48:11

springboot工程maven打包时,如果有依赖工程总是报找不到,解决办法

引用原文: 原文地址最近公司使用springboot开发项目,使用的构建工具是maven,项目分了很多模块,并且模块之间还存在一定的依赖,比如说一个项目common是提供各项目通用的工具类,公共的类等例子:项目root,有modulecommon,front,mall等其中front和mall都依赖于common,将来需要上线部署的也是front和mall项目,所以两个项目是要进行打包,也就是...

2018-07-12 13:05:26

记录使用springboot整合redis

pom文件中添加如下两个包 <!-- redis --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-redis</artifactId> &l...

2018-06-26 14:06:30

java中使用POI操作excel

/** *导出excel表格 */ public void exportExcelForm(HttpServletResponse response) throws Exception { OutputStream os = null; try { if (list != null && list.size() != 0) {/...

2018-04-25 17:23:36

kafka单机版本配置连接

1,下载并安装kafka可以通过下面连接下载kafka :下载kafka2,下载后,解压到指定目录我下载的kafka我喜欢放在虚拟机的下载目录下面.解压也需要修改相应的目录,解压代码:sudo tar -zxf ~/下载/kafka_2.11-1.0.1.tgz -C /usr/local 前面的sudo命令如果你使用的是管理员用户就不需要加,但加上没有影响.解压后,如果觉得每次写路径kafka...

2018-03-26 14:23:34

本地主机操作虚拟机中的hadoop+hbase+自带zookeeper

1 安装虚拟机及hadoop环境.          项目中需要使用hbase来储存数据,所以在电脑上安装了一个虚拟机来搭建一个hadoop环境研究hbase.这里记录一下从零到有的一个过程.1.1 虚拟机的安装和hadoop+hbase的搭建          下载安装好虚拟机,这里我使用的是VMware Workstation虚拟机和centos7系统.这里就不赘述虚拟机的安装和系统的安装了,...

2018-03-15 13:36:42

java在window系统上使用mapreduce操作hbase数据库

项目要使用大数据环境,hadoop,所以研究了一下mapreduce,这里记录一下window想要操作hadoop,需要配置环境,1,下载hadoop.2.6.5版本(主要是我操作的是2.6.5版本),解压后配置环境变量.这里的操作和配置java变量差不多.         需要配置HADOOP_HOME,和PATH这两个变量.贴出我的变量配置   2,要在 Eclipse 上编译和运行 MapR...

2018-03-08 18:48:21

java操作hdfs文件系统上的文件

项目中需要把消息写到hdfs文件系统中去,所以看了一下如何通过java来操作hdfs文件,这里记录一下.不过效果不是很满意.需要优化的地方还很多,希望博客大神能指导一下.下面是基本操作工具类package testHbase2.common.util;import java.io.IOException;import java.net.URI;import org.apache.hado...

2018-03-08 11:48:54

学习笔记,使用泛型T,来构建工厂类DAO

笔记:  最近项目上使用hbase来存储数据,实体对象的存储大部分代码都是一样的,所以想写一个公用的dao来实现传入不同的实体对象,生成对应的dao工厂.但苦与技术能力不足,写出来的dao工厂不美观,犹如hibernate的读写操作,需要每次传入实体对象class.才能进行操作.希望能有大神来指点一二.不过在不断改进中,也学习到了一些东西.我现在的代码://这里是接口类interface dao...

2018-02-24 12:08:38

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。