vic_365_1-CSDN博客

原创 spark--入门小练习

下载spark 2.X版本数据。https://www.apache.org/dyn/closer.lua/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgz进行环境变量等相关配置。在spark bin 目录下执行：bin/pyspark --》进入spark目录下。执行shell脚本PYSPARK_DRIVER_PYTHON=ipython bi...

2018-06-03 11:26:45 930

原创 java8 - lambda表达式

List<String> persons = Lists.newArrayList("xiaoA","xiaoB","xiaoC","xiaoC"); /** * 1.替代匿名类，函数接口 */ public static void test1() { new Thread(new Runnable() { ...

2018-05-17 21:36:13 163

原创 mybatis 查询判空

<sql id="selectCondition"> <if test="storeCode != null and storeCode != '' "> AND store_code = #{storeCode} </if> <if test="saleDates != null a...

2018-05-15 14:43:29 2105

原创 mybatis中 #和$ 的区别

使用#时，#{} 的字段会被加上引号“” --》表名作为变量时，必须使用${}。否则加上“”会导致sql报错使用$时，${} 的字段不会加上引号，直接是字符串拼接 --》会导致sql注入的问题。能使用#{}尽量使用#{}。可以提高效率，避免sql注入。在表名作为变量时，必须使用${}.使用#{} 会进行预编译。tableName=per...

2018-05-15 14:19:36 110

原创合理使用枚举类型

接口中定义的是常量。枚举中定义一种对应关系。public interface Constant { interface EvaluationIndex { String EVALUATION_WASTAGE_QUANTITY = "evaluation_wastage_quantity"; String EVALUATION_WASTAGE_RATE = "...

2018-05-15 12:11:07 155

转载 CDH5 搭建

1. 下载jdk1.8在本机上执行命令 /usr/libexec/java_home -V若未安装jdk1.8。下载安装jdk1.8下载2.设置ssh1）系统偏好设置--》共享--》远程登录2）在终端执行ssh localhost登录成功3 下载CDH安装包，本次使用5.7.1hadoophbasehivezookeeper4.搭建CDH1）创建目录在终端执行命令mkdir -p ~/clo...

2018-05-05 17:43:09 525

原创小工具-功能包-BeanUtils

背景之前有个小需求，里面的两个Bean大多数字段都一样，只有个别字段不一样，还经常会有将其中一个对象的属性赋值给另一个的需求，经常要写好长的代码。原始代码import lombok.*;import java.io.Serializable;import java.math.BigDecimal;@Getter@Setter@NoArgsConstructor@Builderpub...

2018-04-30 15:21:16 132

原创 java-effective-Bulider

在有很多构造函数或者构造函数有很多参数的时候，可以使用Builder.背景曾经写过这样一段代码Display display = new Display(bean.getShopNum(), bean.getShopDisplayNum(), bean.getFace(), bean.isEmptyFace(), bean.getCode(), bean.getMin(), bean.getMax...

2018-04-30 14:46:14 95

原创小工具--lombok

官方讲解lombok的视频 https://projectlombok.org 。英文滴，听不懂不要紧，看操作就都知道了。。。。简单介绍~lombok 简化了我们开发代码。真心感觉Builder 很好用，不用自己实现了常用的：@Getter @Setter @NoArgsConstructor @Builder第一步：配置maven<dependency> <grou...

2018-04-30 01:16:42 103

原创 java-并发-ExecutorService

问题：数据库迁移由于主从不一致产生的错误，在程序执行时并没有被发现，而是在观察数据时发现replace操作并没有真正的被执行。原因：在进行replace操作时，使用了ExecutorService线程池，没有对线程的返回结果进行处理。而线程之间互不影响，主线程可以顺利执行。一。具体示例程序顺利执行import java.util.ArrayList;import java.util.List;...

2018-04-30 00:57:32 172

原创 mysql--replace的主从不一致

问题：数据库迁移后,执行语句 load data local infile '%s' replace into table %s (%s)。会出现 Duplicate entry 的问题原因：replace 语句会被拆分成 delete + insert ，在执行insert 语句的时候，AUTO_INCREMENT 会执行+1 操作。 --》主库AUTO_INCREMENT会+1. ...

2018-04-29 22:55:35 822

vic_365_1的博客