- 博客(16)
- 收藏
- 关注
RSS订阅原创 Hadoop 3.2.2 + Hive 3.1.2 + Tez 0.10.1 冲突解决（Hive sql MR任务执行结果跟预期不一致）
因公司分析订单数据要求，全面装行大数据工程师，在自己摸索Hadoop+Hive+Tez on Hive上花费了不少时间也趟了不少坑。该篇文章主要记录下较新版的Hadoop+Hive搭建遇到比较大的问题在开始的时候并没有使用tez替换计算引擎，公司主要是离线数仓，但是在使用hadoop的MR执行的时候出现了查询数据跟预期结果不同的严重BUG，确认不是sql 的问题，公司的业务需求写了一条较多嵌套的sql，查询结果严重偏离预期，使用 with [table] as 问题依旧出现，只有把部分嵌套的语句的
2021-08-04 18:36:11
1635
3
原创 BIO中的文件流(FileInputStream,FileOutputStream)及缓冲流(bufferedInputStream,bufferedOutputStream)
首先是文件输入及输出流的基本使用public static void test1() throws Exception { long start = System.currentTimeMillis(); File fromFile = new File("/Users/mouxiaoshi/IdeaProjects/pro-test/[BD影视分享bd2020.com]电u惊魂8.Jigsaw.2017.HD720P.中英双字.mp4"); File
2021-05-25 17:49:14
525
原创 java 嵌套循环“标签“使用详解
最近在复习线程相关的知识，阅读源码时看到有使用以下语法：此处的retry 及 break retry 和 continue retry 到底起到了什么作用？
2021-05-23 12:05:37
365
原创 JUC核心类AQS分析学习
首先是在AbstractQueuedSynchronizer当中很重要的对象Node:static final class Node { //共享锁标识 static final Node SHARED = new Node(); //独占锁标识 static final Node EXCLUSIVE = null; //等待状态 //取消状态 static final int CANC.
2021-05-21 23:03:31
179
原创 加入spring sesion redis后,cookie无法跨域请求
springsecurity + spring session redis项目使用springsecurity来进行认证及鉴权因项目每次部署登陆状态都会失效(session 认证机制)故集成spring session redis将session保存在redis当中当集成完成后，发现认证成功后返回的session-id跟登陆后携带的session-id不同导致无法认证成功问题出在集成spring session redis 返回的响应头 set-cookie上此时SameS...
2021-03-30 14:24:40
833
原创 zookeeper 伪集群搭建及基本命令操作
1.部署集群前提：安装了docker及docker-composedocker-compose.ymlversion: '3.3'services: zoo1: image: zookeeper:3.5.9 hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=0.0.0.0:2888:3888;2181 se
2021-03-11 15:43:06
213
原创 Spring Security Filters
1.何为spring SecuritySpring Security is a framework that provides authentication, authorization, and protection against common attacks. With first class support for both imperative and reactive applications, it is the de-facto standard for securing Spr...
2021-02-05 16:12:58
150
原创 SpringBoot + Spring Security 多认证源(钉钉，账密)
业务需求1.Springboot +Spring Security权限框架2.前后端分离返回json数据，而不有后端重定向3.可使用钉钉登陆（钉钉app企业应用）+账号密码登陆
2021-02-04 10:25:21
1705
4
原创 Mybatis plus 多wrapper传参无法正确获取参数问题分析
文章目录问题复现一、定位问题二、问题分析1.getCustomSqlSegment源码分析2.MergeSegments源码分析3.AbstractISegmentList及NormalSegmentList源码分析4.函数式接口ISqlSegment三、Compare接口中sql条件拼接四、解决办法1.使用apply方法拼接语句2.Mapper中只传入一个Wrapper，其余的以方法参数传入，在xml中进行拼接总结问题复现因业务开发需要，组内Ja
2021-01-12 14:39:22
8112
2
原创 微信小程序自定义二维码（小程序+后端）
微信小程序自定义二维码效果图微信端代码文件下载圆角头像圆角头像文字加粗圆角思路最终效果show you the code保存生成图片解析sence参数后端效果图微信端代码微信端主要分为拉取服务端小程序码，和主要图片文件下载本地，绘图几部。文章介绍主要步骤。文件下载coverUrlTep = await this.getFileTep(that.goodsInfo.cover_url);——————————————————————————————————————————————async g
2020-09-28 11:37:29
1217
原创 docker、docker-compose环境变量以及传参
docker中传参可用ARG接收参数#构建镜像docker build -f /manage/src/main/docker/Dockerfile -t manage:1.0 --build-arg server_name= --build-arg server_version=1.0 /manage/targetdockerFile# 该镜像需要依赖的基础镜像FROM java:8#传参ARG server_nameARG server_version#环境变量ENV jar
2020-09-24 10:23:38
5677
原创 Docker容器时差、Docker内部Jenkins时差问题
docker容器采用的是UTC时区，需要将容器指定为UTC+8时区可直接将宿主机的/etc/localtime直接加载到docker卷当中（确认宿主机时期时间等没有问题）#docer-composejenkins: image: jenkins/jenkins:lts container_name: jenkins volumes: - /etc/localtime:/etc/localtime #同步时间...最主要的就是下面这句：volum.
2020-09-22 09:47:22
648
原创 CentOS shell脚本一键安装docker、docker-compose
#!/bin/sh#安装docker,docker-compose脚本docker_install_info=`docker -v|grep -o version`docker_install_version="19.03.9"docker_compose_install_version="1.27.3"#如果安装目录不是/usr/local/bin/ 需要将安装目录链接到/usr/local/bin目录下docker_compose_install_dir="/usr/local/bi...
2020-09-21 10:59:57
468
原创 新增spring Converter解析器中使用lambda表达式代替匿名内部类是启动报错：... does the class parameterize those types?
最近在项目中想自定义一个LocalDate的参数解析器。@FunctionalInterfacepublic interface Converter<S, T> { @Nullable T convert(S var1);}转换器接口定义了两个泛型：S,T接收S类型，返回T类型自定义时间工具类部分代码如下/** * @author mouxiaoshi */public class DateUtil { public static.
2020-09-07 10:13:07
1271
原创 在Centos上使用docker，并在jenkins中持续集成发布springboot项目
目录前言一、搭建环境二、使用步骤1.引入库2.读入数据二、使用步骤总结前言在Centos上使用docker(docker-compose)部署开发环境（nginx,jenkins,mysql），并在jenkins中持续集成发布springboot项目(maven,git)、web前端项目。一、搭建环境服务器提前安装好docker环境，使用docker-compose来部署开发所需的环境。version: '3'services: jen..
2020-08-27 10:47:48
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人