- 博客(4)
- 收藏
- 关注
RSS订阅
原创 自定义注解实现多数据源动态切换
自定义注解实现多数据源动态切换1、注册多数据源：2、在spring配置文件中配置这两个数据源3、自定义一个数据源类，继承 org.springframework.jdbc.datasource.lookup.AbstractRoutingDataSource 并重写 determineCurrentLookupKey()4、实现数据源持有类DataSourceContextHolder5、自定义注解6、利用AOP实现动态数据源切换7、若方法体上没有注解，则使用默认数据源，如果有以下注解，则使用指定的数据源8
2020-07-27 23:00:23
1106
原创 Jar包冲突解决方案
背景介绍项目名称：数据同步中心的HBaseReader插件迁移至玄武计算平台项目背景：数据同步中心的开发环境为Spark 2.x + Scala 2.11，而玄武计算平台中的开发环境为Spark 3.0 + Scala 2.12，且开发环境所用HBase版本较低，所以在迁移中遇到了许多API错误和Jar包冲突问题问题一，Spark版本升级导致以前的API调用方式不可用旧版本调用在新版本中报错，如下图所示：点进去查看该类发现在Spark 3.0 中该对象被私有化，无法调用 解决方案：本地构
2020-08-10 19:16:10
600
原创 Spark核心源码（一）：spark-submit
1.Spark 源码相关目录介绍spark 源码下载地址https://github.com/apache/spark 选择自己需要阅读的分支，目前spark 版本已经到3.0.0，因为目前线上使用的主要版本为2.3， 所以当前阅读源码还是以2.3 为主。 下图为整个spark源码的目录结构：bin 目录下存放的spark运行shell 相关的脚本，包括pyspark，sprkR，spark-shell，spark-sql等脚本。通过其中一个pyspark脚本分析，如何启动这些脚本的。查看pysp
2020-07-28 19:32:39
410
原创 Spark核心源码学习（整体路线）
前言从Spark执行流程来顺序学习Spark内部核心原理1.Spark应用提交（1）向Yarn提交（2）ApplicationMaster，Driver，Executor2.Spark内部组件及通信（1）通信原理 -IO（2）组件内部（3）组件之间3.Spark作业调度（1）Application（2）逻辑代码 => RDD（3）Job => 行动算子（4）Stage 的划分 => 转换算子 => 依赖关系（5）Task（Partition）4.任务的执
2020-07-28 00:10:58
203
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人