自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

Ran

夜尽天明

  • 博客(218)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 centos7离线安装软件和软件包组

在一个只有内网的服务器中安装软件包组

2019-01-25 13:04:58 9557

原创 airflow整体架构

run命令运行过程读取dag文件生成task依赖关系，然后生成封装airflow run的command命令，通过celery发送到executor端，重新执行该airflow run命令。scheduler命令运行过程：调度器通过SchedulerJob类run方法执行整个流程，包括使用多进程处理DagDir，包括生成Dag，产生DagRun，每个DagRun下又生成多个TaskInsta...

2018-10-29 16:01:06 4310 1

原创 spark2.1源码分析4：spark-network-common模块的设计原理

spark-network-common模块的设计原理一

2017-09-28 13:27:01 1152

原创 Springboot jar包外指定配置文件及原理

Springboot jar包外指定配置文件及原理

2017-09-12 19:49:31 14162

原创 spark2.1源码分析3：spark-rpc如何实现将netty的Channel隐藏在inbox中

spark2.1源码分析3：spark-rpc如何实现将netty的Channel隐藏在inbox中

2017-03-07 16:15:59 1015

原创 spark2.1源码分析2：从SparkPi分析一个job的执行

spark2.1源码分析2：从SparkPi分析一个job的执行

2016-12-22 16:40:40 980

原创 spark2.1源码分析1：Win10下IDEA源码阅读环境的搭建

spark2.1源码分析：Win10下源码阅读环境的搭建

2016-12-22 16:06:24 5594 4

原创 IDEA2016 maven项目配置Junit

IDEA2016 maven项目配置Junit

2016-07-19 15:09:34 6717

原创 Window10下安装sbt

Window10下安装sbt

2016-04-16 09:40:45 2105

原创 impala daemon启动失败

impala daemon启动失败

2016-04-07 18:18:20 3381

原创 编译CDH的spark1.5.2

编译CDH的spark1.5.2

2016-04-02 09:08:29 1128

原创 搭建sparksql的hive测试环境

搭建sparksql的hive测试环境

2016-03-31 15:59:15 1408

转载 HBase配置性能调优

HBase配置性能调优

2016-03-15 21:15:03 1180

原创 spark streaming检查点使用

spark streaming检查点使用

2016-03-15 21:13:11 2518

原创 spark streaming的有状态例子

spark streaming的有状态例子

2016-03-15 21:10:24 2039

原创 hue中使用oozie的workflow执行mr

hue中使用oozie的workflow执行mr

2016-03-15 21:07:34 6162 9

原创 sqoop导出mysql数据进入hive错误

sqoop导出mysql数据进入hive错误

2016-03-15 21:00:19 715

原创 由于ip改变重新配置CM集群

由于ip改变重新配置CM集群

2016-03-15 20:54:11 1089

转载 非mapreduce生成Hfile，然后导入hbase当中

非mapreduce生成Hfile，然后导入hbase当中

2016-03-05 11:53:34 809

原创 spark streaming插入hbase

spark streaming插入hbase

2016-03-05 11:12:54 3695 1

原创 scala使用hbase新api

scala使用hbase新api

2016-03-05 11:09:44 7873

原创 IDEA15使用maven编译scala和java

IDEA15使用maven编译scala和java

2016-03-05 11:07:13 1875

原创 IDEA非sbt下spark开发

IDEA非sbt下spark开发

2016-03-05 11:04:28 745

原创 CM添加kafka服务

CM添加kafka服务

2016-02-27 11:22:39 3350

原创 flume整合kafka

flume整合kafka

2016-02-27 11:09:16 576 2

原创 flume 读取tcp写到hdfs

flume 读取tcp写到hdfs

2016-02-27 11:06:13 2080

原创 spark-shell和scala错误

spark-shell和scala错误

2016-02-27 10:50:34 2634

原创 Spark SQL Example

Spark SQL Example

2016-02-27 10:44:35 1529

原创 CM给hive添加自定义jar包

CM给hive添加自定义jar包

2016-02-27 10:31:06 2433

原创 ubuntu14.04计划任务无法执行

ubuntu14.04计划任务无法执行

2016-02-27 10:28:48 2257

原创 通过创建临时表合并某一个库的hive小文件

通过创建临时表合并hive小文件

2016-02-27 10:19:48 2308

原创 sqoop job命令自动生成

sqoop job命令自动生成

2016-02-27 10:13:25 2216

原创 在脚本中刷新impala元信息

在脚本中刷新impala元信息

2016-02-27 10:05:40 3208 1

原创 不同hadoop集群之间迁移hive数据

不同hadoop集群之间迁移hive数据

2016-02-27 10:03:24 10727

原创 解决sqoop需要输入密码的问题

解决sqoop需要输入密码的问题

2016-02-27 09:59:12 3062

原创 java通过jdbc连接impala

java通过jdbc连接impala

2016-02-27 09:46:59 27911 15

原创 hive基本操作

hive基本操作

2016-02-20 11:15:52 1110

原创 python3基础操作

python3基础操作

2016-02-20 11:14:48 626

原创 ubuntu14.04网络设置

ubuntu14.04网络设置

2016-02-20 11:13:24 1309

原创 mac配置impala odbc

mac配置impala odbc

2016-02-20 11:10:44 2526 5

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除