自定义博客皮肤VIP专享

*博客头图：

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览 取消 提交

自定义博客皮肤

-+
上一步保存

frb的博客

  • 博客(2)
  • 资源 (9)
  • 收藏
  • 关注
排序：
按最后发布时间
按访问量
RSS订阅

原创 SparkSQL自定义Hint优化器解决热点数据导致JOIN数据倾斜问题

场景有时我们通过sparkSQL来分析数据，当使用Join操作时，最让人头疼的莫过于数据倾斜了，如果你是大表关联小表的情况，那情况还不是很糟糕，可以使用MAPJOIN来破解一下，spark使用spark.sql.autoBroadcastJoinThreshold参数来自动开启MAPJOIN； BUT，如果两张表数据量都很大的话，MAPJOIN就无能为力了。使用自定义hint处理Join...

2019-01-05 13:33:35 1274

原创 mac 下virtual box 安装多台centOs并配置网络集群

由于Mac下虚拟机安装centOs集群的文章比较少，特别是对刚转向Mac开发的人来坑比较多。这里将介绍多台cent OS集群间的网络的配置，使其内部能互相通信，并能访问外网，这里是用的虚拟机是virtualbox，其他的虚拟机配置应该有所异同。一.virtual box的安装就不在叙述了，这里直接从虚拟机的创建开始讲，创建过程如下图所示：1.新建一个虚拟机，取个名称，我这里装的是centO...

2016-07-05 21:09:43 4654 2

Phoenix技术与应用
Phoenix技术文档，业界大佬分享技术干货，赶紧学起来。

2019-02-25

DataFun技术年货-大数据篇
众多业界大佬分享技术干货，经典大数据应用，赶紧学习起来

2019-02-25

Flink在有赞的实践
Flink在网易有赞的实践方案分析，

2019-02-24

Spark源码剖析
Spark核心功能剖析，Spark2x,SparkCore,

2019-02-24

SparkSQl实践与优化
主要是SparkSQL优化相关文档，对sparkSQL的深度应用，需要的下载

2019-02-24

JAVA核心面试知识点整理
收集了Java大部分面试知识点，包括基础知识、JVM、Spring、大数据等知识点

2019-02-24

hadoop2.x native library64位
在apahe下载的hadoop的本地库是32位，需要64的需要自己编译，这是我编译好的hadoop64本地库，欢迎下载

2015-10-05

用java做的高级计算器，附源码
用java写的计算器，跟系统自带的差不多，有进制转化等功能，欢迎下载研究

2014-06-23

用c写的俄罗斯方块，附源码
用纯win32API写的俄罗斯方块，有兴趣的可以下载研究下，注意运行时要选择Win32APP，不是控制台程序

2014-06-23

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章？
取消 删除