- 博客(3)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 hiveserver2+kerberos+sentry多用户权限管理
1 kerberos配置 1.1 kerberos新建principal 1.2 导出对应的keytab文件 2 Sentry设置 2.1 用hiveserver2服务对应的tgt连接beeline 2.2 创建role 2.3 授权role 2.4 把role赋给用户组 3 连接 3.1 Beeline连接 3.1.1 初始化tgt 3.1.2 Beeline连接 这里的 pri...
2019-10-09 09:38:58
1144
原创 spark读取mongodb并解决循环嵌套array的拆分，属性不存在整个对象丢失问题。
1、创建SQLContext SQLContext sqlContext = new SQLContext(sc) 2、拼接mongodb连接字符串 if(UserName!=null && !"".equals(UserName)){ if(PassWord!=null && !"".equals(PassWord)){ ...
2018-07-30 21:57:32
1262
原创 spark 逐层拆解json嵌套的array
1、创建SQLContext 读取json 2、获取schema并循环第一次，遇到array就拆解，然后向下层下探。最后拆完，把第一层重复的字段名删掉。 SQLContext sqlContext = new SQLContext(sc); DataFrame df=sqlContext.read().json(FileFullName); ...
2018-07-29 20:06:59
2514
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人