- 博客(6)
- 收藏
- 关注
RSS订阅原创 使用Datagrip连接spark-thriftserver使用sparksql
使用Datagrip连接spark-thriftserver因为在编译spark时使用含有hive的编译以支持sparksql on hive ，所以在Datagrip连接spark-thriftserver时就不能使用hive的连接驱动版本，而需要spark的，具体改动如下：但是存在问题，spark-thriftserver无法获取hive-metastore中的元数据库和表的信...
2019-06-01 19:20:48
3943
4
原创 大数据平台学习之路（4）编译hue并使用
1、背景上篇博客已经记录了安装hive，编译spark的过程，但是spark-sql shell或者hive shell编写sql来并不是很方便，所以这篇博客介绍hue，编译hue并使用。2、HUE简介github地址https://github.com/cloudera/hueHue是一个开放源码的SQLWorkbench，用于浏览、查询和可视化数据仓库中的数据：gethue....
2019-05-31 16:41:57
1095
2
原创 大数据平台学习之路（3）安装hive-2.3.4编译spark-2.3.3
1、背景上一篇博客中已经安装了 hadoop并配置了免密登录，这篇博客记录安装hive和编译spark的过程。2、准备文件ubuntu 16.04http://releases.ubuntu.com/16.04/ubuntu-16.04.6-desktop-amd64.iso.torrent?_ga=2.96890143.1440843407.1553350287-1855693...
2019-03-24 23:13:04
1112
原创 大数据平台学习之路（2）搭建hadoop平台
1、背景上篇博客已经讲述了如何去安装ubuntu 16.04 系统并安装了java，ssh，vim其中JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64本篇博客主要关于如何搭建hadoop平台（hadoop-2.8.5）2、文件准备我目前使用的hadoop是官方发布的二进制版本，稳定版本，但是可能存在一些意料之外的bug，所以官方建议不作为生...
2019-03-15 22:00:45
1710
2
原创 大数据平台学习之路（1）VM安装ubuntu 16.04 系统
1、安装linux系统（Ubuntu 16.04 LTS）刚开始建议使用桌面版，熟悉之后推荐使用服务器版系统 Ubuntu 16.04 desktop下载地址http://releases.ubuntu.com/16.04/ubuntu-16.04.6-desktop-amd64.iso.torrent?_ga=2.102905216.1637484447.1552535409-18...
2019-03-14 21:57:55
1016
2
原创 大数据平台学习之路（0）背景
背景介绍作者目前是一个大四学生，对电脑和系统软件很痴迷，也经常去帮同学老师解决一些力所能及的问题。在大三的时候参与助研，受到老师启发并对hadoop生态系统具有强烈的兴趣，然后就一直利用课余时间和毕设时间搭建hadoop平台和添加新功能并调整适应实验环境。目前开设一个博客是为了做一个记录以备日后查阅，帮助有同等爱好的人少走一些弯路，将我踩过的坑记录以供别人借鉴，希望有这方面爱好的同学可以一...
2019-03-14 19:50:22
302
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人