- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 装apache 版本的大数据环境遇到的坑
踩得坑： 1、hostname在红帽子的位置是/etc/hostname 2、红帽子默认不能用root用户登录，导致配置ssh免密登录出现很多问题，开启root登录的方式vi /etc/ssh/sshd_config 修改里面的PermitRootLogin 然后service sshd restart start-all.sh 注：JobHistoryServer 服务需要...
2018-08-24 14:20:34
331
转载 定时的shell脚本程序
#!/bin/sh #Section configuration(配置部分) #Task Time ,example:203000(Time 20:30:00);190000(Time 19:00:00); startTime=142200 #the programs you want to execute(要执行的程序) program=nohup hive -e 'select ...
2018-05-17 11:43:14
311
5原创 Spark2.x新特性
1 Spark2.x 新特性1). Spark Core/SQL在内存和CPU使用方面进一步优化Spark引擎性能(钨丝计划)。支持SQL 2003标准 ，支持子查询，对常用的SQL操作和DataFrame，性能有2-10倍的提升。2). sparksessionSpark2.0 中引入了 SparkSession 的概念，它为用户提供了一个统一的切入点来使用 Spark 的各项功能，统一了旧的S...
2018-05-15 16:23:47
1421
原创 spark学习笔记
spark SQL(1)默认会写成一堆小文件，需要将其重新分区，直接指定几个分区spark.sql("select *,row_number() over(partition by depId order by salary) rownum from EMP ").repartition(2).write.parquet("hdfs:///user/cuixiaojie/employee...
2018-05-15 16:23:25
160
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人