m0_44946672的博客

原创 Hive support is required to CREATE Hive TABLE (AS SELECT)

idea中，Spark SQL连接到了一个部署好的Hive，尝试在 包含Hive支持的Spark SQL中CREATE TABLE我的代码：package spark.hiveimport org.apache.spark.sql.SparkSessionobject SparkOnHive extends App { case class Record(key: Int, value: String) //val warehouseLocation = new File("/use

原创 Illegal pattern component: XXX

IDEA创建SparkSQL程序报错我的代码：package spark.sparksqlimport org.apache.spark.sql.SparkSessionobject SparkSql { def main(args: Array[String]): Unit = { //创建sparkconf val spark = SparkSession.builder().appName("Spark Sql lm") .config("spark.some

转载 IDEA中导入jdbc

IDEA导入JDBC，详细带图1、点击左上角的：File --> Project Structure2、就会出现下图，然后按照图片步骤操作3、按照上图操作后，会出来一个框，让你选择你的jdbc，如下图，选择好之后，点击 OK4、点击OK之后，就会出现那两个红框框的jdbc的信息了，然后你一定要点击Apply，才能添加上，再点击一下ok，这个界面就会自己关闭了5、现在已经添加上了，那怎么查看呢？点开 External Libraries ，就可以看到你添加的jdbc了。—————

原创 深唐杯大数据组命题范围

深唐杯大数据组命题范围1.1 大数据概念1.2 大数据前世今生（大数据历史）1.3 大数据特性1.4 大数据与nosql1.5 大数据与云计算1.6 大数据与人工智能1.7 大数据与机器学习1.8 大数据与数据仓库1.9 Hadoop由来1.10 HDFS基本原理1.11 MapReduce核心思想1.12 YARN在Hadoop中的角色定位1.13 YARN基本架构1.14 HBase基本概念1.15 Hadoop生态成员与角色定位1.16 发行版Hadoop主要供应商2.1 Linux基础命令2.2

原创 spark的错误

spark的错误idea中通过反射获取Scheam报错我的原始代码：package sparkimport org.apache.spark.sql.SparkSessionimport org.apache.spark.{SparkConf, SparkContext}object Rdd2DF { def main(args: Array[String]): Unit = { //创建SparkSession val spark = SparkSession

原创 java学习之路

这里写目录标题P11.Java概论一、程序设计二、计算机语言1. 机器语言2. 汇编语言3. 高级语言三、Java历史1. Java之父：詹姆斯.高斯林（高司令）2.java以前属于sun公司，现在属于oracle公司3.约70-80年代，sun公司进军嵌入式行业，开发了‘oak’嵌入式语言，后被搁置。在互联网兴起时代，sun公司进军互联网，修改‘oak’，参考c++，诞生Java语言（名字源于南美洲咖啡豆‘爪哇’）四、java语言体系结构1. javase2. javaee3. javame五

原创 shuffle图

原创 报错

类型不匹配mismatchmismatch报错如下：INFO mapreduce.Job：Task Id：attempt_1589445736284_0017_m_000000_0, Status ： FAILEDError: java.io.IOException：Type mismatch in key from map：expected org.apache.hadoop.io.Text, received org.example.sort2.FlowBean at org.apache.h

原创 权限问题

遇到的权限报错合集firstsecond解决办法first[hadoop@hrbu30 ~ ]$ sqoop-bash: /opt/wdp/sqoop/bin/sqoop: 权限不够second[hadoop@hrbu30 bin ]$ sqoop import --connect jdbc:mysql://master:3306/test --username 'root' --password '123456' --table Grade-bash: /opt/wdp/sqoop/bin/

原创 时间同步

时间同步时间同步时间同步同步时间需要用到ntpdate服务，虚拟机没有的就简单安装一下：[root@localhost ~]# yum install -y ntpdate[root@localhost ~]# ntpdate time.nist.gov

原创 hadoop文件传输报错

hadoop文件传输报错使用Xchell传输文件时出现错误使用Xchell传输文件时出现错误原因：权限问题，修改权限即可Chgrp 用户名 文件名 -RChown 用户名 文件名 -R