- 博客(40)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Mysql 练习题 及 答案
--1.学生表Student(S,Sname,Sage,Ssex) --S 学生编号,Sname 学生姓名,Sage 出生年月,Ssex 学生性别--2.课程表 Course(C,Cname,T) --C --课程编号,Cname 课程名称,T 教师编号--3.教师表 Teacher(T,Tname) --T 教师编号,Tname 教师姓名--4.成绩表 SC(S,C,score) --S 学生...
2016-10-21 11:27:09
47562
39
原创 CentOs mysql 的安装与默认安装目录修改
准备工作1、首先使用 rpm -qa|grep mysql 查看系统是否有自带的mysql2、如果有的话使用 yum remove mysql-server mysql-libs compat-mysql51 卸载掉3、rm -rf /var/lib/mysql rm /etc/my.cnf 4、查看是否还有mysql软件：rpm -qa|
2016-10-14 19:29:45
28837
转载 Hadoop Mapreduce原理
Hadoop是Apache 下的一个项目，由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中，HDFS 和MapReduce 是两个最基础最重要的成员。HDFS是Google GFS 的开源版本，一个高度容错的分布式文件系统，它能够提供高吞吐量的数据访问，适合存储海量（PB 级）的大文件（通常超过64M），其原理如下图所示：采
2016-10-13 17:49:18
458
转载 Hadoop性能调优
Hadoop为用户作业提供了多种可配置的参数，以允许用户根据作业特点调整这些参数值使作业运行效率达到最优。一 应用程序编写规范1.设置Combiner 对于一大批MapReduce程序，如果可以设置一个Combiner,那么对于提高作业性能是十分有帮助的。Combiner可减少Map Task中间输出的结果，从而减少各个Reduce Task的远程
2016-10-13 17:47:02
8666
1
原创 Hdfs 的读写操作
说明：本测试使用maven管理项目结构，测试前，请把 core-site.xml 拷贝到resource目录package hadoop.test;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStreamReader;import org.apache.hadoop.c...
2016-10-11 10:26:52
3190
原创 Eclipse 安装 Hadoop 插件
Eclipse 安装 Hadoop 插件1、首先下载对应版本的hadoop插件 2、进入Eclipse的目录，找到Plugins文件夹，讲刚才下载的插件拷贝进去（注意，Eclipse最好要处于关闭状态） 3、打开，Eclipse，会发现左侧多了一个DFS Location，说明已经安装成功 4、打开Windows–Show View 5、选择Other 6、选择Map
2016-09-28 19:49:02
938
3
原创 新版IDEA配置显示Scala类型变量
新版IDEA配置显示Scala类型变量新版IDEA设置方法Preferences | Editor | Inlay Hints | Scala老版设置方法
2021-12-31 12:10:44
544
原创 Hadoop警告 HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX
问题描述： 1、Hadoop版本升级到3.0之后，每次执行hadoop命令都会提示下面的警告，感觉很烦，必须盘它！~WARNING: HADOOP_PREFIX has been replaced by HADOOP_HOME. Using value of HADOOP_PREFIX.查看环境变量，发现这2个变量都配置了[hadoop@client1 hadoop]$ echo $HADOOP_PREFIX/opt/hadoop[hadoop@client1 hadoop]$ ..
2021-05-11 13:19:47
1224
原创 HIVE 报错semanticexception udf reflect is not allowed
在使用HiveServer2使用hive内置的UDF函数reflect 的时候，提示“semanticexception udf reflect is not allowed”根据字面意思来看，是“reflect”不允许被使用，默认情况下，HiveServer2为了安全，禁用了部分udf函数，可以通过set命令查看set hive.server2.builtin.udf.blacklist;--结果为 hive.server2.builtin.udf.blacklist=reflect,re.
2021-03-05 10:56:33
3021
3
原创 Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy
使用Hive创建一张表，存储类型为orc，压缩类型为“snappy”create table t1(a string,b string)stored as orc tblproperties ("orc.compress"="snappy") ;使用Spark往表里面插入数据的时候报错：Hive No enum constant org.apache.hadoop.hive.ql.io.orc.CompressionKind.snappy解决办法：修改 snappy 为大写
2020-10-18 23:41:49
629
原创 Flink DataSet 常用几种读取文件方式--Scala
1、环境 jdk 1.8.0_108 Scala 2.11.8 Flink 1.7.2 MySql 8.0.132、Maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11<...
2019-11-22 11:46:34
4301
1
原创 Flink批处理之JDBC读写Mysql--Scala
1、环境 jdk 1.8.0_108 Scala 2.11.8 Flink 1.7.2 MySql 8.0.132、Maven依赖<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11<...
2019-11-20 14:30:37
3901
2
原创 Hive SparkSql rank() over,dense_rank() over,row_number() over的使用与区别
一、建表语句create table student( name string, course string, score int)ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','STORED AS TEXTFILE二、测试数据li shi,Chinese,96wang er,English,71zhang san...
2019-01-25 14:49:39
1505
转载 HBase基本数据操作详解【完整版，绝对精品】
引言之前详细写了一篇HBase过滤器的文章，今天把基础的表和数据相关操作补上。本文档参考最新（截止2014年7月16日）的官方Ref Guide、Developer API编写。所有代码均基于“hbase 0.96.2-hadoop2”版本编写，均实测通过。欢迎转载，请注明来源：http://blog.csdn.net/u010967382/article/details/3787870...
2018-11-16 09:20:48
606
原创 修改Zookeeper输出日志 zookeeper.out输出路径
使用过zookeeper的小伙伴都知道，当前终端处于哪个目录，执行完zkServer.sh start命令， zookeeper.out就会写在哪个目录，下次想看zookeeper日志的时候，又忘记上次在哪执行的命令啦，这真的很蛋疼（虽然可以每次固定在某个目录执行），在多次痛苦之后，决定修改日志输出到固定目录，方便问题定位。 查看bin目录下的zkEnv.sh找到了这一行，发...
2018-08-22 12:07:55
40918
9
原创 Hive DDL报错For direct MetaStore DB connections, we don’t support retries at the client level.
当在Hive中创建表的时候报错：create table test(name string, addrstring) row format delimited fields terminated by '\t';FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaEx...
2018-08-20 11:53:18
1781
原创 Hive连接Spark报错java.sql.SQLException: null, message from server: "Host 'datanode03' is blocked becaus
背景： 线上一些任务大部分使用Spark Sql来处理Hive的数据；今天任务由于数据量增大，任务耗时也增加，因此导致多个任务同时运行。但是后来任务迟迟运行不完，因此去查看任务日志；16-08-2018 10:16:47 CST java.sql.SQLException: null, message from server: "Host 'datanode03' is b...
2018-08-16 11:16:05
1737
2
原创 Hadoop datanode隔一段时间就挂掉 报错：java.lang.OutOfMemoryError: GC overhead limit exceeded
背景： 之前数据量增加，集群开始报错10000 millis timeout while waiting for channel to be ready for write，后来发现是hdfs写数据超时，通过修改配置文件，集群正常。https://blog.csdn.net/dehu_zhou/article/details/81533802集群运行几天后，发现又出现...
2018-08-10 10:33:54
4093
原创 hadoop集群datanode报错10000 millis timeout while waiting for channel to be ready for write
问题发生背景： 集群一切运行正常，由于需求增加，数据量也突然增大，数据量增大后，集群的datanode节点经常挂掉，而且每次挂掉都是一批一批的挂掉，每次挂掉的还不重复。分析datanode的日志，日志如下：java.net.SocketTimeoutException: 10000 millis timeout while waiting for channel to...
2018-08-09 11:48:35
7084
原创 Spark 使用Phoenix往HBase插入数据报错 PhoenixOutputFormat not found
集群版本：cdh5.8Phoenix版本：4.7.0项目依赖管理：Maven描述： 在工作中，需要使用Phoenix往HBase写数据，但是调试的时候出现问题17/06/12 09:35:46 ERROR kerberos.SaveAsPhoenixApp$: save to phoenix error :java.lang.RuntimeException: jav...
2018-07-27 18:42:34
1239
原创 sqoop1.4.6安装
前言：众所周知，sqoop2和sqoop1差别还是很大的，个人建议使用sqoop1。安装前提条件：1、jdk已经安装完成；2、hadoop集群可以正常启动；3、安装机器和数据库所在机器IP地址互通，且数据库端口没有被禁用。一、下载sqoop安装包http://archive.apache.org/dist/sqoop/1.4.6/1、下载完成后，得到sqoop-1.4...
2018-07-25 16:12:28
3087
原创 Saprk 报错java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE
17/08/25 18:35:42 WARN scheduler.TaskSetManager: Lost task 1.1 in stage 176.0 (TID 25544, 192.168.3.20, executor 290): java.lang.IllegalArgumentException: Size exceeds Integer.MAX_VALUE at sun...
2017-08-25 22:46:48
9008
1
原创 Hadoop 获取Active Namenode的IP地址
由于工作需要，需要拿到当前集群的Active Namenode的Ip地址，所以写以下小代码，防止忘记，记录一下：import java.io.IOException;import java.net.InetSocketAddress;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.f...
2017-08-23 15:01:10
8825
1
原创 spark 启动sql Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
问题：启动Spark时报错 （Hive安装也有可能会出现该问题）Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient将hive.site.xml文件中的<property><name>hive.metastore.schema.verific...
2017-08-15 11:42:10
2661
原创 java中判断字符串是否为数字的方法
java中判断字符串是否为数字的方法://1.用JAVA自带的函数public static boolean isNumeric(String str){ for (int i = 0; i < str.length(); i++){ System.out.println(str.charAt(i)); if (!Character.isDigit(str.charA...
2017-03-07 16:05:44
418
原创 IntelliJ IDEA Maven，Eclispe Maven，sbt 创建spark Scala和Java项目
三种方式搭建spark项目 Eclipse Intellij IDEA SBT Scala
2016-11-25 19:32:35
2296
1
原创 Hive UDF UDTF UDAF 函数
1、UDF（时间格式转换）// 1、定义一个类继承UDF，然后添加一个方法，ecaluate，这个方法的参数和返回值类型和函数的输入输出一致// 2、把项目打包成jar，然后放到hive的classpath下，或者add jar// 3、在hive里面新建一个funcation,然后指定到我们新建的类型 create function MyDateParser as'hadoop...
2016-10-24 17:47:32
639
原创 apache-hive-2.0.0安装
安装hive安装在hadoop的namenode上，拷贝安装文件到linux中/usr/tools/apache-hive-2.0.0-bin.tar.gz解压：tar –zxvf apache-hive-2.0.0-bin.tar.gz添加到环境变量vi /etc/profile编辑exportHIVE_HOME=/usr/tools/apache-hive-2.0....
2016-10-19 16:35:43
1336
原创 Centos 6.5 Apache Hive 0.9.0 安装
安装前提：1、已经安装了mysql数据库（并为hive创建一个数据库） 2、hadoop集群可以正常启动安装步骤：1、下载tar包，并上传到服务器上面2、tar -zxvf hive-0.9.0.tar.gz /usr/tools/hive2、cd /usr/tools/hive/apache-hive-0.9.0/conf(即hive解压目
2016-10-16 14:00:32
345
原创 解决启动MySql提示:MySQL server PID file could not be found!
重启mysql时提示：MySQL server PID file could not be found!解决方法：1.ps aux|grep mysqld |grep -v grep 查看是否有mysqld进程被卡死，kill掉，然后重启mysqld。kill -9 +进程号2.mysql在启动时没有指定配置文件时会使用/etc/my.cnf配置文件，请打开这
2016-10-16 10:48:52
5656
原创 mapreduce的二次排序（字符型）
import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.WritableComparable;public class StringPair implements WritableComparable { private ...
2016-10-11 10:15:42
523
原创 mapreduce的二次排序 SecondarySort（数值型）
mapreduce的二次排序 SecondarySort关于二次排序主要涉及到这么几个东西：在0.20.0以前使用的是setPartitionerClasssetOutputkeyComparatorClasssetOutputValueGroupingComparator在0.20.0以后使用是job.setPartitionerClass(Partition...
2016-10-11 08:57:19
338
原创 Hadoop2.6.4 集群搭建
1.配置服务器1个主节点：master(192.168.17.130)，2个（从）子节点，（根据个人情况，设定） node1(192.168.17.131)，node2(192.168.17.132)配置主节点名(192.168.17.130)vi /etc/sysconfig/network添加内容：NETWORKING=yes...
2016-09-25 17:00:24
410
转载 SHELL编程
一、Shell语法1.1、变量声明1.2、数组声明和使用1.3、特殊的变量1.4、运算和运算符1.4.1、整数运算符1.5、流程语句1.5.1、if 语句1.5.2、case语句1.5.3、select 语句1.6、循环语句1.6.1、for语句1.6.2、while 语句1.6.3、breake 和continue1.6.4、shift三、
2016-09-25 16:39:58
237
hadoop2.6-common-bin.zip
2016-09-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人