- 博客(10)
- 收藏
- 关注
RSS订阅原创 本地使用HDFS-API连接远程Hadoop报错
背景本地使用HDFS-API访问远程Hadoop的时候报错：（如：执行fileSystem.copyFromLocalFile(src, dst)时）org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /haohaodata/haohaodata.txt could only be replicated to 0 n...
2020-01-25 19:09:30
418
原创 Hive源码编译支持自定义UDF函数
背景Hive中有非常多的内置函数，但是根据我们线上业务的不同，单单使用Hive内置函数已经满足不了我们的需求了。这时候就需要我们去开发自定义的函数（如：自定义UDF函数），为了像使用Hive内置函数一样方便，我们需要将自定义好的UDF函数编译到Hive源码中。这篇文章详细记录了编译Hive源码来支持自定义的UDF函数。环境开发工具：ideaIU-2019.3.1.exe本地环境：W...
2020-01-24 21:05:50
453
原创 Hadoop MapReduce Splits 切片源码分析及切片原理
MapReducer编程之数据分片Split源码解读文章目录数据切片核心源码Debug流程总结数据切片核心源码// Create the splits for the jobLOG.debug("Creating splits at " + jtFs.makeQualified(submitJobDir));// TODO 数据是如何分片的 核心方法入口int maps = write...
2020-01-17 00:00:54
575
原创 MapReducer编程之WordCount运行流程源码解读
MapReducer编程之WordCount运行流程源码解读1、数据是如何读取进来的查看源码Mapper.java 如下：package org.apache.hadoop.mapreduce;import java.io.IOException;import org.apache.hadoop.classification.InterfaceAudience;import org...
2020-01-14 23:22:12
194
原创 MapReduce编程之词频统计WordCount
文章目录编写Mapper类编写Reducer类编写Driver类编写FileUtils工具类pom.xml编写Mapper类package com.haohaodata.bigdata.hadoop.mapreduce.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;...
2020-01-14 20:45:00
680
原创 junit及HDFS API常用方法
package com.haohaodata.bigdata;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import org.apache.hadoop.io.IOUtils;i...
2020-01-14 20:26:12
146
原创 MapReudce在Windows上运行的坑java.io.IOException: Could not locate executable null\bin\winutils.exe in the
错误一：java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决办法：1、下载winutils.exe2、创建一个目录 比如 C:\winutils\bin3、将 winutils.exe 放入上述创建好的目录下4、设置 HADOOP_HOME=C:\w...
2020-01-13 01:13:15
97
原创 Hexo-快速搭建个人博客
通过修改官方提供的hexo模板，搭建自己的个人博客。文章目录Windows安装Node.js检验设置淘宝源Windows安装GitHexo安装博客初始化注册Github账号修改模板参考Windows安装Node.js参考：Windows 安装 Node.js检验Node.js安装完成后，cmd窗口输入：node -vnpm -v出现版本标识，说明安装成功设置淘宝源永久设置淘宝...
2020-01-07 20:51:04
143
原创 Windows 安装Node.js
Node.js的安装简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境，基于Google的V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。下载官网地址下载地址安装安装Node.js双击下载好的 nod...
2020-01-06 21:49:02
94
原创 Windows 安装Git实践
Git的安装最早 Git 是在 Linux 上开发的，很长一段时间内，Git 也只能在 Linux 和 Unix系统上跑。不过，慢慢地有人把它移植到了 Windows 上。现在，Git 可以在 Linux、 Unix、Mac 和 Windows 这几大平台上正常运行了。由于开发机大多数情况都是windows，所以本文只讲解 windows 下的 git 的安装。下载官网地址下载地址安装...
2020-01-05 13:46:23
158
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人