3 Hager930

尚未进行身份认证

暂无相关简介

等级
TA的排名 44w+

本地使用HDFS-API连接远程Hadoop报错

背景本地使用HDFS-API访问远程Hadoop的时候报错:(如:执行fileSystem.copyFromLocalFile(src, dst)时)org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /haohaodata/haohaodata.txt could only be replicated to 0 n...

2020-01-25 19:09:30

浏览器无法访问Github

背景连上家里的Wifi,发现Google浏览器无法访问https://github.com/环境系统:Windows 10系统浏览器:Google Chrome 版本 64.0.3282.167(正式版本)(64 位)解决方法# 打开文件C:\WINDOWS\System32\drivers\etc\hosts# 添加192.30.253.112 github.com151...

2020-01-25 11:04:42

Hive源码编译支持自定义UDF函数

背景Hive中有非常多的内置函数,但是根据我们线上业务的不同,单单使用Hive内置函数已经满足不了我们的需求了。这时候就需要我们去开发自定义的函数(如:自定义UDF函数),为了像使用Hive内置函数一样方便,我们需要将自定义好的UDF函数编译到Hive源码中。这篇文章详细记录了编译Hive源码来支持自定义的UDF函数。环境开发工具:ideaIU-2019.3.1.exe本地环境:W...

2020-01-24 21:05:50

Hadoop MapReduce Splits 切片源码分析及切片原理

MapReducer编程之数据分片Split源码解读文章目录数据切片核心源码Debug流程总结数据切片核心源码// Create the splits for the jobLOG.debug("Creating splits at " + jtFs.makeQualified(submitJobDir));// TODO 数据是如何分片的 核心方法入口int maps = write...

2020-01-17 00:00:54

MapReducer编程之WordCount运行流程源码解读

MapReducer编程之WordCount运行流程源码解读1、数据是如何读取进来的查看源码Mapper.java 如下:package org.apache.hadoop.mapreduce;import java.io.IOException;import org.apache.hadoop.classification.InterfaceAudience;import org...

2020-01-14 23:22:12

MapReduce编程之词频统计WordCount

文章目录编写Mapper类编写Reducer类编写Driver类编写FileUtils工具类pom.xml编写Mapper类package com.haohaodata.bigdata.hadoop.mapreduce.wc;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;...

2020-01-14 20:45:00

junit及HDFS API常用方法

package com.haohaodata.bigdata;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.*;import org.apache.hadoop.fs.permission.FsPermission;import org.apache.hadoop.io.IOUtils;i...

2020-01-14 20:26:12

MapReudce在Windows上运行的坑java.io.IOException: Could not locate executable null\bin\winutils.exe in the

错误一:java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries解决办法:1、下载winutils.exe2、创建一个目录 比如 C:\winutils\bin3、将 winutils.exe 放入上述创建好的目录下4、设置 HADOOP_HOME=C:\w...

2020-01-13 01:13:15

Hexo-快速搭建个人博客

通过修改官方提供的hexo模板,搭建自己的个人博客。文章目录Windows安装Node.js检验设置淘宝源Windows安装GitHexo安装博客初始化注册Github账号修改模板参考Windows安装Node.js参考:Windows 安装 Node.js检验Node.js安装完成后,cmd窗口输入:node -vnpm -v出现版本标识,说明安装成功设置淘宝源永久设置淘宝...

2020-01-07 20:51:04

Windows 安装Node.js

Node.js的安装简单的说 Node.js 就是运行在服务端的 JavaScript。Node.js 是一个基于Chrome JavaScript 运行时建立的一个平台。Node.js是一个事件驱动I/O服务端JavaScript环境,基于Google的V8引擎,V8引擎执行Javascript的速度非常快,性能非常好。下载官网地址下载地址安装安装Node.js双击下载好的 nod...

2020-01-06 21:49:02

Windows 安装Git实践

Git的安装最早 Git 是在 Linux 上开发的,很长一段时间内,Git 也只能在 Linux 和 Unix系统上跑。不过,慢慢地有人把它移植到了 Windows 上。现在,Git 可以在 Linux、 Unix、Mac 和 Windows 这几大平台上正常运行了。由于开发机大多数情况都是windows,所以本文只讲解 windows 下的 git 的安装。下载官网地址下载地址安装...

2020-01-05 13:46:23
勋章 我的勋章
  • 签到新秀
    签到新秀
    累计签到获取,不积跬步,无以至千里,继续坚持!
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。