- 博客(26)
- 收藏
- 关注
RSS订阅原创 MacBook pro安装hadoop遇到的问题
MacBook pro安装遇到的问题1·免密登录操作问题：安装Hadoop之前进行免密操作，但是ssh localhost时依旧要输密码原来的操作为ssh-keygen -t dsa -p ‘’ -f ~/.ssh/id_dsacat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys问题解决：操作将原来的～/.ssh里面的除了known_hosts文件都删除，重新执行以下命令ssh-keygen -t rsacat ~/.ssh/id_rsa
2021-03-28 01:40:42
278
原创 Mybatis学习（三）
配置文件学习配置文件优化：mysql驱动配置优化前：<?xml version="1.0" encoding="UTF8"?><!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd"><!--configuration核心配置文件--><confi
2020-10-27 23:09:10
107
原创 Mybatis学习采坑增删改查操作（二）
1、实体类不变2、mybatis-config.xml文件不变3、接口里面上篇文章只写了增加用户； 新增：删除、修改、单个查询、全部查询方法package com.mybatis.dao;import com.mybatis.entity.User;import java.util.List;public interface UserD { //增加 public int addUser(User user); //删除 public ...
2020-10-24 00:44:27
135
原创 Mybatis学习入坑（一）
Mybatis创建工程idea创建普通maven工程就可以;用到的依赖：这里推荐官网看https://mybatis.org/mybatis-3/zh可以在里面自行选择需要的依赖，写在pom文件中创建目录格式注意src目录下的main下面java里面的package包一定要一层一层创建！！！！resources里面的目录结构要和dao层接口的一样，同样要一层一层创建！！！！1、编写mybatis-config.xml文件<?xml version="1.0" encoding="
2020-10-22 23:39:49
105
原创 hive安装过程中的各种深坑深坑
一、Exception in thread “main” java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: KaTeX parse error: Expected '}', got 'EOF' at end of input: …a.io.tmpdir%7D/%7Bsystem:user.name%7D原因是：<property> <na
2020-08-12 02:31:46
2289
原创 hive导入txt与mysql导入txt的区别以及途中遇到的找不到路径的问题
hive导入文件到hive表操作：1、hdfs导入：load data inpath ‘/home/hive/student.txt’ into table student;2、本地导入：load data local inpath ‘/hive/data/student.txt’ into table student;mysql导入文件的到mysql表操作：1、服务端导入：load data infile “D:\student.txt” into table student delimited
2020-07-07 17:46:13
410
原创 hive初始化失败报错：Error: Duplicate key name ‘PCS_STATS_IDX‘ (state=42000,code=1061)
意思是key name ‘PCS_STATS_IDX’ (state=42000,code=1061)重复了，问题出在不是第一次初始化，因为我们在hive-site.xml中配置了javax.jdo.option.ConnectionURLjdbc:mysql://192.168.200.137:3306/metastore?createDatabaseIfNotExist=trueJDBC connect string for a JDBC metastore这里初始化的时候就会创建数据库me
2020-07-06 18:19:04
7837
5
原创 Error: Cannot retrieve repository metadata (repomd.xml) for repository: mongdbPlease verify its path
yum安装mysql时报错，大致意思是http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/repodata/repomd.xml: [Errno 14]建立ssl连接有问题，错误:不能检索存储库:mongodb的存储库元数据(repom .xml)。请验证其路径并重试然后我看了一下mongodb.repo仓库如下图，enable=1说明这个repo可用，进行yum的时候，就会找这个仓库的链接，后来才明白过来不，这个是我安装mongodb的.
2020-07-06 13:20:53
785
原创 虚拟机centos7不能连接外网解决方案
问题：我的虚拟机突然不能联网了情况1：可以ping通其他虚拟机情况2：主机可以ping通虚拟机解决历程：检查网络配置文件vi /etc/sysconfig/network-scripts/ifcfg-ens32TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=
2020-06-18 15:22:33
1407
原创 idea上HDFS API练习之列出指定目录下的文件以及块的信息
代码：package com.dtinone.hadooptest1.hsfsapi;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.BlockLocation;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.f...
2020-04-03 21:20:15
455
1
原创 idea上HDFS API练习纸配置文件conf
配置练习代码：package com.dtinone.hadooptest1.hsfsapi;import java.io.IOException;import java.util.Iterator;import java.util.Map.Entry;import org.apache.hadoop.conf.Configuration;import org.apache.had...
2020-04-03 21:07:01
200
原创 idea上HDFS上传下载API练习
1、创建工程、配置参照文章使用idea使用远程虚拟机中的hadoop集群进行wordcount练习练习代码：package com.dtinone.hadooptest1.hsfsgetput;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apa...
2020-04-03 20:12:55
507
1
原创 使用idea使用远程虚拟机中的hadoop集群进行wordcount练习
1、搭建window上的hadoop环境2、idea上新建一个工程3、在src目录下的main目录添加resources目录直接点击resources4、在resources目录下新建一个log4j.properties文件，并将以下配置信息写入到文件中log4j.rootLogger=INFO, stdout, D# Console Appenderlog4j.appende...
2020-04-03 19:39:21
1555
1
原创 idea上新建maven工程
1、为方便平时练习，我们这里新建一个空maven工程划线的地方先不勾选填写工程名点击finish,进入到以下界面，然后删除src目录点击File-New-Module新建一个Module新建一个maven项目这里勾选Create-from-archetype填入工程名点next，然后在下图中可以选择自己的maven本地仓库，没有就选择默认的就行点击finish完成新...
2020-04-03 19:04:32
262
原创 hadoop在windows10上的安装（我的是2.7.3版本）
第一步下载hadoop-2.7.3，在官网Apache hadoop下载即可解压到要安装的目录第二步在window中需要两个文件hadoop.dll以及winutils.exe,需要将这两个文件放到hadoop-2.7.3的bin目录下：可以在网上搜索对应版本的这两个文件进行下载,hadoop.dll文件还要放到C:\Windows\SysWOW64里面一份第三步配置ja...
2020-04-03 15:46:27
772
原创 HDFS常用操作命令练习
练习在全分布式模式下启动了HDFS集群以及YARN集群我的HDFS主节点配置在master，YARN管理主节点配置在slave1上一、启动HDFS在master主机下：cd /opt/apps/hadoop-2.7.3/sbinstart-dfs.sh如果是第一次启动需要先格式化hdfs namenode -format二、启动YARN集群在slave1主机下cd /opt...
2020-04-01 18:53:19
1509
原创 linux用户以及用户组相关操作
1、添加用户useradd 用户名2、删除用户userdel 用户名3、设置用户密码passwd 用户名4、添加用户组groupadd 用户组名5、删除用户组groupdel 用户组名
2020-04-01 17:56:55
83
原创 Hadoop(三)HDFS认识和理解
一、HDFS(Hadoop Distributed File System的英文首字母缩写)意思是Hadoop分布式文件系统，主要用来解决海量数据的存储问题概念：HDFS是一个分布式的（何为分布式？在空间的任意点上随意分布）由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。其次是一个文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。二、HDFS的设计思想1、分散均匀...
2020-04-01 15:21:31
1294
转载 Hadoop(二)hadoop伪分布式、全分布式、高可用、联邦模式的区别
1、单机模式 表示所有的分布式系统都是单机的。2、伪分布式模式（搭建在了只有一个节点的集群中） 表示集群中的所有角色都分配给了一个节点。 表示整个集群被安装在了只有一个节点的集群中的。 主要用于做快速使用，去模拟分布式的效果。3、分布式模式 表示集群中的节点会被分配成很多种角色，分散在整个集群中。 主要用于学习测试等等一些场景中。4、高可用模式 表示整个集群中的主...
2020-03-31 20:30:57
2708
原创 Hadoop（一）关于hadoop认识和理解
一、hadoop是什么？狭义上：hadoop是一个apache的一个顶级项目，一套开源软件平台广义上：hadoop是以hadoop为核心的整个大数据处理体系二、hadoop核心组件1、Hadoop Common :支持其他Hadoop模块的常用工具2、HDFS:hadoop分布式文件系统，提供对应用程序的高吞吐量访问3、Hadoop Yarn:作业调度和集群资源管理框架4、Hadoo...
2020-03-31 20:11:37
748
原创 Hadoop全分布式模式搭建详细流程
一、准备4台虚拟机四台主机名分别设置为：master slave1 slave2 slave3（自定义）1、关闭防火墙、设置静态IP2、设置host文件，配置主机名vi /etc/hostname #将localhost.localdomain改成master.localdomain#master是你要定义的主机名vi /etc/hosts#配置hosts文件127.0.0.1...
2020-03-31 18:02:42
531
原创 hadoop伪分布式模式搭建及HDFS常用命令练习
一、完成本地模式搭建二、配置core-site.xml<!--指定HDFS namenode的地址--><property> <name>fs.defaultFS</name> <value>hdfs://dtinone:9000</value></property><!--指定hadoop运行...
2020-03-30 14:06:19
575
原创 hadoop启动时datanode无法启动或者启动失败
一、问题描述 当我多次格式化文件系统时，如 [root@master]# cd /usr/local/hadoop/etc/bin/hdfs namenode -format 会出现datanode无法启动二、问题产生原因 当我们执行文件系统格式化时，会在namenode数据文件夹（即配置文件中dfs.namenode.name.dir在本地系统的路径）中保存一个c...
2020-02-26 18:32:53
216
原创 hadoop安装及简单本地模式配置
1.使用文件传输工具将jdk安装包压缩文件以及hadoop安装包压缩文件放到虚拟机指定目录/op t/install中cd /opt/install2.安装jdk，tar -zxvf jdk1.8.0_241.tar.gz -C /opt/apps/java3,配置jdk环境变量：vi /etc/profileexport JAVA_HOME=/opt/apps/java/jdk1...
2020-02-26 16:17:32
169
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人