- 博客(39)
- 收藏
- 关注
转载 【无标题】
yum取的源可能是CentOS-Base.repo里面的配置,也可能取的是单个配置文件里面的,比如AppStream的源可能取CentOS-AppStream.repo里面的配置,也可能取CentOS-Base.repo的配置,这两者可能会冲突,也可能不会冲突,不冲突报错可不理,若是报错,建议先重命名备份CentOS-AppStream.repo文件。本文转自:https://blog.csdn.net/weixin_56483756/article/details/124185212。
2024-01-11 19:00:51 16
转载 HBase入门
1、概述 Apache HBase是一个构建在HDFS之上的分布式的、可扩展的、大数据存储数据库。 当你需要基于海量数据随机实时读写操作的时候你可以使用HBase,HBase的目标是容纳包含数十亿计的行和数百万的列的大表,它是一个开源的、分布式的、版本化的非关系型数据库,它受谷歌的“BigTable”论文启发而逐渐成型。正如Bigtable利用谷歌文件系统提供的分布式数据存储一样...
2019-02-18 22:12:32 212
原创 linux 时间同步和时区设置
linux 时间同步和时区设置inux的时间分为System Clock(系统时间)和Real Time Clock (硬件时间,简称RTC)。系统时间:指当前Linux Kernel中的时间。硬件时间:主板上有电池供电的时间。查看系统时间的命令: #date设置系统时间的命令: #date –set(月/日/年 时:分:秒)例:#date –set “10/11/10 10:15”...
2018-12-01 14:19:56 291
原创 大数据之hive基础理论
关于大数据Hadoop是什么海量数据分布式的存储和计算框架数据存储:HDFS: Hadoop Distributed File System数据计算:YARN/MapReduce1 hive 产生背景hive定义:The Apache Hive ™ data warehouse software facilitates reading, writing, and managing l...
2018-10-24 20:01:16 274
原创 大数据基础MapReduce分析(1)MapReduce架构简单命令解释
1 MapReduce简介1.1 MapReduce简介MapReduce是一种分布式计算模型,是Google提出的,主要用于搜索领域,解决海量数据的计算问题。MR有两个阶段组成:Map和Reduce,用户只需实现map()和reduce()两个函数,即可实现分布式计算。1.2 MapReduce做什么 MapReduce擅长处理大数据,它为什么具有这种能力呢?这可由MapReduce...
2018-10-21 11:08:12 435
原创 大数据基础课之HDFS课程 读流程-写流程
HDFS课程 读流程-写流程1 HDFS-写流程1.写流程hdfs dfs -ls / hdfs文件系统的根目录 而不是Linuxhdfs dfs -ls hdfs://hadoop002:9000/ hdfs://hadoop002:9000 来自core-site.xmlhdfs dfs -ls ...
2018-10-12 22:10:34 491
转载 大数据基础课之Hadoop MapReduce执行过程详解
述一下mapreduce的流程(shuffle的sort,partitions,group)首先是 Mapreduce经过SplitInput 输入分片 决定map的个数在用Record记录 key value。然后分为以下三个流程:Map:输入 key(long类型偏移量) value(Text一行字符串)输出 key valueShuffle:、合并(merge)map输出时...
2018-10-04 21:52:27 181
原创 大数据基础hdfs启动过程和相关组件解释
问题导读:1.job的本质是什么?2.任务的本质是什么?3.文件系统的Namespace由谁来管理,Namespace的作用是什么?4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么?5.Namenode记录着每个文件中各个块所在的数据节点的位置信息,但是他并不持久化存储这些信息,为什么?6.客户端读写某个数据时,是否通...
2018-10-04 21:31:52 283
原创 大数据课程之JPS 分析0926
jps(Java Virtual Machine Process Status Tool)是JDK1.5提供的一个显示当前所有java进程pid的命令,简单实用,非常适合在linux/unix平台上简单察看当前java进程的一些简单情况。很多人都是用过unix系统里的ps命令,这个命令主要是用来显示当前系统的进程情况,有哪些进程以及进程id。 jps 也是一样,它的作用是显示当前系统的java进程...
2018-10-04 21:15:02 237
原创 大数据基础课之Yarn伪分布式部署0926
Yarn伪分布式部署本人采用hadoop版本为 hadoop-2.6.0-cdh5.7.0。Yarn详细配置信息官方地址如下:http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation1 Yarn伪分布式部署Yo...
2018-10-04 21:07:35 131
转载 hadoop生态圈相关版本软件下载官方地址
Apache版本: Hadoop官网:http://hadoop.apache.org/Hadoop下载:http://mirror.bit.edu.cn/apache/hadoop/common/Hadoop历史版本下载:http://archive.apache.org/dist/hadoop/core/Hadoop文档:http://hadoop.apache.org/docs/H...
2018-10-04 20:55:36 422
原创 大数据linux基础命令回顾(0925早课)
1.查看当前目录的命令#pwd2.隐藏文件什么标识开头,什么命令查看以. 开头#ls -la3.创建一个文件有哪些命令#touch xxxx#vi xxxxx#cat 11111 > 222224.创建一个级联文件夹的命令#mkdir -p /home/xxx/xxx/xxx5.mv和cp区别是什么mv 移动文件夹,不保留副本。包括重命名cp 复制文件,保留源文件。...
2018-09-25 13:11:26 122
原创 大数据早课汇总0921
1.pwd是什么意思当前目录2.cd切换到上一层和上一次命令 cd … cd -3.which cat,显示出来的路径,是从哪个环境变量参数的#$path4.当前文件夹搜含有abc的文件和文件夹名称 find ./ -name ‘abc’5.tar解压和压缩参数是什么 解压要注意什么解压:tar -xzvf xxx.tar.gz&nb...
2018-09-25 11:37:07 107
原创 大数据基础早课SQL语法部分0920
1.join语法有哪三种?left join(左联接):返回包括左表中的所有记录和右表中联接字段相等的记录right join(右联接):返回包括右表中的所有记录和左表中联接字段相等的记录inner join(等值联接):只返回两个表联接字段相等的行2.谈谈你对left join的理解?left join(左联接):返回包括左表中的所有记录和右表中联接字段相等的记录3.谈谈对子表的理解...
2018-09-25 11:15:00 125
转载 Hadoop各个功能模块的理解(网络收集转发文章)
Hadoop各个功能模块的理解1、 HDFS模块HDFS负责大数据的存储,通过将大文件分块后进行分布式存储方式,突破了服务器硬盘大小的限制,解决了单台机器无法存储大文件的问题,HDFS是个相对独立的模块,可以为YARN提供服务,也可以为HBase等其他模块提供服务。2、 YARN模块YARN是一个通用的资源协同和任务调度框架,是为了解决Hadoop1.x中MapReduce里NameNod...
2018-09-24 15:40:20 665
原创 大数据之hadoop(1)二进制简易安装(简单配置之启动)
大数据之hadoop二进制简易安装(简单配置之启动)本节课主要简单配置hadoop。简单启动。其配置文件简单配置。不做任何说明。1检查系统环境。2下载hadoop软件,去官网下载二进制文件。下载相关的官方文档说明。基本上任何不理解的问题都是官网去查询。本次hadoop下载是使用hadoop-2.6.0-cdh5.7.0.tar.gz版本本次使用java版本jdk1.7.0_80。官网有...
2018-09-24 15:03:56 324
转载 .ssh/文件和目录。是不许其他账户具有读写权限的。否则失效。
.ssh/文件和目录。是不许其他账户具有读写权限的。否则失效。配置用户的公钥登陆时,配置完authorized_keys居然一直不生效,于是google之,发现原来是因为.ssh目录和下面文件的权限问题导致的,因为目录的权限已经超过了sshd的要求权限。如果希望ssh公钥生效需满足至少下面两个条件:.ssh目录的权限必须是700.ssh/authorized_keys文件权限必须是600...
2018-09-24 14:42:15 2848
转载 ssh无密码配置详解。
配置hadoop遇到,hadoop账户配置ssh无密码等失败问题。测试很多文档都失败了。原理很简单。最后删除账户hadoop。重新建立hadoop账户。配置成功。.在A机下生成公钥/私钥对。[root@A ~]# ssh-keygen -t rsa -P ‘’-P表示密码,-P ‘’ 就表示空密码,也可以不用-P参数,这样就要三车回车,用-P就一次回车。该命令将在/root/.ssh目录...
2018-09-24 14:29:21 123
原创 大数据0918linux早课部分解析
9.18日早课1.全局搜索含有abc的文件名称或文件夹的命令#find / -print |xargs grep abc#grep -rl ‘abc’ /(有引号)-r 选项表示递归(recursive)遍历所有子目录-l 选项表示只列出文件名/ 是根文件夹, 表示全盘2.当前目录一般用什么表示#pwd3.切换到上一次和上一层命令分别是什么#cd …4.pwd是查看当前目录...
2018-09-18 16:27:59 89
原创 大数据mysql数据库命令基础早课(0917)
1.MySQL的部署流程大概哪几步1 确定坏境和相关组件。2 建立相关目录结果,/usr/lcoal/data3 建立mysqladmin用户和dba组。cp /etc/shel/*. 添加mysqladmin的环境变量。4 建立mysql的cnf文件。修改/etc/my.conf 和 /usr/local/mysql 权限和属主属组。权限为 755 。属主属组。mysqladmin:db...
2018-09-18 15:49:33 211
原创 大数据MySQL之sql语句简单分析1
–1.> < = >= <= <>select * from emp where sal >3000;select * from emp where sal <>5000;select * from emp where sal =5000;–2.模糊查询 likeselect * from e
2018-09-18 10:51:15 146
原创 大数据MySQL基础讲解数据类型
1.数据类型char 字符 char(10) abcxxxxxxx 定长varchar 字符串 varchar(10) abc 变长abcde 5个字符int 整数float 单精度double 双精度date 日期 年月日timestamp 年月日 时分秒http://www.runoob.com/mysql/mysql-data-types.htmlD...
2018-09-18 10:37:07 356
转载 mysql 设置远程连接权限
MySQL设置远程账户登陆总结ERROR 2003 (HY00 1ERROR 1045 (28000): Access denied for user ‘test’@‘x.x.x.x’ (using password: NO) 1取回ROOT密码并设置远程登录 2RROR 1062 (23000): Duplicate entry ‘%-root’ for key ‘PRIMARY’ 2...
2018-09-17 19:11:06 248
转载 Access denied for user ''@'localhost' to database 'mysql‘’
在修改mysql的root用户密码后,再登陆,提示如标题的错误,找了一番答案之后,终于解决,步骤如下:1.停掉mysql: service mysqld stop2.使用不验证的状态登陆mysql: mysqld_safe --skip-grant-tables & //后台运行 启动mysql: service mysqld start...
2018-09-17 19:07:19 1886
原创 大数据MySQL安装简单设置(1)
登录mysql ,简单设置相关用户和密码.Login mysql[mysqladmin@sht-sgmhadoopnn-01 ~]$ mysqlWelcome to the MySQL monitor. Commands end with ; or \g.Your MySQL connection id is 1Server version: 5.6.23-log MySQL Comm...
2018-09-17 19:05:25 196
转载 MySQL官方二进制安装文档
Create a mysql User and Groupshell> groupadd mysqlshell> useradd -r -g mysql mysqlroot@AY1404291627285121bcZ:/# groupadd mysql^Croot@AY1404291627285121bcZ:/# cdroot@AY1404291627285121bcZ:~#...
2018-09-17 18:55:56 226
原创 大数据linux环境MySQL部署诶二进制安装
大数据linux环境MySQL部署诶二进制安装1 确定新环境内无mysql,下载软件安装装jdk。切记校验MD5。2 安装新环境注意步骤和注意事项。定义全装目录,解压和重名了相关文件。#tar and mv[root@sht-sgmhadoopnn-01 local]# tar xzvf mysql-5.6.23-linux-glibc2.5-x86_64.tar.gz[root@sh...
2018-09-17 18:49:46 149
原创 大数据linux系统部分命令分析-早课(0914)
1.pwd表示什么显示当前完整的路径2.隐藏目录什么标识开始,怎么看 隐藏目录以点开始的。 #ls -la 来查看隐藏文件。 3.查看文件的大小哪两组命令? #du -m #ls -lrt 4查看文件夹的大小命令是什么? #du -sm5.怎样测试端口通不通ping ip:端口6.查看进程和端口号命令分别是什么ps -efn...
2018-09-15 18:19:28 5726
原创 大数据linux系统命令早课0913.
1.如何判断一个Linux上的xxx服务是否存活?chkconfig –list | grep xxxxxxx2.端口号哪个命令去看看通不通?#ping 3.那么Linux和window系统想想,都会安装telnet吗?telnet 端口号为23.Telnet传输不加密。4.查看Linux的ip哪些途径? 1# ifconfig 2 # hostna...
2018-09-13 15:48:49 1864
转载 linux命令解析 yum安装(卸载)本地rpm包的方法
1.如何判断一个Linux上的xxx服务是否存活?2.端口号哪个命令去看看通不通?3.那么Linux和window系统想想,都会安装telnet吗?4.查看Linux的ip哪些途径?5.那么对应的window的IP查看命令是什么?6.yum安装的组件服务,我怎么知道服务的名称? 如何设置开机自启动?7.yum安装的如何卸载RPM包?8.不依赖的参数是什么?9.vi的三种模式哪三种?10.跳转第一行行首,跳转到最后一行的行首,跳转行尾的快捷键是什么?11.删除当前行,
2018-09-13 14:56:58 323
原创 大数据linux系统部分命令解析(2)0912
1.查看ip ifconfig 解释: ifconfig 常用命令关闭网卡,查看ip。请看帮助! NAME ifconfig - configure a network interfaceSYNOPSIS ifconfig [interface] ifconfig interface [aftype] options | address …...
2018-09-13 11:41:28 386
原创 大数据早课0912linux命令答疑
1.切换用户和临时获取root用户最大权限的命令分别是什么 #su #sudo2.想要用sudo命令,我们需要配置无密码的临时root最大权限,修改哪个文件,添加一行什么语句? 需要我们修改/etc下面的sudo的配置文件。/etc/sudo3.su - user1,这个短横杠代表什么调用环境变量4.隐藏文件什么标识?哪个命令参数可以查看?ls -la...
2018-09-12 16:57:25 115
转载 cp和mv对文件和链接影响的区别
有文件a,a1为其硬链接,即: ln a a1 现在有文件b,对其进行以下两种操作: 1. mv b a 2. cp b a 问这两种操作对a1有何影响? 这个问题以前还真没关注过,之前的项目的做法是对一个文件用ln old back, 然后mv back histroy/,过一段时间若有新文件产生是进行mv new old操作并做类似的backup操...
2018-09-12 16:51:07 746
原创 大数据linux系统部分早课答疑(2)
1.临时获取root权限是修改哪个配置文件?添加一行什么? 命令是什么?vi /etc/sudoersAllow root to run any commands anywhereroot ALL=(ALL) ALL houlh ALL=(ALL) ALL 2.sudo和su能不能一起使用? 可以 (sudo配置一定要注意安全。生产环...
2018-09-12 16:18:14 215
原创 大数据liunx基础命令早课分析答疑(1)
1.查看当前目录是什么命令pwd2.切换目录的命令是什么?cd3.切换到家目录有哪些命令? [houlh@Data ~]cd/[houlh@Data/]cd/[houlh@Data/] cd / [houlh@Data /] cd [houlh@Data ~]pwd/home/houlh[houlh@Data ]pwd/home/houlh[houlh@D...
2018-09-12 15:13:46 153
原创 大数据linux部分汇总(1)
1.linux系统部分主要涉及到虚拟机安装和配置此处省略。 2.linux系统基础命令部分。1.clear清屏 2.vi 3.cat xxx.log 查看1.pwd 查看当前光标所在的path2.家目录 /boot swap / 根目录 起始位置家目录: 用户所在的默认的目录 /root 超级admin /home/jepson /home/doudou /...
2018-09-12 11:02:09 453
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人