- 博客(24)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 关于虚拟机的nat模式连接到外网，以及ping不通外网，ping不通本机，解决流程
Nat模式要连接上外网要配置以及要检查的有一、vm中虚拟网络编辑器中需要确认以及设置的有1、子网编码：保证和网关在同一个网段(红色部分为网段)且不与网关ip重复，我设置的192.168.0.02、子网掩码：一般是固定的255.255.255.03、网关：自己随便设置的一个（一般以0或者1结尾）如我这边设置的是192.168.0.1 设置的net模式中的NAT设置保证里面用的网...
2018-09-19 22:09:39
30376
15
原创 SHELL （bash）编程记录
前言shell编程就是将一些shell命令（shell编程中一定有shell命令）进行组合使用通过一部分的shell循环控制语句（shell编程中不一定要用到循环控制语句），主要目的是通过shell脚本达到需求；有输入（不一定有）--->处理（一定有）--->输出（不一定有）。一、vi编辑器介绍快捷键记录1、vi中快速复制粘贴例：复制4行4yy 然后把光标移动到需要粘贴的位置，按一下p键2、二、shell编程（一）、shell变量1..........
2022-07-20 23:13:25
233
原创 Linux 常用命令/以及常用配置文件
一、常用命令1、SCP 将文件发送到另一台服务器scp ：server copy（服务器复制）例（发送文件）：scp di_dsa.put [email protected]:/tmpdi_dsa.put:本地文件 对方的用户@对方IP:/路径例（发送文件夹）：文件夹的话需要加-rscp -r 文件夹对方的用户@对方IP:/路径2、tar -zxzf 压缩文件 解压文件例： tar -zxzf aaa.tar.gz将 aaa.tae.gz3、rm -r.
2021-10-27 20:56:47
871
原创 集群和分布式介绍
1、集群（一变多）：一个服务处理，变为多个服务处理（一个tomcat处理所有请求，变为多个tomcat处理所有请求）2、分布式（拆分为多个流程）：一个服务处理全部流程，变为多个服务分布处理其中一部分的流程（一个tomcat处理a+b+c，变为tomcat1处理a+tomcat2处理b+tomcat3处理c）3、集群分布式：将集群和分布式进行组合处理（tomcat1和tomcat2处理a+tomcat3和omcat4处理b+tomcat5和tomcat6处理c）...
2021-08-29 21:46:18
135
原创 大数据高可靠和高可用的区别
高可靠定义（HA，HADOOP中主要是硬件的高可靠）：硬件都是不可靠的，都有可能损坏（硬件的可靠性）。高可用定义：主要是针对系统（或者叫服务）----->指系统经过专门的设计，从而减少停工的时间，而保持服务的高度可用性。--高可用定义应用于《百度百科》高可靠：主要要解决的问题是，数据丢失，HADOOP的冗余副本策略。高可用：主要解决的是单点故障，例如HADOOP中的namenode节点如果它们宕机就会导致整个HADOOP集群不能用因此使用ZK解决。另外还有HIVE服务采用的热备的方式。.
2021-08-11 09:12:37
2763
原创 JAVA继承中抽象类与接口的区别
学了那么久的JAVA，今天才搞明白，这个知识点；不知道有没有错，看到的朋友多多指点。JAVA基础部分很难搞得就是封装，继承，多态；其实难点就在于继承中的抽象类，子类中的重写的接口，这个两个搞不清楚设计原理后面的多态也就是懵逼。好了进入正题（全是自己的理解哈）：继承中的抽象类：主要解决的是，很多子类有一个相同的方法，这样的就可以抽取一个抽象类的来写这些相同的方法。------子类相同的------>抽取出到一个类中。这样就可以使所有的子类去继承这个抽象类，然后就可以调用抽象类中的...
2021-08-05 11:49:19
132
原创 大数据---YARN
YARN框架：资源管理器，为各类应用程序进行资源管理和调度一、MR1---没有集成yarn框架，只包含mapreduce主从架构：NN:jobtracker节点（作业）--->管理所有的作业的子任务并汇总DN:TaskTracker节点（任务）流程：1、client（客户端）提交一个jar到集群中2、jobtracker拿到client提交的jar，根据拿到的jar要处理的来源，在哪些DN主机上，将jar发送到各个带有块信息的tasktracker节点（DN主机）上3、
2021-07-19 22:42:07
81
原创 SQLSERVER 异常（catch ）
begintry--执行的sql语句（这个sql语句是编译不报错的（没有能够检查出的语法错误，字段名、表名不存在不能够抛出异常））endtrybegincatch--上面sql出错后的处理。endcatch--例：--select*intotest01from FactMZGHYYXX2020（执行两次插入创建语句后会报错）begintryselect*intotest01from FactMZGHYYXX2020（执行两次插入创...
2021-07-07 20:32:02
536
原创 SQLSERVER索引
SQLsever索引一、什么是索引当前使用大白话（自己的理解）索引：对表的每一行以索引列为标准进行一个排序，分组，并抽离出元数据的。从而到达提高查询效率。二、索引的分类三、索引与主键四、哪些地方可以用索引...
2021-06-02 13:22:18
1774
原创 shell 脚本 处理文件最后一行换行符处理/删除最后一行空数据
最近写脚本处理文本文件最后一行换行符的数据做简单总结1、将文件file.txt最后一行有换行符的数据追加到一个临时文件temp.txt中（这里可以直接处理掉最后一行的换行符，只把内容追加 到temp.txt文件中）tail -n1 file.txt | tr -d '\n' >> temp.txt #此处要注意两个文件的路径，最好跟上文件的绝对路径2、将原文件fi...
2019-08-28 15:33:04
8072
1
原创 Spark on hive 与 Hive on spark 的区别
读了百度上的一些关于Spark on hive 与 Hive on Spark 的区别的文章，感觉理解太复杂，自己总结一下Spark on Hive ：数据源是：hive Spark 获取hive中的数据，然后进行SparkSQL的操作 （hive只是作为一个spark的数据源）。Hvie on Spark ：（数据源是hive本身） Hvie 将自己的MapReduce计算...
2019-08-20 09:37:03
4989
4
原创 大数据组件----HDFS架构介绍
HDFS简介 1、HDFS来源于Google的GFS，是分布式文件存储系统。2、解决了低成本存储大数据量的文件的问题（块），以及防止数据丢失（hdfs的副本）的问题3、什么是分布式？多个计算机节点协同完成一个任务（以hdfs读取一个文件为例：当客户端要读取一个文件时，要多个节点同时读取这个文件的块信息进行组装，将组装好的文件返回给客户端） HDFS架构以及各个节点的作用...
2019-07-24 19:02:06
481
原创 大数据组件---HBASE
HBASE简介 1、Hbase是一个非关系型分布式数据库（NoSQL）--BigTable（参考的是谷歌）2、高可靠（采用主从架构，使用zookeeper管理）、高性能（分布式并行处理）、面向列、可伸缩（可新增子节点）3、采用HDFS作为文件存储系统（也可以采用其它的文件存储系统，没集成MR计算的功能）4、Hbase擅长查询数据（这里的查询是指将指定的数据按数据库的格式拿出显示...
2019-07-16 21:41:10
199
原创 大数据组件---Hive
Hive 简介 以下的请深刻理解，如果理解不清楚请别看下一部分！1、Hive可以将结构化数据文件映射为一张数据库的表（这一句必须要理解），是一个数据仓库工具（）结构化的数据 -------> 数据库的表就是将 txt文件中的类容当成数据库的一张表进行操作数据仓库工具------>这个需要实际的项目经验接触就可以理解了当前可以不用理解。相信前面的你已经理解...
2019-07-11 10:23:47
438
原创 Hadoop、HDFS 、MR 、HIVE等通俗理解
目录 Hadoop HIVE HBASE KAFKA FLUME STORM SCALA SPARK Hadoop HDFS MapReduceHDSF:分布式文件系统简单理解就是存储文件的系统，就像百度云盘一样的东西。我们搭建好HDFS就相当于自己做了一个百度云盘，就可以将我们自己的一些文件上传到自己的HDFS中。MapReduce:分布式...
2019-07-08 17:56:00
3571
2
原创 hadoop集群运行MR jar 包 报错 running in uber mode : false
一、问题描述：mr 编写正常 打好jar包后运行jar。眼看 map 0% reduce 0% 然后就结束了也没有啥错误和异常唯一个报错 ：running in uber mode : false二、解决办法：加上这一句话：在构造job类中加上：System.setProperty("HADOOP_USER_NAME", "root");原因:操作HDFS文件系统权限问题,具...
2019-03-26 15:04:59
13267
4
原创 （统计单词数）mapreduce函数理解
一、隐藏的过程:1、读取hdfs上的一个file文件的块文件2、将块文件进行分片split3、读取split（分片）文件中的一行内容4、将一行内容转换为key-value的形式（key：为偏移量（即多少行，我的理解），value：为一行的内容）5、将key-value输入到自己的map函数中二、进入自己写的map函数：--自己的map函数作用是:1、读入一个key-......
2019-03-26 10:29:59
541
1
原创 shell ftp 判断目标主机中目录是否存在(shell脚本实现)
一、思路：（要明白请务必看仔细思路！！！）本地主机：192.168.0.10目标主机：IP：192.168.0.100目标主机的上存在的目录为：/YK/ 不存在的目录为：/123/ 1、连接到ftp2、cd 需要判断的目录（如何目录存在会‘250 Directory successfully changed.‘，如果目录不存在’550 ...
2019-02-21 21:58:56
10854
3
原创 crontab定时器任务执行shell脚本报错： chmod: 无法访问”*****“没有那个文件或目录； sed：无法读取 “****”没有那个文件或目录
在测试环境下shell跑的飞起！一到crontab定时器任务中就卡壳报错如下：chmod: 无法访问"logs/*": 没有那个文件或目录sed：无法读取 logs/job-B0266H251340001-SXXX-20190118.txt.total.log：没有那个文件或目录sed：无法读取 logs/job-B0266H251340001-SXXX-20190118.txt.to...
2019-01-31 17:10:44
15396
原创 crontab定时器执行shell脚本 sql语句执行报错：sqlplus: 未找到命令 java: 未找到命令
在没有加入crontab定时器时，执行任务杠杠的，刚加入到crontab定时器中就报错！！！sqlplus: 未找到命令！java: 未找到命令！-----------------------------------------------解决办法：#在脚本的第一行引入当前执行此脚本的用户的环境变量#例如：当前用户是oracle用户执行该脚本（用户是指linux系统用户）...
2019-01-31 17:00:23
2547
原创 crontab 定时任务 shell脚本 相对路径执行报错
在添加定时任务执行 指定的shell脚本任务时，有的脚本因为程序原因需要在指的路径下执行，使的我们执行shell不得不进行相对路径下执行。但是添加到定时任务中shell脚本相对路径就发生改变，就需要我们将shell脚本的执行路径进行切换。1、解决办法1在shell脚本中第一行加上： cd 指定的路径 例如我的路径是在 /oracle/shell/ 中：cd /oracle/shell/ ...
2019-01-31 16:45:05
2839
原创 orcale实例的通俗理解
关于orcale实例的通俗理解orcale安装好后相当于一个软件存储东西的软件，orcale软件下管理着多个数据库，一个数据库就代表着一个实例。而一个数据库下又可以创建多个用户（即一个实例下面有多个用户），当前用户只能连接到指定的数据即指定的实例。...
2018-10-09 20:38:26
290
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人