- 博客(53)
- 资源 (2)
- 收藏
- 关注
RSS订阅
原创 SSH技术
SSH概述SSH 为Secure Shell的缩写，由 IETF 的网络小组（Network Working Group）所制定；SSH 为建立在应用层基础上的安全协议。SSH 是目前较可靠，专为远程登录会话和其他网络服务提供安全性的协议。利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题。SSH 最初是UNIX系统上的一个程序，后来又迅速扩展到其他操作平台。SSH 在正确使用时可弥补网络中的漏洞。SSH 客户端适用于多种平台。几乎所有UNIX平台—包括HP-UX、L..
2020-08-13 16:41:08
370
原创 SSH加密原理
熟悉Linux的人肯定都知道SSH。SSH是一种用于安全访问远程服务器的网络协议。它将客户端与服务端之间的消息通过加密保护起来，这样就无法被窃取或篡改了。那么它安全性是如何实现的呢？为了理解SSH，先要介绍两个重要概念：对称加密和非对称加密。对称加密：在对称加密中，客户端和服务端使用同一个密钥对数据进行加密和解密。这种方法的好处是加密强度高，很难破解。缺点也很明显，即密钥本身容易被泄漏。因此，如何保存密钥成为了关键问题。于是引出了第二种加密方式：非对称加密。非对称加密：..
2020-08-13 15:28:06
1708
原创 linux的内存与cpu管理
free 命令可以查看系统内存和 swap 交换分区的使用情况，其输出和 top 命令的内存部分非常相似。free 命令格式如下：[root@localhost ~]# free [选项]选项：-b：以字节为单位显示； -k：以 KB 为单位显示，默认显示； -m：以 MB 为单位显示； -g：以 GB 为单位显示；解释一下这个命令的输出。第一行：total 是总内存数，used 是已经使用的内存数，free 是空闲的内存数，shared 是多个进程共享的内存总数，bu.
2020-08-03 10:31:00
181
原创 Linux进程知识点
linux的进程管理在Linux系统上运行的任何东西，每一个用户的工作、每一个系统监控程序等等都是以进程的形式运行的。因此进程管理是Linux系统管理非常重要的一个方面。本篇主要介绍我们如何管理进程：■ 如何查找系统中运行的进程。■ 找出扰乱系统的进程。■ 如何终止一个进程。■ 如何管理进程。1 什么是进程1.1 进程的定义 进程是操作系统的概念，每当我们执行一个程序时，对于操作系统来讲就创建了一个进程,在这个过程中，伴随着资源的分配...
2020-07-29 11:22:36
268
原创 企业核心业务分析指标(难度高)
//本周回流用户数=本周用户活跃数-本周新增用户数-上周活跃用户数一旦遇到减法问题就使用left join就对了insert into table ads_back_countselect "2019-12-20", concat(date_add(next_day("2019-12-20","MO"),-7),"_",date_add(next_day("2019-12-...
2020-03-03 23:42:55
292
原创 企业核心业务分析指标(难度中)
1.每日用户留存明细//以下例子是留存一天的insert overwrite table dws_user_retention_daypartition(dt="2019-12-21")select nm.mid_id, nm.user_id, ..., nm.create_date, 1 retention_dayfrom dws_uv...
2020-03-03 23:00:45
206
原创 企业核心业务分析指标(难度易)
全篇以安卓手机通用埋点字段进行分析1.每日活跃设备分析insert overwrite table dws_uv_detail_daypartition(dt="2019-12-20")select mid_id, concat_ws("|",collect_set(user_id)) user_id, concat_ws("|",collect_set(ve...
2020-03-03 21:47:02
92
原创 虚拟机结构-运行时数据区
程序计数器（Program Counter Register）程序计数器是一个记录着当前线程所执行的字节码的行号指示器。这个内存区域有以下特点：1.线程隔离性，每个线程工作时都有属于自己的独立计数器；2.执行java方法时，程序计数器是有值的，且记录的是正在执行的字节码指令的地址；3.执行native本地方法时，程序计数器的值为空（Undefined）。因为native方法是java通过JNI直接调用本地C/C++库，可以近似的认为native方法相当于C/C++暴露给java的一...
2020-09-24 15:31:06
183
原创 虚拟机结构-类加载系统
架构图加载（Loading）“加载”是“类加载”过程的一个阶段，在加载阶段，虚拟机要完成以下三件事：1.通过一个类的全限定名获取定义此类的二进制字节流；2.将这个字节流所代表的的静态存储结构转化为方法区的运行时数据结构；3.在内存中生成一个代表此类的java.lang.Class对象，作为方法区这个类的各种数据的访问入口；类加载的方式有以下几种：1.从本地文件系统直接加载；2.从网络中获取。比如Web Applet；3.从zip压缩文件中读取，比如jar包..
2020-09-24 14:48:40
154
原创 Docker安装软件
docker pull mysql:5.7docker run --name test_mysql -p 3307:3306 -v/home/cyz/docker/t_mysql/data:/var/lib/mysql -v/home/cyz/docker/t_mysql/conf:/etc/mysql/conf.d -eMYSQL_ROOT_PASSWORD=cyz19980815 -d mysql:5.7# 修改mysql的访问ip '%'表示任何ip都可以访问mysql&g.
2020-09-23 15:52:33
84
原创 使用docker部署SpringBoot项目
打包一个SpringBoot项目编写DockerfileFROM java:8COPY *.jar /app.jarCMD ["--server.port=8080"]EXPOSE 8080ENTRYPOINT ["java","-jar","/app.jar"]构建镜像docker build -t iano666 .启动docker run -d -p 3344:8080 --name boot-web iano666访问...
2020-09-23 15:51:24
125
原创 使用docker部署redis集群
# 创建网络docker network create redis --subnet 172.38.0.0/16# 使用脚本创建redis配置文件for port in $(seq 1 6);\do \mkdir -p /mydata/redis/node-${port}/conftouch /mydata/redis/node-${port}/conf/redis.confcat << EOF >//mydata/redis/node-${port}/conf/redis.
2020-09-23 14:18:54
203
原创 容器互联--link
docker exec -it tomcat01 ping tomcat02# ping: tomcat02: Name or service not knowndocker run -d -P --name tomcat03 --link tomcat02 tomcatdocker exec -it tomcat03 ping tomcat02# PING tomcat02 (172.17.0.3) 56(84) bytes of data.# 64 bytes from tomcat02 (.
2020-09-23 14:05:56
92
原创 Docker容器数据卷
如果数据都在容器中，删除容器，数据就会丢失：需求：数据持久化容器之间可以有一个数据共享的技术，Docker容器中产生的数据，同步到本地！使用数据卷 -vMysql示例：docker run -d -p 3306:3306-v /home/mysql/conf:/etc/mysql/conf.d-v /home/mysql/data:/var/lib/mysql-e MYSQL_ROOT_PASSWORD=cyz19980815 --name mysql01 mysql:5.7
2020-09-22 17:14:48
58
原创 Docker镜像原理
联合文件系统UnionFS（ 联合文件系统 ）是一直分层，轻量级并且高性能的文件系统，他支持对文件系统的修改作为一次次提交来一层层的叠加，同时可以将不同目录挂载到同一个虚拟文件系统下。UnionFS是Docker镜像的基础，镜像可以通过分层来进行继承，基于基础镜像，可以制作各种具体的应用镜像特性：一次同时加载多个文件系统，但从外面看起来，只能看到一个文件系统，联合加载会把各层文件系统叠加起来，这样最终的文件系统会包含所有底层的文件和目录Docker镜像加载的原理Docker的镜像实际上
2020-09-22 17:03:08
92
原创 Docker常用命令
帮助命令docker versiondocker infodocker [命令] --help镜像命令1. docker images 查看本地所有镜像2. docker search 搜索镜像3. docker pull 下载镜像[root@iZuf67on1pthssa0rso5xzZ ~]# docker pull mysqlUsing default tag: latest # 不写tag默认下载最新latest: Pulling from library/mysq
2020-09-21 17:40:11
55
原创 安装docker
1.卸载旧版本sudo yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine2.需要的安装包sudo yum install -y yum-utils3.设置镜像仓库sudo yum-config-manager \--add-repo
2020-09-21 17:05:48
58
原创 docker架构
镜像（image）：Docker镜像就好比是一个模板，可以通过这个模板来创建容器服务，tomcat镜像=== > run = = > tomcat01容器（提供服务器），通过这个镜像可以创建多个容器（最终服务运行或者项目运行就是在容器中的）。 镜像是容器构建的基石，是基于联合文件系统的一种层式结构。由一系列指令构建，是一种轻量级、可执行的独立软件包，用于打包软件运行环境和基于运行环境开发的软件（代码、运行时、库、环境变量和配置文件）。容器（container）： ...
2020-09-21 16:41:28
109
原创 yarn的调度器
Fair Share 指的都是Yarn根据每个队列的权重、最大最小可运行资源计算的得到的可以分配给这个队列的最大可用资源。yarn调度器的配置1）yarn的三种调度策略 MR1FIFO策略：有两个任务，第一个是任务需要大量资源；第二个需要少量资源，但是紧急重要任务，此时第二个需要等待第一个执行完，才能执行第二个。弊端：由于顺序执行任务，如果第一个是大量资源，后续任务需要等待。没有做到资源共享。容量调度策略：共享调度策略。将集群资源，给队列分配部分资源，每个队列互不
2020-08-24 17:56:07
278
原创 hadoop jar 命令 执行MapReduce 任务
hadoop jar命令调用的java类地址#hadoop jar 短命令格式hadoop jar 要执行的jar包 要执行的任务名 输入目录 输出目录#hadoop jar 长命令格式hadoop jar 要执行的jar包 要执行的类全名 [要执行的任务名] 输入目录 输出目录#提交wordcount任务hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
2020-08-24 17:24:08
3094
1
原创 yarn的配置参数说明
关键端口yarn-site.xmlyarn-env.sh(专门做进程启动前的内存配置)yarn的ha配置在yarn-site.xml里面rm1配置rm2的配置正在上传…重新上传取消
2020-08-24 16:25:42
971
原创 yarn的组成结构及各个组件功能
yarn 主要由ResourceManager、NodeManager、ApplicationMaster、Container、Scheduler等几个组件构成。ResourceManager（RM） RM是一个全局的资源管理器，负责整个系统的资源管理和分配。 它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM），通俗讲是用于管理NodeManager节点的资源，包括cup、内存等。Sc...
2020-08-24 16:11:14
7862
原创 yarn提交任务的过程
(1).用户向YARN中提交应用程序。(2).ResourceManager为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster。(3).ApplicationMaster首先向ResourceManager注册，目的是让用户可以直接通过ResourceManager查看应用程序的运行状态，然后它将为各个任务申请资源，并监控它的运行状态，直到运行结束。(4).ApplicationMaster向ResourceManage..
2020-08-24 16:10:02
1138
原创 HDFS如何增加和删除动态节点
如何动态增加节点？新增一台s41）s4 机器基础环境必须搞好（host、ssh、免密登录root），简单方式直接从s3 克隆一台，注意：要把s4机器上的/data/dfs 目录删掉，因为在启动datanode 节点时会自动在/data/目录下创建dfs目录。2）在 etc/hadoop/slave 文件中追加 s4 的主机名3）在s4 机器上用 hadoop-daemon.sh start 启动s4机器上的datanode5）用 hadoop dfsadmin -refresh.
2020-08-20 11:54:23
187
原创 HDFS的常用命令全
列出文件列表标准写法hadoop fs -lshdfs://ns1/简写#默认是HDFS系统下的根目录hadoop fs -ls /最大单位显示hadoop fs -ls -h / #文件大小显示为最大单位递归显示#如果有子目录，则递归打印hadoop fs -ls -R / 多个显示参数#递归打印并且最大单位打印文件hadoop fs -ls -h -R / 上传文件/目录 put(新)、copyFromLocal(老)#put 左面：是本地，...
2020-08-20 11:45:47
994
原创 HDFS数据负载均衡原理
HDFS负载均衡Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况，例如：当集群内新增、删除节点，或者某个节点机器内硬盘存储达到饱和值。当数据不平衡时，Map任务可能会分配到没有存储数据的机器，这将导致网络带宽的消耗，也无法很好的进行本地计算。当HDFS负载不均衡时，需要对HDFS进行数据的负载均衡调整，即对各节点机器上数据的存储分布进行调整。从而，让数据均匀的分布在各个DataNode上，均衡IO性能，防止热点的发生。进行数据的负载均衡调整，必须要满足如下原则：数据平衡不
2020-08-20 11:10:30
1280
原创 HDFS所有功能汇总
1 HDFS原理分析HDFS是Hadoop Distribute File System 的简称，也就是Hadoop的一个分布式文件系统。https://blog.csdn.net/weixin_40035337/article/details/1080061381.1 HDFS有什么动机和目的1）提供较高的容错率，因为数据有备份，通过机架感知策略，namenode会尽量将数据的复本放到不同的机架上，所以小规模的宕机不影响数据的存储。宕机：down 机，指操作系统无法从一个严重.
2020-08-20 10:56:44
1941
原创 spark-sql调优
sparkSQL概述sparkSQL的前世今生Shark是专门针对于spark的构建大规模数据仓库系统的一个框架Shark与Hive兼容、同时也依赖于Spark版本Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。最后Databricks公司终止对Shark的开发决定单独开发一个框架，不在依赖hive，把重点转移到了sp
2020-08-18 14:18:46
450
2
原创 spark-sql调优技巧
sparkSQL概述sparkSQL的前世今生==Shark是专门针对于spark的构建大规模数据仓库系统的一个框架== Shark与Hive兼容、同时也依赖于Spark版本 Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务 随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。 最后Databricks公司终止对Shark的开发 决定单独开发一个框架，不在依赖hive，
2020-08-18 10:29:24
1848
1
原创 HDFS 的局限
HDFS 的设计理念是为了满足特定的大数据应用场景，所以 HDFS 具有一定的局限性，不能适用于所有的应用场景，HDFS 的局限主要有以下几点。1） 实时性差要求低时间延迟的应用不适合在 HDFS 上运行，HDFS 是为高数据吞吐量应用而优化的，这可能会以高时间延迟为代价。2） 小文件问题由于 NameNode 将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总量受限于 NameNode 的内存总容量。根据经验，每个文件、目录和数据块的存储信息大约占 150 字节。过多的小文件存储会
2020-08-14 17:56:58
4822
原创 HDFS 的设计理念
HDFS 的设计理念是，可以运行在普通机器上，以流式数据方式存储文件，一次写入、多次查询，具体有以下几点。1）可构建在廉价机器上HDFS 的设计理念之一就是让它能运行在普通的硬件之上，即便硬件出现故障，也可以通过容错策略来保证数据的高可用性。2）高容错性由于 HDFS 需要建立在普通计算机上，所以结点故障是正常的事情。HDFS 将数据自动保存多个副本，副本丢失后，自动恢复，从而实现数据的高容错性。3）适合批处理HDFS 适合一次写入、多次查询（读取）的情况。在数据集生成后，需要长时间在此数据
2020-08-14 17:55:27
1337
原创 HDFS分布式文件系统
Hadoop Distributed File System为啥需要HDFS来存储数据呢?在大数据时代，需要处理分析的数据集的大小已经远远超过了单台计算机的存储能力，因此需要将数据集进行分区并存储到若干台独立的计算机中。但是，分区存储的数据不方便管理和维护，迫切需要一种文件系统来管理多台机器上的文件，这就是分布式文件系统。分布式文件系统是一种允许文件通过网络在多台主机上进行分享的文件系统，可让多台机器上的多用户分享文件和存储空间。啥是HDFS呢?HDFS 是 Hadoop 的一个分布式
2020-08-14 17:53:37
236
原创 Shell变量与运算符
Table of Contents1.符号变量的使用2.位置变量使用3.数组使用4.运算符的使用4.1 算术运算符4.2 比较运算符4.3 逻辑运算符4.4 文件运算符1.符号变量的使用编写脚本执行说明1. 变量的定义与使用规则： 1）变量名首字符必须为字母，名字只能用字母、数字、下滑线，不要用bash关键字。非法的名字：8var、var-8 2）变量定义或赋值时，变量名与值之间用等号连接：变量名=值，等号两边不能有空格，值中有空...
2020-08-13 11:59:36
223
原创 mount 硬盘挂载
Linux文件系统，我们可以对挂载的含义进行引申，挂载指的是将硬件设备的文件系统和 Linux 系统中的文件系统，通过指定目录（作为挂载点）进行关联。而要将文件系统挂载到 Linux 系统上，就需要使用mount 挂载命令。mount 命令的常用格式有以下几种：[root@localhost ~]# mount [-l]单纯使用 mount 命令，会显示出系统中已挂载的设备信息，使用 -l 选项，会额外显示出卷标名称（读者可自行运行，查看输出结果）；[root@localhost ~..
2020-08-07 16:05:09
9424
原创 linux的硬盘管理df和du
1. 硬盘概述 硬盘是计算机的主要外部存储设备。计算机中的存储设备种类非常多，常见的主要有光盘、硬盘、U 盘等，甚至还有网络存储设 备 SAN、NAS 等，不过使用最多的还是硬盘。 如果从存储数据的介质上来区分，硬盘可分为机械硬盘（Hard Disk Drive, HDD）和固态硬盘（Solid State Disk, SSD），机械硬盘采用磁性碟片来存储数据，而固态硬盘通过闪存颗粒来存储数据。机械硬盘(HDD)我们先来看看最常见的机械硬盘。机械硬盘的外观大家可能都...
2020-08-07 14:33:02
165
原创 Linux的网络服务管理
我们需要先简单了解一下端口的作用。在互联网中，如果 IP 地址是 IP 服务器在互联网中唯一的地址标识，那么大家可以想象一下：我有一台服务器，它有固定的公网 IP 地址，通过 IP 地址可以找到我的服务器。但是我的服务器中既启动了网页服务（Web 服务），又启动了文件传输服务（FTP 服务），那么你的客户端访问我的服务器，到底应该如何确定你访问的是哪一个服务呢？ 所以这个时候，我们的端口就发挥了作用，端口就是用于网络通信的接口，是数据从传输层向上传递到应用层的数据通道。我们可以理...
2020-08-05 17:46:54
230
原创 Linux压缩软件操作
tar 命令tar命令作用:1) 打包：将一大堆文件或目录变成一个总的文件【tar命令】2) 压缩：将一个大的文件通过一些压缩算法变成一个小文件【gzip，bzip2等】Linux中很多压缩程序只能针对一个文件进行压缩，这样当你想要压缩一大堆文件时，你得将这一大堆文件先打成一个包（tar命令），然后再用压缩程序进行压缩（gzipbzip2命令）。tar 命令格式：tar [必要参数] [选项参数] 文档名 常用必要参数：-c 建立新的压缩文件-x 从压缩的文件中提取文件-t..
2020-07-28 10:48:35
101
原创 Linux重定向与管道
对于任何一条 linux 命令执行，它会是这样一个过程：一个命令执行了： 先有一个输入：输入可以从键盘，也可以从文件得到。 命令执行完成：成功了，会把成功结果输出到屏幕：standard output默认是屏幕 命令执行有错误：会把错误也输出到屏幕上面：standard error默认也是指的屏幕三种输入输出的代码分别是：1）标准输入（stdin）；代码为 0 ；2）标准输出（stdout）：代码为 1 ；3）错误输出（stderr）：代码为 2 ；...
2020-07-27 10:10:26
83
原创 Linux目录与文件的操作
bin： 存放二进制可执行文件(ls,cat,mkdir等)boot： 存放用于系统引导时使用的各种文件dev： 用于存放设备文件etc：存放系统配置文件 /etc/profile /etc/passwd /etc/shadowhome： 存放所有用户(除了root)文件的根目录lib：存放跟文件系统中的程序运行所需要的共享库及内核模块mnt：系统管理员安装临时文件系统的安装点opt：额外安装的可选应用程序包所放置的位置proc：虚拟文件系统，存放当前内存的映射roo..
2020-07-24 09:29:35
80
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人