- 博客(100)
- 收藏
- 关注
RSS订阅原创 OGG-01431 OGG-01003 OGG-01151 报错
OGG进程报错，查看报错信息如下 :解决思路如下：(1) 比对源端和目标端的表结构字段相关信息(主键 索引以及字段顺序)！(表面看没问题)(2)查看def文件定义是否有问题(没问题)(3)尝试用报错用户重新生成def文件查看表结构相关信息看到提示无主键，说明主键失效！重新创建主键即可！...
2021-05-26 09:43:08
2234
原创 大数据技术之 Hadoop（HDFS）
HDFS 概述1.1 HDFS 产出背景及定义1）HDFS 产生背景 随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系 统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这 就是分布式文件管理系统。HDFS 只是分布式文件管理系统中的一种。2）HDFS 定义 HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目 录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集
2021-03-22 00:17:02
693
原创 Hadoop集群启动/停止方式
1.各个模块分开启动/停止（配置 ssh 是前提）（1）整体启动/停止 HDFS start-dfs.sh/stop-dfs.sh（2）整体启动/停止 YARN start-yarn.sh/stop-yarn.sh2. 各个服务组件逐一启动/停止（1）分别启动/停止 HDFS 组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode（2）启动/停止 ...
2021-03-20 23:13:39
1560
原创 Hadoop简介和集群搭建测试(一)
Hadoop的优势有四高：(1) 高可用:Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失(2) 高扩展: 在集群间分配任务数据，可方便的扩展数以千计的节点(3) 高效性:在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度(4) 高容错性:能够自动将失败的任务重新分配。Hadoop组成：HDFS 架构概述:Hadoop Distributed File System，简称 HDFS，是...
2021-03-20 23:01:25
737
转载 Shell脚本实现俄罗斯方块小游戏
Shell脚本实现俄罗斯方块小游戏(转自：http://blog.51cto.com/lizhenliang/1687612)#!/bin/bashAPP_NAME="${0##*[\\/]}"APP_VERSION="1.0"#颜色定义iSumColor=7 #颜色总数cRed=1 #红色cGreen=2 #绿色cYellow=3 #×××cBlue=4 #蓝色cFuc.
2021-03-07 00:38:04
620
2
转载 查看linux系统性能瓶颈(转)
Shell脚本查看linux系统性能瓶颈(转自：http://blog.51cto.com/lizhenliang/1687612)#!/bin/bash#os_check() { if [ -e /etc/redhat-release ]; then REDHAT=`cat /etc/redhat-release |cut -d' ' -f1` else DEBIAN=`cat /etc/issue
2021-03-07 00:33:59
255
原创 centos6.9离线安装ansible
(1)下载Python-2.7.8版本的压缩包[root@machine-app1 ~]#wget https://www.python.org/ftp/python/2.7.8/Python-2.7.8.tgz[root@machine-app1 ~]#tar xvzf Python-2.7.8.tgz[root@machine-app1 ~]# cd Python-2.7.8[root@machine-app1 ~]#./configure --prefix=/usr/local[roo.
2021-03-06 12:56:19
460
原创 Docker常用操作
安装docker----epel源yum install -y epel-release----安装yum集成的实用程序集合yum install -y yum-utils ----获得docker-ce的yum仓库yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo ----列出docker版本信息yum list docker-ce --show-
2021-02-21 10:35:32
651
原创 根据kubelet.kubeconfig文件解析到证书
证书分发四步结束之后会有kubelet.kubeconfig生成,查看kubelet.kubeconfig配置文件中的client-certificate-data部分如下：利用base64反解析出证书，如下:[root@hdss-1-200 certs]# echo "LS0tLS1CRUdJTiBDRVJUSUZJQ0FURS0tLS0tCk1JSUR3akNDQXFxZ0F3SUJBZ0lVS3UvL21KOWtNN0ZweHJUUUZRRStBNEZOWU13d0RRWUpLb1p..
2021-02-12 14:38:42
1271
原创 k8s -- kube-proxy
部署kube-proxy集群规划主机名 角色 ipHDSS7-21.host.com kube-proxy 192.168.153.21 HDSS7-22.host.com kube-proxy 192.168.153.22签发生成证书签名请求（CSR）的JSON配置文件(vi /opt/certs/kube-proxy-csr.json){ "CN": "system:kube-proxy", "key": {
2021-02-12 13:17:40
243
原创 k8s --etcd 集群检测异常( could not connect: x509)
etcd集群单节点检测正常[root@hdss-1-12 etcd]# supervisorctl statusetcd-server-1-12 RUNNING pid 13282, uptime 0:00:42集群节点检测报错如下:[root@hdss-1-12 etcd]# ./etcdctl member listclient: etcd cluster is unavailable or misconfigured; error #0: dia...
2021-02-11 18:16:34
2964
原创 k8s -- 部署主控节点控制器/调度器服务
安装部署主控节点控制器/调度器服务集群规划主机名 角色 iphdss-1-21.host.com controller-manager 192.168.1.21hdss-1-22.host.com controller-manager 192.168.1.22注意：这里部署文档以hdss-1-22.host.com主机为例，另外一台运算节点安装部署方法类似编辑kube-controller-manager.sh执行脚本[roo
2021-02-10 15:04:34
256
原创 k8s -- nginx反向代理
安装部署主控节点4层反向代理服务,部署在hdss-1-11 hdss-1-12机器上，用VIP 192.168.1.10的7443端口，反代hdss-1-21、hdss-1-22的apiserver6443端口nginx配置(四层反向代理)HDSS-1-11和HDSS-1-12上同时操作，安装nginx，在配置文件最后追加反向代理的配置[root@hdss7-11 ~]# yum install -y nginx [root@hdss7-11 ~]# vi /etc/nginx/nginx.
2021-02-10 13:03:37
2513
原创 k8s -- APIServer(主控节点)
部署kube-apiserver集群集群规划 主机名 角色 ipHDSS1-21.host.com kube-apiserver 192.168.16.13HDSS1-22.host.com kube-apiserver 192.168.16.14HDSS1-11.host.com 4层负载均衡 192.168.16.11HDSS1-12.host.com 4层负载均衡 192.168.16.12注意：这里192.168.1.
2021-02-10 10:32:48
675
原创 k8s -- etcd集群部署
部署etcd集群 集群规划 主机名 角色 ipHDss-1-12.host.com ectc lead 192.168.1.12HDss-1-21.host.com ectc follow 192.168.1.21HDss-1-22.host.com ectc follow 192.168.1.22部署master节点服务1. 在主配置服务器上生成证书 编辑 ca-.
2021-02-09 19:51:01
269
原创 k8s--docker镜像私有仓库( harbor)
安装1.7.6以上版本，在200那台主配置服务器上操作1. 下载并解压导指定目录[root@hdss-1-200 src]# lsharbor-offline-installer-v1.8.3.tgz[root@hdss-1-200 src]# tar -zxvf harbor-offline-installer-v1.8.3.tgz -C /opt/harbor/harbor.v1.8.3.tar.gzharbor/prepareharbor/LICENSEharbor/insta
2021-02-09 10:27:12
1097
1
原创 k8s--docker安装
在主机与运维主机上：21、22、200 三台都要部署安装1.下载镜像[root@hdss-1-22 ~]#yum clean all[root@hdss-1-22 ~]# curl -fsSL https://get.docker.com|bash -s docker --mirror Aliyun# Executing docker install script, commit: 3d8fe77c2c46c5b7571f94b42793905e5b3e42e4+ sh -c 'yum
2021-02-09 09:58:37
352
原创 k8s--证书签发
1.准备签发证书环境运维主机 hdss-1-200.host.com上：2.安装CFSSL证书签发工具CFSSL:R1.2cfssl下载地址https://pkg.cfssl.org/R1.2/cfssl_linux-amd64cfssl-json下载地址https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64cfssl-certinfo下载地址https://pkg.cfssl.org/R1.2/cfssl-certinfo_li...
2021-02-09 09:52:47
1312
原创 k8s--bind安装
1.调整操作系统：linux内核3.10以上所有主机上：selinux关闭sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/selinux/configfirewall关闭systemctl stop firewalldsystemctl enable firewalld调整yum源：1.安装epel-releaseyum install -y epel-release2.安装必要..
2021-02-09 09:45:00
250
原创 Linux就该这么学--DNS配置
DNS域名解析服务相较于由数字构成的IP地址，域名更容易被理解和记忆，所以我们通常更习惯通过域名的方式来访问网络中的资源。但是，网络中的计算机之间只能基于IP地址来相互识别对方的身份，而且要想在互联网中传输数据，也必须基于外网的IP地址来完成。为了降低用户访问网络资源的门槛，DNS（Domain Name System，域名系统）技术应运而生。这是一项用于管理和解析域名与IP地址对应关系的技术，简单来说，就是能够接受用户输入的域名或IP地址，然后自动查找与之匹配（或者说具有映射关系）的IP地址或域名
2021-02-07 00:52:28
197
2
原创 手动模式构建双 Namenode+Yarn 的 Hadoop 集群（下）
4. NameNode 与 Yarn 基础配置文件功能解读NameNode 与 Yarn 的配置中涉及的配置文件有多个，并且每个配置文件中参数众多，因此，如何设置合理的配置参数是部署 Hadoop 集群的难点。不过，Hadoop 集群有个配置原则，那就是重写配置、覆盖默认，否则默认生效。也就是说 Hadoop 的大部分配置参数都有默认值，如果在配置文件中设置了参数值时，那么默认值失效，否则生效。这个原则的存在，使我们不需要对每个参数都进行配置，只需要对一些重要的基础参数进行配置即可。所以，在下面的配
2021-02-04 00:37:34
397
原创 hadoop入门 启动 journalnode报错
启动journalnode报错如下[hadoop@salve001 ~]$ hdfs --daemon start journalnodeERROR: Cannot set priority of journalnode process 74165[hadoop@salve001 ~]$查看报错日志提示2021-02-03 10:42:05,421 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to s.
2021-02-03 23:56:47
8065
3
原创 手动模式构建双 Namenode+Yarn 的 Hadoop 集群（上）
双 NameNode 实现原理与应用架构1. 什么是双 NameNode在分布式文件系统 HDFS 中，NameNode 是 master 角色，当 NameNode 出现故障后，整个 HDFS 将不可用，所以保证 NameNode 的稳定性至关重要。在 Hadoop1.x 版本中，HDFS 只支持一个 NameNode，为了保证稳定性，只能靠 SecondaryNameNode 来实现，而 SecondaryNameNode 不能做到热备，而且恢复的数据也不是最新的元数据。基于此，从 Hadoop
2021-02-03 00:50:05
608
原创 自动化运维工具 Ansible 在部署大数据平台下的应用（下）
1. playbook 简介与文件格式playbook 字面意思是剧本，现实中由演员按照剧本表演，在 Ansible 中，这次由计算机进行表演，由计算机安装、部署应用，提供对外服务，以及组织计算机处理各种各样的事情。playbook 文件由 YMAL 语言编写。YMAL 格式类似于 JSON 的文件格式，便于理解、阅读和书写。首先学习了解一下 YMAL 的格式，对后面书写 playbook 很有帮助。以下是 playbook 常用的 YMAL 格式规则。文件的第一行应该以“---”（三个连字符）开始，表
2021-02-02 00:45:25
370
1
原创 自动化运维工具 Ansible 在部署大数据平台下的应用（上）
Ansible 命令行模式的使用Ansible 执行自动化任务，分为以下两种执行模式：（1）ad-hoc（单个模块），单条命令的批量执行，或者叫命令行模式；（2）playbook，为面向对象的编程，可以把多个想要执行的任务放到一个 playbook 中，当然多个任务在事物逻辑上最好是有上下关联的，通过多个任务可以完成一个总体的目标。命令行模式一般用于测试、临时应用等场景，而 playbook 方式，主用用于正式环境，通过编写 playbook 文件，可实现固定的、批量的对系统或服务进行配置以及维
2021-02-01 17:40:34
284
原创 Hadoop的平台的构建(伪分布式)
与 Linux 有众多发行版类似，Hadoop 也有很多发行版本，但基本上分为两类，即开源社区版和商业付费版。社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系；商业版付费版是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的稳定版本，比较著名的有 Cloudera 的 CDP、CDH、Hortonworks 的 Hortonworks Data Platform（HDP）、mapR 等。在这些商业 Hadoop 发行版中，为了吸引
2021-02-01 01:21:13
273
原创 Linux就该这么学--Samba NFS的配置
SAMBA文件共享服务Samba服务程序现在已经成为在Linux系统与Windows系统之间共享文件的选择1.安装ansible[root@myserver ~]# yum install -y sambaUpdating Subscription Management repositories.Unable to read consumer identityThis system is not registered to Red Hat Subscription Management.
2021-01-31 22:36:05
226
原创 Linux就该这么学--Apache的配置
1. 在默认情况下，网站数据是保存在/var/www/html目录中，而如果想把保存网站数据的目录修改为/home/wwwroot目录[root@myserver ~]# mkdir /home/wwwroot[root@myserver ~]# echo "other directory Apache" > /home/wwwroot/index.html[root@myserver ~]# cd /home/wwwroot/[root@myserver wwwroot]# lltot
2021-01-31 12:55:39
411
原创 Linux就该这么学--网络配置
配置网络参数1.可视化操作nmtui 弹出窗口可视化操作[root@myserver ~]# nmtui然后按方向键以及回车确认操作如下:2.命令行操作：配置IP地址 ONBOOT和BOOTPROTO的参数值[root@myserver ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens160查看网络信息和网络状态[root@myserver ~]# nmcli connection showNAME UUID...
2021-01-30 00:55:19
152
原创 Linux就该这么学--防火墙
策略与规则链防火墙会从上至下的顺序来读取配置的策略规则，在找到匹配项后就立即结束匹配工作并去执行匹配项中定义的行为（即放行或阻止）防火墙会从上至下的顺序来读取配置的策略规则，在找到匹配项后就立即结束匹配工作并去执行匹配项中定义的行为（即放行或阻止）。如果在读取完所有的策略规则之后没有匹配项，就去执行默认的策略。一般而言，防火墙策略规则的设置有两种：一种是“通”（即放行），一种是“堵”（即阻止）。当防火墙的默认策略为拒绝时（堵），就要设置允许规则（通），否则谁都进不来；如果防火墙的默认策略为允许时，就
2021-01-25 00:04:26
612
原创 Linux就该这么学--逻辑卷
LVM逻辑卷管理器部署逻辑卷常用的LVM部署命令功能/命令 物理卷管理 卷组管理 逻辑卷管理 扫描 pvscan vgscan lvscan 建立 pvcreate vgcreate lvcreate 显示 pvdisplay vgdisplay lvdisplay 删除 pvremove vgremove lvremove 扩展 vgextend lvext..
2021-01-24 22:24:22
205
原创 Linux就改这么学--磁盘分区
du命令：其格式为“du [选项] [文件]”。简单该命令就是用来查看一个或多个文件占用了多大的硬盘空间配置本地yum源为了防止开启启动挂盘丢失，需要在配置文件/etc/fstab加上挂载点和挂载目录添加交换分区SWAP（交换）分区是一种通过在硬盘中预先划分一定的空间，然后将把内存中暂时不常用的数据临时存放到硬盘中，为了解决真实物理内存不足的问题。但由于交换分区毕竟是通过硬盘设备读写数据的，速度肯定要比物理内存慢，所以只有当真实的物理内存耗尽后才会调用交换分区的资源查看新增磁盘是否.
2021-01-24 17:22:28
200
原创 Linux就该这么学--磁盘挂载
系统层次化标准（FHS，Filesystem Hierarchy Standard）、udev硬件命名规则以及硬盘分区的规划方法，在Linux系统中并不存在C/D/E/F等盘符，Linux系统中的一切文件都是从“根（/）”目录开始的，并按照文件系统层次化标准（FHS）采用树形结构来存放文件，以及定义了常见目录的用途。另外，Linux系统中的文件和目录名称是严格区分大小写的，为了便于定位和查找，Linux中的每个目录一般都存放特定类型的文件，下表列出了各种Linux发行版本的常见目录物理设备的命名规则
2021-01-17 21:58:20
183
原创 Linux就该这么学--文件权限
文件权限与归属尽管在Linux系统中一切都是文件，但是每个文件的类型不尽相同，因此Linux系统使用了不同的字符来加以区分，常见的字符如下所示。-：普通文件。d：目录文件。l：链接文件。b：块设备文件。c：字符设备文件。p：管道文件。文件的读、写、执行权限可以简写为rwx，亦可分别用数字4、2、1来表示，文件所有者，所属组及其他用户权限之间无关联，如表5-5所示。 文件权限的字符与数字...
2021-01-16 23:27:16
187
原创 Linux就该这么学--条件语句
for条件循环语句for循环语句允许脚本一次性读取多个信息，然后逐一对信息进行操作处理，当要处理的数据有范围时，使用for循环语句再适合不过,执行批量创建用户的Shell脚本Example.sh，在输入为账户设定的密码后将由脚本自动检查并创建这些账户。由于已经将多余的信息通过输出重定向符转移到了/dev/null黑洞文件中[root@myserver ~]# cat users.txt ndybarrycarldukeericgeorge[root@myserver ~]# cat
2021-01-15 23:42:43
306
原创 Linux就该这么学--VIM编辑器
4.1 Vim文本编辑器命令模式：控制光标移动，可对文本进行复制、粘贴、删除和查找等工作。输入模式：正常的文本录入。末行模式：保存或退出文档，以及设置编辑环境。[root@myserver ~]# vim new.txt[root@myserver ~]# cat new.txtThis is a testVim 有三种可视模式。使用 Vim 编辑文本时，可视化模式对于识别要操作的文本块非常有用.Vim 的可视模式有三个模式：字符、行和块。进入每种模式的按键是：..
2021-01-10 22:14:49
207
原创 Ansible之playbook的使用
利用playbook安装nginx服务[root@myserver_1 ansible]# vim install_nginx.yml --- - hosts: webservers remote_user: root#收集信息取消 gather_facts: no tasks: - name: add group nginx user: name=nginx state=present - name: add user nginx .
2021-01-10 20:16:53
125
原创 Linux就该这么学(笔记)简介
开源软件最重要的特性有下面这些:低风险：使用闭源软件无疑把命运交付给他人，一旦封闭的源代码没有人来维护，你将进退维谷；而且相较于商业软件公司，开源社区很少存在倒闭的问题。高品质：相较于闭源软件产品，开源项目通常是由开源社区来研发及维护的，参与编写、维护、测试的用户量众多，一般的bug还没有等爆发就已经被修补。低成本：开源工作者都是在幕后默默且无偿地付出劳动成果，为美好的世界贡献一份力量，因此使用开源社区推动的软件项目可以节省大量的人力、物力和财力。更透明：没有哪个笨蛋会把木马、后门等放到开放
2021-01-10 16:50:05
138
原创 Linux就该这么学--系统安装
安装配置VM虚拟机安装Linux系统重置管理员密码在linux16参数这行的最后面追加“rd.break”参数，然后按下Ctrl + X组合键来运行修改过的内核程序，如图1-47所示。 图1-47 内核信息的编辑界面第3步：大约30秒过后，进入到系统的紧急求援模式，如图1-48所示。 ...
2021-01-10 16:49:37
130
1
原创 linux就该这么学--常用命令
man命令相当于linux手册1．echo命令echo命令用于在终端输出字符串或变量提取后的值，格式为“echo [字符串|$变量]”[root@linuxprobe ~]# echo linuxprobe testlinuxprobe test[root@linuxprobe ~]# echo $BASH/bin/bash2．date命令date命令用于显示及设置系统的时间或日期，格式为“date [选项] [+指定的格式]”[root@linuxprobe ~]# d..
2021-01-10 16:49:22
650
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人