- 博客(155)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 Rancher2.1.4使用记录
一、前言 说实话，Rancher的官方文档真的很全，围绕着UI的方方面面都面面俱到。但看多了却发现，很多东西都浅尝辄止，尤其某个东西实在不懂的时候，看文档只能让自己更没头绪。所以此文的目的是方便自己能够在需要的时候回忆出点点滴滴。 Rancher1.6的傻瓜式操作给了我很大的帮助，也帮我赢得了大部分运维的支持，最终得以施展。但Rancher2.0无论是开发版还是beta版，都并不是那么友好，总是莫名其妙的出现各种各样的问题。后来因为工作的调动，没有继续研究新版。不过现在终于有时间了，当前...
2020-11-18 17:53:54
533
转载 Kubernates之pod文件传递
本地服务器----跳转服务器----pod 之间数据导入与导出1.pod中数据导出 可用lrzsz，导出到桌面中。在pod中直接操作从服务器中导入文件到pod 中：kubectl cp /root/integration/test/hpa_automation/tosca/csar/ns_vgw.csar onap/dev-cli-cli-764d8799bd-jp8bp:/opt/oclip/integration/test/csar2.从k8s中拷贝文件到跳转服务器：在跳转.
2020-11-16 17:58:10
1166
转载 自动化运维工具rundeck
一.redeck介绍 Rundeck 是一款能在数据中心或云环境中的日常业务中使程序自动化的开源软件。Rundeck 提供了大量功能，可以减轻耗时繁重的体力劳动。团队可以相互协作，分享如何过程自动化，查看业务活动或执行任务。Rundeck 允许您运行任意数量的节点从一个基于 web 的任务或命令行界面。Rundeck 还包括其他功能，使其易于扩展，您自动化努力包括 ︰ 访问控制、 工作流建设、 调度、 记录和与外部源节点和选项数据集成。接下来我们一起来安装吧。官网地址：https://docs.r
2020-06-05 07:51:28
769
转载 Graylog2+ELK日志系统
现状：之前的日志系统，采用是两台ELK,每天日志量在120G-160G，机器负载在18%左右，日志处理延迟在30分钟左右，改造后，同样两台机器,机器负载高峰时在10%左右,处理零延迟，并且支持告警，改造后日志系统结构图如下:Graylog stream内部结构：安装包版本:redis 3.2.8mongodb-3.4.4logstash 5.2.2graylog-2.3.2elasticsearch-5.6.3jdk版本要求1.8.0_144以上一：redis安装1.主机，A组:
2020-06-05 07:22:44
2155
转载 k8s yaml格式的pod定义文件完整内容
apiVersion: v1 #必选，版本号，例如v1,版本号必须可以用 kubectl api-versions 查询到 .kind: Pod #必选，Podmetadata: #必选，元数据 name: string #必选，P...
2019-08-05 10:07:16
242
转载 kubernetes HostAliases 添加其他主机别名到POD
kubernetes可以通过.spec.hostAliases字段添加主机别名，这个功能是在1.7.x以及以上版本提供的查看默认的hosts文件创建pod[root@demo ~]# kubectl run nginx --image xxx/hub/nginx:20180808 --generator=run-pod/v1pod "nginx" created[root@test...
2019-07-30 11:36:00
2205
转载 docker-image container 基本操作 -常用命令
基本概念：container容器。可以把每个 container 看做是一个独立的主机。 container 的创建通常有一个 image 作为其模板。类比成虚拟机的话可以理解为 image 就是虚拟机的镜像，而 container 就是一个个正在运行的虚拟机。一个虚拟机镜像可以创建出多个运行的虚拟主机且相互独立。注意：container 一旦创建如果没有用 rm 命令移除，将会一直存在。...
2019-07-29 15:57:09
204
转载 Dockerfile 中的 COPY 与 ADD 命令
Dockerfile 提供相似的 COPY 和 ADD，本文尝试解释这两个命令的基本功能，以及其异同点，然后总结自适合的应用场景。Build 上下文的概念在使用 docker build 命令通过 Dockerfile 创建镜像时，会产生一个 build 上下文(context)。所谓的 build 上下文就是 docker build 命令的 PATH 或 URL 指定的路径中的文...
2019-07-29 14:39:53
6221
转载 Rancher 2.2.2 - HA 部署高可用k8s集群
对于生产环境，需以高可用的配置安装 Rancher，确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时，Rancher将与集群的 etcd 集成，并利用Kubernetes 调度实现高可用。为确保高可用，本文所部署的 Kubernetes 集群将专用于运行 Rancher ，Rancher 运行起来后，可再创建或导入集群以运行具体的工作负载。一、推荐架...
2019-07-09 09:40:26
1356
转载 Docker 退出容器但不关闭当前容器
方法一：如果要正常退出不关闭容器，请按Ctrl+P+Q进行退出容器方法二：如果使用exit退出，那么在退出之后会关闭容器，可以使用下面的流程进行恢复使用docker restart命令重启容器 使用docker attach命令进入容器...
2019-06-12 11:45:39
6035
1
转载 Apache Kudu主节点（Master）迁移
提前修改机器上kudu账号可以登录，（/etc/passwd），之后都是以kudu执行命令1、将每个master的记录下来kudu fs dump uuid --fs_wal_dir=/home/data/kudu-master --fs_data_dirs=/home/data/kudu-master 2>/dev/null2、存活的一个master上...
2019-06-12 09:41:48
1198
转载 Spark2 sparkSession使用
sparkSession使用：package com.jdjr.city.demoimport org.apache.spark.sql.SparkSession/** * @Auther: hongwei * @Date: 2018/11/9 16:31 * @Description: SparkSession使用 */object Test4 { def ...
2019-05-26 17:56:47
2102
转载 spark submit参数及调优
spark submit参数介绍你可以通过spark-submit --help或者spark-shell --help来查看这些参数。使用格式:./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \...
2019-05-26 17:30:08
140
转载 npm scripts 使用指南
Node 开发离不开 npm，而脚本功能是 npm 最强大、最常用的功能之一。本文介绍如何使用 npm 脚本（npm scripts）。一、什么是 npm 脚本？npm 允许在package.json文件里面，使用scripts字段定义脚本命令。{ // ... "scripts": { "build": "node build.js" }}上面代码是packag...
2019-05-07 18:34:42
224
转载 从外部访问Kubernetes中的Pod 你需要知道的访问Pod的5种方式
本文主要讲解访问kubenretes中的Pod和Serivce的集中方式，包括如下几种：hostNetwork hostPort NodePort LoadBalancer Ingress说是暴露Pod其实跟暴露Service是一回事，因为Pod就是Service的backend。hostNetwork: true这是一种直接定义Pod网络的方式。如果在Pod中使用hos...
2019-05-06 14:29:28
1439
转载 Logstash5.6.5安装部署
1、从官网下载安装包https://artifacts.elastic.co/downloads/logstash/logstash-5.6.5.zip2、解压3、定义logstash.conf，在bin目录新增一个logstash.conf文件，将mysql-connector-java-5.1.44.jar放在bin目录input { stdin { } jdbc ...
2019-05-06 10:44:13
504
转载 K8s应用部署工具-Helm
微服务和容器化给复杂应用部署与管理带来了极大的挑战。Helm是目前Kubernetes服务编排领域的唯一开源子项目，做为Kubernetes应用的一个包管理工具，可理解为Kubernetes的apt-get / yum，由Deis 公司发起，该公司已经被微软收购。Helm通过软件打包的形式，支持发布的版本管理和控制，很大程度上简化了Kubernetes应用部署和管理的复杂性。随着业务容器化与向...
2019-05-06 09:59:34
939
转载 Apache Skywalking的部署与实践
一、关于 Apache SkywalkingSkyWalking是针对分布式系统的APM（应用性能监控）系统，项目开源，目前已经已被apache收录，github地址：https://github.com/apache/incubator-skywalking优点：1.Java自动探针，不需要修改应用程序源代码 ，并且支持多种开源中间件，框架与类库，如果想查看支持列表请到官方github地...
2019-04-29 08:37:29
1097
转载 k8s和docker的关系
Kubernetes 是一个自动化部署、伸缩和操作应用程序容器的开源平台。使用 Kubernetes，你可以快速、高效地满足用户以下的需求：快速精准地部署应用程序即时伸缩你的应用程序无缝展现新特征限制硬件用量仅为所需资源我们的目标是培育一个工具和组件的生态系统，以减缓在公有云或私有云中运行的程序的压力。Kubernetes 的优势可移动: 公有云、私有云、混合云、多态云...
2019-04-29 08:33:01
11904
1
转载 Docker镜像的修改和自定义
一、docker镜像的更新(1)启动镜像，写入一些文件或者更新软件docker run -it 3afd47092a0e[root@44652ba46352 /]# ls(2)更新镜像docker commit -m="test update" -a="wangsir" 44652ba46352 wangsir/centos-test:7.4.1708sha256:7853e6...
2019-04-29 08:30:15
1751
转载 Scala-IDE创建scala的maven项目
文章目录环境（1）安装好scala（会自动配置好环境变量）、scala-IDE、maven插件（2）新建scala的maven项目（3）根据已有的scala原型（archetype）进行创建scala项目没有scala原型样例工程的解决方案（4）等待scala的maven原型项目进行初始化环境java1.7 scala2.11.7 maven插件下载地址：...
2019-04-28 18:53:46
942
转载 k8s集群Node节点的移除与加入
1、如何从集群中移除Node如果需要从集群中移除slave3这个Node，执行下面的命令：在master节点上执行：#先查看node情况[root@master] ~$ kubectl get nodeNAME STATUS ROLES AGE VERSIONmaster.hanli.com Ready master 3d7h...
2019-04-28 18:42:08
8482
转载 pinpoint分布式性能监控工具(docker安装)
在做性能压测的时候，你是不是有只能看到测试报告？在做性能压测的时候，你是不是想知道每一个方法执行了多长时间？Pinpoint几乎可以帮助你查看你想看到的每一个细节。Pinpoint是什么？Pinpoint是一款全链路分析工具，提供了无侵入式的调用链监控、方法执行详情查看、应用状态信息监控等功能。基于GoogleDapper论文进行的实现，与另一款开源的全链路分析工具Zipkin类似...
2019-04-28 18:38:39
567
转载 Spark2 sparkSession使用
package com.jdjr.city.demoimport org.apache.spark.sql.SparkSession/** * @Auther: hongwei * @Date: 2018/11/9 16:31 * @Description: SparkSession使用 */object Test4 { def main(args: A...
2019-04-28 18:15:32
1350
转载 Kubernetes(k8s) Pod 弹性伸缩详解与使用
Kubernetes HPA(Horizontal Pod Autoscaling)Pod水平自动伸缩，通过此功能，只需简单的配置，集群便可以利用监控指标（cpu使用率等）自动的扩容或者缩容服务中Pod数量，当业务需求增加时，系统将为您无缝地自动增加适量容器 ，提高系统稳定性。本文将详细讲解HPA的核心设计原理和基于Hepaster的使用方法。1. HPA概览HPA在kubernetes...
2019-04-26 10:54:13
8817
转载 调用链选型之Zipkin，Pinpoint，SkyWalking，CAT
简介Zipkin是Twitter开源的调用链分析工具，目前基于springcloud sleuth得到了广泛的使用，特点是轻量，使用部署简单。Pinpoint是韩国人开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，UI功能强大，接入端无代码侵入。SkyWalking是本土开源的基于字节码注入的调用链分析，以及应用监控分析工具。特点是支持多种插件，U...
2019-04-26 10:46:12
961
转载 数据库读写分离、分表分库——Mycat
系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。希望通过这篇文章的介绍，能学会Mycat的使用。安装Mycat官网：http://www.mycat.io/ 可以了解下Myc...
2019-04-26 08:36:01
441
转载 docker 端口映射错误解决方法
COMMAND_FAILED: '/sbin/iptables -t nat -A DOCKER -p tcp -d 0/0 --dport 8111 -j DNAT --to-destination 172.17.0.6:8111 ! -i docker0' failed: iptables: No chain/target/match by that name.pkill docke...
2019-04-25 00:34:10
1295
转载 Flume实战采集文件内容存入HDFS
1、flume安装目录下新建文件夹 example2、在example下新建文件log-hdfs.conf内容如下：# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1#exec 指的是命令# Describe/configure the sourcea1....
2019-04-24 18:37:57
679
转载 Spark SQL（三）：Parquet数据源
Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器升级为顶级项目。列式存储和行氏存储相比，有哪些优势？1、可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量；2、压缩编码可以降低磁盘存储空间，由于同一列的数据类型是一样的，可以使用更高效压缩编码（例如Run Length Encoding和Delta Enc...
2019-04-24 17:59:13
265
转载 集成Hive与Spark SQL及代码实现
结构上Hive On Spark和SparkSQL都是一个翻译层，把SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。hive编译如果不是采用CDH在线自动安装和部署的话，可能需要对源码进行编译，使它能够兼容HIVE。编译只需要在Spark_SRC_home（源码的home目录）执行如下命令：./make-distribution.sh --tgz -...
2019-04-23 09:06:39
465
转载 spark+hive运行时没有写权限
当使用spark连接hive时，无论是通过spark-submit提交作业，还是使用spark-shell,spark-sql 都会报以下错误：Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS sho...
2019-04-22 16:59:42
1992
转载 用Jenkins打造企业轻量级作业调度系统(如何把参数从上游作业传递给下游作业)
应用场景：我们在大数据清洗（ETL）或程序间（Job）调度过程中，有时候作业与作业之间是有依赖关系，必须等上游作业跑完后才能跑下游作业，并且前后作业参数需要一致。那如何保证参数一致性和稳定有序的执行有上下游依赖关系的作业呢？插件名：Parameterized Trigger Plugin1、安装（可以进入系统管理》管理插件进行在线安装，也可以下载到本地再上传安装2、安装好此插件后，我们...
2019-04-22 12:06:25
517
转载 Kylin构建企业大数据分析平台的4种部署方式
部署Kylin非常简单，称为非侵入式安装，也就是不需要去修改已有的Hadoop大数据平台。你只需要根据的环境下载适合的Kylin安装包，选择一个Hadoop节点部署即可，Kylin使用标准的Hadoop API跟各个组件进行通信，不需要对现有的Hadoop安装额外的Agent。 Kylin部署的架构是一个分层的结构，最底层是数据来源层，我们可以通过Sqoop等工具将数据迁移到HD...
2019-04-21 20:37:11
289
转载 spark高可用集群搭建及运行测试
之前的文章spark集群的搭建基础上建立的，重复操作已经简写；之前的配置中使用了master01、slave01、slave02、slave03；本篇文章还要添加master02和CloudDeskTop两个节点，并配置好运行环境；一、流程：1、在搭建高可用集群之前需要先配置高可用，首先在master01上： [hadoop@master01 ~]$ cd /software/...
2019-04-21 19:03:15
450
转载 Spark和Zeppelin探索movie-lens数据
MovieLens 100k数据包含有100，000条用户与电影的相关数据wget http://files.grouplens.org/datasets/movielens/ml-100k.zipunzip ml-100k.zip &&cd ml-100k#用户文件(ID,年龄,性别,职业,邮编)zhf@ubuntu:~/Downloads/ml-100k$ head ...
2019-04-21 09:50:27
303
转载 Spark spark-submit 提交的几种模式
local 模式package com.imooc.spark.Testimport org.apache.spark.sql.types.{StringType, StructField, StructType}import org.apache.spark.sql.{Row, SaveMode, SparkSession}/** * 测试sparkContext 案例 */...
2019-04-20 14:41:30
2240
转载 Spark 通过 spark-submit 设置日志级别
前言Spark有多种方式设置日志级别，这次主要记录一下如何在spark-submit设置Spark的日志级别。1、需求因为Spark的日志级别默认为INFO(log4j.rootCategory=INFO, console),这样在运行程序的时候有很多我不需要的日志信息都打印出来了，看起来比较乱，比较烦，抓不住重点，而我只想把warn和error打印出来。之前在测试环境或者在eclips...
2019-04-20 14:19:12
1604
转载 kubectl认证 授权 准入控制
kubernetes 认证及serviceaccount（服务账号）kubernetes中apiservice是唯一访问的入口认证->授权->准入控制认证方式：token sslkubect和node都要双向认证K8s1.6以上增加了RBAC认证，授权检查kuberadm是强制使用kuberadm的授权认证,这都是最高的权限进行管理用户账号具有以下信息：客...
2019-04-20 12:42:17
4578
转载 Kubernetes Dashboard 安装，快速，简便运行Dashboard
https://blog.csdn.net/shenhonglei1234/article/details/80312709
2019-04-20 12:33:07
195
使用Flume+Logstash+Kafka+Spark Streaming进行实时日志处理分析【大数据】
2017-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人