- 博客(329)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 mysql数据启动大量报错且无法启动（The InnoDB memory heap is disabled
mysql数据启动大量报错且无法启动(The InnoDB memory heap is disabled，Status: NOT_KILLED)故障排查 周一上班巡检发现公司的有一组mysql主从同步进程报警，登录报警服务器，进行查看排查步骤如下： 1，首先登录保障服务器，执行mysql命令登录mysq...
2022-08-16 10:23:55
968
原创 mongodump 报错:errmsg:
mongodump 报错assertion: 2 { ok: 0.0, errmsg: "Auth mechanism not specified", code: 2, codeName: "BadValue", operationTime: Timestamp 1573815888000|1, $clusterTime:...
2022-08-09 21:38:38
377
原创 linux sysctl -p 报error:
修改 linux 内核文件 sysctl -P 报错error: "net.bridge.bridge-nf-call-ip6tables" is an unknown key error: "net.bridge.bridge-nf-call-iptables" is an unknown key error: "ne...
2022-07-13 12:49:40
308
原创 Configmap&Secret 结合Reloader实现服务热更新
前提业务环境进行服务构建或者部署时经常遇到一个问题,就是不同的环境要配置不同的资源信息.有些资源信息还比较敏感,在构建过程总导出传递,容易产生信息泄露,存在较大的安全隐患.在容器化时代结合 K8S 集群运行服务,通常会依赖 Configmap 或者 Secret 来解决此类问题.细分容器化配置场景如下:1. 将配置文件直...
2022-01-10 22:08:02
481
原创 Curl 请求输出网络耗时
目的curl 请求页面时打印请求过程中的耗时，方便识别网络过程中存在问题。生成打印字段配置文件：cat >./curl-format.txt <<-EOF time_namelookup: %{time_namelookup}\n time_connect: %{time_connect}\n time_appconnect: %{time_app...
2021-01-26 15:49:28
1301
原创 Serverless（无服务器）架构知识梳理
前题：大多数公司在开发应用程序并将其部署在服务器上的时候，无论是选择公有云还是私有的数据中心，都需要提前了解究竟需要多少台服务器、多大容量的存储和数据库的功能等。并需要部署运行应用程序和依赖的软件到基础设施之上。如果我们不想在这些细节上花费精力，是否有一种简单的架构模型能够满足我们这种想法？这个答案已经存在，这就是今天软件架构世界中新鲜但是很热门的一个话题——Serverless(无服务器)架构...
2021-01-02 16:15:52
973
原创 企业数据驱动最难攻克的高地在哪里？
原文转载地址：IT思维前提很多企业喊着要数据驱动，网络上是各种技术、解决方案的推广，面板展示高端炫酷，感觉好像是公司有数了，大屏展示了！就算数据驱动了？ 就能数据驱动了？概念我们先简单回答一下数据驱动的概念：数据驱动是指将数据作为生产资料，通过科学的方法，在业务实践中不断作出正向的反馈，促进业务优化提高。不知道大家发现了吗？这个概念描述跟学术，里面没有任何人的字眼提及。这个挺坑的，从个...
2020-11-24 13:58:12
139
原创 笔记-如何在实际工作中使用数据
原文转载地址：IT思维IT思维前提：数据啊数据，到处都在喊数据，确实我们每个人的身边都围绕着各种数据，数据时代，我们工作周边也都是数据，用数据解决实际问题的能力，已经成为大数据时代人人必备的硬实力之一。我们从哪里开始迈出第一步？出发前准备为了在有限的时间里取得一定的成果，建议大家从一开始就对整体计划和“地图”做到心中有数。目的很重要抱着“先从容易收集的数据开始统计”的想法进行分析，这...
2020-11-07 10:53:33
352
原创 数据质量管理
转载地址：IT思维前提：数据时代，数据产生的价值越来越大，基于数据的相关技术，应用形式也快速发展，当前各大厂商、用户都在探索与数据相关的开发技术、应用场景和商业模式，最终目的就是挖掘数据价值，推动业务发展。而只有高质量的数据才能够真正意义上实现数据价值的最大化，没有数据治理，没有数据质量的保证，再多的业务和技术的投入，都可能是徒劳的。背景公司经过多年信息化系统建设和应用，积累了大量的数据信...
2020-11-07 10:26:29
138
原创 BI的过去和未来
原文转载地址：头条号IT思维什么是BIBusiness Intelligence 简称：BI 又称商业智慧或商务智能，指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。作用商业智能作为一个平台工具，处理企业中现有数据，并将其转换成知识、分析和结论，辅助业务或者决策者做出正确且明智的决定，帮助企业更好地利用数据提高决策质量的技术。不仅为企业提供信息获...
2020-09-14 16:11:23
189
原创 开源BI平台软件特性对比
原文转载地址：头条号IT思维前提数据时代来临，随着更多的社会资源进行网络化和数据化改造，数据所能承载的价值也必将不断提到提高。于此同时数据正在成为企业重要的生产材料之一，企业可以通过数据来完成产品（服务）的设计、创新，同时基于数据也能够全面赋能企业的运营管理。数据分析技术技术繁多而复杂，一般要专业人员跟进才能顺利进行。本次不聊这块，聊一下数据治理的“最后一公里”，BI展示平台，即最终交付...
2020-09-14 16:07:48
993
1
原创 分布式调度系统-DolphinScheduler
原文转载地址：头条号IT思维前提数据平台（BP）建设过程中，会涉及大量的数据采集、处理、计算等方面的工作，而且随着需求的增加要承担的任务越来越多。迫切需要一个简单易用、支持可视化管理的调度系统，考虑到要将现有的定时任务从crontab快速迁移到新调度系统，且要易于部署管理，方便扩展，支持HA等要求。调研了多款调度系统如airflow、azkaban、gocron、DolphinSchedul...
2020-09-14 16:01:45
3784
原创 ES创建index报错cluster currently has 4/2 maximum shard
原文链接IT思维前提调试业务服务期间，服务日志需要写入es集群，发现数据写入报错。报错内容如下ElasticsearchDeprecationWarning: In a future major version, this request will fail because this action would add [10] total shards, but this cluster...
2020-09-08 20:59:17
831
原创 k8s集群拉取镜像报错:not exist or may require docker login
前提新启动一个Rancher管理集群，将原有集群作为资源集群加入Rancher管理集群，提升集群稳定性和安全性。集群合并调整期间顺利完成，集群升级完成后，原Rancher集群升级业务服务时发现报错如下：ErrImagePull: rpc error: code = Unknown desc = Error response from daemon: pull access denied for...
2020-05-12 23:04:46
1735
原创 Traefik2.2.0 安装部署详解
转载地址转载原站地址前提：Traefik 2.X.0 现已发布一段时间，版本更新不少新特性,尤其是TCP转发和http转发并存这个亮点，可以解决不少业务问题，节省很多核心网络端口，特裸机部署进行体验。 核心概念Traefik 类似边缘路由器，可以作为整个平台的入口，根据逻辑和规则，处理并路由每个传入的请求。这些规则确定哪些服务处理哪些请求；传统的反向代理需要一个配置文件，其中包含路由到...
2020-04-30 18:14:19
5175
2
原创 容器化时代ab压测工具新用法
转载地址原文地址目标：通过apache ab 工具进行性能简单压测，获取服务性能。ab特点：ab 是针对 HTTP 服务进行性能压力测试的工具，它最初被设计用来测量 Apache 服务器的性能指标，主要用来测试 Apache 服务器每秒能够处理多少请求以及响应时间，但这个命令也可以用来测试通用的 HTTP 服务性能。运行方式：ab -k -n 10000 -c 30 http://d...
2020-04-30 11:56:15
520
原创 KUBERNETES服务健康检查功能梳理
原文转载地址；https://www.itsiv.com/2020/03/30/kubernetes%e6%9c%8d%e5%8a%a1%e5%81%a5%e5%ba%b7%e6%a3%80%e6%9f%a5%e5%8a%9f%e8%83%bd%e6%a2%b3%e7%90%86/简介K8S服务健康检查从两个维度进行，分别为：就绪状态检查(readiness)和存活状态检查(liveness)...
2020-03-30 23:58:03
981
原创 KUBERNETES服务健康检查配置最佳实践
原文转载地址；https://www.itsiv.com/2020/03/30/kubernetes%e6%9c%8d%e5%8a%a1%e5%81%a5%e5%ba%b7%e6%a3%80%e6%9f%a5%e5%8a%9f%e8%83%bd%e6%a2%b3%e7%90%86/简介K8S服务健康检查从两个维度进行，分别为：就绪状态检查(readiness)和存活状态检查(liveness)...
2020-03-30 23:58:03
527
原创 kubectl 创建服务报no matches version extensions/v1beta1
故障现象：执行 kubectl create -f filebeat.yml 报错如下：error: unable to recognize "filebeat.yml": no matches for kind "DaemonSet" in version "extensions/v1beta1"解决办法：将yml配置文件内的api接口修改为 apps/v1 ，导致原因为之间使用的...
2020-02-04 14:17:45
9935
1
原创 traefik使用etcd存储配置--实例演示
traefik 使用etcd 作为后端配置存储配置实例功能测试目的：1：Traefik 作为web服务，使用etd库作为配置统一存储空间，实现traefik服务可以方便的增删节点，解耦traefik服务启动后服务配置的问题。2：Traefik 使用http验证方式申请ssl证书，即每配置一个域名让traefik 帮我们自动申请一个ssl证书.测试步骤如下：1：安装 traefik 1.7...
2020-01-05 20:43:53
1216
原创 Gitlab https拉取代码缓存用户密码配置小记
起因业务服务器安全加固不再允许使用个人私有key配置再服务器，为了配置调试方便使用https方式拉取代码，但是发现每次Git pull 、push 都要输入用户和密码，很不方便，特整理此配置。永久记住密码会在用户家目录的.gitconfig文件中生成下面的配置。如果没有--global，则在当前项目下的.git/config文件中添加。git config --global credent...
2019-12-19 18:18:27
2207
原创 caddy 反代wordpress + ssl证书生成
caddy 反代wordpress + ssl证书生成安装caddy1：升级系统:sudo yum update2：安装 EPEL repository:sudo yum install epel-release3：安装 Caddy:sudo yum install caddy4:文件/usr/bin/caddy -conf /etc/caddy/caddy.conf 添...
2019-12-11 20:13:03
692
原创 traefik 配置自动申请ssl免费证书
什么是 SSL 证书？安全套接字层 (SSL) 证书（有时称为数字证书）用于在浏览器或用户计算机与服务器或网站之间建立加密连接。SSL 连接可保护在每次访问（称为会话）期间交换的敏感数据（例如信用卡信息），以防被非授权方拦截。SSL 连接可保护在每次访问（称为会话）期间交换的敏感数据（例如信用卡信息），以防被非授权方拦截。实现目标：traefik 转发或者提供的域名都能够支持https 请求...
2019-11-28 12:24:07
2617
原创 mongodump 报错:errmsg: "Auth mechanism not specified
mongodump 报错assertion: 2 { ok: 0.0, errmsg: "Auth mechanism not specified", code: 2, codeName: "BadValue", operationTime: Timestamp 1573815888000|1, $clusterTime: { clusterTime: Timestamp 15738158880...
2019-11-16 08:08:54
6285
原创 Docker CMD（命令）和 ARGS(参数)使用整理
Docker CMD（命令）和 ARGS(参数)使用整理总览K8S集群创建Pod时，可以为其下的容器设置启动时要执行的命令及其参数。设置命令，就填写在配置文件的command字段下，如果要设置命令的参数，就填写在配置文件的args字段下。一旦Pod创建完成，该命令及其入参无法再进行更改。配置文件中设置了容器启动时要执行的命令及其参数，那么容器镜像中自带的命令 与参数将会被覆盖而不再执行。如果...
2019-11-09 15:20:12
2830
1
原创 RKE K8S 集群增删节点
rke 删除节点：修改cluster.yal 将需要删除的节点配置删除，然后运行[root@cnvs-kubm-101-103 rke]# more cluster.ymlnodes: - address: 172.20.101.103 user: ptmind role: [controlplane,worker,etcd] - address: 172.20.10...
2019-09-05 15:30:09
1140
原创 Rancher集群启动服务挂载rbd存储报错排查
rook-ceph 集群部署完成后，新建主机发现所有容器节点无法挂载存储空间:Rancher 平台启动容器报错显示：Deployment does not have minimum availability解决办法如下：我rke部署的k8s集群，需要修改rke cluster.yaml 文件，将插件目录到容器内部，添加内容如下： kubelet: extra_args: ...
2019-09-04 15:56:13
623
原创 删除Rancher的空间cattle-system,状态一直是Terminating
故障现象使用Rancher2.0代理了Kubernetes的管理web页面。因未知原因，Rancher服务无法启用，删除Rancher依赖的namespace（cattle-system），状态一直是Terminating。解决办法kubectl patch namespace cattle-system -p '{"metadata":{"finalizers":[]}}' --type=...
2019-09-04 14:55:47
2851
原创 RKE 生产环境kubernetes集群部署
集群介绍master节点：10.20.10.103 name=cnvs-kubm-101-103 role: [controlplane,worker,etcd] user: k8suser10.20.10.104 name=cnvs-kubm-101-104 role: [controlplane,worker,etcd] user: k8suser10.20.10.105 nam...
2019-08-31 16:32:00
1275
原创 rke安装报错 Unsupported Docker version found
### 报错：``` FATA[0004] Unsupported Docker version found [18.03.1-ce], supported versions are [1.13.x 17.03.x 17.06.x 17.09.x 18.06.x 18.09.x 19.03.x] ```### 1:卸载老版本的Docker和其他相关依赖```yum remove do...
2019-08-30 17:25:27
558
原创 nginx tcp 代理 kube api 接口请求报错
前提Rke 完成k8s集群部署，测试各项功能正常后，在为master 添加vip，实现高可用，此时再次请求api接口报错：vip：172.20.101.252master：172.20.101.157, 172.20.101.164, 172.20.101.165报错：Unable to connect to the server: x509: certificate is valid ...
2019-08-30 16:47:32
266
原创 RKE 安装kubernetes报错
执行 rke up 安装集群报错如下：WARN[0000] Failed to set up SSH tunneling for host [172.20.101.167]: Can't retrieve Docker Info: error during connect: Get http://%2Fvar%2Frun%2Fdocker.sock/v1.24/info: Unable ...
2019-08-29 21:55:11
2328
原创 安装Rancher cert-manager报错kube-system forbidden
1：Rancher生成证书服务报错默认情况下，Rancher会生成CA并用于cert-manager颁发证书以访问Rancher服务器界面。因为rancher是默认选项ingress.tls.source，我们ingress.tls.source在运行helm install命令时没有指定。helm install stable/cert-manager \ --name cert-man...
2019-08-26 17:36:36
1398
原创 kubernetes使用flannel网络插件服务状态显示CrashLoopBackOff
使用Kubeadm安装K8s集群，在安装flannel网络插件后，发现pod: kube-flannel-ds 一直是CrashLoopBackOff报错内容如下：log is DEPRECATED and will be removed in a future version. Use logs instead.I0823 03:28:21.342352 1 main.go:5...
2019-08-23 16:37:58
4752
原创 生产环境kubernetes集群安装部署-1.15.3
版本介绍NAME VERSION INTERNAL-IP cnvs-kubm-101-103 v1.15.3 172.20.101.103 OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIMECentOS Linux 7 (Co...
2019-08-23 11:15:29
1076
原创 Kubernetes几个神奇的概念梳理
Kubernetes 功能丰富而强大，学习研究期间有些概念，个人感觉还是有点绕，为了方便理解简单进行梳理，相关核心概念整理如下：K8s控制器Deployment与DaemonSet区别不同点Deployment 部署的副本 Pod 会分布在各个 Node 上，每个 Node 都可能运行好几个副本。DaemonSet 的不同之处在于,每个 Node 上最多只能运行一个副本。kubernete...
2019-08-22 17:32:28
141
原创 kubectl 命令梳理
kubectl 命令梳理Kubctl 命令是操作 kubernetes 集群的最直接的途径，下面对相关命令进行简介：语法$ kubectl [command] [TYPE] [NAME] [flags]command：子命令TYPE：资源类型NAME：资源名称flags：命令参数命令帮助kubectl命令的帮助很详细，kubectl -h会列出所有的子命令，在任何子命令后跟 -...
2019-08-19 18:54:48
348
原创 kubernetes集群发布 Pod 端口
kubernetes集群发布Pod 端口创建测试环境vi nginx.yamlapiVersion: apps/v1kind: Deploymentmetadata: name: my-nginxspec: selector: matchLabels: run: my-nginx replicas: 2 template: metadata...
2019-08-19 18:01:01
1532
原创 K8s之traefik（ingess）发布服务-实战
K8s之traefik（ingess）发布服务实战上篇描述了基于k8s集群安装部署traefik作为ingress服务，简单演示了一下发布服务，本篇将细节讲述如果结合traefik发布业务服务。安装部署参考：https://blog.51cto.com/michaelkang/2429929版本介绍traefik：v1.7k8s：v1.15.1快速部署traefik如果你的k8s集...
2019-08-16 18:53:52
323
原创 kubernetes 暴露服务端口的几种方式
kubernetes 暴露服务端口的几种方式如果希望将 Service 暴露在一个外部IP地址上。 Kubernetes 支持4种实现方式，详细如下：1：集群内部实现访问：ClusteripClusterip是集群内部的私有ip，在集群内部访问服务非常方便，也是kuberentes集群默认的方式，直接通过service的Clusterip访问,也可以直接通过ServiceName访问。集群外...
2019-08-15 21:38:43
16437
ceph集群(centos7)安装配置文档201510
2015-09-28
OpenStack 部署运维实战
2015-02-06
ceph安装部署（centos6.6）
2015-02-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人