- 博客(159)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Linux 限制SFTP用户只能访问某个目录
需求：其他机器需要向我方服务器传数据，要求只能看我方指定目录新建用户并设置密码groupadd boss_useruseradd -d /data/boss_user -g boss_user boss_userpasswd boss_user设置sshd配置文件cd /etc/ssh/cp sshd_config sshd_config.back // 备份vi sshd_config#下面这行需要注释、否则会报错# Subsystem
2022-04-13 17:43:13
3385
1
原创 报错：failed to execute /bin/bash: Resource temporarily unavailable
记生产的一次报错：问题：[yx_kangxueqiang@hadoop132 ~]$ su - dop Password: Last login: Wed Jan 19 15:51:58 CST 2022 on pts/6su: failed to execute /bin/bash: Resource temporarily unavailable解决问题：编辑文件/etc/security/limits.d/20-nproc.conf vim /etc/security/limi
2022-01-19 18:38:10
1364
原创 升级grafana
一、问题：Grafana报错：Panel plugin not found: table-old原因 grafana版本低：二、解决方法：如图中报错版本为：grafana-5.3.4-1升级grafana版本为：grafana-7.5.4-1下载地址：https://wget.52liangzy.top/prom/grafana-7.5.4-1.x86_64.rpmwget https://wget.52liangzy.top/prom/grafana-7.5.4-1.x86_64.rpm
2021-11-26 17:15:03
2067
原创 Ambari集成Kerberos
搭建ambari请参考我的上一篇博客：centos7安装Ambari 2.7.5 + HDP3.1.5Kerberos搭建环境：首先时间一定要同步。节点server：hadoop101client：hadoop102 hadoop103搭建Kerberos Serverkdc服务器包含三个配置文件：# 集群上所有节点都有这个文件而且内容同步/etc/krb5.conf# 主服务器上的kdc配置/var/kerberos/krb5kdc/kdc.conf# 能够不直接访问 KDC
2021-11-12 14:18:50
3409
1
原创 centos7安装Ambari 2.7.5 + HDP3.1.5
准备1.安装包准备：Ambari2.7.5、HDP31.5、libtirpc-devel:centos7操作系统：链接：https://pan.baidu.com/s/1vzvio5rAMsbYF0-0vBs5dw提取码：xij9
2021-11-11 00:29:06
4183
原创 centos-network起不来
Centos7开机之后连不上网ens33mtu 1500 qdisc noop state DOWN group default qlen 1000运行 ip addr,发现ens33的网卡没有启动解决步骤：systemctl stop NetworkManagersystemctl disable NetworkManagersystemctl restart network.service...
2021-11-10 14:04:43
744
原创 Linux安装逻辑卷
参考https://blog.csdn.net/wangkai_123456/article/details/79132437创建分区 fdisk /dev/xvde 输入m并回车 输入n并回车，n是“new”新建分区的意思 输入p并回车 输入数字1并回车 采用默认值一直回车会将整个1.2T 都分给/dev/xvde 输入w "write"并回车，意思是对刚才的结果进行保存 ## 挂载分区 # 创建物理卷会报错：导致问题的原因是添加的磁盘是在另一个虚拟机中新建的，已经有了分区表
2021-11-02 00:13:13
317
原创 创建逻辑卷报错
在虚拟机中添加SCSI格式的磁盘做PV时出现如下报错：root@host1:~# pvcreate /dev/sdb Device /dev/sdb excluded by a filter.导致问题的原因是添加的磁盘是在另一个虚拟机中新建的，已经有了分区表，现在的虚拟机并不能识别磁盘的分区表，运行parted命令重做分区表，中途需要输入三次命令。root@host1:~# parted /dev/sdbGNU Parted 3.2Using /dev/sdbWelcome to GNU P
2021-11-01 18:42:30
568
原创 zookeeper集成Kerberos
一、搭建zookeeper集群将zookeeper-3.4.14文件上传到/bigdata/目录下，cd /bigdata/zookeeper-3.4.14/conf1.1修改zoo.cfg配置文件：mv zoo_sample.cfg zoo.cfgvim zoo.cfg配置如下：tickTime=2000initLimit=10syncLimit=5clientPort=2181dataDir=/bigdata/zookeeper-3.4.14/datadataLogDir=
2021-10-29 16:00:57
1386
原创 Linux-xsync分发脚本
xsync 集群分发脚本（1）需求：循环复制文件到所有节点的相同目录下（2）需求分析：（a）rsync 命令原始拷贝：rsync -av /opt/module atguigu@hadoop103:/opt/（b）期望脚本：xsync 要同步的文件名称（c）期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）[atguigu@hadoop102 ~]$ echo $PATH/usr/local/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/ho
2021-10-28 14:55:22
504
原创 离线非root用户安装linux依赖
我们可以通过 yum 命令的 Yumdownloader 插件下载 RPM 软件包及其所有依赖包。安装yum-utilsyum install yum-utils可以通过–destdir 来指定位置，软件包和依赖的软件将被下载到此目录命令格式：yumdownloader --resolve(可选，意为下依赖包) --destdir=软件存放位置 (可选) +软件包名将文件传到需要安装的服务器上并安装： rpm2cpio mysql-community-common-5.6.28-2.el7
2021-09-01 18:51:30
362
原创 大数据-hadoop使用1
一、启动集群1.第一次启动，以后就不用了hdfs namenode -format需要在 hadoop102 节点格式化 NameNode（注意：格式化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode 的话，一定要先停止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式化。2.启动hdfs[kxq
2021-05-10 23:23:54
165
原创 zabbix测试
常用的监控命令1.测试内存压力首先要关闭swapswapoff -a查看内存变化watch free -m请求测试 ab -n(请求数量) -c(一次并发请求的数量)ab -n 300000 -c 1000 http://192.168.0.180/zabbix/zabbix.php如果使用内存过大会导致其他服务崩溃，查看服务有没有服务崩溃：netstat -nplt cat /var/log/message2.centos安装htopyum install epel-r
2021-03-21 23:31:43
549
原创 canal-数据转存kafka
参考网址: https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart1.创建zookeeper:docker run -d --name zookeeper -p 2181:2181 -t wurstmeister/zookeeper2.创建kafka:docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e KAFKA_ZOOKEEPER_CO
2021-01-21 18:15:55
334
原创 docker搭建sonar
1.搭建postgresql数据库docker run -d -p 5432:5432 --name postgresql -e POSTGRES_USER=sonar -e POSTGRES_PASSWORD=sonar postgres2.搭建sonar镜像：重新构建sonar镜像,下载汉化包,Dockerfile如下(也可以添加其他插件):下载汉化包地址：https://github.com/xuhuisheng/sonar-l10n-zh/releasesFROM sonarqubeA
2021-01-07 18:48:06
523
原创 Linux安装vue
1.下载软件：https://code.visualstudio.com/Download2.插件安装vetur、ESLint3.安装node.js下载地址https://nodejs.org/en/download/tar xf node-v14.15.3-linux-x64.tar.xzmv node-v14.15.3-linux-x64 ~/node设置连接xqkang@xqkang:/usr/local/bin$ sudo ln -s /home/xqkang/node/b
2021-01-01 19:11:45
664
原创 k8s-calico网络策略
一、安装因为Kubernetes官方用的flannel无法实现多租户环境下的网络隔离，建立起来的pod之间实际可以相互访问，而Calico可以实现。所以我们安装的是使用flannel作为通信网络，calico作为网络策略。官网安装地址：https://docs.projectcalico.org/getting-started/kubernetes/flannel/flannel#installing-with-the-kubernetes-api-datastore-recommendedk8s访问
2020-12-25 17:15:41
806
原创 k8s-flannel
k8s网络通讯：（1）容器间通信：同一个Pod内的多个容器间的通信，lo（2）Pod通信：Pod IP <–> Pod IP（3）Pod与service通信：PodIP <–> ClusterIP（4）Service与集群外部客户端的通信；CNICNI（Container Network Interface）是CNCF 旗下的一个项目，由一组用于配置Linux 容器的网络接口的规范和库组成，同时还包含了一些插件k8s的CNI：flannel（网络地址分配，网络管理，但
2020-12-23 17:00:28
417
原创 k8s-RBAC
一、认证1.进入到证书目录cd /etc/kubernetes/pki/2.创建kxq用户的私钥(umask 077; openssl genrsa -out kxq.key 2048 )3.创建kxq用户的证书openssl req -new -key kxq.key -out kxq.csr -subj "/CN=kxq"4.利用ca.crt，ca.key进行签证[root@master pki]# openssl x509 -req -in kxq.csr -CA ./ca.cr
2020-12-22 09:42:24
532
1
原创 k8s-helm-v3版本使用
一、Helm介绍Helm是一个Kubernetes的包管理工具，就像Linux下的包管理器，如yum/apt等，可以很方便的将之前打包好的yaml文件部署到kubernetes上。Helm有3个重要概念：（1）helm：一个命令行客户端工具，主要用于Kubernetes应用chart的创建、打包、发布和管理。（2）Chart：应用描述，一系列用于描述k8s资源相关文件的集合。（3）Release：基于Chart的部署实体，一个chart被Helm运行后将会生成对应的一个release；将在k8s中
2020-12-19 17:01:00
1184
1
原创 k8s-安装dashboard
前提：又有一个k8s集群安装：1.到github获取配置文件github下面给出方法说使用下面的直接执行就可以了，原来我安装的时候确实可以，但是最近不知道为何找不到地址。kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.5/aio/deploy/recommended.yaml上面很明显给出了地址aio/deploy/recommended.yaml所以我们找到配置文件：https://g
2020-12-12 11:42:38
4027
4
原创 centos6.10安装scikit-image imutils opencv-python
一、安装Python1.安装Python3去官网下载相应的版本https://www.python.org/ftp/python/wget https://www.python.org/ftp/python/3.5.1/Python-3.5.1.tar.xzxz -d Python-3.5.1.tar.xz // 将xz文件解压tar -xf Python-3.5.1.tarcd /home/work/webserver_src/tar -xf Python-3.6.8.tgzcd Py
2020-12-10 18:19:24
190
2
原创 es-花式查询
es-花式查询一.复杂操作搜索select（排序、分页、高亮、模糊查询、精准查询！）1.json格式查询2.结果的过滤：只搜索name和age3.sort排序4.分页查询5.布尔值查询6.fillter过滤二、关于分词三、高亮查询一.复杂操作搜索select（排序、分页、高亮、模糊查询、精准查询！）1.json格式查询GET test2/user/_search{ "query": { "match": { "name": "亢学强" } }}我又添加了
2020-12-08 14:43:40
211
原创 es-使用
es-使用一、使用的软件：1.谷歌的elasticsearch-head的插件：2.手动搭建elasticsearch-head:3.使用kibana4.也可以在命令行直接进行操作二、Rest风格说明基础测试：2.es类型：3.指定字段的类型4.获取数据库的信息5.默认类型"_doc"6.获取健康值：7.获取索引状况：8.修改9.删除DELETE一、使用的软件：1.谷歌的elasticsearch-head的插件：2.手动搭建elasticsearch-head:参考我的博客：https://bl
2020-12-07 20:10:24
179
原创 es-ik分词器插件
es添加ik分词器插件官网：https://github.com/medcl/elasticsearch-analysis-ik(注意不要下载源代码)安装：sudo mkdir -p /qj/es/plugins/iksudo mv elasticsearch-analysis-ik-7.10.0.zip /qj/es/plugins/ik/sudo unzip elasticsearch-analysis-ik-7.10.0.zipsudo rm -rf /qj/es/plugins/i
2020-12-07 18:23:49
278
原创 es-kibana-搭建
1.es搭建es docker搭建官网：https://www.elastic.co/guide/en/kibana/7.10/docker.html准备映射重要目录：sudo mkdir -p /qj/es/docker run -d --name es -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.10.0cd /qj/es/
2020-12-07 17:17:31
182
原创 k8s-Authorization鉴权
所谓鉴权就是创建用后，将k8s的权限按照需求将权限分配给该用户。1.创建用户和密码adduser userdevpasswd userdev2.创建证书：mkdir -p /usr/local/install-k8s/cert/userdevvim /usr/local/install-k8s/cert/userdev/userdev-csr.json{ "CN": "userdev", "hosts": [], "key": { "algo": "rsa",
2020-12-05 09:50:09
2693
原创 k8s-调度亲和性
节点亲和性pod.spec.nodeAffinitypreferredDuringSchedulingIgnoredDuringExecution：软策略requiredDuringSchedulingIgnoredDuringExecution：硬策略requiredDuringSchedulingIgnoredDuringExecution(硬亲和)例子：节点强制不在node2上调度[root@master scheduler]# cat node-affinity.ymlapiVe
2020-12-03 11:31:17
929
原创 k8s-污点和容忍度
Taint 和 Toleration节点亲和性，是pod的一种属性（偏好或硬性要求），它使pod被吸引到一类特定的节点。Taint 则相反，它使节点能够排斥一类特定的 podTaint 和 toleration 相互配合，可以用来避免 pod 被分配到不合适的节点上。每个节点上都可以应用一个或多个taint ，这表示对于那些不能容忍这些 taint 的 pod，是不会被该节点接受的。如果将 toleration 应用于 pod上，则表示这些 pod 可以（但不要求）被调度到具有匹配 taint 的节点上
2020-12-02 20:15:46
2802
2
原创 k8s-指定调度节点
Pod.spec.nodeName将 Pod 直接调度到指定的 Node 节点上，会跳过 Scheduler 的调度策略，该匹配规则是强制匹配我的节点：[root@master scheduler]# kubectl get nodeNAME STATUS ROLES AGE VERSIONmaster Ready master 29h v1.19.4node1 Ready worker 29h v1.19.4node2 Re.
2020-12-02 15:56:55
7060
原创 k8s-调度说明
简介Scheduler 是 kubernetes 的调度器，主要的任务是把定义的 pod 分配到集群的节点上。听起来非常简单，但有很多要考虑的问题：公平：如何保证每个节点都能被分配资源资源高效利用：集群所有资源最大化被使用效率：调度的性能要好，能够尽快地对大批量的 pod完成调度工作灵活：允许用户根据自己的需求控制调度的逻辑Sheduler 是作为单独的程序运行的，启动之后会一直坚挺 API Server，获取PodSpec.NodeName为空的 pod，对每个 pod 都会创建一个 bi
2020-12-02 15:16:52
377
原创 k8s-报错集锦
故障排查：1.官网https://kubernetes.io/zh/docs/setup/production-environment/tools/kubeadm/troubleshooting-kubeadm/2.https://www.cnblogs.com/jinanxiaolaohu/p/10682455.htmlUnable to connect to the server: x509: certificate signed by unknown authority (possibly b
2020-12-01 14:32:00
271
1
原创 k8s-节点打标签
node标签设置后，pod可以根据要求让pod调度到想要的节点上运行，或者不在某节点运行。或者确保pod调度到具有高性能（比如ssd的机器）的节点山上。1.展示节点标签：kubectl get node --show-labels=true2.添加节点标签kubectl label work node1 node=node1kubectl label nodes node2 node=node23.把pod调度到指定标签启动一个deployment副本数为2,让pod调度到node
2020-11-26 16:09:20
13689
原创 php安装kafka扩展
1.安装librdkafka$ cd /home/work/webserver_src$ git clone https://github.com/edenhill/librdkafka.git$ cp -r librdkafka ../webserver/$ cd ../webserver/librdkafka$ ./configure$ make && make install2.安装rdkafka$ cd /home/work/webserver_src$ git
2020-11-24 16:33:34
173
原创 Docker-nexus私服搭建与使用
官网：https://hub.docker.com/r/sonatype/nexus3一、搭建私服1.1 搭建nexus容器1.1.1 创建持久化目录sudo mkdir -p /qj/nexus/nexus-data1.1.2 授权sudo chown -R 200 /qj/nexus/nexus-data1.1.3 docker搭建nexus服务docker run -d --name nexus -p 8081:8081 -v /qj/nexus/nexus-data:/nexus
2020-11-20 19:41:29
429
原创 mysql数据库------索引（2）
一、索引的分类：MySQL索引的五种类型：主键索引、唯一索引、普通索引和全文索引、组合索引。通过添加索引可以提高数据的读取数据，提高项目的并发能力和抗压能力。主键索引：主键是一种唯一性索引，但它必须指定为PRIMARY KEY，每个表只能有一个主键。唯一索引：索引列的所有值都只能出现一次，即必须唯一，只可以为空。普通索引：基本的索引类型，只可以为空，没有唯一性限制。全文索引:全文索引的索引类型为FULLTEXT。全文索引可以在varchar、char、text类型的列上创建
2020-11-16 17:17:02
57
原创 mysql数据库------索引（1）
一、什么是索引索引是帮助MySQL高效获取数据的排序好的数据结构1.1 索引数据结构：二叉树红黑树 ：又叫二叉平衡树hash表 ：B-Tree ：分为B-Tree和B+Tree（多叉平衡树）例如没有索引的时候，select * from table where col2=89 ,查询这条语句会扫描前面的1-6才能找到数据89，这是数据少，当数据多的时候就会相当耗费资源。有了索引就会按照索引对应的数据结构使用的方法快速找到数据89.测试这四种数据结构的网站：https://www.cs
2020-11-08 17:28:26
101
原创 深入解析MySQL视图VIEW
Q：什么是视图？视图是干什么用的？A：视图（view）是一种虚拟存在的表，是一个逻辑表，本身并不包含数据。作为一个select语句保存在数据字典中的。通过视图，可以展现基表的部分数据；视图数据来自定义视图的查询中使用的表，使用视图动态生成。基表：用来创建视图的表叫做基表base tableQ：为什么要使用视图？A：因为视图的诸多优点，如下1）简单：使用视图的用户完全不需要关心后面对应的表的结构、关联条件和筛选条件，对用户来说已经是过滤好的复合条件的结果集。2）安全：使用视图的用户只能访问他们
2020-11-07 16:44:57
395
Kubernetes知识点总结.pptx
2020-05-05
幸运观众抽奖程序（HTML5，css，js）
2018-02-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人