- 博客(17)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 hadoop safemodeget|grep‘SafemodeisOFF‘‘returned1.问题
ameNode处于安全模式介绍：为什么NameNode会处于安全模式？1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。2、HDFS集群即使启动正常，启动只会依旧会进入安全模式一段时间，这时你不需要理会他，稍等片刻即可。3、集群升级维护时手动进入安全模式吗，命令如下hadoop dfsadmin -safemode enter退出安全模式：hadoop dfsadmin -safemode l
2020-07-03 10:26:13
2596
原创 linux设置java jar包开机启动
1、在任意位置创建serverStart.shvi serverStart.sh2、编写脚本内容# !/bin/bash# program# file preview server starexport JAVA_HOME=/home/qyyx/tools/jdk1.8.0_121export JRE=$JAVA_HOME/jreexport CLASSPATH=$JAV...
2019-12-19 15:59:15
1901
原创 docker在线安装及常用命令
1.更新软件包 (可以不更新)# sudo yum update2.安装需要的软件包， yum-util 提供yum-config-manager功能，另外两个是devicemapper驱动依赖的sudo yum install -y yum-utils device-mapper-persistent-data lvm2 lrzsz3.设置yum源sudo yum-config-m...
2019-12-11 15:10:35
192
原创 docker离线安装（二进制方式）
一、安装1.1、下载包在https://download.docker.com/linux/static/stable/x86_64界面下载一个docker tar包例如docker-19.03.4.tgz1.2、解压包tar -xzvf docker-19.03.4.tgz1.3、把解压出来的复制到/user/bin目录下sudo cp docker/* /u...
2019-10-23 11:23:13
1096
原创 ES7集群安装、配置、卸载
下载地址：https://www.elastic.co/cn/downloads/past-releases#elasticsearch安装：rpm -ivh elasticsearch-7.3.2-x86_64.rpmvi /etc/security/limits.conf* soft nofile 65536* hard nofile 65536* soft nproc...
2019-09-27 17:09:04
5667
原创 Ambari2.7.3 Hortonworks3 HDP(hadoop3.1.0集群安装)
目录一、目的：二、版本选择：三、hortonworks简介四、准备工作：4.1、Ambari、HDP版本介绍4.2、工具包下载：4.3、服务器防火墙关闭4.3.1、关闭掉linux防火墙（所有机器）4.4、修改主机名及机器隐射（hosts）4.4.1、通过vi /etc/hostname 进行修改4.4.2、修改/etc/hosts文件（所有机器）4...
2019-06-27 15:42:31
16960
2
原创 linux centos7 rabitMq安装
一：安装wgetyum install -y wgetyum -y install socat二：安装erlang下载：wget http://www.rabbitmq.com/releases/erlang/erlang-19.0.4-1.el7.centos.x86_64.rpm安装：rpm -ivh erlang-19.0.4-1.el7.centos.x86_64.rp...
2018-11-20 09:30:38
422
1
原创 kafka常用命令
以下是kafka常用命令行总结：1、查看有哪些主题：./kafka-topics.sh --list --zookeeper 192.168.0.201:121812、查看topic的详细信息./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ13、为topic增加副本./kafka-r...
2018-11-08 20:45:23
234
转载 kafka集群
Kafka【第一篇】Kafka集群搭建Kafka初识1、Kafka使用背景在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题：我们想分析下用户行为（pageviews），以便我们设计出更好的广告位我想对用户的搜索关键词进行统计，分析出当前的流行趋势有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点：数据是由上游模块产生，上游模块，使用上游模块的数据计算、...
2018-05-08 16:02:32
198
转载 转载:Redis和MySQL的结合方案
方案由从易到难的顺序，但无论哪种方法，都需要保证的是Reids和MySQL的数据一致性。方案一：程序同时写Redis和MySQL读Redis方案二：程序写MySQL， 使用Gearman调用MySQL的UDF，完成对Redis的写读Redis参考 《利用Gearman进行Mysql到Redis的复制》方案三：程序写MySQL， 解析binlog，数据放入队列写Redis读Redis参考 《利用Ca...
2018-03-19 17:03:42
512
转载 转载：redis架构选择及高可用
1、单机redis在海量数据面前的瓶颈单机redis在海量数据面前的瓶颈 2、怎么才能够突破单机瓶颈，让redis支撑海量数据？redis如何通过master横向扩容支撑1T+数据量 3、redis的集群架构redis cluster支撑N个r...
2018-03-19 16:54:25
525
转载 转载：Redis与Mysql数据同步解决方案整理
最近在做一个Redis数据同步到数据库MySQL的功能。自己想了想，也有大概方案。1.队列同步，变跟数据2份，使用消息队列，一份给Redis消费，一份给Mysql消费。2.后台定时任务，定时刷新Redis中信息到数据库。网上也到处找了下解决方案方案一：读: 读redis->没有，读mysql->把mysql数据写回redis写: 写mysql->成功，写redis。就是读的话，先...
2018-03-19 16:30:30
854
原创 IO异常 Too many open files linux处理
这是因为linux限制了打开文件的最大句柄数量。linux默认的打开文件数量是1024，我们可以用ulimit -a 来查看系统资源，例如：也可以通过ulimit -n 查看通过ulimit -n 65535 可以临时设置。 永久的设置的话需要修改配置文件： 通过VI打开 vi /etc/security/limits.conf，在“# End of file”...
2018-03-14 14:56:24
283
原创 redis3.2.1集群介绍及在Linux操作系统上安装
一、redis集群介绍点击打开链接Redis3.0版本之后支持Cluster.二、redis集群安装准备工作： 1. 安装两台虚拟机，模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。 2. 虚拟机安装参考：http://blog.csdn.net/z3225167/article/details/79537280 3. 两台虚拟机都是 C...
2018-03-13 17:21:18
469
原创 Solr单机版简介和安装以及Spring boot集成使用
目录 一、简单介绍solr 二、solr安装 三、分析器安装 四、全量导入、增量导入 五、java 集成客户端 六、docker部署。一：Solr简介 1、Solr它是一种开放源码的、基于 Lucene Java（lucene是一个做搜索用的类库，是一套信息检索工具包。 nutch和solr都是基于lucene的） 的搜索服务器，易于加入到 Web 应用程...
2018-03-13 11:29:53
1003
1
原创 VMware JAVA虚拟机安装
一：安装好VMware二：准备好linux centos7镜像文件 2.1.新建虚拟机 位置可以选择你需要 安装到的 磁盘，之后都可以直接下一步了。三：网络配置3.编辑虚拟机网络(NAT模式)3.1 虚拟机编辑网络设置V8 192.168.230.03.2 虚拟机编辑网络设置NAT 网关IP 192.168.230.23.3 关闭windows防火墙 关闭linux防火墙 sudo sy...
2018-03-13 10:54:26
5462
急求解决 IOS推送 javapns2.2
2015-07-15
TA创建的收藏夹 TA关注的收藏夹
TA关注的人