genus_yang的博客

原创 elasticsearch6.6.1集群安装

haodoop集群elasticsearch6.6.1安装安装步骤安装依赖解压es压缩包修改配置文件elasticsearch.yml复制es安装包到其他节点elasticsearch.yml配置limits.conf配置sysctl.conf配置配置环境变量启动elasticsearches启动验证相关问题及解决安装步骤ElasticSearch是一个基于Lucene的搜索服务器。它提供了一...

原创 livy0.5.0安装

livy0.5.0安装安装步骤解压livy压缩包复制所有模板配置livy-env.sh配置livy.conf手动创建logs目录配置环境变量启动livy判定是否安装成功安装步骤livy是一个基于Spark的开源REST服务，它能够通过REST的方式将代码片段或是序列化的二进制代码提交到Spark集群中去执行。livy的安装起因是因为griffin质量分析组件的依赖，故有此文。解压livy压缩...

原创 griffin0.4.0安装

griffin0.4.0安装安装步骤安装依赖解压griffin压缩包在mysql中建立griffin用户griffin依赖表创建Hadoop和HiveLivy配置Elasticsearch配置安装步骤Apache Griffin是大数据的开源数据质量解决方案，支持批处理和流模式。它提供了一个统一的流程，可以从不同角度衡量您的数据质量，帮助您构建可信赖的数据资产，从而提高您对业务的信心。安装依...

原创 spark2.4.0安装

spark2.4.0安装安装步骤scala解压复制到所有节点spark解压配置环境变量spark-env.sh文件配置slaves文件配置spark目录文件同步到其他节点启动spark验证spark是否成功安装步骤本文是spark2.4.0基于scala2.10.6的spark安装！spark下载链接：http://mirrors.shu.edu.cn/apache/scala下载链接：h...

原创 zookeeper3.4.13安装

zookeeper安装安装步骤解压安装包创建data和logs目录新建zoo.cfg复制zookeeper主目录到其余两节点设置myid三节点启动zookeeper查看三节点状态安装步骤本文是针对Zookeeper3.4.13的3节点hadoop集群安装!注意：必须把zookeeper安装在奇数个节点上，具体原因自行百度！下载链接：http://mirrors.shu.edu.cn/apa...

原创 hive3.1.1.安装

原创 linux mysql yum安装

链接地址：http://central.maven.org/maven2/mysql/mysql-connector-java/Connector/J版本和mysql对应关系链接地址https://www.cnblogs.com/peijie-tech/articles/4446011.htmlConnnector/J versionDriver TypeJDBC version...

原创 hadoop3.2.0集群安装

hadoop2.6.5集群安装集群安装步骤配置IP配置hostname配置hosts(IP和主机名映射)关闭防火墙和selinux修改swappiness参数并禁用透明大页面压缩配置ssh无密钥证书配置时间同步安装JDK集群安装步骤本篇文章是基于centos6.5系统的hadoop2.6.5安装，其他linux系统的其他hadoop版本也同样适用！hadoop集群有1个Master节点，2个...

转载 python中使用xlrd、xlwt操作excel表格详解

最近遇到一个情景，就是定期生成并发送服务器使用情况报表，按照不同维度统计，涉及python对excel的操作，上网搜罗了一番，大多大同小异，而且不太能满足需求，不过经过一番对源码的”研究”（用此一词让我觉得颇有成就感）之后，基本解决了日常所需。主要记录使用过程的常见问题及解决。 python操作excel主要用到xlrd和xlwt这两个库，即xlrd是读excel，xlwt是写excel的库。可从

原创 VBA简单基础

VBA基本概念 1 Dim I as integer Dim:定义 I:变量 Integer:变量类型 基本形式：dim 变量 as 变量类型 赋值：变量 = value 2 进入某一个excel：Windows(“excel全名（包括后缀）”).Activate 3 进入某一个sheet：Sheets(“sheet名”).Select 4 选中某一个单元格: Range(