1 灵鹿先生

尚未进行身份认证

暂无相关简介

等级
TA的排名 13w+

MapReduce Terasort算法分析

1.概述1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业,在2008年,Hadoop在1TB排序基准评估中赢得第一名,耗时209秒。那么Terasort在Hadoop中是怎样实现的呢?本文主要从算法设计角度分析Terasort作业。2.算法思想实际上,当我们要把传统的串行排序算法设计成并行的排序算法时,通常会想到分而治之的策略,即:把要...

2019-07-12 16:01:37

zookeeper 安装(单机)

环境如下linux版本:CentOS 7.5.1804jdk版本:jdk1.8.0_201zookeeper版本:zookeeper-3.4.5-cdh5.10.0.tar.gz一、JDKZooKeeper服务器是用Java编写创建,它运行在JVM。所以需要使用JDK 6或更高版本。安装请参考文章 JDK1.8安装二、Zookeeper安装Hive我选用了hive-1.1.0-c...

2019-04-29 10:32:51

centos7 Hive1.1.0 安装

环境如下linux版本:CentOS7.5.1804jdk版本:jdk1.8.0_201hadoop版本:hadoop-2.6.0-cdh5.10.0hive版本:hive-1.1.0-cdh5.10.0一、JDK请参考文章JDK1.8安装二、安装Hadoop请参考文章安装hadoop2.6.0(伪分布式)三、Mysql安装   &...

2019-04-26 14:39:38

在Centos 7上的安装与配置Elasticsearch

一、安装java环境yum安装使用yum方式安装,前提是必须有网络yum install java-1.8.0-openjdk请使用JDK1.8及以上版本,最新的es 是需要对应的支持的压缩包安装下载安装完成,查看java版本[root@localhost ~]# java -version openjdk version "1.8.0_151" OpenJD...

2019-04-25 15:54:59

JDK1.8安装

jdk我选用的是oracle最新1.8的x64版本一、下载下载地址直接去官方下载就行官方地址:https://www.oracle.com/technetwork/java/javase/downloads/java-archive-javase8-2177648.html或是直接点击此链接进行下载JDK1.8.0_201下载后将压缩包上传到服务器的制定路径(如果不清楚如何操作的可...

2019-04-25 15:52:42

通过 Xshell 上传文件到服务器 rzsz

在日常的操作中,我们经常需要将我们本地的文件上传到服务器中。我们可以通过文件上传工具进行上传,这样的工具目前市面上有很多种,但我更推荐使用的是Xshell或是Xftp。很好用。这两个软件是收费的,但你可以在官网上申请免费的版本进行使用。申请地址:https://www.netsarang.com/zh/free-for-home-school/下载完成直接安装就行,一直下一步就可以安装使用...

2019-04-25 15:46:23

安装hadoop2.6.0(伪分布式)

环境如下linux版本:CentOS 7.5.1804jdk版本:jdk1.8.0_201hadoop版本:hadoop-2.6.0-cdh5.10.0一、JDKjdk我选用的是 oracle 最新1.8的x64版本下载地址直接去官方下载就行官方地址:https://www.oracle.com/technetwork/java/javase/downloads/java-archi...

2019-04-25 15:24:17

用户定义的网桥与默认网桥之间的差异

用户定义的网桥与默认网桥之间的差异用户定义的桥接器可在容器化应用程序之间提供更好的隔离和互操作性。       连接到同一用户定义的网桥的容器会自动将所有端口相互暴露,并且不会向外界显示任何端口。这使得容器化应用程序可以轻松地相互通信,而不会意外地打开对外界的访问。       想象一下具有Web前端和数据库后...

2019-04-09 11:47:23

Mycat部署(单库分表)

    系统开发中,数据库是非常重要的一个点。除了程序的本身的优化,如:SQL语句优化、代码优化,数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件,已经在很多产品上进行使用了。其前身是阿里大名鼎鼎的Cobar,Cobar在开源了一段时间后,不了了之。于是MyCAT扛...

2019-03-21 14:21:43

Centos7 安装LAMP(Apache2.4 mysql5.7 php5.4)

一、Apache安装: yum install -y httpd启动服务:systemctl start httpd.service查看服务运行状态:systemctl status httpd.service服务查看:chkconfig --list设置开机自动启动:systemctl enable httpd.service端口查看: netstat -ntlp测试Apache...

2019-01-12 16:32:28

Centos7 Yum安装 MySQL 5.7

一、CentOS7安装MySQL5.7下载YUM库wgethttp://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm安装YUM库yumlocalinstall-ymysql57-community-release-el7-7.noarch.rpm安装数据库yuminstall-ymysql...

2019-01-12 16:29:35

js生成csv文件用excel打开出现中文乱码问题的解决

var content = "问题, 回答"; // utf-8保存的csv格式文件要让Excel正常打开的话,必须加入在文件最前面加入 \uFEFF。 var csv = "\uFEFF" + content; //定义文件内容,类型必须为Blob 否则createObjectURL会报错 le...

2018-12-01 17:41:55

为MongoDB设置密码

这篇文章的前提是,已经安装完成了MongoDB数据库,如果还没有,可参看 在Centos7中通过yum安装MongoDB一、添加管理员账号密码打开MongoDB的客户端,我使用的IP和端口是默认的,你应该改为你们自己设置的mongo 127.0.0.1:27017在数据库客户端中进行操作( admin库为系统库 )> use adminswitched to db admin...

2018-11-24 10:39:28

在Centos7中通过yum安装MongoDB

一、版本选择Centos7.5 64位MongoDB 3.4版本二、添加yum源vi /etc/yum.repos.d/mongodb-org-3.4.repo写入以下内容[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb...

2018-11-24 09:45:38

Git全局配置和单个仓库的用户名邮箱配置

Git全局配置仓库的用户名&邮箱配置用户名git config --global user.name "yourUserName"配置邮箱git config --global user.email "github@xx.com"Git配置单个仓库的用户名&邮箱如果你不进行配置用户名和邮箱的话, 则会使用全局的配置用户名git config user.nam...

2018-11-24 09:26:11

npm install 报错(npm ERR! errno -4048,Error: EPERM: operation not permitted,)解决方法

npm install 报错(npm ERR! errno -4048,Error: EPERM: operation not permitted,)解决方法网上有说是权限问题,可我排查后发现并不是,于是考虑是不是缓存的问题,最后发现还就是缓存问题。解决办法:控制台输入 npm cache clean --force 清理本地缓存成功青冥有晓月...

2018-11-24 09:12:48

kubernetes创建yaml,pod服务一直处于 ContainerCreating状态

kubernetes创建yaml,pod服务一直处于 ContainerCreating状态的原因查找与解决通过yaml 成功创建了 pod ,但是运行状态一直显示为 ContainerCreating 而不是 Running[root@localhost k8s_work]# kubectl get podsNAME READY STATUS ...

2018-11-07 15:08:34

kubenetes创建RC时无法自动创建pod的问题

kubenetes创建RC时无法自动创建pod的问题在编写完成yaml文件后,正常执行 kubectl create -f mysql-rc.yaml[root@localhost k8s_work]# kubectl create -f mysql-rc.yaml replicationcontroller "mysql" created显示没有问题,但kubectl get pod ...

2018-11-07 14:57:14

Spring 注解总结

简单的对spring MVC中使用注解进行总结,数量很少,只有一些常用的,以供简单查阅。 如果要系统学习,还是建议去找个专门的教程。@Document@Document把一个java类声明为mongodb的文档,可以通过collection参数指定这个类对应的文档。 @Document(collection="collection_name") collection_name为数据...

2018-06-30 15:23:57

centos7 docker容器报 Failed to get D-Bus connection 错误

在官方的centos7的docker容器里面不能用service启动服务[root@5e9c0d13330f /]# service nginx startbash: service: command not found使用 systemctl 又开始报错[root@ab2ceae04ce8 /]# systemctl start nginxFailed to get D-...

2018-06-22 11:05:18

查看更多

勋章 我的勋章
  • 领英
    领英
    绑定领英第三方账户获取
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。