3 johnmay--Blog

尚未进行身份认证

为明天会更好而努力...

等级
博文 73
排名 4w+

分布式计算框架MapReduce

原文:https://www.cnblogs.com/wangweiNB/p/5723614.html分布式计算框架MapReduce一、mr介绍1、MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据.2、计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr离线计算框架适合离线计算;storm流式计算框架适合实时计算;sp...

2018-03-14 17:19:39

怎么删除eclipse启动时工作空间里面的路径选项(如何启动eclipse时提示选择工作空间||删除workspace空间的目录)

由于一直习惯eclipse中只使用一个工作空间,所以一般在eclipse刚刚安装好后第一次启动时,我就钩上了弹出的工作空间选择的对话框中以后不再提示的钩选。结果这次突然需要用到它的工作空间提示功能了,却突然不知道如何找回它的提示功能了。。。。。 设置方法如下:Window->Preferences->General->StartupandShuodown-&gt...

2018-02-26 17:39:09

centos6.5 && ambari2.4.1.0安装Demo:

centos6.5&&ambari2.4.1.0安装Demo:我的机器是本地搭的虚拟机(3台),由于电脑配置限制(8g),只能分给直节点2g,两从节点各1.5g;原文链接:http://blog.csdn.net/haoxiaoyan/article/details/72723270本文综合借鉴了其他播客,整理出适合自己的这套ambari环境体系:1.先下载本地源(压缩包)Ambari-2.4

2018-01-17 23:16:43

详解HBase架构原理

一、什么是HBase  HBase是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PCServer上搭建大规模结构化存储集群。 HBase是GoogleBigtable的开源实现,与GoogleBigtable利用GFS作为其文件存储系统类似,HBase利用Hadoop HDFS作为其文件存储系统;Google运行

2017-12-26 14:04:05

HBase盲点扫描:集群搭建及hbaseshell使用

标签(空格分隔):hbase 大数据(Hadoop)数据库HBase功能、表的设计、环境配置与Shell基本使用练习,最好与RDBMS数据中的库和表进行对比,以下几点要注意: 1)企业中海量数据存储和实时查询的需求 2)HBase功能,与RDBMS相比,优势在哪 3)HBase服务组件的说明、配置部署启动 4)HBaseShell中基本命令的使用

2017-12-22 17:34:44

启动Ambari报错: ERROR [ambari-client-thread-34] ContainerResponse:419 - The RuntimeException could not b

启动ambari报错:ERROR[ambari-client-thread-34]ContainerResponse:419-TheRuntimeExceptioncouldnotbemappedtoaresponse,re-throwingtotheHTTPcontainercom.google.common.cache.CacheLoader$Inva

2017-09-18 09:27:12

修改迁移eclipse中maven默认仓库路径

从eclipse中增加了maven2的插件之后,maven默认的本地库的路径是${user}/.m2/repository/下,一般windows用户的操作系统都安装在C盘,所以这个目录下的jar包比较危险。我尝试从myeclipse->preferences->Java->buildpath->classpathvariables中查找M2_REPO这个变量,如下图:发现其路径指

2017-08-31 11:32:45

mysql基础--逻辑架构与逻辑模块组成

mysql概念和逻辑架构1.MySQL整体逻辑架构mysql数据库的逻辑架构如下图: 第一层,即最上一层,所包含的服务并不是MySQL所独有的技术。它们都是服务于C/S程序或者是这些程序所需要的:连接处理,身份验证,安全性等等。第二层值得关注。这是MySQL的核心部分。通常叫做SQLLayer。在MySQL据库系统处理底层数据之前的所有工作都是在这一层完

2017-08-14 11:10:33

MySQL数据库的逻辑备份和物理备份

一.前言逻辑备份和物理备份各有优劣,一般来说,物理备份恢复速度比较快,占用空间比较大,逻辑备份速度比较慢,占用空间比较小。逻辑备份的恢复成本高。二.逻辑备份逻辑备份是备份sql语句,在恢复的时候执行备份的sql语句实现数据库数据的重现。1)mysqldumpmysqldump是采用SQL级别的备份机制,他将数据表导成SQL脚本文件,是最常用的逻辑备份方法

2017-07-27 15:02:54

MySQL 的逻辑架构指的是sql layer?

下面就是MySQL 的逻辑架构,sqllayer主要负责如下功能:权限判断、sql解析、执行计划优化、querycache的处理等操作,这些操作都是在数据库系统处理底层数据之前的工作;StorageEngineLayer主要负责底层数据存取的实现,由多种存储引擎共同组成。SQLLayer中包含了多个子模块,下面我将逐个做一下简单的介绍:

2017-07-25 17:56:52

MySQL体系结构

了解MySql必须牢牢记住其体系结构图,Mysql是由SQL接口,解析器,优化器,缓存,存储引擎组成的  1Connectors指的是不同语言中与SQL的交互2ManagementServeices&Utilities:系统管理和控制工具3ConnectionPool:连接池。管理缓冲用户连接,线程处理等需要缓存的需求 4SQ

2017-07-25 16:52:16

eclipse装插件

安装IDEPlugins的方法有很多。其一:在线安装,通过Help-->InstallNewSoftware的方式,输入HTTP地址来安装,简单易操作,但是也优缺点,就是下载速度慢,或者有的时候干脆搜索不到要安装的插件。使用第一种方式来安装,输入http地址:http://m2eclipse.sonatype.org/sites/m2e,把选项勾上,然后等待它 下载安装,完成之后重

2017-07-10 23:04:24

world2016论文怎么删除带页眉格式的那个空白页

大家有没有觉得论文排版过程中,尤其是那个设置前几页不要页眉页脚,这几步操作很是烦人啊?单独操作完成插入页眉或者页脚后,前面会有一个 空白页,怎么删都费劲,一不小心就把全文页眉一起删了!经过长时间百度,综合总结了一套简单方便的方法,希望能对大家有点裨益!+++++++++++++++++++++++++++++++++++++++++1.原始情况是这样的:论文多出来的空白页

2017-05-30 11:32:44

hive集成管理Hbase表

本文借鉴了他人博客,此文看了更加简明明了本文主要实现一下目标:  1.在hive中创建的表能直接创建保存到hbase中。  2.hive中的表插入数据,插入的数据会同步更新到hbase对应的表中。  3.hbase对应的列簇值变更,也会在Hive中对应的表中变更。  4.实现了多列,多列簇的转化:(示例:hive中3列对应hbase中2列簇)++++++++

2017-05-24 15:39:49

14. hbase 更改表名

14.hbase更改表名1.停止表继续插入hbaseshell>disable'tableName'hbase(main):089:0>disable'member'2。制作快照hbaseshell>snapshot'tableName','tableSnapshot'hbase(main):090:0>snapshot'member','table

2017-05-09 17:14:55

HBase + DDL + DML

禁用表:disable'表名' 启用表:enable'表名' Groupname:replication Commands:add_peer,disable_peer,enable_peer,remove_peer,start_replication,stop_replication-----------------------------------

2017-04-20 18:40:15

Word2016中如何设置前几页不要页眉?文档快速‘另起一页’(毕业论文中常见问题)

原文链接:http://jingyan.baidu.com/article/47a29f2432d813c0142399b9.html有时候我们在Word排版时,需要设置前面几页不要页眉和页脚,这样如何设置呢?如何断开设置,只保留后面的页眉和页脚,方法如下首先打开要设置的Word文档,把光标移到要设置页眉的那一页首行,在页面布局里有个分页符,单击下一页插入一个分节符

2017-04-16 16:51:19

Hive函数大全

Hive函数大全一、关系运算:1. 等值比较:=         语法:A=B         操作类型:所有基本类型         描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE         举例:         Hive>select1fromlxw_dualwhere1=1;         12. 不等值比较

2017-03-13 11:13:12

开hive之前得先设置下 hive --service metastore & 才不出错,想问下,这是配置文件的问题还是?

开hive之前得先设置下hive--servicemetastore& 才不出错,想问下,这是配置文件的问题还是?--------------------------[root@slavehadoop]#hiveLogginginitializedusingconfigurationinjar:file:/home/hadoop/hive-1.2.1

2017-03-01 15:35:10

Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl

[hadoop@masterBFhadoop-2.5.0]$bin/hdfsdfs-ls/17/02/2721:36:37WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable

2017-02-27 22:08:03
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!