4 johnmay--Blog

尚未进行身份认证

我要认证

为明天会更好而努力...

等级
TA的排名 4w+

分布式计算框架MapReduce

原文:https://www.cnblogs.com/wangweiNB/p/5723614.html分布式计算框架MapReduce一、mr介绍1、MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据.2、计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr离线计算框架 适合离线计算;storm流式计算框架 适合实时计算;sp...

2018-03-14 17:19:39

怎么删除eclipse启动时工作空间里面的路径选项(如何启动eclipse时提示选择工作空间||删除workspace空间的目录)

由于一直习惯eclipse中只使用一个工作空间,所以一般在eclipse刚刚安装好后第一次启动时,我就钩上了弹出的工作空间选择的对话框中以后不再提示的钩选。结果这次突然需要用到它的工作空间提示功能了,却突然不知道如何找回它的提示功能了。。。。。 设置方法如下:Window -> Preferences -> General -> Startup and Shuodown -&gt...

2018-02-26 17:39:09

centos6.5 && ambari2.4.1.0安装Demo:

centos6.5 && ambari2.4.1.0安装Demo:我的机器是本地搭的虚拟机(3台),由于电脑配置限制(8g),只能分给直节点2g,两从节点各1.5g;原文链接:http://blog.csdn.net/haoxiaoyan/article/details/72723270本文综合借鉴了其他播客,整理出适合自己的这套ambari环境体系:1.先下载本地源(压缩包)Ambari-2.4

2018-01-17 23:16:43

详解HBase架构原理

一、什么是HBase  HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统,利用Hbase技术可在廉价PC Server上搭建 大规模结构化存储集群。 HBase 是Google Bigtable 的开源实现,与Google Bigtable 利用GFS作为其文件存储系统类似, HBase 利用Hadoop HDFS 作为其文件存储系统;Google 运行

2017-12-26 14:04:05

HBase盲点扫描:集群搭建及hbaseshell使用

标签(空格分隔): hbase 大数据 (Hadoop)数据库 HBase功能 、表的设计 、环境配置与 Shell基本使用练习,最好与 RDBMS数据中的库和表进行对比 ,以下几点要注意 : 1) 企业中海量数据存储和实时查询的需求 2) HBase功能 ,与 RDBMS相比,优势在哪 3) HBase服务组件的说明、配置部署启动 4) HBase Shell中基本命令的使用

2017-12-22 17:34:44

启动Ambari报错: ERROR [ambari-client-thread-34] ContainerResponse:419 - The RuntimeException could not b

启动ambari报错:ERROR [ambari-client-thread-34] ContainerResponse:419 - The RuntimeException could not be mapped to a response, re-throwing to the HTTP containercom.google.common.cache.CacheLoader$Inva

2017-09-18 09:27:12

修改迁移eclipse中maven默认仓库路径

从eclipse中增加了maven2的插件之后,maven默认的本地库的路径是${user}/.m2/repository/下,一般windows用户的操作系统都安装在C盘,所以这个目录下的jar包比较危险。我尝试从myeclipse->preferences->Java->build path->classpath variables中查找M2_REPO这个变量,如下图:发现其路径指

2017-08-31 11:32:45

mysql基础--逻辑架构与逻辑模块组成

mysql 概念和逻辑架构1.MySQL整体逻辑架构mysql 数据库的逻辑架构如下图: 第一层,即最上一层,所包含的服务并不是MySQL所独有的技术。它们都是服务于C/S程序或者是这些程序所需要的 :连接处理,身份验证,安全性等等。第二层值得关注。这是MySQL的核心部分。通常叫做 SQL Layer。在 MySQL据库系统处理底层数据之前的所有工作都是在这一层完

2017-08-14 11:10:33

MySQL数据库的逻辑备份和物理备份

一. 前言逻辑备份和物理备份各有优劣,一般来说,物理备份恢复速度比较快,占用空间比较大,逻辑备份速度比较慢,占用空间比较小。逻辑备份的恢复成本高。二. 逻辑备份逻辑备份是备份sql语句,在恢复的时候执行备份的sql语句实现数据库数据的重现。1)mysqldumpmysqldump是采用SQL级别的备份机制,他将数据表导成SQL脚本文件,是最常用的逻辑备份方法

2017-07-27 15:02:54

MySQL 的逻辑架构指的是sql layer?

下面就是MySQL 的逻辑架构,sql layer主要负责如下功能:权限判断、sql解析、执行计划优化、query cache的处理等操作,这些操作都是在数据库系统处理底层数据之前的工作;Storage Engine Layer主要负责底层数据存取的实现,由多种存储引擎共同组成。SQL Layer 中包含了多个子模块,下面我将逐个做一下简单的介绍:

2017-07-25 17:56:52

MySQL体系结构

了解MySql必须牢牢记住其体系结构图,Mysql是由SQL接口,解析器,优化器,缓存,存储引擎组成的  1 Connectors指的是不同语言中与SQL的交互2 Management Serveices & Utilities: 系统管理和控制工具3 Connection Pool: 连接池。管理缓冲用户连接,线程处理等需要缓存的需求 4 SQ

2017-07-25 16:52:16

eclipse装插件

安装IDE Plugins的方法有很多。其一:在线安装,通过Help-->Install New Software的方式,输入HTTP地址来安装,简单易操作,但是也优缺点,就是下载速度慢,或者有的时候干脆搜索不到要安装的插件。使用第一种方式来安装,输入 http 地址:http://m2eclipse.sonatype.org/sites/m2e,把选项勾上,然后等待它  下载安装,完成之后重

2017-07-10 23:04:24

world2016论文怎么删除带页眉格式的那个空白页

大家有没有觉得论文排版过程中,尤其是那个设置前几页不要页眉页脚,这几步操作很是烦人啊?单独操作完成插入页眉或者页脚后,前面会有一个  空白页,怎么删都费劲,一不小心就把全文页眉一起删了!经过长时间百度,综合总结了一套简单方便的方法,希望能对大家有点裨益!+++++++++++++++++++++++++++++++++++++++++1.原始情况是这样的:论文多出来的空白页

2017-05-30 11:32:44

hive集成管理Hbase表

本文借鉴了他人博客,此文看了更加简明明了本文主要实现一下目标:   1. 在hive中创建的表能直接创建保存到hbase中。   2. hive中的表插入数据,插入的数据会同步更新到hbase对应的表中。   3. hbase对应的列簇值变更,也会在Hive中对应的表中变更。   4. 实现了多列,多列簇的转化:(示例:hive中3列对应hbase中2列簇)++++++++

2017-05-24 15:39:49

14. hbase 更改表名

14. hbase 更改表名1.停止表继续插入hbase shell>disable 'tableName'hbase(main):089:0> disable 'member'2。制作快照hbase shell> snapshot 'tableName', 'tableSnapshot'hbase(main):090:0> snapshot 'member','table

2017-05-09 17:14:55

HBase + DDL + DML

禁用表:disable '表名'  启用表:enable '表名' Group name: replication  Commands: add_peer, disable_peer,enable_peer, remove_peer, start_replication, stop_replication-----------------------------------

2017-04-20 18:40:15

Word2016中如何设置前几页不要页眉?文档快速‘另起一页’(毕业论文中常见问题)

原文链接:http://jingyan.baidu.com/article/47a29f2432d813c0142399b9.html有时候我们在Word排版时,需要设置前面几页不要页眉和页脚,这样如何设置呢?如何断开设置,只保留后面的页眉和页脚,方法如下首先打开要设置的Word文档,把光标移到要设置页眉的那一页首行,在页面布局里有个分页符,单击下一页插入一个分节符

2017-04-16 16:51:19

Hive函数大全

Hive函数大全一、关系运算:1. 等值比较: =         语法:A=B         操作类型:所有基本类型         描述:如果表达式A与表达式B相等,则为TRUE;否则为FALSE         举例:         Hive>select 1 from lxw_dual where 1=1;         12. 不等值比较

2017-03-13 11:13:12

开hive之前得先设置下 hive --service metastore & 才不出错,想问下,这是配置文件的问题还是?

开hive之前得先设置下 hive --service metastore &  才不出错,想问下,这是配置文件的问题还是?--------------------------[root@slave hadoop]# hiveLogging initialized using configuration in jar:file:/home/hadoop/hive-1.2.1

2017-03-01 15:35:10

Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl

[hadoop@masterBF hadoop-2.5.0]$ bin/hdfs dfs -ls /17/02/27 21:36:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2017-02-27 22:08:03

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!