fire-ang-CSDN博客

转载分布式计算框架MapReduce

原文：https://www.cnblogs.com/wangweiNB/p/5723614.html分布式计算框架MapReduce一、mr介绍1、MapReduce设计理念是移动计算而不是移动数据,就是把分析计算的程序,分别拷贝一份到不同的机器上,而不是移动数据.2、计算框架有很多,不是谁替换谁的问题,是谁更适合的问题.mr离线计算框架适合离线计算;storm流式计算框架适合实时计算;sp...

2018-03-14 17:19:39 800

翻译怎么删除eclipse启动时工作空间里面的路径选项（如何启动eclipse时提示选择工作空间||删除workspace空间的目录）

由于一直习惯eclipse中只使用一个工作空间，所以一般在eclipse刚刚安装好后第一次启动时，我就钩上了弹出的工作空间选择的对话框中以后不再提示的钩选。结果这次突然需要用到它的工作空间提示功能了，却突然不知道如何找回它的提示功能了。。。。。设置方法如下：Window -> Preferences -> General -> Startup and Shuodown -&gt...

2018-02-26 17:39:09 1769

原创 centos6.5 && ambari2.4.1.0安装Demo：

centos6.5 && ambari2.4.1.0安装Demo：我的机器是本地搭的虚拟机（3台），由于电脑配置限制（8g），只能分给直节点2g，两从节点各1.5g；原文链接：http://blog.csdn.net/haoxiaoyan/article/details/72723270本文综合借鉴了其他播客，整理出适合自己的这套ambari环境体系：1.先下载本地源（压缩包）Ambari-2.4

2018-01-17 23:16:43 1344

转载详解HBase架构原理

一、什么是HBase　 HBase 是一个高可靠、高性能、面向列、可伸缩的分布式存储系统，利用Hbase技术可在廉价PC Server上搭建大规模结构化存储集群。　HBase 是Google Bigtable 的开源实现，与Google Bigtable 利用GFS作为其文件存储系统类似， HBase 利用Hadoop HDFS 作为其文件存储系统；Google 运行

2017-12-26 14:04:05 896

转载 HBase盲点扫描：集群搭建及hbaseshell使用

标签（空格分隔）： hbase 大数据（Hadoop）数据库 HBase功能、表的设计、环境配置与 Shell基本使用练习，最好与 RDBMS数据中的库和表进行对比，以下几点要注意： 1）企业中海量数据存储和实时查询的需求 2） HBase功能，与 RDBMS相比，优势在哪 3） HBase服务组件的说明、配置部署启动 4） HBase Shell中基本命令的使用

2017-12-22 17:34:44 291

原创启动Ambari报错： ERROR [ambari-client-thread-34] ContainerResponse:419 - The RuntimeException could not b

启动ambari报错：ERROR [ambari-client-thread-34] ContainerResponse:419 - The RuntimeException could not be mapped to a response, re-throwing to the HTTP containercom.google.common.cache.CacheLoader$Inva

2017-09-18 09:27:12 2942

转载修改迁移eclipse中maven默认仓库路径

从eclipse中增加了maven2的插件之后，maven默认的本地库的路径是${user}/.m2/repository/下，一般windows用户的操作系统都安装在C盘，所以这个目录下的jar包比较危险。我尝试从myeclipse->preferences->Java->build path->classpath variables中查找M2_REPO这个变量，如下图：发现其路径指

2017-08-31 11:32:45 2657

转载 mysql基础--逻辑架构与逻辑模块组成

mysql 概念和逻辑架构1.MySQL整体逻辑架构mysql 数据库的逻辑架构如下图：第一层，即最上一层，所包含的服务并不是MySQL所独有的技术。它们都是服务于C/S程序或者是这些程序所需要的：连接处理，身份验证，安全性等等。第二层值得关注。这是MySQL的核心部分。通常叫做 SQL Layer。在 MySQL据库系统处理底层数据之前的所有工作都是在这一层完

2017-08-14 11:10:33 572

转载 MySQL数据库的逻辑备份和物理备份

一. 前言逻辑备份和物理备份各有优劣，一般来说，物理备份恢复速度比较快，占用空间比较大，逻辑备份速度比较慢，占用空间比较小。逻辑备份的恢复成本高。二. 逻辑备份逻辑备份是备份sql语句，在恢复的时候执行备份的sql语句实现数据库数据的重现。1）mysqldumpmysqldump是采用SQL级别的备份机制，他将数据表导成SQL脚本文件，是最常用的逻辑备份方法

2017-07-27 15:02:54 7447

转载 MySQL 的逻辑架构指的是sql layer?

下面就是MySQL 的逻辑架构，sql layer主要负责如下功能：权限判断、sql解析、执行计划优化、query cache的处理等操作，这些操作都是在数据库系统处理底层数据之前的工作；Storage Engine Layer主要负责底层数据存取的实现，由多种存储引擎共同组成。SQL Layer 中包含了多个子模块，下面我将逐个做一下简单的介绍：

2017-07-25 17:56:52 815

转载 MySQL体系结构

了解MySql必须牢牢记住其体系结构图，Mysql是由SQL接口，解析器，优化器，缓存，存储引擎组成的 1 Connectors指的是不同语言中与SQL的交互2 Management Serveices & Utilities：系统管理和控制工具3 Connection Pool: 连接池。管理缓冲用户连接，线程处理等需要缓存的需求 4 SQ

2017-07-25 16:52:16 328

转载 eclipse装插件

安装IDE Plugins的方法有很多。其一：在线安装，通过Help-->Install New Software的方式，输入HTTP地址来安装，简单易操作，但是也优缺点，就是下载速度慢，或者有的时候干脆搜索不到要安装的插件。使用第一种方式来安装，输入 http 地址：http://m2eclipse.sonatype.org/sites/m2e，把选项勾上，然后等待它下载安装，完成之后重

2017-07-10 23:04:24 400

原创 world2016论文怎么删除带页眉格式的那个空白页

大家有没有觉得论文排版过程中，尤其是那个设置前几页不要页眉页脚，这几步操作很是烦人啊？单独操作完成插入页眉或者页脚后，前面会有一个空白页，怎么删都费劲，一不小心就把全文页眉一起删了！经过长时间百度，综合总结了一套简单方便的方法，希望能对大家有点裨益！+++++++++++++++++++++++++++++++++++++++++1.原始情况是这样的：论文多出来的空白页

2017-05-30 11:32:44 22263

原创 hive集成管理Hbase表

本文借鉴了他人博客，此文看了更加简明明了本文主要实现一下目标： 1. 在hive中创建的表能直接创建保存到hbase中。 2. hive中的表插入数据，插入的数据会同步更新到hbase对应的表中。 3. hbase对应的列簇值变更，也会在Hive中对应的表中变更。 4. 实现了多列，多列簇的转化：（示例：hive中3列对应hbase中2列簇）++++++++

2017-05-24 15:39:49 838 1

原创 14. hbase 更改表名

14. hbase 更改表名1.停止表继续插入hbase shell>disable 'tableName'hbase(main):089:0> disable 'member'2。制作快照hbase shell> snapshot 'tableName', 'tableSnapshot'hbase(main):090:0> snapshot 'member','table

2017-05-09 17:14:55 557

转载 HBase + DDL + DML

禁用表：disable '表名' 启用表：enable '表名' Group name: replication Commands: add_peer, disable_peer,enable_peer, remove_peer, start_replication, stop_replication-----------------------------------

2017-04-20 18:40:15 331

原创 Word2016中如何设置前几页不要页眉？文档快速‘另起一页’（毕业论文中常见问题）

原文链接：http://jingyan.baidu.com/article/47a29f2432d813c0142399b9.html有时候我们在Word排版时，需要设置前面几页不要页眉和页脚，这样如何设置呢？如何断开设置，只保留后面的页眉和页脚，方法如下首先打开要设置的Word文档，把光标移到要设置页眉的那一页首行，在页面布局里有个分页符，单击下一页插入一个分节符

2017-04-16 16:51:19 55560 8

转载 Hive函数大全

Hive函数大全一、关系运算：1. 等值比较: = 语法：A=B 操作类型：所有基本类型描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： Hive>select 1 from lxw_dual where 1=1; 12. 不等值比较

2017-03-13 11:13:12 289

原创开hive之前得先设置下 hive --service metastore & 才不出错，想问下，这是配置文件的问题还是？

开hive之前得先设置下 hive --service metastore & 才不出错，想问下，这是配置文件的问题还是？--------------------------[root@slave hadoop]# hiveLogging initialized using configuration in jar:file:/home/hadoop/hive-1.2.1

2017-03-01 15:35:10 2291

原创 Unable to load native-hadoop library for your platform... using builtin-java classes where applicabl

[hadoop@masterBF hadoop-2.5.0]$ bin/hdfs dfs -ls /17/02/27 21:36:37 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

2017-02-27 22:08:03 1110

原创 Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

[root@slave hadoop]# cd hive-1.2.1/bin/[root@slave bin]# ./hive17/02/20 19:33:00 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration i

2017-02-20 13:05:33 10518 2

原创 sqoop1.4.6报错：ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not l

1、启动sqoop报错：ERROR sqoop.Sqoop: Got exception running Sqoop: java.lang.RuntimeException: Could not load db driver class: com.mysql.jdbc.Driver[root@slave bin]# ./sqoop list-databases --connect jdbc:m

2017-02-20 11:22:05 17108 2

原创启动hive报错：[ERROR] Terminal initialization failed; falling back to unsupported

[root@slave bin]# ./hive17/02/18 01:04:17 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in file:/home/hadoop/hive-1.2.1/conf/hiv

2017-02-17 17:17:42 760 1

原创 hive启动报错：Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be

[root@slave bin]# ./hive17/02/17 23:27:57 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not existLogging initialized using configuration in file:/home/hadoop/hive-1.2.1/conf/hive-

2017-02-17 16:34:34 2913

转载 Hive安装 (hadoop2.6.2 hive 1.2.1)

Hive安装 (hadoop2.6.0 hive 1.2.1)官网地址：http://hive.apache.org/downloads.html三种模式内嵌模式：元数据保持在内嵌的derby模式，只允许一个会话连接本地独立模式：在本地安装Mysql，吧元数据放到mySql内远程模式：元数据放置在远程的Mysql数据库1、内嵌模式：

2017-02-17 11:33:39 1719

转载 hive中UDF和UDAF使用说明（最简单的udf函数）

Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：Text File，Sequence Fileb）内存中的数据格式： Java Integer/St

2017-02-13 18:49:07 1121

转载 CentOS6.5下>>hadoop2.6.2版本的>>Mysql数据库的安装与配置

一、mysql简介说到数据库，我们大多想到的是关系型数据库，比如mysql、oracle、sqlserver等等，这些数据库软件在windows上安装都非常的方便，在Linux上如果要安装数据库，咱不得不首先推荐的是mysql数据库了，而且Mysql数据库的第一个版本就是发行在Linux系统上的。MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle公司

2017-02-08 16:27:52 788

转载 Hive group by操作

Hive中常见的高级查询有：group by、Order by、join、distribute by、sort by、cluster by、Union all。今天我们就来谈谈group by操作，group by操作表示按照某些字段的值进行分组，有相同的值放到一起，语法样例如下：[java] view plain copy select col1,col2,c

2017-01-18 18:38:35 4262

转载 oracle database各个版本下载

Oracle9i Database Release 2 Enterprise/Standard/Personal Edition for Windows NT/2000/XPhttp://download.oracle.com/otn/nt/oracle9i/9201/92010NT_Disk1.ziphttp://download.oracle.com/otn/nt/oracle

2017-01-18 14:33:01 6522

转载 Hive高级查询(group by、 order by、 join等)

查询操作group by、 order by、 join 、 distribute by、sort by、 clusrer by、 union all1212底层的实现 mapreduce常见的聚合操作count计数count(*) 所有值不全为NULL时，加1操作count(1) 不管有没有值，只要有这条记录，值就加1count(col) col列里面

2017-01-11 19:05:37 388

原创 load数据到hive分区表报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTas

在启动hive创建表的时候，兴许你们回碰到这个错误：http://blog.csdn.net/qq_35732963/article/details/54139581；百度一下，说是字符编码的问题，那个好解决，但是下面这个错，却不一样，归根到底是数据库出了问题！1、上传数据到hive表时报错：hive> load data local inpath '/home/hadoop/da

2017-01-09 20:07:12 30000 6

原创 hive创建表失败：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.

前言：本文是在博主：http://blog.sina.com.cn/s/blog_7673d4a50102v7s1.html；博客基础上对遇到的问题的一个总结把hive 的metadata配置成mysql,在mysql数据库里创建了hivedb后,修改hive的conf目录下的hive-site.xml并且把 mysql-connector-java-5.1.22-bin.

2017-01-06 16:37:56 23087 2

原创 CentOS6.5下安装Hive2.0.0详解及其报错解决办法

部分摘抄来源于：http://www.centoscn.com/image-text/install/2016/0504/7167.html本文环境如下：操作系统：CentOS6.5 64位 Hive版本：2.0.0 JDK版本：1.8.0 64位 Hadoop版本：2.6.21. 所需要的环境Hive 2.0需要以下运行环境： Java 1.7以

2017-01-04 18:32:18 995

转载 Missing Hive Execution Jar: /.../hive-exec-*.jar

摘要: 运行hive时显示Missing Hive Execution Jar:/usr/hive/hive-0.11.0/bin/lib/hive-exec-*.jar运行hive时显示Missing Hive Execution Jar:/usr/hive/hive-0.11.0/bin/lib/hive-exec-*.jar细细分析这个目录/bin/lib，在hive安装文件

2017-01-03 17:04:38 4064

转载 hive安装配置及遇到的问题解决

１．下载Hive安装包apache-hive-1.2.1-bin.tar.gz2.解压安装包，并移动到要安装的路径下sudo tar -zxvf apache-hive-1.2.1-bin.tar.gzsudo mv -r hive1.2.1 /usr/local/３.配置hive环境变量 vi /etc/profile 添加环境变量值 export HIVE_HOM

2017-01-03 16:08:10 2948

转载 mysql数据库中命令行下常用命令的操作（增、删、改、查）和数据类型

连接命令：MySQL -h[主机地址] -u[用户名] -p[用户密码] 创建数据库：create database [库名] 显示所有数据库: show databases; 打开数据库:use [库名] 当前选择的库状态:SELECT DATABASE(); 创建数据表:CREATE TABLE [表名]([字段名] [字段类型]([字段要求]) [

2016-12-27 18:36:58 989

转载 linux下chkConfig的用法,mysqld开机自启动

linux下chkConfig的用法,mysqld开机自启动使用语法： chkconfig[--add][--del][--list][系统服务]或chkconfig[--level][系统服务][on/off/reset] 参数用法： --add:增加所指定的系统服务，让chkconfig指令得以管理它，并同时在系统启动的叙述文件内增加

2016-12-27 18:30:23 19662 1

转载 SQL常用增删改查语句

上三层架构的课，把SQL的一些常用语句复习了一遍。整理如下：1增1.1【插入单行】insert [into] (列名) values (列值)例：insert into Strdents (姓名,性别,出生日期) values ('开心朋朋','男','1980/6/15')1.2【将现有表数据添加到一个已有表】insert into (列名) select

2016-12-27 18:28:05 304

转载 linux下tar gz bz2 tgz z等众多压缩文件的压缩与解压方法

Linux下最常用的打包程序就是tar了，使用tar程序打出来的包我们常称为tar包，tar包文件的命令通常都是以.tar结尾的。生成tar包后，就可以用其它的程序来进行压缩了，所以首先就来讲讲tar命令的基本用法：　　tar命令的选项有很多(用man tar可以查看到)，但常用的就那么几个选项，下面来举例说明一下：　　# tar -cf all.tar *.jpg

2016-12-27 11:47:06 565

转载执行start-dfs.sh后，datenode没有启动

查看日志如下：　　2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool (Datanode Uuid unassigned) service to localhost/127.0.0.1:900

2016-12-27 11:29:24 1115

空空如也

关于w7系统下-虚拟机centos6.5装不上问题