6 快乐真真

尚未进行身份认证

暂无相关描述

等级
TA的排名 11w+

通过hive访问hbase中的表

在hbase中创建表后,我们只能在hbaseshell中使用scan查询数据,这对于熟悉SQL的使用者不怎么习惯,不过我们可以在hive中创建外部表来访问hbase表中的数据,例子如下:1.这里hbase中的表oss_user_label_action_data已经存在=>#:0xd5a1b0>hbase(main):067:0>scan'oss_user_label_

2017-03-04 15:32:48

hive外部表

我们在创建表的时候可以指定external关键字创建外部表,外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时,该表也会读取到该文件(当然文件格式必须跟表定义的一致),删除外部表的同时并不会删除location指定目录下的文件.1.查看hdfs系统目录/user/hadoop1/myfile下文件[hadoop1@node1]$hadoopfs-ls

2017-03-04 15:31:07

大数据工程师面试题(七)

9.面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop的namenode宕机,怎么解决先分析宕机后的损失,宕机后直接导致client无法访问,内存中的元数据丢失,但是硬盘中的元数据应该还存在,如果只是节点挂了,重启即可,如果是机器挂了,重启机器后看节点是否能重启,不能重启就要找到原

2017-02-26 10:02:59

大数据工程师面试题(六)

3.141、一个Hadoop环境,整合了HBase和Hive,是否有必要给HDFS和Hbase都分别配置压缩策略?请给出对压缩策略的建议。hdfs在存储的时候不会将数据进行压缩,如果想进行压缩,我们可以在向hdfs上传数据的时候进行压缩。1)、 采用压缩流//压缩文件publicstaticvoidcompress(StringcodecClassName)throw

2017-02-26 09:28:33

大数据工程师面试题(五)

2)HashMap和HashTable,ArrayList和Vector,ArrayList和LinkedList的区别1HashMap不是线程安全的hashmap是一个接口是map接口的子接口,是将键映射到值的对象,其中键和值都是对象,并且不能包含重复键,但可以包含重复值。HashMap允许nullkey和nullvalue,而hashtable不允许。2 HashTa

2017-02-26 08:46:01

大数据工程师面试题(四)

2.23.我们开发job时,是否可以去掉reduce阶段。可以。设置reduce数为0即可。2.24.datanode在什么情况下不会备份datanode在强制关闭或者非正常断电不会备份。2.25.combiner出现在那个过程出现在map阶段的map方法后等。2.26.hdfs的体系结构hdfs有namenode、secondraynamenode、data

2017-02-19 16:29:53

大数据工程师面试题(三)

2.13.简述hadoop的调度器FIFOschedular:默认,先进先出的原则Capacityschedular:计算能力调度器,选择占用最小、优先级高的先执行,依此类推Fairschedular:公平调度,所有的job具有相同的资源。2.14.列出你开发mapreduce的语言java2.15.书写程序wordcountmapper:Strin

2017-02-19 15:39:42

大数据工程师面试题(二)

2.7. 用mapreduce来实现下面需求?现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。方法一:运用2个job,第一个job直接用filesystem读取10个文件夹作为map输入,url做key,reduce计算url的sum,下一个jobmap用url作key,运用sum作二次排序,reduce中取top1000000

2017-02-19 14:17:12

大数据工程师面试题(一)

1. 选择题1.1. 下面哪个程序负责HDFS数据存储。c)Datanode 答案Cdatanode1.2. HDfS中的block默认保存几份?a)3份 答案A默认3份1.3. 下列哪个程序通常与NameNode在一个节点启动?d)Jobtracker答案D1.4. HDFS默认BlockSizec)12

2017-02-19 13:46:40

链表与二叉树

interface Link {public void add(Object data) ;public Object [] toArray() ;}class LinkImpl implements Link { // 外部的程序只关心此类private class Node {// 使用私有内部类,防止外部使用此类private Object data ;pri

2016-10-20 07:56:17

利用HttpClient发送post请求京东接口并将结果用POI导出为 Excel表格

packagecom.zhongsou.demo;importjava.io.File;importjava.io.FileNotFoundException;importjava.io.FileOutputStream;importjava.io.FileReader;importjava.io.IOException;importjava.util

2016-10-11 16:50:09

上传、下载和发邮件

importjava.io.File;importjava.io.IOException;importjava.util.List;importjavax.servlet.ServletException;importjavax.servlet.http.HttpServlet;importjavax.servlet.http.HttpServletRequ

2016-10-08 18:55:51

50道JAVA基础编程练习题

【程序1】题目:古典问题:有一对兔子,从出生后第3个月起每个月都生一对兔子,小兔子长到第三个月后每个月又生一对兔子,假如兔子都不死,问每个月的兔子对数为多少? 程序分析: 兔子的规律为数列1,1,2,3,5,8,13,21.... public class Prog1{public static void main(String[] args){int n = 

2016-09-27 19:20:38

用POI实现导出Excel表格的后台java代码

工具类:importjava.sql.Connection;importjava.sql.DriverManager;publicclassDbUtil{privateStringdbUrl="jdbc:mysql://localhost:3306/kuailezhenzhen";privateStringdbUserName="root";

2016-09-19 14:38:25

java mail实现Email的发送,完整代码 - mjorcen

原文  http://www.cnblogs.com/mjorcen/p/4001260.htmjavamail实现Email的发送,完整代码1、对应用程序配置邮件会话首先,导入jardependencies>dependency>groupId>com.sun.mailgroupId>

2016-09-14 15:14:30

测试HttpClient访问接口并在控制台输出结果的样例

importjava.io.IOException;importorg.apache.http.HttpEntity;importorg.apache.http.HttpResponse;importorg.apache.http.client.ClientProtocolException;importorg.apache.http.client.HttpCli

2016-09-14 11:20:15

Mybatis应用:Sql Annotation

Mybatis使用:SqlAnnotation  Mybatis使用:SqlAnnotation  上节我们学习了Mybatis的入门,能够实现简单的CRUD操作,这个算是基本技能了。另外Mybatis提供了Sql的Annotation形式来控制CRUD操作,我们对于数据库的操作也就不外乎这些操作。对于简单的Sql,或者功能简单的Sql来说,将方法和Sql对应起来最为直观,不用根据Id

2016-07-15 11:01:05
勋章 我的勋章
    暂无奖章