- 博客(30)
- 资源 (2)
- 问答 (3)
- 收藏
- 关注
RSS订阅转载 【转】Htable数据操作实例（get,put,scan）
做了几天工程，对HBase中的表操作熟悉了一下。下面总结一下常用的表操作和容易出错的几个方面。当然主要来源于大牛们的文章。我在前人的基础上稍作解释。1.连接HBase中的表testtable,用户名：root,密码：rootpublic void ConnectHBaseTable() { Configuration conf = new Configuration(); ...
2018-06-06 22:54:41
2132
原创 HBase核心模块介绍及基本概念介绍（HBase模式设计）
一、HBase与Hadoop之间的关系Hadoop框架中的HDFS分布式文件系统为HBase提供了可靠的底层存储支持。Hadoop框架中的MapReduce为HBase提供了高性能的计算能力。二、HBase的核心功能模块1.ClientClient是整个HBase系统的入口客户端使用RPC协议与HMaster和RegionServer进行通信对于管理类（表的增删）操作，Client与HMaster...
2018-06-05 21:10:46
3966
转载 hadoop1.0/2.0 mapreduce架构及底层实现原理 转载自https://blog.csdn.net/yybk426/article/details/76601921
MapReduce1.x架构客户端向JobTracker提交一个作业，JobTracker把这个作业拆分成很多份，然后分配给TaskTracker（任务执行者）去执行，TaskTracker会隔一段时间向JobTracker发送心跳信息，如果JobTracker在一段时间内没有收到TaskTracker的心跳信息，JobTracker会认为TaskTracker死掉了，会把TaskTracker的...
2018-05-28 19:16:37
783
原创 hadoop ---------HDFS阶段总结（要求掌握的知识总结大纲）
大数据的特征是什么？答：1.数据量大 2.数据类型多样化 3.价值密度低，商业价值高 4.速度输入输出要求快大数据集群的搭建详细步骤HDFS是什么？答：分布式文件存储系统HDFS优点是什么？答：1.处理超大的文件 2.流式的数据访问 3.可以处理结构化、半结构化、非结构化数据 HDFS缺点/局限性是什么？ 答：1.不适合处理低延...
2018-05-19 20:14:36
540
原创 HDFS的压缩和解压缩案例（带注释详解，适合java不熟的小伙伴们分析）
压缩操作这里用bz2的方式进行压缩，bz2压缩方式是可切分的可切分：对应的压缩算法是否可以搜索数据流的任意位置并进一步往下读取数据。package cn.codec;import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.InputStream;import java.io.Outpu...
2018-05-17 21:56:53
2528
1
原创 HDFS通过java接口实现读、写、删除文件、添加目录等案例
通过URL方式读取HDFS上的文件package cn.homework;import java.io.IOException;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils...
2018-05-15 00:17:23
8591
原创 HDFS分布式文件存储系统详解
HDFS简介一、HDFS：Hadoop Distributed File System 1. 一个分布式文件系统 2. 基于流数据模式访问和处理超大文件的需求而开发的 3. 适合应用在大规模数据集上 优点： 1.处理超大文件 能用来存储管理PB级的数据 ...
2018-05-11 20:57:55
8353
转载 hadoop fs 命令使用
hadoop 文件系统配置文件按如下查找顺序1. hadoop jar里的hadoop-default.xml2. $HADOOP_CONF_DIR下的hadoop-default.xml3. $HADOOP_CONF_DIR下的hadoop-site.xml。使用local代表将本地文件系统作为hadoop的DFS。4. 如果传递uri做参数，那么就是特定的文件系统作为DFS。1234命令...
2018-05-11 15:02:09
416
转载 Hadoop 2.0底层工作原理
1 HDFS简介1.1 Hadoop 2.0介绍Hadoop是Apache的一个分布式系统基础架构，可以为海量数据提供存储和计算。Hadoop 2.0即第二代Hadoop系统，其框架最核心的设计是HDFS、MapReduce和YARN。其中，HDFS为海量数据提供存储，MapReduce用于分布式计算，YARN用于进行资源管理。Hadoop 1.0和Hadoop 2.0的结构对比：Hadoop 2...
2018-05-09 19:26:46
5214
原创 Ajax与jQuery的使用
5/3/2018 8:30:28 AM晨测1. JSP内置对象和作用？2. JSP四大域对象和其范围。回顾今日概述一、Ajax二、JSON数据格式三、Ajax+Jquery四、分页的实现一、Ajax概述<1>概述<2>组成以XMLHttpRequest为核心，发送Ajax请求和接收处理结果以javascript为语言基础以XML/JSON作为数据的传输格式...
2018-05-03 23:32:48
909
原创 大数据基础 JSP 第二天
5/2/2018 8:30:52 AMJSP晨测1. JSP和Servlet的区别。2. JSP中声明定义区，Java代码区，输出表达式区的语法格式。jsp_service(request,response)3. JSP中常见指令和其作用。 page include taglib4. 实现JSP页面跳转的方式有哪些。5. 说明一下jsp中<jsp: inc...
2018-05-03 23:31:24
350
2
原创 2018-04-30 遇到的BUG小计(明明写了返回值，为什么还会报没有返回值的错误)
遇到的错误：解决的方式：错误的原因就是在try和catch中 如果if中的条件为假就并不会产生异常，因此要在catch之后做处理语句的操作。
2018-04-30 18:14:43
283
原创 大数据基础 JSP 第一天
4/28/2018 8:23:23 AMJSP晨测1. POST和GET请求的区别 2. Get和Post请求下乱码的处理3. 重定向和转发的区别回顾Servlet HttpServletRequest（域对象） HttpServletResponse Get/Post 请求方式 请求数据的乱码、响应数据的乱码 ServletContext（域对象）...
2018-04-30 14:40:44
274
原创 大数据基础 servlet 第二天
4/27/2018 8:14:04 AMServlet晨测1. 编写一个JSON格式的对象 id=1 name='张三' age=18 friends=(小丽，18，女) (小红，20，女) (小刚，19，男) 2. 简述请求/响应的执行流程3. 说一说Servlet生命周期4. 404和500是什么意思...
2018-04-27 22:46:39
202
原创 大数据基础 servlet 第一天
4/26/2018 8:21:47 AMServlet晨测1. DOM怎样添加、移动、复制、创建和查找节点 appendChild() removeChild() replaceChild() createElement() getElementById()2. 列举几个JavaScript中常用的全局函数，并描述其作用？3. 使用JS如...
2018-04-26 21:37:26
247
原创 javascript进阶二
4/25/2018 8:23:30 AMJavaScript晨测：1. JavaScript的使用方式 2. Js正则对象的创建方式 3. 说明“==”和“===”之间的区别4. split()，join()的区别 string array回顾一、概述1. 概念 2. 特点3. 作用4. 使用方式 5. 组成 ECMAScript DO...
2018-04-25 18:42:32
141
原创 javascript进阶一
4/24/2018 8:31:55 AMJavaScript晨测：1. 简述CSS样式表的使用方式。 2. 简述你知道的CSS选择器：3. CSS中margin和padding的区别？4. 行内元素和块级元素的具体区别是什么？行内元素的padding和margin可设置吗？ 块级元素width,height,margin,padding都可以设置 行内元素width,he...
2018-04-24 18:36:22
176
原创 CSS样式的处理
4/23/2018 8:23:35 AMCSS晨测：1. 标准的一个html文件的结构2. 指定颜色和资源位置的方式3. 常用标签 设置各级标题： 设置段落： 设置文本格式： 超链接： 图片标签： 表格的基本形式： 表单标签： 框架标签：回顾今日概要一、CSS概述二、CSS的选择器（认识）三、CSS样式和属性（练习）四、重...
2018-04-23 18:33:46
201
原创 简单的学习html笔记
4/19/2018 8:22:31 AMHTML晨测1. 增加一个用户的命令是 2. Linux中定义用户账户的文件为3. 切换用户命令为4. 文件exer1的访问权限为rw-r--r--，现要增加所有用户的执行权限和同组用户的写权限5. 在vi编辑器中执行存盘退出的命令是6. 改变文件所有者的命令为7. 申明一个环境变量的语法格式8. 编写一个脚本，根据用...
2018-04-19 19:19:08
231
原创 大数据 基础部分 Linux 第三天
Linux03晨测1. 写出下列每项具体含义： -rw-r--r-- 1 root root 0 8月 18 13:47 shanxiao2. 更改文件权限 属主：jinggege ，可读可执行 属组：jinggege ，可写 其他：可执行 chmod u-w ,u+x .... chmod u=rx... chmod 521 sha...
2018-04-18 18:44:51
204
原创 大数据 基础部分 Linux 第二天
4/17/2018 8:38:25 AMLinux02晨测1. 写出Linux常用命令 查看当前的工作目录： 显示文件和目录列表： 创建新的目录： 切换目录： root用户在其家目录下，分别使用绝对路径和相对路径进入/路径下的dev目录下 删除空目录： 生成一个空文件： 删除文件： 显示文本文件内容： 复制/...
2018-04-17 18:43:54
284
原创 大数据 基础部分 Linux 第一天
4/16/2018 8:30:34 AMLinux01晨测1. 使用PreparedStatement的优点2. 写出DAO设计模式的组成部分3. DAO设计模式的优点回顾DAO设计模式作业DAO+优化+连接池今日概要一、Linux概述二、Linux的安装三、Linux的常用命令（重点）一、Linux概述<1>操作系统OS，管理和控制 计算机的 硬件和软件资源的 ...
2018-04-16 18:37:14
277
原创 JDBC第二天
4/13/2018 8:34:04 AMJDBC02晨测1. 写出JDBC的组成和其作用2. 写出使用jdbc的步骤 3. 写出封装数据库工具类核心代码回顾作用：java应用程序和数据库交互的桥梁步骤：(记住) 1. 加载数据库驱动 2. 获取数据库连接对象 3. 获取Statement对象，执行sql 4. 释放资源static{ //配置参数...
2018-04-13 19:08:13
134
原创 JDBC第一天
4/12/2018 8:25:46 AMJDBC01晨测1. 使用索引的优缺点2. MySQL数据库的备份和恢复的方式3. MySQL优化方案回顾一、索引 索引优点和缺点二、函数三、数据库的备份和恢复 mysqldump -u用户名 -p密码 > 备份的路径 source 备份的路径 mysql -u用户名 -p...
2018-04-12 18:38:48
249
1
原创 mysql基础 day03
4/11/2018 8:30:39 AMMySQL03晨测1.写出MySQL事务的常用命令2.写出MySQL中的常见约束3.写出多表查询的几种分类4.MyISAM、InnoDB区别回顾一、TCL set autocommit = true/false; rollback; commit; savepoint xx; rollback xx; ...
2018-04-12 18:37:24
151
原创 mysql基础 day02
4/10/2018 8:44:16 AMMySQL02晨测(1)如何登陆mysql数据库(2)varchar与char的区别(3)写出SQL的组成 (4)写出DQL的完整语法格式回顾1. 概念 数据库 数据库管理软件 关系型数据库特点2. 搭建 字符集的选择3. 使用 登陆，退出，改密码4. 数据类型 整型，浮点型，字符型...
2018-04-10 20:45:20
199
原创 mysql基础 day01
课程介绍1.数据库技术 MySQL数据库：数据库管理系统，高效的存储和管理数据 JDBC:Java数据库连接技术，使用Java语言存储和管理数据2.前端技术 HTML:Hypertext Markup Language,超文本标记语言，编写网页 CSS:Cascading Style Sheets ,层叠样式表，美化网页 JavaScript:java ...
2018-04-09 22:16:05
151
原创 javase阶段考试三（集合、内部类）测试题及答案
一、 简答题（每题5分，共计30分）1. 请写出匿名内部类的语法格式以及作用。父类类型/接口类型 引用名 = new 父类类型/接口类型(){进行方法的重写;};用于隐含实现一个接口或实现一个类，该类没有类名。2. 简述常用的8种包装类以及对应的基本数据类型。java.lang.Integer类 - 是int类型的包装类。java.lang.Double类 - 是doubl...
2018-04-07 14:32:14
3885
原创 javase阶段考试二（面向对象阶段）测试题及答案
一、 简答题（每题5分，共计40分）1. 什么是类？什么是对象？类与对象的关系是什么？类简单来说就是"分类"，是多个对象共性提取的抽象描述，在Java中是一种引用数据类型，里面包含了描述特征的成员变量，以及描述行为的成员方法。类是一种抽象的概念，用于描述对象创建的模板，而对象是客观存在的实体，本质上就是内存空间中的一块区域，对象的数据结构取决于类。2. 请写出类、属性、行为以及引用和对象声明的语法...
2018-04-07 14:26:57
6397
1
原创 javase阶段考试一（Hello，world~数组）测试题及答案
一、 简单题（每题5分，共计40分）1. 简述Java语言的跨平台特性由于不同的操作系统中都提供了Java虚拟机进行解释执行，因此对于同一份字节码文件来说，可以实现一次编译，到处运行的美名。2. 写出以下名词的概念和各自作用jdk - Java开发工具包，只要做Java语言的开发就必须安装该软件。jre - Java运行时环境，只要运行Java程序就必须安装该软件。javac.exe - Java...
2018-04-07 14:18:06
3043
kettle如何将json输出到一个表中的一个字段里（作为一个长字符串）（text类型）
2019-01-04
MongoDB同步数据到ES中（kettle）报java.util.date异常
2019-01-02
5张表关联汇总（数据量大，要求性能）如何实现
2018-12-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人