- 博客(13)
- 收藏
- 关注
RSS订阅
原创 HBase详解
HBase是什么面向列的支持复杂数据结构的nosql分布式数据库，依赖Zookeeper和HDFS。可以实时的随机访问超大规模的数据集我们先来看一下它的数据模型首先可以看到他啊是有行和列组成的，每一行有一个有序的rowkey，行中的列被分为列族，列族中间还有字段，字段的值中还有时间戳。所以它要定位到一个数据需要四个维度的信息，这里称他为四维定位吧，普通的RDBMS只需要知道表和字段...
2019-06-03 17:37:16
403
原创 YARN的简单介绍
YARN （Yet Another Resource Negotiator）是什么是为了弥补Mapreduce的缺点，用来完全取代MapReduce的集群资源管理器，也称做MR2.弥补了哪些缺点或者说有什么区别呢MR2可以面向其他大数据应用如（Spark/storm/flink）mapreduce中JobTracker要同时负责任务调度，监控，负责重启，MR2将这些任务进行了拆分减轻了...
2019-06-03 11:54:13
347
原创 Git常用命令
git基本概念WorkSpace ： 工作区Index / stage ： 暂存区Repository： 本地仓库Remote / origin : 远程仓库常用命令配置命令# 显示配置$ git config --list# 编辑用户和邮箱$ git config --global user.name xiaoming$ git config --global ...
2019-05-30 18:57:40
122
原创 Zookeeper基本概念
Zookeeper概述为什么要用zookeeperzookeeper是分布式协调服务，分布式应用难免会出现部分失败，假设一条消息在两个节点中间传输，如果出现网络错误，发送者无法知道接收者是否已经拿到消息，接收者可能拿到了，也可能没有拿到，发送者要知道真实情况只能重新连接接收者，并向它发出询问，我们不知道一个操作是否成功，这种情况部分失败。zookeeper的出现使得我们可以对出现部分失败的情况...
2018-10-03 14:31:12
152
原创 shell理解
shell类型/bin/sh 系统的默认shell/bin/bash 非常常用的shell也是许多linux发行版默认的shell/bin/tcsh 源自最初的Cshell/bin/dash ash shell的debian版/bin/csh C shell 指向tcsh shellshell的父子关系 每个开启的虚拟...
2018-08-25 23:32:21
285
原创 HIVE常用DDL语句
基本内部分区表create table IF NOT EXISTS table1 (name String,age String,code String)PARTITIONED BY(dt String)ROW FORMAT DELIMITED FIELDS TERMINATED BY "|" STORED AS TEXTFILE$ LOAD DATA LOCAL IN...
2018-08-16 22:14:55
876
原创 spark获得RDD和DateFrame的方法
RDDmakeRDD$ val rdd = scc.makeRDD(Seq("value1", "value2", "value3"));parallelize$ val rdd = sc.parallelize(Seq("value", "value1", "value2"))textFile// local file$ val rdd
2018-08-16 01:23:04
176
原创 flume结合morphline使用
首先来介绍下morphline Morphlines provides a set of frequently-used high-level transformation and I/O commands that can be combined in application specific ways, as described in the Introduction. The fol...
2018-08-12 00:56:22
1453
3
原创 flume采集日志到HDFS中再导入到hive表中
flume介绍 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. It has a simple and flexible architecture based on st...
2018-08-12 00:27:29
4128
1
原创 Docker入门
Docker的入门docker是什么Docker是一个能够把开发的应用程序自动部署到容器的开源引擎。由 Docker Inc. 公司 前 dotC1oud公司, PaaS市场中的老牌提供商)的团队编写,基于 Apache 2.0开源授权协议发行。解决了什么问题对于开发人员来说，提供了一套隔离环境，如果有刚入职的小伙伴就不用为搭建环境而操心了对于运维人员来说，可以通过镜像（稍...
2018-08-05 13:44:53
173
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人