- 博客(26)
- 收藏
- 关注
RSS订阅原创 ActiveMQ的简单使用
1 ActiveMQ介绍1.1 什么是ActiveMQActiveMQ是Apache出品的一个消息中间件，常用的消息对列主要有ActiveMQ，RabbitMQ，Kafka等，队列的主要作用是消除高并发访问高峰，加快网站的响应速度。在实际应用中常用的使用场景。异步处理，应用解耦，流量削锋和消息通讯四个场景1.2 JMS介绍JMS的全称是Java Message Ser...
2019-06-27 21:47:51
324
原创 HTTP请求报文和响应报文
HTTP请求报文和响应报文1.一次完整的HTTP请求所经历的7个步骤HTTP通信机制是在一次完整的HTTP通信过程中，Web浏览器与Web服务器之间将完成下列7个步骤：建立TCP连接在HTTP工作开始之前，Web浏览器首先要通过网络与Web服务器建立连接，该连接是通过TCP来完成的，该协议与IP协议共同构建 Internet，即著名的TCP/IP协议族，因此Internet又被称作是T...
2019-04-24 10:19:05
580
原创 mongodb02集群搭建
MongoDB集群副本集集群架构图副本集集群是一组Mongo服务，维护了相同的数据集，提供了高可用及数据冗余的能力。# 模拟集群搭建# 3个mongodb服务的副本集集群# 一个服务器中通过端口号区分不同的mongodb实例# 假设：node1: hadoop 27001node2: hadoop 27002node3: hadoop 27003搭建步骤# 创建mo...
2019-03-29 21:58:41
234
原创 mongodb基本使用
mongoDB一、NoSql简介NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”, 泛指非关系型的数据库Nosql这个技术门类,早期就有人提出,发展至2009年趋势越发高涨。二、NoSQL数据库的四大分类l 键值(Key-Value)存储数据库这一类数据库主要会使用到一个哈希表，这个表中有一个特定的键和一个指针指向特定的数据。Key/value模型对...
2019-03-29 21:57:18
970
原创 基于Hadoop生态体系搭建数据分析平台
基于Hadoop生态体系的数据分析平台一、项目设计架构图设计目标分析系统每日访问量PV（Page View）分析系统各个模块访问量MV（Model View）二、环境搭建安装Nginx并配置日志切割#安装gcc基本环境yum install gcc-c++ perl-devel pcre-devel openssl-devel zlib-devel wget#解压...
2019-03-27 22:45:54
785
原创 Flum基础实战
Flume 架构实战Flume是什么Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Fl...
2019-03-27 22:43:21
2338
原创 Hive基础使用
HiveHive介绍概述hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是建立在 Hadoop 上的数据仓库基础构...
2019-03-26 23:22:31
525
原创 kafka基础篇使用01
Kafka一、官网https://kafka.apache.org/intro一、概述Apache Kafka是一个分布式流处理平台具备以下三种特性：发布和订阅流式记录。类似于消息队列或者企业消息系统存储流式数据，并且有较好的容错流式数据处理应用场景：构造实时流数据管道，可以在系统或应用之间可靠的获取数据。（相当于MQ）构建实时流式应用程序，对这些流数据进行转换或者影响...
2019-03-22 18:04:37
471
原创 HBase基础使用03-HA集群搭建
HBase集群集群架构图HBase架构篇HBase架构组成HBase采用Master/Slave架构搭建集群，它隶属于Hadoop生态系统，由一下类型节点组成： HMaster 节点、HRegionServer 节点、 ZooKeeper 集群，而在底层，它将数据存储于HDFS中，因而涉及到HDFS的NameNode、DataNode等，总体结构如下：ZooKeeper集群用于：...
2019-03-22 16:26:43
220
原创 HBase基础使用02和MapReduce集成
HBase02HBase和MapReduce集成Maven依赖<!-- hadoop-hdhf所需依赖--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</...
2019-03-22 16:22:17
250
原创 HBase基础使用篇01
HBase高并发处理方案简图一、概述官网地址: http://hbase.apache.org/HBase是一种构建在HDFS之上的分布式、面向列的存储系统。在需要实时读写、随机访问超大规模数据集时，可以使用HBase。特点大：一个表可以有上亿行，上百万列面向列：面向列表（簇）的存储和权限控制，列（簇）独立检索。结构稀疏：对于为空（NULL）的列，并不占用存储空间，因...
2019-03-19 22:16:03
371
原创 Hadoop-HA 高可用集群
Hadoop HA高可用集群一、HA集群HDFS HA集群 master\slaveYARN HA集群 master\slaveHA(High Available), 高可用性群集，是保证业务连续性的有效解决方案，避免了因为单点故障带来的风险，一般有两个或两个以上的节点，且分为活动节点及备用节点。通常把正在执行业务的称为活动节点，而作为活动节点的一个备份的则称为备用节点，各节点之间会传...
2019-03-18 22:14:54
380
原创 ZooKeeper使用教程
ZooKeeper使用教程一、概述官⽹网https://zookeeper.apache.org/介绍ZooKeeper是一个开源的分布式应⽤协调服务系统，主要⽤用来完成统一命名服务、状态同步服务、集群管理理、分布式应⽤用配置项的管理理等⼯工作。ZooKeeper（分布系统基础服务）介绍：分布式服务协调系统内部结构：树形层次空间（类似linux文件系统）a. 层次结构b. 节点...
2019-03-18 09:09:11
803
原创 ELK-快速入门使用
一、ELK概述ELK 是三个开源软件的缩写，分别表示： Elasticsearch , Logstash , Kibana 。ELK 通常用来构建日志分析平台、数据分析搜索平台等官方文档https://www.elastic.co/cn/products组件介绍Elasticsearch 是个开源分布式全文检索和数据分析平台。它的特点有：分布式，零配置，自动发现，索引自动分片，索引...
2019-03-18 09:02:21
1190
原创 ElasticSearch
前言apache lucene全文检索的工具包索引：提供查询效率 数据库索引： 主键索引、唯一索引（unique）、复合索引（对数据库中的多个字段创建一个索引）、普通索引等 create index 索引名 on table (column1,column2)全文检索；类似于使用字典过程 对数据预先构建索引，在查找的时通过索引匹配数据的过程就称为全文检索 创建索引：...
2019-03-18 08:55:19
551
原创 Memcached
一、概述传统关系型数据：Oracle 、 Mysql 指标容量 2000Wtps 1500个响应时间：10MS缓存类型：1.本地缓存2.客户端缓存3.分布式缓存缓存的设计指标：容量 key-valuetps 12W成本 （64G 128G ）响应时间常用缓存技术：ehcache oscache memcached redis tair二、Me...
2019-03-17 21:33:34
360
原创 FastDFS
FastDFS笔记一、简介FastDFS是高性能的分布式文件系统，主要功能包括文件的存储、同步、访问（上传和下载），特别适合用于以文件为主体的网络站点（图片分享和视频分享）FastDFS包含两个角色：Tracker （追踪器 调度服务器）：调度和文件访问的负载均衡Storage （存储器 存储服务器）：文件的管理（存储、同步、访问接口）和文件的元数据支持水平扩展，不会对在线服务器造...
2019-03-17 21:30:00
1895
原创 AWT组件
AWT组件1、组件是构成图形用户界面的基本成分和核心元素。组件具有以下特性的对象：运行时可见，具有坐标位置、尺寸、字体、颜色等属性，能拥有及管理其他组件，可获得输入焦点可被操作，可响应事件等。Component组件类是一个抽象类，它是AWT组件类层次结构的根类，实际使用的组件都是Component的子类。Component类提供对组件操作的通用方法，包括：获得或设置组件位置、大小、标题文本字体...
2019-03-17 21:22:23
903
原创 Hadoop---MapReduce
MapReduce一、什么是MapReduce---- 并行计算框架模型Hadoop MapReduce是一个软件框架，基于该框架能够容易易地编写应⽤用程序，这些应用程序能够运行在由上千个商⽤用机器器组成的⼤大集群上，并以一种可靠的，具有容错能⼒力力的⽅方式并⾏行行地处理理上TB级别的海量数据集。这个定义里面有着这些关键词:一是软件框架，二是并行处理，三是可靠且容错，四是大规模集群，五是海...
2019-03-17 21:20:44
771
原创 Hadoop--Hdfs
Big Data 大数据1. 数据采集（多个数据源）2. 数据存储（分布式存储）3. 数据分析（并行计算）Hadoop**apache软件基金会的开源项目 提供了大数据集的存储和大数据集的并行计算模型**Apache Hadoop（http://hadoop.apache.org/）是⼀一款框架，允许使⽤用简单的编程模 型跨计算机集群分布式处理理⼤大型数据集。Hadoop开源免费...
2019-03-17 21:18:24
326
原创 MapReduce和yarn的联系
MapReduce和yarn1.Mapreduce是什么?Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上；inputFormat：MapReduce框架使用InputFormat模块做Map前的预处...
2019-03-17 21:06:28
2417
转载 spring中各个jar的作用
spring.jar是包含有完整发布的单个jar 包，spring.jar中包含除了spring-mock.jar里所包含的内容外其它所有jar包的内容，因为只有在开发环境下才会用到 spring-mock.jar来进行辅助测试，正式应用系统中是用不得这些类的。 除了spring.jar文件，Spring还包括有其它13个独立的jar包，各自包含着对应的Spring组件，用户可以根据自己的需...
2019-02-28 20:09:09
166
原创 synchronized 和 lock 有什么区别？
synchronized 和 lock 有什么区别？Lock能够完成synchronized的所有功能并且Lock提供了比synchronized更多的功能.Lock和synchronized的选择 总结来说，Lock和synchronized有以下几点不同： 1）Lock是一个接口，而synchronized是Java中的关键字，synchronized是内置的语言实现； 2）s...
2018-12-25 21:00:37
522
1
原创 ava线程有哪几种状态，分别代表什么意思？
线程的状态有以下几种：NEW：新建、初始化RUNNABLE：可运行状态BLOCKED：阻塞中WAITING：无限等待中TIMED_WAITING：有时间限制的等待中TERMINATED：结束、死亡状态第一种状态：NEW，我们可以理解为线程处于新建、等待启动的状态，这种状态下，线程就仅仅是一个对象第二种状态：RUNNABLE，中文意思是可运行的，意思就是说我们这个线...
2018-12-25 20:59:56
1008
原创 Spring入门
前言框架的重要性对于学习java的人来说不言而喻，而对于三大框架，spring又显得尤为重要，今天将带来spring框架入手代码，从第一个程序来进入到spring框架的学习，这里，我用的是spring4。概述1.1 什么是springSpring是一个开源框架，Spring是于2003 年兴起的一个轻量级的Java 开发框架，由Rod Johnson 在其著作Expert One-On-O...
2018-11-21 17:32:13
100
原创 Junit使用
I 简介JUnit是一个Java语言的单元测试框架。它由Kent Beck和Erich Gamma建立，逐渐成为源于Kent Beck的sUnit的xUnit家族中最为成功的一个。 JUnit有它自己的JUnit扩展生态圈。多数Java的开发环境都已经集成了JUnit作为单元测试的工具。JUnit是由 Erich Gamma 和 Kent Beck 编写的一个回归测试框架（regression...
2018-11-19 17:22:15
157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人