- 博客(20)
- 收藏
- 关注
RSS订阅原创 Jmeter的安装使用及注意事项详情(MapD)
Jmeter的安装使用及注意事项详情以下是对MapD数据库进行并发测试为例安装 从官网上下载jmeter5.0(jmeter5.0的版本jdk必须8以上，否则打开不了) https://jmeter.apache.org/download_jmeter.cgi解压 bin...
2018-12-14 17:33:22
389
原创 谈对Kylin、KE(Kyligence Enterprise)、PostgreSql的一些感受
前言： 我们知道，对很大的数据表比如说几十T，我们经常使用设定定时器让Hive使用SQL转成MR，帮我们算出结果。我们需要让Hive为我们计算一段时间内的数据。但是如果对于一些场景，比如说数据分析师，经常想要很快的让数据库展现结果。然后这时候，可以采用PostgreSql使用citus插件进行分库分表，达到比较快的计算速度。当然也可以使用K...
2018-11-29 21:11:49
1529
1
原创 jmeter、kylin、mysql、postgresql
Jmeter前言：如果经常测试发现都是失败，可能没有对应的驱动包，或者jmx中指定的包路径不对。 jmeter与mysql连接需要mysql-connector-java***.jar jmeter与PostgreSql连接需要 postgresql-***-jdbc4.jar jmeter与Kylin连接需要 kylin-jd...
2018-11-29 20:42:27
505
转载 一些大数据学习书籍pdf
由于网上太多资源都因为个人利益上传让其他人下载，所以本人将自己所想看的一些书籍pdf文件收集并发出来共享。分享出来的链接含有以下书籍pdf： 2018.11 新增《Kylin权威指南》《Apache_Flume_Distributed_Log_Collection_For_Hadoop》《Hadoop权威指南.大数据的存储与分析第4版》《Hadoop权威指南第3版》《HBa...
2018-08-05 11:45:21
4307
20
转载 《Oracle经典教程》
转自 https://blog.csdn.net/self_realian/article/details/72724307走进Oracle. 21. Oracle简介... 32. Oracle安装... 43. Oracle客户端工具... 94. Oracle服务... 165. Oracle启动和关闭... 176. Orac...
2018-08-04 14:27:28
945
原创 使用MapReduce对年份、温度进行全排序，防止数据倾斜（详）
何为全排序？全排序就是将part-r-xxxxx文件合在一起，数据仍然有序。 先来讲讲对年份、温度进行简单排序： 1.以下是关于年份、温度的数据： .... 2.对以上数据计算出每年最高气温 3.编程： ①编写一个继承Mapper的类，重写map方法: ...
2018-07-28 11:26:29
503
转载 spark基本架构原理（详细）
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm等其他大数据和MapReduce技术相比，Spark有如下优势：Spark提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源（批量数据或实时的...
2018-07-26 09:34:33
517
1
转载 Hadoop Yarn 框架原理及运作机制
原文不知在哪，此文转自：https://blog.csdn.net/liuwenbo0920/article/details/43304243 1.1 YARN 基本架构YARN是Hadoop 2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationM...
2018-07-24 23:14:24
123
原创 06 hdfs输出流池化处理
因为在大数据收集数据当中，若经常打开流关闭流，很多时间花在这上，此时可以使用池化+装饰模式来优化。整个过程是这样的：用单例模式创建一个池，池里放的是通过装饰模式生成的FSDataOutputStream输出流对象，每当创建一个输出流对象，用完后不关闭。再根据下一个输出流路径判断将要创建的输出流对象是否跟上一个输出流对象一样，如果一样则不创建输出流对象，直接使用上一个输出流对象，如...
2018-07-20 00:12:14
334
1
原创 05 flume+kafka实现对nginx日记收集并存储到hdfs
1.在集群上每台nginx服务器安装flume2.配置flume 使用spooldir做为source，监控/soft/nginx/logs/flume文件夹。 创建eshop.conf配置文件 [/soft/flume/conf/eshop.conf] a1.sources = r1 a1.channels = c1 ...
2018-07-18 23:22:54
1553
原创 04 centos实现nginx日记滚动
在上一篇当中，已经搭建好nginx+tomcat实现动静资源的分离。 接下来，使用ab做压力测试： 1.安装httpd-2.2.21-win32-x86-no_ssl.msi试软件。下载地址：http://mirror.bit.edu.cn/apache//httpd/binaries/win32/?C=M;O=A 2.使用ab进行压力测试 ...
2018-07-17 22:32:04
899
原创 03 nginx+tomcat实现动态+静态资源分离，实现日记收集
在本项目中目录结构如下:在本项目中，实现静态和动态资源的分离，静态的文件交给nginx处理，nginx对静态文件的处理比tomcat不是只快了一点，并且nginx的使用对项目并发能力有很大的提升。以下是个人安装搭建nginx+tomcat过程：个人环境： window10：nginx+tomcat 虚拟机s128:n...
2018-07-17 22:07:49
1605
原创 02 完善ssh搭建
项目快速搭建已在上一篇当中介绍（包含，c3p0、hibernate、spring文件）在这篇当中，完善spring下图是各层之间的联系因为在实际开发中，不可能所有操作都是增删改查，可能有很复杂的操作，再复杂的操作都是由基本的操作组合成，所以一般都是面向业务编程，业务，就是在service层。service跟dao是两个层面，service力度比较粗，可以不断的去丰富和扩展，但是dao不变（因为我们...
2018-07-15 19:28:54
183
原创 01 idea下快速搭建项目（SSH框架）
1创建项目： 这个就不用讲了，本人创建的是名为bigdata工程 2:配置tomcat服务器： 3：添加名为eshop名称的模块并添加Web application的支持：4：运行时配置： 添加tomcat服务： 另外在deployment添加：5：创建index.html运行。即刻6：给eshop模块中添加maven支...
2018-07-11 18:11:13
1514
原创 06 协处理器
因为在A打给B时，生成A打给B一条记录，于此同时需要生成一条B被A拨打的记录，这时就需要用到协处理器。 创建CallLogRegionObserver： /** * 协处理器, */public class CallLogRegionObserver extends BaseRegionObserver { //被叫引用id private...
2018-06-18 14:14:03
173
原创 05 ssm框架访问操作hbase
web端采用ssm框架进行对hbase操作。配置文件：beans.xml: <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:tx="http://www.springframework....
2018-06-18 14:07:59
1193
8
原创 04 hbase提取kafka中的数据存储
上一篇中的测试时是采用kafka消费者，如果把消费者换成hbase就可以实现hbase提取kafka中的数据进行存储。 启动hbase要先启动hdfs，hbase需要zk 启动hdfs：start-dfs.sh 启动hbase：start-hbase.sh 要hbase高可用，需要在其他节点中启动：hbase-daemon.s...
2018-06-18 11:12:28
1564
原创 03flume、kafka部分
kafka需要zookeeper支撑，所以先使用命令：zkServer.sh start 启动zk集群 然后使用命令：kafka-server-start.sh -daemon /soft/kafka/config/server.properties 启动kafka集群 各节点进程如下： 创建名称为call...
2018-06-18 10:52:23
231
原创 02数据生成
一切配置外部文件化。 创建gendata.conf log.file=/home/centos/calllog/calllog.logcall.duration.max=600 call.duration.format=000call.year=2017call.time.format=yyyy/MM/dd HH:mm:ssgen.data.inte...
2018-06-18 10:24:49
192
原创 01项目概述
项目涉及到的知识：hadoop、hbase、hive、kafka、flume、ssm、yarn。 运行环境：5台centos7.0，别名为s128—s132，16G内存 各节点配置： s128：zookeeper、flume、hbase、hive、yarn、hadoop ...
2018-06-18 10:19:47
607
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人