- 博客(41)
- 收藏
- 关注
RSS订阅转载 HBase Snapshot 相关操作原理
转自：https://blog.csdn.net/t894690230/article/details/521216131. 前言 HBase 从0.95开始引入了 Snapshot，Snapshot 相关操作主要是对 table 做备份与还原等，这在容灾方面是必不可少的，而由于在实际工作中遇到了部分问题需要阅读源码以了解其具体的原理，所以本文将根据源码来简单描述 Snapshot 相...
2018-07-30 13:15:26
747
转载 HBase原理－数据读取流程解析
转自：http://hbasefly.com/2016/12/21/hbase-getorscan/和写流程相比，HBase读数据是一个更加复杂的操作流程，这主要基于两个方面的原因：其一是因为整个HBase存储引擎基于LSM-Like树实现，因此一次范围查询可能会涉及多个分片、多块缓存甚至多个数据存储文件；其二是因为HBase中更新操作以及删除操作实现都很简单，更新操作并没有更新原有数据，而是...
2018-07-30 13:13:16
313
转载 HBase原理－数据读取流程
转载自：http://hbasefly.com/2017/06/11/hbase-scan-2/笔者去年年底分享了一篇关于HBase中数据读取（scan）逻辑的文章（戳这里），主要介绍了scan的基本流程以及实现框架，看官反应甚是强烈。文章最后还挖了一个不大不小的坑，承诺后期会就部分细节进行深入分析，然而因为部分原因这个坑一直没填上。HBase-Scan的细节其实并不好讲，涉及太多代码层面的底...
2018-07-30 13:09:53
2159
转载 JVM总结-内存监视手段及各区域内存溢出解决
本文仅关注一些常见的虚拟机内存监视手段，以及JVM运行时数据区各个部分内存溢出的发生和对应的解决方案，总体来说属于概括性总结，涉及相对不是很深入，目的是让自己和其它初学者有一个框架性、概念性的了解，当遇到问题时有迹可循、不至于不知所措。一、虚拟机内存监视手段虚拟机常出现的问题包括：内存泄露、内存溢出、频繁GC导致性能下降等，导致这些问题的原因可以通过下面虚拟机内存监视手段来进行分析，具体实施时可能...
2018-06-27 13:44:03
275
转载 flume简单测试hdfssink && hivesink
转自：https://blog.csdn.net/woloqun/article/details/77651006quich startvi example.conf# example.conf: A single-node Flume configuration# Name the components on this agenta1.sources = r1a1.sinks = k1...
2018-06-15 17:29:39
772
转载 Cookie和Session机制
会话（Session）跟踪是Web程序中常用的技术，用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。Cookie通过在客户端记录信息确定用户身份，Session通过在服务器端记录信息确定用户身份。本章将系统地讲述Cookie与Session机制，并比较说明什么时候不能用Cookie，什么时候不能用Session。Cookie机制Cookie技术是客户端的解决方案，Cook...
2018-06-07 11:52:25
245
转载 Storm[1]环境安装配置
本节内容：Apache Storm是什么Apache Storm核心概念Storm原理架构Storm集群安装部署启动storm ui、Nimbus和Supervisor 一、Apache Storm是什么Apache Storm是自由开源的分布式实时计算系统，擅长处理海量数据，适用于数据实时处理而非批处理。批处理使用的大多是鼎鼎大名的hadoop或者hive，作为一个批处理系统，hadoop以其吞...
2018-06-02 16:26:59
856
原创 Kakfa[1]环境安装配置
0. Kafka源码包下载http://mirror.bit.edu.cn/apache/kafka/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2....
2018-06-02 15:28:24
243
原创 Flume[1]环境安装配置
http://mirror.bit.edu.cn/apache/flume/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/flume/1.6.0/apache-flume-1.6.0-bin.tar.gztar z...
2018-06-02 11:50:16
320
转载 Spark函数
1、RDD提供了两种类型的操作：transformation和action所有的transformation都是采用的懒策略，如果只是将transformation提交是不会执行计算的，计算只有在action被提交的时候才被触发。1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDDmap(func):对调用map的RDD数据集中的每个...
2018-05-18 11:04:32
1042
原创 Spark-Scala常用函数
一、读取 1、textFile() 读取外部数据源 2、 map() 遍历每条数据处理 3、mapvalues(_+10) 传入一个函数，类似于map方法，不过这里只是对元组中的value进行计算 4、keys values val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther"...
2018-05-18 10:46:46
2693
转载 Hive[2]环境安装之浏览器访问配置
1、下载hive-2.1.0-src.tar.gz#tar -zxvf hive-2.1.0-src.tar.gz然后进入目录${HIVE_SRC_HOME}/hwi/web，执行打包命令:#jar -cvf hive-hwi-1.2.2.war *得到hive-hwi-1.2.2.war文件，复制到hive下的lib目录中。#cp hive-hwi-1.2.2.war ${HIVE_HOME}/...
2018-04-25 18:38:10
664
转载 Hive行转列，列转行
下面举两个例子：例一:行转列数据：a b 1a c 2a b 3c d 4c d 5c d 6转化为：a b 1,2,3c d 4,5,6 创表Hive>create table test1 (col1 String,col2 String,col3 String) row format delimited fields terminated by ' ';加载数据：Hive>load...
2018-04-20 18:37:25
379
转载 hive分组去前几条数据
需求交易系统，财务要求维护每个用户首个交易完成的订单数据（首单表，可取每个用户交易完成时间最老的订单数据）。举例：简写版的表结构：表数据：则 财务希望汇总记录如下：uidorder_idservice_completion_time2442017-02-03 12:23:01.03332017-11-30 12:23:01.0hive分组排序函数语法：row_number() over (part...
2018-04-20 18:34:58
1569
转载 Hive常用函数大全一览
Hive常用函数大全一览文章目录1 关系运算1.1 1、等值比较: =1.2 2、不等值比较:1.3 3、小于比较: <1.4 4、小于等于比较: <=1.5 5、大于比较: >1.6 6、大于等于比较: >=1.7 7、空值判断: IS NULL1.8 8、非空判断: IS NOT NULL1.9 9、LIKE比较: LIKE1.10 10、JAVA的LIKE操作: RL...
2018-04-20 09:52:57
8451
3
原创 Hbase[1]环境安装
0. 软件版本下载http://mirror.bit.edu.cn/apache/hbase/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://archive.apache.org/dist/hbase/0.98.24/hbase-0.98.24-hadoop1-bi...
2018-04-17 15:19:51
214
原创 Zookeeper[1]环境安装配置
0. zookeeper源码包下载http://mirror.bit.edu.cn/apache/zookeeper/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.1...
2018-04-17 14:38:45
202
原创 Hive[1]环境安装
0. Hive源码包下载http://mirror.bit.edu.cn/apache/hive/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-b...
2018-04-16 11:15:01
274
原创 hadoop2.*环境安装
0. Hadoop源码包下载http://mirror.bit.edu.cn/apache/hadoop/common1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载安装包#Masterwget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8....
2018-04-16 11:11:27
233
转载 MapReduce过程详解及其性能优化
转自：https://blog.csdn.net/aijiudu/article/details/72353510从JVM的角度看Map和ReduceMap阶段包括：第一读数据：从HDFS读取数据1、问题:读取数据产生多少个Mapper？？ Mapper数据过大的话，会产生大量的小文件，由于Mapper是基于虚拟机的，过多的Mapper创建和初始化及关闭虚拟机都会消耗大量的硬件资源； ...
2018-04-12 13:51:30
240
原创 CentOS 7下安装Python3.6
CentOS 7下安装Python3.6CentOS 7 默认安装了python2.7因为一些命令要用它比如yum 它使用的是python2.7。使用 #python -V 命令查看一下是否安装Python然后使用命令 #which python 查看一下Python可执行文件的位置 •安装python3.5可能使用的依赖#yum install zlib-devel bzip2-develope...
2018-04-11 15:24:41
144
原创 Spark[1]安装配置
1. 下载软件包*Master#cd /usr/local //进入/usr/local 目录wget http://mirrors.shu.edu.cn/apache/spark/spark-2.3.0/spark-2.3.0-bin-hadoop2.7.tgztar zxvf spark-2.3.0-bin-hadoop2.7.tgzwget https://downloads.lightb...
2018-04-11 15:08:23
198
转载 Session活化、钝化
Session活化：从硬盘上读取序列化的session到内存中Session钝化：把内存中的session序列化到硬盘上Tomcat中两种Session钝化管理器session钝化机制是由sessionManager管理 tomcat提供了以下这两种session处理方式?12org.apache.catalina.session.StandarManagerorg.apache.catalina...
2018-03-28 14:19:40
621
转载 session钝化、序列化
首先明白一个概念，sessio可以存储在很多位置，并不是固定在某个地方。可能是内存，也可以是硬盘，服务器关闭后，session暂时还不会失效，比如登录页面，如果服务器关闭了，session还没失效，但是开启服务器后，希望还是看到之前登录的用户登录进去的页面，这时候需要序列化改pojo对象，这样pojo对象会跟session一起保存到内存或者硬盘。而重新开启服务器后，session和pojo会重新被...
2018-03-28 14:03:39
348
转载 Git Push 避免用户名和密码方法
在大家使用github的过程中，一定会碰到这样一种情况，就是每次要push 和pull时总是要输入github的账号和密码，这样不仅浪费了大量的时间且降低了工作效率。在此背景下，本文在网上找了两种方法来避免这种状况，这些成果也是先人提出来的，在此只是做个总结。1.方法一 1.1 创建文件存储GIT用户名和密码在%HOME%目录中，一般为C:\users\Administrator，也可以是...
2018-03-19 18:26:20
278
转载 java虚拟机内存区域的划分以及作用详解
一、运行时数据区 什么叫运行时数据区呢，看下图就知道了，今天的重点就围绕这张图讲。 1、程序计数器(寄存器) 当前线程所执行的字节码行号指示器 字节码解释器工作依赖计数器控制完成 通过执行线程行号记录，让线程轮流切换各条线程之间计数器互不影响 ...
2018-03-19 11:22:42
236
转载 springcloud(7)：使用Spring Cloud Sleuth和Zipkin进行分布式链路跟踪
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)随着业务发展，系统拆分导致系统调用链路愈发复杂一个前端请求可能最终需要调用很多次后端服务才能完成，当整个请求变慢或不可用时，我们是无法得知该请求是由某个或某些后端服务引起的，这时就需要解决如何快读定位服务故障点，以对症下药。于是就有了分布式...
2018-03-10 14:09:51
386
转载 springcloud(6)：服务网关zuul基础篇
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)为什么需要API Gateway1、简化客户端调用复杂度在微服务架构模式下后端服务的实例数一般是动态的，对于客户端而言很难发现动态改变的服务实例的访问地址信息。因此在基于微服务的项目中为了简化前端的调用逻辑，通常会引入API Gateway...
2018-03-09 18:11:46
332
转载 springcloud(5)：熔断监控Hystrix Dashboard和Turbine
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)注：1、依赖文件不用追求跟示例一摸一样，创建项目时勾选相应模块自动生成的依赖一般是没问题的。Hystrix-dashboard是一款针对Hystrix进行实时监控的工具，通过Hystrix Dashboard我们可以在直观地看到各Hystr...
2018-03-09 14:59:08
433
1
转载 springcloud（4）：熔断器Hystrix
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)说起springcloud熔断让我想起了去年股市中的熔断，多次痛的领悟，随意实施的熔断对整个系统的影响是灾难性的，好了接下来我们还是说正事。熔断器雪崩效应在微服务架构中通常会有多个服务层调用，基础服务的故障可能会导致级联故障，进而造成整个系...
2018-03-08 17:33:36
233
转载 springcloud（1）：大话Spring Cloud
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)研究了一段时间spring boot了准备向spirng cloud进发，公司架构和项目也全面拥抱了Spring Cloud。在使用了一段时间后发现Spring Cloud从技术架构上降低了对大型系统构建的要求，使我们以非常低的成本（技术或...
2018-03-08 16:58:51
228
转载 springcloud（2）：注册中心Eureka
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)注：第一次实践时，spring-boot和spring-cloud的版本搭配问题一定要注意，不然会报些让你怀疑人生的异常或者404。一般不建议用最新版本，建议用最新版本的上一个稳定版本。Eureka是Netflix开源的一款提供服务注册和发...
2018-03-08 16:55:24
670
转载 springcloud（3）：服务提供与调用
转自：微信公众号--纯洁的微笑（示例代码:https://github.com/ityouknow/spring-cloud-starter）(本人仅学习记录)案例中有三个角色：服务注册中心、服务提供者、服务消费者，其中服务注册中心就是我们上一篇的eureka单机版启动既可，流程是首先启动注册中心，服务提供者生产服务并注册到服务中心中，消费者从服务中心中获取服务并执行。服务提供我们假设服务提供者有...
2018-03-08 16:54:59
219
转载 Tomcat如何与Servlet对象进行交互
Tomcat 是Web应用服务器,是一个Servlet/JSP容器. Tomcat 作为Servlet容器,负责处理客户请求,把请求传送给Servlet,并将Servlet的响应传送回给客户.而Servlet是一种运行在支持Java语言的服务器上的组件. Servlet最常见的用途是扩展Java Web服务器功能,提供非常安全的,可移植的,易于使用的CGI替代品.下面我们描述一下Tomcat与Se...
2018-02-23 10:40:06
497
转载 修复TortoiseGit文件夹和文件状态图标不显示问题
一. 运行环境：操作系统 Windows 10 64bitTortoiseGit (2.2.0.0) 64bitgit(2.9.2.1) 64bit注意：请确保环境正确，软件的位数相匹配。二. 使用Git管理项目首先在硬盘中新建一个文件夹叫“test”,打开它;单击右键并选择 “Git Create repository here…” 创建新的 git 仓库。然后再创建 一个文件 “test...
2018-02-22 10:15:48
4377
原创 nginx+tomcat反向代理，及http2使用
一、下载安装 资源网址：http://nginx.org/en/download.html下载安装参考链接：https://www.cnblogs.com/jimisun/p/8057156.htmlhttps://www.cnblogs.com/hanyinglong/p/5102141.html1、在服务器文件下（最好直接在/usr/local下面安装nginx比较好，不然
2018-01-30 15:43:34
2774
转载 cronolog 分割tomcat catalina.out日志
转载链接--http://blog.chinaunix.net/uid-29680017-id-5757824.html由于公司运行的tomcat下catalina.out越来越大，所以怕以后对系统有影响，所以采用cronolog来将catalina.out每天生成一份1.下载cronolog-1.6.2.tar.gz官网打不开，但是在CU上找到了http://download.c
2018-01-27 14:58:37
293
原创 solr-chapter1--solr环境部署，数据源配置,简单使用
资源链接：W3CSchool--https://www.w3cschool.cn/solr_doc/solr_doc-1r4g2flx.htmlApacheSolr--http://www.apache.org/dyn/closer.lua/lucene/solr/7.2.1SolrWiki--https://wiki.apache.org/solr/Support一、linu
2018-01-25 15:58:50
448
原创 sofort 支付 版本sofort/开发语言java/使用场景PC端网站
一、注册sofort 交易账号注册中须填公司基本信息、绑定银行卡等，个人感觉让财务或行政做就行了，开发人员就不要搞了https://www.sofort.com/integrationCenter-eng-DE/content/view/full/4520此链接是sofort关于注册、项目创建等的引导说明，按照步骤来就行了。创建项目有Gateway project 和 Classic
2018-01-12 10:29:44
1097
原创 Paypal REST API Java 版 PC端商城支付接口对接。
引言：同类文借鉴链接：http://blog.csdn.net/change_on/article/details/73881791（对此博主万分感谢）Paypal账号注册网址：https://www.paypal.comPaypal开发者网址：https://developer.paypal.comPaypal支付演示网址：https://demo.paypal.com
2018-01-11 18:50:05
5035
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人