9 Evankaka

尚未进行身份认证

一步一个脚印,认真做好每一件事

等级
TA的排名 424

Mac安装Spark

一、安装scala1、下载taz包进入http://www.scala-lang.org/download/下载后解压2.配置环境变量Mac修改.bash_profile文件,此文件是mac当前用户的环境配置文件。/etc/profile是当前系统的环境配置文件(Linux,系统可修改这个).bash_profile文件的路径是在当前用户下。vim~/.bash_...

2018-07-30 17:14:44

Java并发编程与技术内幕:ForkJoin 框架初探

 一、ForkJoin介绍   ForkJoin是Java7提供的原生多线程并行处理框架,其基本思想是将大人物分割成小任务,最后将小任务聚合起来得到结果。它非常类似于HADOOP提供的MapReduce框架,只是MapReduce的任务可以针对集群内的所有计算节点,可以充分利用集群的能力完成计算任务。ForkJoin更加类似于单机版的MapReduce。     二、...

2018-07-27 15:01:42

Mysql各种超时时间理解

    笔者最近做一个项目被mysql驱动包的的超时设置给坑了,起因就是因为没设置好connectiontimeout和sockettimeout,导致线程全部阻塞等待,机器线程全挂起,也无法处理新的其它请求,所以做了下面一些总结。1、常见超时 transactiontimeout    设置的是一个事务的执行时间,里头可能包含多个statement,statem...

2018-07-26 19:54:59

Java并发编程与技术内幕:volatile的那些事

 一、volatile变量    Java语言提供了一种稍弱的同步机制,即volatile变量,用来确保将变量的更新操作通知到其他线程。当把变量声明为volatile类型后,编译器与运行时都会注意到这个变量是共享的,因此不会将该变量上的操作与其他内存操作一起重排序。volatile变量不会被缓存在寄存器或者对其他处理器不可见的地方,因此在读取volatile类型的变量时总会返回最新写入的...

2018-07-25 15:17:30

常见限流算法研究与实现

一、限流场景     很多做服务接口的人或多或少的遇到这样的场景,由于业务应用系统的负载能力有限,为了防止非预期的请求对系统压力过大而拖垮业务应用系统。也就是面对大流量时,如何进行流量控制?服务接口的流量控制策略:分流、降级、限流等。本文讨论下限流策略,虽然降低了服务接口的访问频率和并发量,却换取服务接口和业务应用系统的高可用。1、实际场景中常用的限流策略: Nginx前端限流...

2018-07-24 15:42:06

Java 8编程进阶-Stream之函数式编程

1、什么是Stream    Java8API添加了一个新的抽象称为流Stream,可以让你以一种声明的方式处理数据。Stream使用一种类似用SQL语句从数据库查询数据的直观方式来提供一种对Java集合运算和表达的高阶抽象。StreamAPI可以极大提高Java程序员的生产力,让程序员写出高效率、干净、简洁的代码。这种风格将要处理的元素集合看作一种流,流在管道中传输,并...

2018-07-12 10:31:38

RabbitMq运行原理浅析

1.RabbitMq简介   AMQP,即AdvancedMessageQueuingProtocol,高级消息队列协议,是应用层协议的一个开放标准,为面向消息的中间件设计。消息中间件主要用于组件之间的解耦,消息的发送者无需知道消息使用者的存在,反之亦然。AMQP的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。    RabbitMQ是一个开源的AMQP实...

2018-07-12 10:30:58

Kafka原理浅析

1.Kafka简介    Kafka是一个消息系统,原本开发自LinkedIn,用作LinkedIn的活动流(ActivityStream)和运营数据处理管道(Pipeline)的基础。现在它已被多家公司作为多种类型的数据管道和消息系统使用。活动流数据是几乎所有站点在对其网站使用情况做报表时都要用到的数据中最常规的部分。活动数据包括页面访问量(PageView)、被查看内容方面的...

2018-07-10 19:05:09

延迟队列DelayQueue研究

1.什么是DelayQueue   DelayQueue是 Delayed元素的一个无界阻塞队列,只有在延迟期满时才能从中提取元素。该队列的头部是延迟期满后保存时间最长的Delayed元素。如果延迟都还没有期满,则队列没有头部,并且poll将返回null。当一个元素的getDelay(TimeUnit.NANOSECONDS)方法返回一个小于等于0的值时,将发生到期。即...

2018-07-03 09:42:17

如何确保三个线程顺序执行?

场景:有三个线程t1、t2、t3。确保三个线程t1执行完后t2执行,t2执行完成后t3执行。1.使用join1.使用join   thread.Join把指定的线程加入到当前线程,可以将两个交替执行的线程合并为顺序执行的线程。比如在线程B中调用了线程A的Join()方法,直到线程A执行完毕后,才会继续执行线程B。t.join();     //调用join方法,等待线程t执行完毕t.join...

2018-07-03 09:42:00

Phoenix二级索引

在HBase中,只有一个单一的按照字典序排序的rowKey索引,当使用rowKey来进行数据查询的时候速度较快,但是如果不使用rowKey来查询的话就会使用filter来对全表进行扫描,很大程度上降低了检索性能。而Phoenix提供了二级索引技术来应对这种使用rowKey之外的条件进行检索的场景。其主要有以下四种索引类型1、CoveredIndexes(覆盖索引)覆盖索引:只需要通过索引就能返回

2017-05-25 22:06:49

Java常用公共工具记录

常用java处理工具记录

2017-05-21 22:11:26

RPC过程简单实现

rpc过程简单实现

2017-05-11 21:36:41

phoenix-plugin项目开源

摘要:phoenix-plugin是笔者自己封装的一个类似mybtis的orm框架,专门用来操作phoenix(一个基于hbase的数据库),项目地址:https://github.com/appleappleapple/phoenix-plugin 下面来看看使用说明:phoenix-plugin使用说明一、概述Phoenix-Plugin是一个使用jdbc封装了操作Hbase的工具类.可以

2017-05-05 13:04:04

Flink WordCount实例讲解

摘要:本文主要讲了一个Flink的简单的可以本地运行的wordCount程序

2017-05-04 09:21:53

Spark Streaming + Kafka整合实例

本文主要讲了一个SparkStreaming+Kafka整合的实例

2017-05-04 09:20:10

Zookeeper分布式队列的实现

摘要:本文要通过zookeeper实现一个简单可靠的分布式队列本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning一、队列Zookeeper可以处理两种类型的队列:(1)同步队列当一个队列的成员都聚齐时,这个队列才可用,否则一直等待所有成员到达。例如一个班去旅游,看是否所有人都到齐了,到齐了就发车。例如有个...

2017-05-03 09:17:03

Zookeeper分布式锁实现

   摘要:本文要使用Zookeeper来实现一个分布式锁,是一个悲观锁。  本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning一、锁设计  获取锁实现思路:1.首先创建一个作为锁目录(znode),通常用它来描述锁定的实体,称为:/lock_node2.希望获得锁的客户端在锁目录下创建zno...

2017-05-03 09:14:59

Redis分布式锁----乐观锁的实现,以秒杀系统为例

   摘要:本文使用redis来实现乐观锁,并以秒杀系统为实例来讲解整个过程。本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning乐观锁   大多数是基于数据版本(version)的记录机制实现的。即为数据增加一个版本标识,在基于数据库表的版本解决方案中,一般是通过为数据库表增加一个”version”字...

2017-05-02 10:07:37

Redis分布式锁----悲观锁实现,以秒杀系统为例

  摘要:本文要实现的是一种使用redis来实现分布式锁。本文源码请在这里下载:https://github.com/appleappleapple/DistributeLearning1、分布式锁  分布式锁在是一种用来安全访问分式式机器上变量的安全方案,一般用在全局id生成,秒杀系统,全局变量共享、分布式事务等。一般会有两种实现方案,一种是悲观锁的实现,一种是乐观锁的实现。...

2017-05-02 10:05:45

查看更多

CSDN身份
  • 论坛版主
  • 博客专家
勋章 我的勋章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!