10 IT狗探求

尚未进行身份认证

积累每一份知识,完善每一件事

等级
博文 176
排名 5k+

美团技术团队 Quartz应用与集群原理分析

美团技术团队Quartz应用与集群原理分析原文地址:http://www.icartype.com/?p=140一、问题背景美团CRM系统中每天有大量的后台任务需要调度执行,如构建索引、统计报表、周期同步数据等等,要求任务调度系统具备高可用性、负载均衡特性,可以管理并监控任务的执行流程,以保证任务的正确执行。二、历史方案美团CRM系统的任务调度模块经历了以下历史方案。1.Crontab+SQL每天晚上运行定时任务,通过SQL脚本+crontab方式执行,例如,#crm02*

2018-03-21 14:40:24

使用 Redis 搭建电商秒杀系统

使用Redis搭建电商秒杀系统原文:https://help.aliyun.com/document_detail/63920.html背景秒杀活动是绝大部分电商选择的低价促销、推广品牌的方式。不仅可以给平台带来用户量,还可以提高平台知名度。一个好的秒杀系统,可以提高平台系统的稳定性和公平性,获得更好的用户体验,提升平台的口碑,从而提升秒杀活动的最大价值。本文讨论云数据库Redis版缓存设计高并发的秒杀系统。秒杀的特征秒杀活动对稀缺或者特价的商品进行定时定量售卖,吸引成大量

2018-03-01 15:56:59

Spark性能优化:shuffle调优

Spark性能优化:shuffle调优 原文地址:https://www.iteblog.com/archives/1672.html《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spark性能优化:shuffle调优》文章目录1 shuffle调优1.1 调优概述1.2 ShuffleManager发展概述1.3 HashShuffle

2018-01-19 16:25:00

Spark性能优化:数据倾斜调优

Spark性能优化:数据倾斜调优 原文地址:https://www.iteblog.com/archives/1671.html《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spark性能优化:shuffle调优》文章目录1 前言2 数据倾斜调优2.1 调优概述2.2 数据倾斜发生时的现象2.3 数据倾斜发生的原理2.4 如何定位导致数据

2018-01-19 16:19:04

Spark性能优化:资源调优篇

Spark性能优化:资源调优篇 原文地址:https://www.iteblog.com/archives/1659.html《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spark性能优化:shuffle调优》  在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为

2018-01-19 16:00:44

Spark性能优化:开发调优篇

Spark性能优化:开发调优篇《Spark性能优化:开发调优篇》《Spark性能优化:资源调优篇》《Spark性能优化:数据倾斜调优》《Spark性能优化:shuffle调优》  在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。  然而,通过Spark开发出高性能的大数据计算作业,并不是那么简单的。如果没有对Spark作业进

2018-01-19 15:43:24

JDK7与JDK8中HashMap的实现

原文:https://my.oschina.net/hosee/blog/618953JDK7中的HashMapHashMap底层维护一个数组,数组中的每一项都是一个EntrytransientEntry[]table;我们向HashMap中所放置的对象实际上是存储在该数组当中; 而Map中的key,value则以Entry的形式存放在数组中staticclassEntryK,V>i

2018-01-18 20:47:11

JDK1.7与JDK1.8中ConcurrentHashMap原理总结

原文:https://my.oschina.net/hosee/blog/675884并发编程实践中,ConcurrentHashMap是一个经常被使用的数据结构,相比于Hashtable以及Collections.synchronizedMap(),ConcurrentHashMap在线程安全的基础上提供了更好的写并发能力,但同时降低了对读一致性的要求(这点好像CAP理论啊O(∩_∩)O)。ConcurrentHashMap的设计与实现非常精巧,大量的利用了volatile,final,CAS等loc

2018-01-18 20:37:10

Kafka深度解析

原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介  Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输支持KafkaServer间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输同时支持离线数据处理和实时数据处

2018-01-02 10:37:45

八.SpringBoot集成实例系列-持久化jpa

文章列表本系列将通过实例分别实现Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。具体文章系列如下:一.SpringBoot集成实例系列-xml型单数据源mybatis二.SpringBoot集成实例系列-xml型多数据源mybatis三.SpringBoot集成实例系列-注解型单数据源mybatis四.SpringBoot集成实例系列-注解型多数据源mybatis五

2017-12-04 15:13:54

SQL优化:一篇文章说清楚Oracle Hint的正确使用姿势

SQL优化:一篇文章说清楚OracleHint的正确使用姿势作者介绍韩锋,宜信技术研发中心数据库架构师。精通多种关系型数据库,曾任职于当当网、TOM在线等公司,曾任多家公司首席DBA、数据库架构师等职,多年一线数据库架构、设计、开发经验。著有《SQL优化最佳实践》一书。原文地址:http://dbaplus.cn/news-10-669-1.html一、提示(Hint)概述1为什么引入Hint?Hint是Oracle数据库中很有特色的一个功能,是很多DBA优化中经常采用的一个手段

2017-11-14 11:00:26

SpringMVC+Spring+mybatis+redis项目从零开始--Springmvc配置实现

一、SSM项目-Springmvc配置实现上几章我们简单介绍了SSM项目工程结构、SSM相关配置和集成Redis实现等,本章将实现Springmvc等相关配置,同时通过简单的文件上传、图片上传等实例。1.    Springmvc简介SpringWebMVC是一种基于Java的实现了WebMVC设计模式的请求驱动类型的轻量级Web框架,即使用了MVC架构模式的思想,将web层进

2017-10-19 14:58:41

SpringMVC+Spring+mybatis+redis项目从零开始--redis缓存策略和配置实现

三.SSM项目-redis缓存策略和配置实现距离上两篇文章已过去蛮久了,为了响应各位网友的需求,最近把这个系列重新整理下。如有不足之处,请指正。本章将实现redis缓存策略和Spring集成redis配置。1.Redis简单介绍redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sortedset--有序集合)和hash(哈希类型)。这些数据类型都支持pu

2017-10-19 14:34:21

缓存更新的套路

原文地址:https://coolshell.cn/articles/17416.html?spm=5176.100239.0.0.wgNzgk看到好些人在写更新缓存数据代码时,先删除缓存,然后再更新数据库,而后续的操作会把数据再装载的缓存中。然而,这个是逻辑是错误的。试想,两个并发操作,一个是更新操作,另一个是查询操作,更新操作删除缓存后,查询操作没有命中缓存,先把老数据读出来后放到缓存中,然后更新操作更新了数据库。于是,在缓存中的数据还是老的数据,导致缓存中的数据是脏的,而且还一直这样脏下去了。

2017-10-16 18:31:43

七.SpringBoot集成实例系列-多数据源mongodb+lombok(二)

文章列表本系列将通过实例分别实现Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。具体文章系列如下:一.SpringBoot集成实例系列-xml型单数据源mybatis二.SpringBoot集成实例系列-xml型多数据源mybatis三.SpringBoot集成实例系列-注解型单数据源mybatis四.SpringBoot集成实例系列-注解型多数据源mybatis五

2017-10-15 11:10:13

七.SpringBoot集成实例系列-多数据源mongodb(一)

文章列表本系列将通过实例分别实现Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。具体文章系列如下:一.SpringBoot集成实例系列-xml型单数据源mybatis二.SpringBoot集成实例系列-xml型多数据源mybatis三.SpringBoot集成实例系列-注解型单数据源mybatis四.SpringBoot集成实例系列-注解型多数据源mybatis五

2017-10-14 14:15:58

六.SpringBoot集成实例系列-单数据源mongodb(权限控制)

文章列表本系列将通过实例分别实现Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。具体文章系列如下:一.SpringBoot集成实例系列-xml型单数据源mybatis二.SpringBoot集成实例系列-xml型多数据源mybatis三.SpringBoot集成实例系列-注解型单数据源mybatis四.SpringBoot集成实例系列-注解型多数据源mybatis五

2017-09-13 17:47:14

Oracle goldengate 实现mysql到kafka同步配置

一.oraclegoldengate技术架构OracleGoldenGate实现原理是通过抽取源端的redolog或者archivelog,然后通过TCP/IP投递到目标端,最后解析还原应用到目标端,使目标端实现同源端数据同步。图1-1是OracleGoldenGate的技术架构。其中target接受的容器包含:kafka,hbase,hdfs,关系数据库等.二.准备在实现oraclegoldengate同步配置前,小求认为你已安装了一下环境1.jdk配置

2017-08-18 10:17:57

五.SpringBoot集成实例系列-邮件email文章列表

文章列表本系列将通过实例分别实现Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。具体文章系列如下:一.SpringBoot集成实例系列-xml型单数据源mybatis二.SpringBoot集成实例系列-xml型多数据源mybatis三.SpringBoot集成实例系列-注解型单数据源mybatis四.SpringBoot集成实例系列-注解型多数据源mybatis五

2017-07-29 16:43:10

四.SpringBoot集成实例系列-注解型多数据源mybatis

文章列表本系列将通过实例分别实现Springboot集成mybatis(mysql),mail,mongodb,cassandra,scheduler,redis,kafka,shiro,websocket。具体文章系列如下:一.SpringBoot集成实例系列-xml型单数据源mybatis二.SpringBoot集成实例系列-xml型多数据源mybatis三.SpringBoot集成实例系列-注解型单数据源mybatis四.SpringBoot集成实例系列-注解型多数据源mybatis五

2017-07-18 19:59:43
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!