写给自己的博客

原创 记一次spark streaming + spark sql应用的长时间运行异常关闭问题的排查过程

背景最近公司的推荐系统准备上线一个实时预测的功能，通过实时训练模型后实时预测用户的实时兴趣，进而推荐相关作品。项目用到了spark streaming、spark sql和spark mllib。功能开发完成后，预生产环境测试性能很不理想，于是我便接到这个需求优化改造任务。优化的过程无非是从以下几方面入手：首先是从代码逻辑上进行优化，减少迭代计算，合并单次操作为批量操作，优化业务逻辑等，这...

原创 快乐之源

原创 分布式作业调度框架——Elastic-Job

分布式作业调度框架——Elastic-Job1.概述Elastic-Job是当当开源的分布式弹性作业框架。Elastic-Job分为lite和cloud两个相对独立的版本，lite版为轻量级去中心化的版本，cloud版则是基于Mesos + Docker方案提供了资源治理、应用分发和服务隔离的功能。我们项目使用的是lite版的Elastic-Job，因此本文主要围绕lite版本进行介绍。el...

原创 Kibana的sentinl插件的安装使用

安装sentinl插件到https://github.com/sirensolutions/sentinl/releases上选择合适的版本，比如你的kibana是5.6.2的，那么这里也要选择5.6.2的sentinl版本；复制zip包的链接地址，然后到kibana服务器（开通外网）上，执行下面的命令即可安装：/usr/local/kibana/bin/kibana-plugin insta...

原创 Redis的Ziplist数据结构

Redis之ziplist数据结构

原创 MySQL Innodb的MVCC实现原理

之前面试时有被问到mysql的mvcc，虽然对mvcc的原理大概了解，但是mysql中是怎么实现mvcc的确实没有认真去了解过。今天就完整的学习一下。

原创 面经分享

        既是第一篇博客，也不好去抄。就随意分享下近来换工作的面试经历，你们就当故事看吧。        1.玲盛科技。投完简历不久，人事就打电话过来了，问了些大致信息、英文能力等。然后就加qq传了份编程作业题给我，让我花两个小时左右完成下，两天后给她答案。题目是全英文的，一共5题。题目倒挺简单的，对集合内的对象按一定规则排序、将集合内的对象的分类求和之类的。总之就是很简单。当时看完题目就想...

原创 始记

以往总不爱做笔记，认为学完会忘的就是不属于你，你就不曾真的掌握过它。忘了就要再去学一遍。直到有一天突然发现，记笔记或许不只可以用来复习，还可以帮你梳理近来所学，加深理解。有些东西不试着复述一遍，就不一定是真懂。为什么有的东西看着都懂，而一旦要你解释，却又什么都说不清。因为你就根本没有真的看懂过它。 因此决定开博，或是搜集，或是复制，或是心得，总之，我要开始写博客了。...