- 博客(23)
- 收藏
- 关注
RSS订阅原创 【三个臭皮匠】日志处理系统之Hbase优化历程
三个臭皮匠【参与人】: 振远、光鑫和me 一、背景日志收集并入hbase 1、框架2、日志量每日产生数十亿条日志，其中有15%~20%为有效日志，hbase高峰期有效日志的写入QPS为25万/秒。 3、日志过滤80%的日志需要过滤掉【由于特殊性，无法将需要的日志生成到一个指定文件，这里不做过多讨论】 4、机器部署4台机器，kafka80...
2018-08-28 21:18:09
1474
原创 【程序人生】茫然回首，已是中年
一.作者介绍计算机专业，北漂一代，程序猿，计算机行业雨露均沾 二.教育背景1.入学高考志愿填报不当高分、二流学校本校计算机专业第一名成绩2.毕业2005年带着一堆证书，2天奋战，打开一扇门，关闭了另一扇门，生活从头开始。 3.找工作感悟找工作时，才发现所有大学的课程都是有用的。编程语言、数据结构、数学、算法、操作系统、微机原理、模拟电子技术、...
2018-08-24 11:42:37
628
2
原创 【小题大做】日志系统设计注意事项【日志并发写入】
作者：杨考 微信 : devin_cn_hd_09_16 欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论，心理是无比的激动。 一、日志系统的需求和设计目标 最基本的需求【下图黑色部分所示】 : 完成日志写入文件，保证无丢失，不影响正常业务，检测写入异常 关注的性能、和衍生需求【下图绿色部分所示】 : 日志的可读性、写入性能、并发写入控制等 终极目标...
2018-08-20 17:31:43
1766
原创 【小题大做】【redis】redis expire 时间设置为 1秒
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16 一、背景 不做详细说明，有朋友自己设计了一个redis锁，使用 setnx 之后，通过 expire(1)设置的超时。发现会有偶发的 expire 失败，以及redis锁节点一致无法删除。 二、问题分析 1、首先在生产环境中，不建议使用 setnx + expire的方式来实现锁...
2018-08-15 12:13:03
3818
原创 账务实时交易系统设计思考-【第七节】-思考总结
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 10:06:20
478
原创 账务实时交易系统设计思考-【第六节】-使用建议
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 10:05:16
327
原创 账务实时交易系统设计思考-【第五节】-准确性
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 10:04:11
376
原创 账务实时交易系统设计思考-【第四节】-热点问题
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 10:02:50
788
原创 账务实时交易系统设计思考-【第三节】-功能设计
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 10:01:00
1438
原创 账务实时交易系统设计思考-【第二节】-业务分析
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 09:59:16
1161
原创 账务实时交易系统设计思考-【第一节】-业务简介
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。同时进行了章节拆分。 全量版 https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介 https://blog.csdn...
2018-08-13 09:56:20
714
转载 【PHP】内核知识
[译] PHP7 数组：HashTable 简介 几乎每个C程序中都会使用到哈希表。鉴于C语言只允许使用整数作为数组的键名，PHP 设计了哈希表，将字符串的键名通过哈希算法映射到大小有限的数组中。这样无法避免的会产生碰撞，PHP 使用了链表解决这个问题。众多哈希表的实现方式，无一完美。每种设计都着眼于某一个侧重点，有的减少了 CPU 使用率，有的更合理地使用内存，有...
2018-08-09 16:36:44
284
转载 【C++】C++11 并发指南系列
C++11 并发指南一(C++11 多线程初探) 引言 C++11 自2011年发布以来已经快两年了，之前一直没怎么关注，直到最近几个月才看了一些 C++11 的新特性，今后几篇博客我都会写一些关于 C++11 的特性，算是记录一下自己学到的东西吧，和大家共勉。相信 Linux 程序员都用过 Pthread, 但有了 C++11 的 std::thread 以后，你可以在...
2018-08-09 14:42:26
1936
原创 【MySQL】MYSQL_OPT_WRITE_TIMEOUT MYSQL_OPT_READ_TIMEOUT MYSQL_OPT_CONNECT_TIMEOUT 【mysql 读写超时设置】
背景：解决数据库查询超时设置所做的一些实验 一. 读写超时设置实战 a) 读写超时设置测试代码:<?phpini_set("memory_limit", "10G");echo "\nenter test time out\n"; function connect($conf){ $host = $conf['host']; $por...
2018-08-09 09:22:19
5085
原创 【手把手教你】电子合同的巧妙设计
作者：杨考 微信 : devin_cn_hd_09_16 欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论，心理是无比的激动。一.背景电子合同向来是各个公司研发人员比较头疼的一个业务。1、电子合同维护的信息很多，且外观表现形式差异很大2、电子合同是一个人工操作的应用，因此后台会产生一堆垃圾或者不合法的输入信息3、电子合同是电子版的，...
2018-08-03 18:55:27
3162
原创 【纪念一下】实时用户筛选系统的搭建
作者：杨考 微信 : devin_cn_hd_09_16 欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论，心理是无比的激动。 一. 背景介绍：入职新公司第一周接手日志入库的需求，python工程，边学边开发。终于完成了。第二周腾出人力，开始接手用户筛选系统。用户筛选系统耗时2周+3天完成这短短的18天中，也是入职后的第2周的项目经历。时间紧张到让人怀疑人...
2018-08-03 17:25:14
461
原创 【基础知识】内排序算法
内排序【排序部分基本都是直接插入来实现】 稳定排序的概念排序(Sorting) 是计算机程序设计中的一种重要操作，它的功能是将一个数据元素（或记录）的任意序列，重新排列成一个关键字有序的序列。稳定度（稳定性）一个排序算法是稳定的，就是当有两个相等记录的关键字R和S，且在原本的列表中R出现在S之前，在排序过的列表中R也将会是在S之前。当相等的元素是无法分辨的，比如像...
2018-08-01 10:09:32
477
原创 kafka消费延时解决实战【意想不到的消费逻辑优化】
一、背景 日志收集并入hbase1、框架 2、日志量每日产生数十亿条日志，其中有15%~20%为有效日志，高峰期有效日志的写入QPS为25万/秒。 3、日志过滤80%的日志需要过滤掉【由于特殊性，无法将需要的日志生成到一个指定文件，这里不做过多讨论】 4、机器部署4台机器，每台20个线程，kafka80个partition 5...
2018-07-31 09:51:56
20324
3
原创 【一针见血】热点账户
1、热点账户的概念: 热点账户就是在交易过程中，出现频次特别高的账户，交易频次指的是某个时间段的交易频次一直保持在比较高的次数。 如果是数据操作错误重试导致某账户瞬时出现高频操作，则不属于热点账户范畴。2、 热点账户的判别标准 1) 账户每秒有10次以上更新需求 2) 串行化时账户处理延迟高于1秒以上3、当下最常见的几种处理热点账户问题方案举个栗子: 即类似于你...
2018-06-22 09:16:37
2865
1
原创 深入理解 group by【思考点滴】
网上搜索 group by，结果一大堆，千篇一律 ……现在从浅入深的讲一下 group by的应用1、group by的作用 group by 简单来讲，就是分组，配合计算使用，计算方法如SUM、count、avg、max、min等… 应用举例 : 从交易表中查询出今天有交易的商户账户。2、使用 group by 完成一个简单的应用 查询order_amo...
2018-06-21 10:21:32
6657
2
原创 账务实时交易系统设计思考
【思考点滴】作者 : 杨考 微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来，由于CSDN文章图片丢失，又补了一次图片。 1.概念账务交易主要是指，在资金流发生的时候，需要根据资金的流入和流出情况，对涉及的账户金额进行增加和减少操作，更新资金的时候，同时需要生成相应的账单，以便后续查询和对账等使用。提及账务交易，大家并不...
2018-06-21 09:58:09
10538
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人