9 思考点滴

尚未进行身份认证

我要认证

思考点滴

等级
TA的排名 10w+

【三个臭皮匠】日志处理系统之Hbase优化历程

 三个臭皮匠【参与人】: 振远、光鑫和me 一、背景日志收集并入hbase 1、框架2、日志量每日产生数十亿条日志,其中有15%~20%为有效日志,hbase高峰期有效日志的写入QPS为25万/秒。 3、日志过滤80%的日志需要过滤掉【由于特殊性,无法将需要的日志生成到一个指定文件,这里不做过多讨论】 4、机器部署4台机器,kafka80...

2018-08-28 21:18:09

【程序人生】茫然回首,已是中年

一.作者介绍计算机专业,北漂一代,程序猿,计算机行业雨露均沾 二.教育背景1.入学高考志愿填报不当高分、二流学校本校计算机专业第一名成绩2.毕业2005年带着一堆证书,2天奋战,打开一扇门,关闭了另一扇门,生活从头开始。 3.找工作感悟找工作时,才发现所有大学的课程都是有用的。编程语言、数据结构、数学、算法、操作系统、微机原理、模拟电子技术、...

2018-08-24 11:42:37

【小题大做】日志系统设计注意事项【日志并发写入】

作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。 一、日志系统的需求和设计目标 最基本的需求【下图黑色部分所示】 : 完成日志写入文件,保证无丢失,不影响正常业务,检测写入异常 关注的性能、和衍生需求【下图绿色部分所示】 : 日志的可读性、写入性能、并发写入控制等 终极目标...

2018-08-20 17:31:43

【小题大做】【redis】redis expire 时间设置为 1秒

 【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16 一、背景 不做详细说明,有朋友自己设计了一个redis锁,使用 setnx 之后,通过 expire(1)设置的超时。发现会有偶发的 expire 失败,以及redis锁节点一致无法删除。 二、问题分析 1、首先在生产环境中,不建议使用 setnx + expire的方式来实现锁...

2018-08-15 12:13:03

【小题大做】唯一ID、分布式唯一ID的生成实战

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16  一、背景今天接到一个非常逗比的需求,按时间顺序展示一个订单的状态、信息流转顺序。需求很明确,数据很模糊,而且是多个数据来源,还需要一定的去重、非去重之后,将有效数据保留下来。看着需求就有点吐血。  二、数据来源 1. 数据来源 1 : order_brief 订单概要...

2018-08-15 11:58:30

账务实时交易系统设计思考-【第七节】-思考总结

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 10:06:20

账务实时交易系统设计思考-【第六节】-使用建议

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 10:05:16

账务实时交易系统设计思考-【第五节】-准确性

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 10:04:11

账务实时交易系统设计思考-【第四节】-热点问题

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 10:02:50

账务实时交易系统设计思考-【第三节】-功能设计

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 10:01:00

账务实时交易系统设计思考-【第二节】-业务分析

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 09:59:16

账务实时交易系统设计思考-【第一节】-业务简介

【思考点滴】作者 : 杨考  微信号 : devin_cn_hd_09_16本文是【讲解篇】和【技术分享篇】结合起来,由于CSDN文章图片丢失,又补了一次图片。同时进行了章节拆分。 全量版             https://blog.csdn.net/yk200808/article/details/80755459第一节:业务简介    https://blog.csdn...

2018-08-13 09:56:20

【PHP】内核知识

[译] PHP7 数组:HashTable   简介 几乎每个C程序中都会使用到哈希表。鉴于C语言只允许使用整数作为数组的键名,PHP 设计了哈希表,将字符串的键名通过哈希算法映射到大小有限的数组中。这样无法避免的会产生碰撞,PHP 使用了链表解决这个问题。众多哈希表的实现方式,无一完美。每种设计都着眼于某一个侧重点,有的减少了 CPU 使用率,有的更合理地使用内存,有...

2018-08-09 16:36:44

【C++】并发编程 Promise, Future 和 Callback

 在并发编程中,我们通常会用到一组非阻塞的模型:Promise,Future 和 Callback。其中的 Future 表示一个可能还没有实际完成的异步任务的结果,针对这个结果可以添加 Callback 以便在任务执行成功或失败后做出对应的操作,而 Promise 交由任务执行者,任务执行者通过 Promise 可以标记任务完成或者失败。 可以说这一套模型是很多异步非阻塞架构的基础。这一...

2018-08-09 16:17:06

【C++】C++11 并发指南系列

 C++11 并发指南一(C++11 多线程初探) 引言 C++11 自2011年发布以来已经快两年了,之前一直没怎么关注,直到最近几个月才看了一些 C++11 的新特性,今后几篇博客我都会写一些关于 C++11 的特性,算是记录一下自己学到的东西吧,和大家共勉。相信 Linux 程序员都用过 Pthread, 但有了 C++11 的 std::thread 以后,你可以在...

2018-08-09 14:42:26

【MySQL】MYSQL_OPT_WRITE_TIMEOUT MYSQL_OPT_READ_TIMEOUT MYSQL_OPT_CONNECT_TIMEOUT 【mysql 读写超时设置】

背景:解决数据库查询超时设置所做的一些实验  一. 读写超时设置实战 a) 读写超时设置测试代码:<?phpini_set("memory_limit", "10G");echo "\nenter test time out\n"; function connect($conf){    $host = $conf['host'];    $por...

2018-08-09 09:22:19

【手把手教你】电子合同的巧妙设计

作者:杨考 微信 : devin_cn_hd_09_16 欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。一.背景电子合同向来是各个公司研发人员比较头疼的一个业务。1、电子合同维护的信息很多,且外观表现形式差异很大2、电子合同是一个人工操作的应用,因此后台会产生一堆垃圾或者不合法的输入信息3、电子合同是电子版的,...

2018-08-03 18:55:27

【纪念一下】实时用户筛选系统的搭建

 作者:杨考   微信 : devin_cn_hd_09_16    欢迎讨论问题在每次收到阅读者添加微信并开始交流讨论,心理是无比的激动。 一. 背景介绍:入职新公司第一周接手日志入库的需求,python工程,边学边开发。终于完成了。第二周腾出人力,开始接手用户筛选系统。用户筛选系统耗时2周+3天完成这短短的18天中,也是入职后的第2周的项目经历。时间紧张到让人怀疑人...

2018-08-03 17:25:14

web 端操作串口方案 【JavaScript操作串口】【PHP操作串口】【Node js 操作串口】

想使用web操作串口,不论是那种操作语言,先有个正确的方案再考虑如何实现,本文只给出实施方案: JavaScript无法操作本地文件,所以更不可能直接读写串口 使用 node js 做一个轻量级的 localserver,可以完成执行文件的调起 其中 socket js 是对 websocket的一个封装,开源的 C语言操作串口的代码就不列举了,自己搜索一下,很多。...

2018-08-01 17:45:10

【基础知识】内排序算法

 内排序【排序部分基本都是直接插入来实现】  稳定排序的概念排序(Sorting) 是计算机程序设计中的一种重要操作,它的功能是将一个数据元素(或记录)的任意序列,重新排列成一个关键字有序的序列。稳定度(稳定性)一个排序算法是稳定的,就是当有两个相等记录的关键字R和S,且在原本的列表中R出现在S之前,在排序过的列表中R也将会是在S之前。当相等的元素是无法分辨的,比如像...

2018-08-01 10:09:32

查看更多

勋章 我的勋章
  • 新人勋章
    新人勋章
    用户发布第一条blink获赞超过3个即可获得
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。