拜占庭GeekMake的博客

原创 Elasticsearch date 类型详解

elasticsearch 数据是以 JSON 格式存储的，而JSON中是并没有date数据类型，因此 Elasticsearch 中虽然有date类型，但在展示时却要转化成另外的格式。date类型在 Elasticsearch 展示的格式有下面几种：将日期时间格式化后的字符串，如 "2015-01-01" 或者 "2015/01/01 12:10:30" long 型的整数，意义是milliseconds-since-the-epoch，翻译一下就是自1970-01-01 00:...

原创 实时指标计算发展脉络

1、实时指标计算发展脉络指标计算本质上是对一定时间范围内的数据进行统计计算的过程，它包含了实时计算和离线计算两种计算形式。实时指标计算发展脉络如下：1.1、基于SQL/NoSQL实时指标计算实时指标计算引擎查询到历史所有时间，然后在内存中进行筛选，完成指标计算（如某设备在最近5分钟登陆次数）优点：速度快（1次查询获取所需数据），节省NoSQL内存（一份数据重复使用并进行多个指标计算），同一主属性新指标上线快（无需积累数据） 缺点：每次实时指标计算，返回大量无关数据，对网络带宽和内.

原创 读书档案-如何正确吵架

书名：《如何正确吵架-发掘问题、解读渴望、创造幸福的伴侣沟通术》类别：亲密关系 心理学 情绪作者：作者: [美] 朱迪斯·莱特 / 鲍勃·莱特/ 鍾辰麗时间：2021年03月06日1、阅读这本书的目标（为什么选择？为什么要购买？）这是我今年读的第二本心理学书籍。丛书名上看，以为是一本教你在职场上如何增强吵架的书籍。看完后，发现其实是讲述如何通过吵架增强爱人之间亲密关系的书籍。 如何将争吵转换为爱人、亲人、朋友间的亲密关系？ 如何挖掘争吵的本质？2、阅读后的收获、感受（真..

原创 读书档案-心流:最优体验心理学

书名：《心流：最优体验心理学》类别：积极心理学作者：米哈里.契克森米哈赖时间：2021年03月01日1、阅读这本书的目标（为什么选择？为什么要购买？）这是我读的第一本心理学书籍。逻辑思维有推荐过这本书，我也想了解什么是心流？ 心流与熵有什么关系？心流与幸福有什么关系？ 怎么样可以造就最优体验心流？心流都是正面的吗？2、阅读后的收获、感受（真实写出读过这本书的收获？比如，这本书让我很失望）这本是是我阅读的第一本积极心理学的书籍，了解到心流对幸福、工作、生活、人际的影响，契克.

原创 从零开始构建第一个Flink项目

1、从零开始构建第一个Flink项目1.1、构建项目Flink项目依赖于Jdk8和maven环境，我们可以通过flink官方提供的maven archetype模板快速生成第一个项目mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=1.11.0 \ -DgroupId

原创 读书档案-麦肯锡精英高效阅读法

书名：《麦肯锡精英高效阅读法》类别：学习/思维作者：赤羽雄二时间：2021年2月18日1、阅读这本书的目标（为什么选择？为什么要购买？）了解几种提升阅读书籍效率的方法 掌握如何制作读书档案的方法2、阅读后的收获、感受（真实写出读过这本书的收获？比如，这本书让我很失望）大部分职场人无法读书的原因都差不多：没有时间读书、不知该读什么书、无法专注读书等等。对我而言，无法好好读书的主要原因是没有规划好工作、生活、娱乐、阅读的时间，没有把阅读作为一种习惯融入到生活中。 我认为..

原创 读书档案-深度思维：透过复杂直抵本质的跨越成长方法论

书名：《深度思维：透过复杂直抵本质的跨越成长方法论》类别：学习/思维作者：叶修时间：2021年2月18日1、阅读这本书的目标（为什么选择？为什么要购买？）了解提升深度思维的常见方法，比如5why和5so等 挖掘自己缺乏哪些深度思维的框架或者方法论？2、阅读后的收获、感受（真实写出读过这本书的收获？比如，这本书让我很失望）这本书整体我很满意，总共分为上下2篇。上篇讲述了进行深度思维所需的技术或者框架，包括思维逻辑链、换位思维、可视化思维、流程思维；下篇是更为宏大的思维格局篇，包括生

原创 使用web-fragment完成Web模块化

https://www.logicbig.com/tutorials/java-ee-tutorial/java-servlet/servlet-web-fragment.html

原创 完成比完美更重 - 券心券意为你微信小程序从 0 到 1 变现

背景最近在业余时间开发了一个微信小程序**“券心券意为你”**，顾名思义这是一个与"优惠券"有关的小程序。小程序可以分享美团、花小猪、瑞幸、淘宝、瑞幸等各大电商外卖平台的优惠券，满足城市里的白领们每天都要吃喝出行的需求。开发这么一个小程序的点子从哪里获取呢？一是经常在微信群上看到有人通过H5页面、海报、小程序方式分享各大外卖、电商等平台的优惠券，其实很早之前就产生了一个方便大家领取优惠券的聚合平台的想法，但一直没有付诸实践。二是这两年来作为独立开发者一直在践行小众细分市场的技术变现，恰巧机缘巧合下发现

原创 army-knife:一款支持排查线上问题命令插件

army-knife idea pluginGithub:https://github.com/JavaPentesters/army-knifeBackground作为一名开发人员,不仅需要掌握系统开发技能,更应该具备处理线上问题的能力。我们需要借助一些工具或命令来定位线上问题，有些命令非常繁琐或者脑子一时短路突然想不起来哈。工欲善其事必先利其器，排查线上问题时是争分夺秒的，我们需要以最快速、便捷的方式拷贝到需要的命令,army-knife IDEA就是用来解决这个问题。Key Feature

原创 FLINK 窗口实现原理

FLINK 窗口原理Flink可以将数据流切分成一个个窗口，对窗口内的数据进行处理。Flink中支持多种窗口，包括：时间窗口，(session window）会话窗口，count计数窗口。Flink提供了更加简单的 .timeWindow和 .countWindow方法，用于定义时间窗口和计数窗口。1、时间窗口(Time Windows)Flink支持三种时间窗口(WindowAssigner)：翻滚时间窗口(tumbling time window)滚动窗口下窗口之间不重叠，且窗口长度是

原创 CEP简介

1、什么是CEP企业产生大量实时业务数据(交易数据、业务行为数据)，需要从大量数据中挖掘出有价值的数据，如营销活动中是否有薅羊毛造成资产损失的，如果有风险需要进一步分析进行干预。这样的场景，传统的关系型数据库无法对价值数据进行及时处理。基于此，CEP（Complex Event Processing）复杂事件处理就出现了。CEP将发生的任何事情当作一个Event，比如用户进行一次登陆/注册/支付/交易等都认为是一个事件。这些事件共同特征是数量规模大、数据能源源不断的产生且是无边界的。出现CEP的目的

原创 RocketMQ事务消息学习过程

1、RocketMQ事务消息学习过程1.1、背景MQ是分布式服务系统不可缺少的一个套件，一方面在设计层面可以降低系统之间的耦合度，另一方面在高并发场景下可以做到削峰填谷。一般来说，现在的数据库比如Mysql数据库事务是无法与MQ消息作为一个原子性事务要么一起执行成功要么一起执行失败。Apache RocketMQ 4.3之后的版本开始正式支持事务消息,本质上是为了解决Producer 端的消息发送与本地事务执行的原子性问题。我们以积分兑换现金业务场景为例，假设积分与货币的兑换比例是1:1，那么100

翻译 DISC四种领导风格

心理学家威廉·摩顿·马斯顿曾提出一套成熟的人类行为模型，简称“DISC”。采用支配掌控（Dominance）、社交影响（Influence）、稳健支持（Steadiness）、和谨慎分析（Compliance）对人进行分类，现代人的行为模式基本可以被囊括再这四个模型中。D——支配掌控（Dominance）性格特征：有自信、没有耐心、目标明确、凡事讲理、不容易接受别人意见、会给人压迫性的行为I——社交影响（Influence）性格特征：感性、乐观、情绪起伏快、不喜欢繁琐的事情、口才好、喜欢新鲜事物S

原创 基于groovy实现的复杂布尔表达式规则引擎

groovy-bool-rulegroovy-bool-rule是一款开源的用于计算复杂布尔表达式的规则引擎，使用groovy动态脚本引擎设计与实现。github: https://github.com/JavaPentesters/groovy-bool-rule1、基于groovy实现的复杂布尔表达式规则引擎在规则引擎决策中，规则往往涉及到多个复杂布尔表达式条件的逻辑计算。条件(condition)通过或与非逻辑运算符组合成复杂的布尔表达式。这类布尔表达式有两种特点：一是条件及表达式是动态可

原创 推荐一款绘图神器visual-paradigm

最近发现了一款绘图神器，visual-paradigm一套强大的在线工具,可以推动您的业务增长并改善项目成果。绘制图表/信息图/流程图等,制作客户旅程地图,建立在线表单和问卷调查。https://online.visual-paradigm.com/drive/#diagramlist:proj=0&new...

转载 有赞风控规则引擎实践(转)

引言作为一家SaaS公司，有赞向商家提供强大的微商城系统和完整的移动电商解决方案。伴随着公司产品受众不断增长的同时，灰黑产业也慢慢伸出了触角，妄图利用有赞便捷的支付、传播等能力获取非法的利益，因此如何高效的遏制灰黑产业的侵蚀，是我们面临的一个重要挑战。总的来说，目前有赞面临的主要风险类型包括：盗卡。例：盗用用户银行卡，在有赞店铺上消费欺诈。例：通过发布低价商品，诱骗消费者购买套现。例：在自己创建的店铺里进行虚假交易用以套现信用卡垃圾信息。例：发布虚假消息、色情等违规商品、页面盗账户。例：黑客用

转载 51信用卡金融风控场景下实时计算引擎的设计与实践(转)

51信用卡金融风控场景下实时计算引擎的设计与实践1.业务背景与痛点 51信用卡是中国最大的线上信用卡管理平台, 业务涵盖个人负债管理、信用卡科技服务、线上信贷撮合及投资理财服务。目前在51人品贷借贷场景，用户需要先导入个人资料，主要包括信用卡账单、运营商、通讯录等数据，然后触发一系列风控模型计算，包括实时的授信出额、A卡信用评分准入(要求秒级完成)，以及近线的反欺诈审核流程(要求30分钟内完成)。风控模型依托大量变量，这些变量从开发到上线在以前的研发流程如下:风控模型同学先基于离线数据源使用Hive

原创 基金投资组合中的夏普率

基金投资组合中的夏普率基金量化组合投资中有三个重要的指标：夏普率、波动率、最大回撤率。我们来聊一聊什么是夏普率，在投资理财领域最常听到一句话是"风险越高，收益越高"。这很好解释了货币基金或者银行理财产品的年化收益率这么低，因为收益和风险是成正比的。投资的目的是使收益最大化，如果所有的基金的风险是一样的，那肯定要选择一个收益率最高的基金或者基金组合。1.什么是夏普率Shape Rate夏普比率（Sharpe Ratio），又被称为夏普指数 。它是由诺贝尔奖获得者威廉·夏普于1966年提出的一个可以同时对

原创 MYSQL死锁排查过程

数据库问题中，由于SQL问题导致的数据库故障是最为常见的，本文针对曾经负责的一个核心系统在上线新业务功能抛出了许多 MySQL 死锁导致事务回滚的异常，给出了详细的排查流程：1、复现死锁出现的场景2、分析死锁出现的原因3、给出解决方案1、 复现场景某天晚上，某核心应用在生产环境正在发布，突然线上大量报警，很多异常信息都是关于数据库死锁的 Deadlock found when trying to get lock; try restarting transactionMysql数据库基础

原创 使用Profile神器Arthas排查线上问题

1、Arthas 利用 spring applicationContext获取任何BeanRequestMappingHandlerAdapter父接口ApplicationObjectSupport存在获取spring上下文方法getApplicationContext（）执行任何一次请求， tt -t记录RequestMappingHandlerAdapter请求排查问题时经常需要测...

原创 Linux下free命令详解系列一

在Linux系统监控的工具中，free命令是最为常用的命令之一。free命令用于显示Linux系统内存的使用情况，包括物理内存(Mem)、交换内存(swap)和内核缓冲区内存(buffer/cache)。针对不同类型不同版本操作系统，free命令所展示的内存使用情况有所差异，我们这里以centos6.5和centos7.2系统为例对命令的输出内容展开说明。1、centos7.2下free 命令现...

原创 同一个妈生的小鹿茶：瑞幸财务造假的最大受害者

2020年中国创投财经圈目前为止最吸引眼球的事件莫过于瑞幸咖啡4月2日披露财务数据造假，从2019年第二季度到第四季度瑞幸咖啡自曝虚增22亿元(约3.1亿美元)的营业收入，当天瑞幸咖啡股价就暴跌了80%。瑞幸咖啡(LK)创业历时17个月即在美国纳斯达克成功上市，创造了资本市场的最快IPO上市记录。在2020年1月，瑞幸咖啡市值曾超过120亿美元，尽管该公司尚未实现盈利。4月2日，瑞幸咖啡突然在美...

原创 从0到1，为自己创造机遇

《从0到1》全称是《从0到1：开启商业与未来的秘密》，这本被称为创业圣经的书，本书总共有250多页，还是很容易读的。作者是被誉为硅谷创投教父的彼得.蒂尔。彼得.蒂尔1998年创办PayPal并担任CEO，2002年将PayPal以15亿美元出售给eBay，把电子商务带向新纪元。2004年做了首笔在Facebook的外部投资，并担任董事。同年成立软件公司Palantir，服务于国防安全与全球金融领...

原创 Mybatis OGNL导致的并发安全问题

Mybatis是一个开源的轻量级半自动化ORM框架，使得面向对象应用程序与关系数据库的映射变得更加容易。MyBatis使用xml描述符或注解将对象与存储过程或SQL语句相结合。Mybatis最大优点是应用程序与Sql进行解耦，sql语句是写在Xml Mapper文件中。1、问题背景OGNL表达式在Mybatis当中应用非常广泛，其表达式的灵活性使得动态Sql功能的非常强大。OGNL是Objec...

原创 API Gateway 技术选型

1、 kong优点: nginx + lua,提供了许多有价值的插件；缺点:与我们整体技术栈不匹配，维护承包比较高Nginx 采用的是 master-worker 模型，一个 master 进程管理多个 worker 进程，基本的事件处理都是放在 woker 中，master 负责一些全局初始化，以及对 worker 的管理。在OpenResty中，每个 woker 使用一个 LuaVM，...

原创 聚焦小众市场，让你的技术变现更加简单

最近阅读了《Start small, stay small:"A Developer’s Guide To Launching a Startup》，该书市面上目前没有中文译版。本书的作者是大名鼎鼎的独立创业者Rob Walling。1、关于作者Rob WallingRob Walling总共写了三本书(包括两本畅销书)，《Start Small, Stay Small》、《The Entre...

原创 社群运营生命周期

原创 List removeAll 两个坑说明

1. removeAll equals删除操作依赖于equals方法2. removeAll 删除效率问题

原创 从Java代码实现角度探讨CSRF(未完待续)

“图难于其易，为大于其细。天下难事，必作于易；天下大事，必作于细"，出自老子的《道德经》以及韩非的《韩非子-喻老》。这句话大概意思是解决难事要从简单方面入手，做大事情要从细微角度着手。Web系统安全亦是如此，CSRF攻击已出现多年，安全从业者也提供了许多有针对性的解决方案。实际项目开发工作中，除了一些资深开发工程师，大部分程序开发人员对CSRF的具体攻击形式与原理理解还不够深入。本文将以Java