kobejayandy的专栏

原创 系统架构战略体系

系统架构战略体系分布式系统理念FLPCAPBASE分布式共识算法PaxosRaftGossip架构设计方法论架构设计方法论分而治之人类解决复杂问题的根本方法：分而治之，把复杂问题拆解成若干足够小的问题关注点分离好的架构必须使每个关注点相互分离，也就是说系统中的一个部分发生了变化，不会影响其他部分。即使需要改变，也能够清晰地识别出那些部分需要改变。如果需要扩展架构，影响将会最小化，已经可以工作的每个部分都将继续工作。架构设计思维架构设

原创 字节后台知识体系

字节跳动后台知识体系

转载 关于高可用的系统

在《这多年来我一直在钻研的技术》这篇文章中，我讲述了一下，我这么多年来一直在关注的技术领域，其中我多次提到了工业级的软件，我还以为有很多人会问我怎么定义工业级？以及一个高可用性的软件系统应该要怎么干出来？这样我也可以顺理成章的写下这篇文章，但是没有人问，那么，我只好厚颜无耻的自己写下这篇文章了。哈哈。另外，我在一些讨论高可用系统的地方看到大家只讨论各个公司的技术方案，其实，高可用的系统并不简单的是技术方案，一个高可用的系统其实还包括很多别的东西，所以，我觉得大家对高可用的系统了解的还不全面，为了让大家的

转载 为什么集群需要 Overlay 网络

对计算机网络或者 Kubernetes 网络稍有了解的工程师都应该听说过延展网络（Overlay Network），Overlay 网络其实并不是一门新技术，它是指构建在另一个网络上的计算机网络1，这是一种网络虚拟化技术的形式，近年来云计算虚拟化技术的演进促进了网络虚拟化技术的应用2。图 1 - 延展网络因为 Overlay 网络是建立在另一个计算机网络之上的虚拟网络，所以它不能独立出现，Overlay 底层依赖的网络就是 Underlay 网络，这两个概念也经常成对出现。Underlay

转载 如何正确的开始用 Go 编程

本文会演示简单的 Go 软件包的开发过程，并介绍了go命令行工具，这是我们获取，构建和安装 Go 软件包和命令的标准方法。go 工具要求你以特定方式组织代码。我们会介绍 Go 安装启动和运行的最简单方法，一定要仔细阅读啊。组织代码结构概要Go 程序员一般会将他们的源代码存放在一个工作区中（多个项目放在一个工作区） 工作区中包含许多由 git 管理的代码仓库（也可以是其他版本控...

转载 理解Kubernetes网络之Flannel网络

1、Docker网络模式在讨论Kubernetes网络之前，让我们先来看一下Docker网络。Docker采用插件化的网络模式，默认提供bridge、host、none、overlay、maclan和Network plugins这几种网络模式，运行容器时可以通过–network参数设置具体使用那一种模式。bridge：这是Docker默认的网络驱动，此模式会为每一个容器分配Network...

转载 关于如何实现一个TCC分布式事务框架的一点思考

一个TCC事务框架需要解决的当然是分布式事务的管理。关于TCC事务机制的介绍，可以参考TCC事务机制简介。TCC事务模型虽然说起来简单，然而要基于TCC实现一个通用的分布式事务框架，却比它看上去要复杂的多，不只是简单的调用一下Confirm/Cancel业务就可以了的。本文将以Spring容器为例，试图分析一下，实现一个通用的TCC分布式事务框架需要注意的一些问题。一、TCC全局事务必须...

转载 TXC分布式事务介绍

1. TXC是什么TXC(Taobao Transaction Constructor)是阿里巴巴的一个分布式事务中间件，它可以通过极少的代码侵入，实现分布式事务。在大部分情况下，应用只需要引入TXC Client的jar包，进行几项简单配置，以及以行计的代码改造，即可轻松保证分布式数据一致性。TXC同时提供了丰富的编程和配置策略，以适应各种长尾的应用需求。2. 背景2.1. ...

转载 十分钟入门RocketMQ

本文首先引出消息中间件通常需要解决哪些问题，在解决这些问题当中会遇到什么困难，Apache RocketMQ作为阿里开源的一款高性能、高吞吐量的分布式消息中间件否可以解决，规范中如何定义这些问题。然后本文将介绍RocketMQ的架构设计，以期让读者快速了解RocketMQ。消息中间件需要解决哪些问题？Publish/Subscribe发布订阅是消息中间件的最基本功能，也是相对于传统...

转载 RocketMQ、Kafka、RabbitMQ的详细对比

引言分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,目前对Kafka、RabbitMQ、RocketMQ这三个消息中间件做下对比分析。- - kafka RocketMQ RabbitMQ 定位 设计定位 系统间的数据流管道，实时数据处理。 例如：常规的消息系统、网站活性跟踪，监控数据，...

翻译 JVM Thread Dump日志结构解析

这篇文章首先对Thread Dump日志文件的结构进行分析。目录 [隐藏]1 第一部分：Full thread dump identifier 2 第二部分：Java EE middleware, third party & custom application Threads 3 第三部分：HotSpot VM Thread 3.1 "Attach Listener" ...

转载 一文看懂互联网反欺诈体系建设

反欺诈作为一个职能，在互联网、金融、传统零售等各行各业广泛的存在。反欺诈是一个跨安全、风控、数据、研发、内控等多学科的一个新兴领域。本文结合近年来互联网领域内的反欺诈现状，针对互联网反欺诈体系建设过程中的经验和教训进行了简单的总结和罗列。❶互联网欺诈形态常见的互联网欺诈形态✦ 盗刷：通过互联网交易平台，将他人银行账户中的资金进行转移；✦ 薅羊...

转载 一文读懂特征工程

背景在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，而且机器学习的书中基本上是已经处理好的数据或者作者自己构造的虚拟的数据。所以在机器学习的实践中，可能会选择使用这些算法，但是常常不知道怎么提取特征来建模。因此，结合网上的资料和项目中的经验试着来总结一下。特征是什么特征是对于分析和解决问题有用、有意义的属性。例如：在表格数据中，表格中的一行是一个...

转载 细说：特征工程 - Feature Engineering

坊间常说：“数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已”。由此可见，特征工程在机器学习中占有相当重要的地位。在实际应用当中，可以说特征工程是机器学习成功的关键。纵观Kaggle、KDD等国内外大大小小的比赛，每个竞赛的冠军其实并没有用到很高深的算法，大多数都是在特征工程这个环节做出了出色的工作，然后使用一些常见的算法，比如LR，就能得到出色的性能。遗憾的是，在很...

转载 智能反欺诈算法概览及典型应用案例

从上个世纪90年代开始，由于反欺诈领域大数据量和高时效性需求，机器学习技术得到逐步应用：Kokkinaki（1997）提出一种基于决策树逻辑的模型，其中子节点代表不同的变量，分叉路经代表满足不同的条件；Bentley（2000）运用基因算法来搭建一套逻辑规则，可以根据最大发生概率将交易行为划分为可疑和非可疑；Bolton和Hand（2002）利用对等组分析和断点分析，...

转载 知识图谱技术概览

本体、知识库、知识图谱、知识图谱识别之间的关系？本体：领域术语集合。知识库：知识集合。知识图谱：图状具有关联性的知识集合。知识图谱本质上是语义网络，是一种基于图的数据结构，由节点(Point)和边(Edge)组成。在知识图谱里，每个节点表示现实世界中存在的“实体”，每条边为实体与实体之间的“关系”。知识图谱是关系的最有效的表示方式。通俗地讲，知识图谱就是把所有不同种类的信息连接在一...

转载 机器学习算法优缺点对比及选择

本文的目的，是务实、简洁地盘点一番当前机器学习算法。文中内容结合了个人在查阅资料过程中收集到的前人总结，同时添加了部分自身总结，在这里，依据实际使用中的经验，将对此模型优缺点及选择详加讨论。主要回顾下几个常用算法的适应场景及其优缺点！机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开...

转载 机器学习三要素：模型、策略与算法

机器学习三要素：模型、策略与算法提到机器学习，这无疑是数据分析师最常提到的一个词儿了，机器学习也叫统计学习，即Statistics Learning。一些商学院常常讲的Business Intelligence或者Business Analytic基本上也就是这回事儿。机器学习在干嘛？就是利用已有数据，找到一些合适的数学模型去描述它，然后做一些预测分析，从而优化企业的流程或者提高决策效率...

转载 InnoDB行格式对text/blob大变长字段的影响

1. InnoDB的Antelop与Barracuda文件格式Innodb存储引擎保存记录，是以行的形式存放的（与之对应的是像Google BigTable这种列数据库）。在InnoDB 1.0.x版本之前，InnoDB 存储引擎提供了 Compact 和 Redundant 两种格式来存放行记录数据，这也是目前使用最多的一种格式。Redundant 格式是为兼容之前版本而保留的。MySQ...

原创 腾讯后台知识体系

转载 技术选型：Sentinel vs Hystrix

 Sentinel 是阿里中间件团队研发的面向分布式服务架构的轻量级高可用流量控制组件，于今年7月正式开源。Sentinel 主要以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度来帮助用户提升服务的稳定性。大家可能会问：Sentinel 和之前经常用到的熔断降级库 Netflix Hystrix 有什么异同呢？本文将从资源模型和执行模型、隔离设计、熔断降级、实时指标统计设计等角度将...

转载 常用的服务发现对比（Consul、Zookeeper、Etcd、Eureka）

这里就平时经常用到的服务发现的产品进行下特性的对比，首先看下结论:Feature Consul zookeeper etcd euerka 服务健康检查 服务状态，内存，硬盘等 (弱)长连接，keepalive 连接心跳 可配支持 多数据中心 支持 — — — kv存储服务 支持 支持 支持...

转载 知识图谱在大数据反欺诈领域的应用与实践

1、为什么要用大数据来反欺诈？近些年来互联网金融蓬勃发展，特别是P2P的兴起，颠覆了传统的银行贷款模式，给大众带来快速便捷的金融服务；在P2P行业中，借款端的风险是P2P公司面临的主要风险，而借款端的风控水平可以说决定了一家P2P公司的核心竞争力。借款端风险的一个主要来源是欺诈风险，传统的反欺诈手段主要依赖于信息的人工审核，而身份证、手机号码、银行流水等材料的伪造成本非常低，各类信贷服务机...

转载 知识图谱已成 AI 下一风口，但你知道它进展到哪了吗？

知识图谱最初是由谷歌提出用来优化搜索引擎的技术，在不断发展中外延也一度扩大。盘点目前知识图谱的发展，其已经助力了很多热门的人工智能场景的应用，例如语音助手、聊天机器人、智能问答等。当前的人工智能其实可以简单划分为感知智能（主要集中在对于图片、视频以及语音的能力的探究）和认知智能（涉及知识推理、因果分析等），知识图谱就是认知智能领域中主要的技术之一。从使用的范围来讲，知识图谱分为通用知识图谱和领...

转载 【干货】机器学习和深度学习概念入门

目  录1   人工智能、机器学习、深度学习三者关系2   什么是人工智能3  什么是机器学习4  机器学习之监督学习5  机器学习之非监督学习6  机器学习之半监督学习7  机器学习之强化学习8  什么是深度学习9 总结  1人工智能、机器学习、深度学习三者关系对于很多初入学习人工智能的学习者来说，对人工智能、机器学习、深度学习的概念和区别还不...

转载 这可能是最简单易懂的机器学习入门

本文用浅显易懂的语言精准概括了机器学习的相关知识，内容全面，总结到位，剖析了机器学习的what，who，when, where, how，以及why等相关问题。从机器学习的概念，到机器学习的发展史，再到机器学习的各类算法，最后到机器学习的最新应用，十分详尽。适合小白快速了解机器学习。  Machine Learning: A Primera quick introduction...

转载 图解数据分析师最常用的10个机器学习算法

在机器学习领域，有种说法叫做“世上没有免费的午餐”，简而言之，它是指没有任何一种算法能在每个问题上都能有最好的效果，这个理论在监督学习方面体现得尤为重要。举个例子来说，你不能说神经网络永远比决策树好，反之亦然。模型运行被许多因素左右，例如数据集的大小和结构。因此，你应该根据你的问题尝试许多不同的算法，同时使用数据测试集来评估性能并选出最优项。当然，你尝试的算法必须和你的问题相切合，其中...

转载 轻松看懂机器学习十大常用算法

通过本篇文章可以对机器学习ML的常用算法有个常识性的认识，没有代码，没有复杂的理论推导，就是图解一下，知道这些算法是什么，它们是怎么应用的，例子主要是分类问题。每个算法都看了好几个视频，挑出讲的最清晰明了有趣的，便于科普。算法如下：决策树 随机森林算法 逻辑回归 SVM 朴素贝叶斯 K最近邻算法 K均值算法 Adaboost 算法 神经网络 马尔可夫1. 决策...

转载 图解机器学习

每当提到机器学习，大家总是被其中的各种各样的算法和方法搞晕，觉得无从下手。确实，机器学习的各种套路确实不少，但是如果掌握了正确的路径和方法，其实还是有迹可循的，这里我推荐SAS的Li Hui的这篇博客，讲述了如何选择机器学习的各种方法。另外，Scikit-learn 也提供了一幅清晰的路线图给大家选择：其实机器学习的基本算法都很简单，下面我们就利用二维数据和交互图形来看看机器学习中的一...

转载 常见机器学习模型总结

一、机器学习模型按照可使用的数据类型分为监督学习和无监督学习两大类。　　1-监督学习主要包括用于分类和用于回归的模型：　　　　1）分类：线性分类器（如LR)、支持向量机（SVM）、朴素贝叶斯（NB）、K近邻（KNN）、决策树（DT）、集成模型（RF/GDBT等）　　　　2）回归：线性回归、支持向量机（SVM）、K近邻（KNN）、回归树（DT）、集成模型（ExtraTrees/RF/GD...

转载 区块链简介

    区块链简介        区块链的概念        区块链的发展历史        区块链的特点        区块链的结构        区块链的应用        参考文献区块链简介区块链（blockchain）作为比特币的底层技术受到了越来越多的关注，其去中心化的分布式数据库存储结构有着广阔的应用场景。本文从一下五个方面介绍一下区块链技术:        区...

转载 Linux虚拟化平台检测

要想找出 Linux 系统运行在虚拟化平台中还是硬件服务器上，有多种方式可供大家选择，这主要取决于你的 hypervisor 或 container 环境。不同的虚拟化或容器技术会在其实例中引入不同的识别指纹，如：处理器厂商、特殊的 /proc 文件或虚拟网卡名称等。 另外通过 dmesg 显示启动序列，也可以找出 Linux 或 VPS 所使用虚拟化平台类型的一些线索。下面我们将介绍几个命令行工...

转载 Kubernetes入门简介

1. Kubernetes是什么？      首先，Kubernetes是一个全新的基于容器技术的分布式架构领先方案。Kubernetes是Google开源的容器集群管理系统，其提供应用部署、维护、 扩展机制等功能，利用Kubernetes能方便地管理跨机器运行容器化的应用，其主要功能如下：（1）使用Docker对应用程序包装(package)、实例化(instantiate)、运行(run)。（...

转载 Docker基础原理

前言Docker和容器不是一个意思，Docker包含实现虚拟化技术的一系列技术，而容器（container）只是其中的一个组件。Docker可以给你带来什么？更快交付你的应用（Faster delivery of your applications）让部署和测试更简单（Deploying and scaling more easily）实现更高密度和更多的负载（Achieving higher d...

转载 Docker入门简介

本文只是对Docker的概念做了较为详细的介绍，并不涉及一些像Docker环境的安装以及Docker的一些常见操作和命令。通过阅读本文你将知道一下概念：容器什么是Docker？Docker思想、特点Docker容器主要解决什么问题容器 VS 虚拟机Docker基本概念： 镜像（Image），容器（Container），仓库（Repository）一 先从认识容器开始1.1 什么是容器？先来看看容器...

转载 ElasticSearch入门简介

前言Elasticsearch 是一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎，可以说 Lucene 是当今最先进，最高效的全功能开源搜索引擎框架。Elasticsearch是一个实时分布式和开源的全文搜索和分析引擎。 它可以从RESTful Web服务接口访问，并使用模式少JSON(JavaScript对象符号)文档来存储数据。它是基于Java编程语言，这使Ela...

转载 大数据架构师从入门到精通

经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么？是计算机专业，对操作系统、硬件、网络、服务器感兴趣？是软件专业，对软件开发、编程、写代码感兴趣？还是数学、统计学专业，对数据和数字特别感兴趣。 其实这就...

转载 从机器学习谈起

　在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，从这里开始，必须对机器学习了解才能进一步介绍EasyPR的内核。当然，本文也面对一般读者，不会对阅读有相关的前提要求。　　在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？　　我并不直...

转载 机器学习路线图

1. 引言 也许你和这个叫『机器学习』的家伙一点也不熟，但是你举起iphone手机拍照的时候，早已习惯它帮你框出人脸；也自然而然点开今日头条推给你的新闻；也习惯逛淘宝点了找相似之后货比三家；亦或喜闻乐见微软的年龄识别网站结果刷爆朋友圈。恩，这些功能的核心算法就是机器学习领域的内容。 套用一下大神们对机器学习的定义，机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，...

转载 人工智能反欺诈三部曲——设备指纹

编者按：                                             上次我们着重介绍了反欺诈的一项核心技术：特征工程。 在反欺诈的技术金字塔中，特征工程起着承上启下的作用。而居于特征工程的下一层的是基座层：数据。在机器学习里，大家有一个共识，高质量、相关的数据决定模型预测能力的上限，模型只是去逼近这个上限。数据就像原油，好的特征就像汽油，而模型就是引擎，三者缺一不可。...