9 nicajonh

尚未进行身份认证

编程,学习两大乐事

等级
TA的排名 3w+

Mysql 分区表事项

分区表是一种粗粒度,简易的索引策略,适用于大数据的过滤场景.最适合的场景是,没有合适的索引时,对其中几个分区表进行全表扫描.或者只有一个分区表和索引是热点,而且这个分区和索引能够全部存储在内存中.限制单表分区数不要超过150个,并且注意某些导致无法做分区过滤的细节,分区表对于单条记录的查询没有优势,需要注意这类查询的性能.分区表语法  分区表分为RANGE,LIST,HASH...

2020-01-18 03:07:39

Flink的可靠性保证 – CheckPoint机制

Flink支持Exactly-Once级别的准确行,这是一个很高的要求,一般的高吞吐量系统只支持At-least-Once级别的。Lightweight Asynchronous Snapshots for Distributed Dataflows这篇论文是Checkpointing机制的理论基础,这个机制的思想来源于K.MANI CHANDY和LESLIE LAMPORT 发表的一...

2019-12-11 18:19:07

Istio原理与架构

最近在折腾k8s体系,稍微总结下 当应用被拆分为多个微服务后,进程内的方法调用变成了进程间的远程调用。引入了对大量服务的连接、管理和监控的复杂性。随着微服务出现,微服务的连接、管理和监控成为难题,istio相对springcloud体系代码入侵低,跨域语言通信相对容易,相关详情可以参考这篇文档https://blog.csdn.net/zhonglinzhang/articl...

2019-08-29 15:44:13

理解深度学习中Batch Normalization批标准化

深度学习调优过程中,有很多的tricks,其中Batch Normalization是一项,这个篇博客介绍Batch Normalization讲得还不错,所以推荐下Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因,但是实践证明好用才是真的好,别忘了DL从Hinton对深层网络做Pre-Train开始就是一...

2019-07-13 00:02:56

理解机器翻译模型 Transformer

transformer是一种不同于RNN的架构,模型同样包含 encoder 和 decoder ,但是encoder 和 decoder 抛弃了RNN,而使用各种前馈层堆叠在一起。Encoder: 编码器是由N个完全一样的层堆叠起来的,每层又包括两个子层(sub-layer),第一个子层是multi-head self-attention mechanism层,第二个子层是一个简...

2019-06-16 07:50:50

微服务监控方案介绍

引入微服务带来便捷的同时,同时也引入了技术上的挑战,比如服务编排,监控等,这介绍下微服务监控方案及监控指标 首先,您需要了解什么是微服务架构设计,同时了解相关微服务与Docker介绍, 微服务架构的本质,是把整体的业务拆分成很多有特定明确功能的服务,通过很多分散的小服务之间的配合,去解决更大,更复杂的问题。对被拆分后的服务进行分类和管理,彼此之间使用统一的接口来进行交互。...

2019-05-30 21:10:31

协同过滤推荐算法:UserCF、ItemCF python现实

目录一、协同过滤算法二、基于邻域的算法:UserCF、ItemCF三、UserCF、ItemCF的改进一、协同过滤推荐算法协同过滤算法是指基于用户行为数据设计的推荐算法,主要包括:1.基于邻域的算法:UserCF(基于用户的协同过滤算法)、ItemCF(基于物品的协同过滤算法)2.隐语义模型(LFM):基于矩阵分解的推荐算法3.基于图的随机游走算法:PersonalR...

2019-04-20 16:21:43

推荐系统与知识图谱应用

推荐一篇知识图谱应用到推荐系统的论文,感兴趣的可以看看简介推荐系统最初是为了解决互联网信息过载的问题,给用户推荐其感兴趣的内容。在新闻推荐领域,有三个突出的问题需要解决:1.新闻文章具有高度的时间敏感性,它们的相关性很快就会在短时间内失效。 过时的新闻经常被较新的新闻所取代。 导致传统的基于ID的协同过滤算法失效。2.用户在阅读新闻的时候是带有明显的倾向性的,一般一个用户阅读过的文章会...

2019-04-09 16:59:24

强力推荐flink流式引擎入门

这篇文章强力推荐,介绍flink流式引擎比较细致Flink 认为 Batch 是 Streaming 的一个特例,所以 Flink 底层引擎是一个流式引擎,在上面实现了流处理和批处理。而窗口(window)就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制,这是我认为的 Flink 最大的亮点之一(其他的亮点包括消息乱序处理,和 checkpoint ...

2019-04-01 12:02:40

深度学习在知识图谱的应用

探索下深度学习在知识图谱中的应用实践,感兴趣的同学可以看看,研究下一、大规模知识图谱的构建 知识图谱自上世纪60年代从语义网络发展起来以后,分别经历了1980年代的专家系统、1990年代的贝叶斯网络、2000年代的OWL和语义WEB,以及2010年以后的谷歌的知识图谱。谷歌目前的知识图谱已经包含了数亿个条目,并广泛应用于搜索、推荐等领域。知识图谱的存储和查询语言也经历了历...

2019-03-08 11:49:24

Faster R-CNN中的RPN和anchor机制理解

先上图看一下Faster R-CNN操作流程: 图片说明:Faster R-CNN=Fast R-CNN+RPN,其中Fast R-CNN结构不变;RPN负责生成proposals,配合最后一层的feature map,使用ROI Pooling,生成fixed length的feature vector。我们详细讨论一下RPN的操作过程 图片说明,红框只是一个滑窗的操作过程,注意...

2019-01-07 11:29:30

CTC算法基本原理解释

语音识别中的CTC算法的基本原理解释目前主流的语音识别都大致分为特征提取,声学模型,语音模型几个部分。目前结合神经网络的端到端的声学模型训练方法主要CTC和基于Attention两种。本文主要介绍CTC算法的基本概念,可能应用的领域,以及在结合神经网络进行CTC算法的计算细节。CTC算法概念CTC算法全称叫:Connectionist temporal classification...

2018-12-25 22:26:41

Hyperledger Fabric 1.0架构及原理

                                                Hyperledger Fabric 1.0架构及原理 如果说以比特币为代表的货币区块链技术为 1.0,以以太坊为代表的合同区块链技术为 2.0,那么实现了完备的权限控制和安全保障的 Hyperledger 项目毫无疑问代表着区块链技术 3.0时代的到来。Hyperledger 项目目前主要...

2018-12-10 17:57:51

Java后端架构公共组件及学习应用

   RPC/统一配置中心/基于注解的分布式锁/dubbo请求级缓存/调用链追踪/RabbitMQ/Elasticsearch/zookeeper/Sping boot公共组件统一配置中心统一配置中心1 统一配置中心2RPCDubbo环境下基本请求级的缓存 (未同步代码)变通实现微服务的per request以提高IO效率1 变通实现微服务的per request以提高I...

2018-11-24 18:22:25

理解Attention机制

    Attention应用  :    注意力机制即 Attention mechanism在序列学习任务上具有巨大的提升作用,在编解码器框架内,通过在编码段加入Attention模型,对源数据序列进行数据加权变换,或者在解码端引入Attention 模型,对目标数据进行加权变化,可以有效提高输入序列对目标序列的注意力的表现。   Attention理解:    上图中Enco...

2018-11-18 21:32:11

区块链基础入门

原文标题的“Electronic Cash”[2]一词,有别于通俗意义上的电子化的货币,比如:信用卡、借记卡,某银行间两个账户的转账,或者基于支付宝的在线支付交易。上述提及的之所以不能称为Electronic Cash,是因为它们不具备Cash的2个基本要素:匿名性和持有者之间线下交易的能力。[3]一个基于简易Electronic Cash System的交易过程大致如下:A在银行有10...

2018-11-11 17:26:49

几种共识算法介绍

共识算法(POW,POS,DPOS,PBFT,PAXOS,RAFT) POW:Proof of Work,工作证明。(最终一致性,适用公有链)要得到合理的Block Hash需要经过大量尝试计算,计算时间取决于机器的哈希运算速度。寻找合理hash是一个概率事件。当节点拥有占全网n%的算力时,该节点即有n/100的概率找到Block Hash。简单说明:pow主要是依靠计算机的机器的性能...

2018-10-11 11:47:48

浏览器加载、解析、渲染的过程

浏览器的渲染下面是渲染引擎在取得内容之后的基本流程:先来看个图:                                解析html以构建dom树 -> 构建render树 -> 布局render树 -> 绘制render树所以,浏览器会解析三个东西: (1) HTML/SVG/XHTML,解析这三种文件会产生一个 DOM Tree。 (2) CSS,...

2018-08-01 17:00:25

解析Elasticsearch/lucene打分策略

最近业务上遇到重新排序制定打分策略需求,参考这篇文档,对es打分策略有所了解在进行搜索时,对于召回的排序方式一般是两种方式:不指定sort按照相关度以及其他因素综合得到的分值排序;另外一种是完全按照指定的sort(可以使多个field,和顺序有关),此时分数是0,即没有相关性的概念。指定字段排序比较简单,按照分值排序就涉及到一些打分策略和二次评分的方式。ES采用的是lucene的打分算法(es 5...

2018-05-15 01:33:59

springboot集成Swagger

手写Api文档缺点:文档需要更新的时候,需要再次发送一份给前端,也就是文档更新交流不及时。接口返回结果不明确不能直接在线测试接口,通常需要使用工具,比如postman接口文档太多,不好管理Swagger也就是为了解决这个问题,当然也不能说Swagger就一定是完美的,当然也有缺点,最明显的就是代码移入性比较强。其他的不多说,想要了解Swagger的,可以去Swagger官网,可以直接使用Swagg...

2018-04-30 04:09:20

查看更多

勋章 我的勋章
    暂无奖章