5 lsgqjhAC哈理工

尚未进行身份认证

北京搬砖

等级
博文 433
排名 3k+

微软 AB/Testing EXP 实验管理平台

ConferencePaper·May2018TheAnatomyofaLarge-ScaleOnlineExperimentationPlatform。因为工作负责和ABTest相关的事情,所以对ABTest系统理论与工程落地情况一直在调研,根据上面这篇论文,我们一起来学习下微软EXP系统的工程实现。摘要及其相关工作啥的废话略过,先放一张架构图:整个系统包含四部分:...

2019-05-16 02:36:50

深入剖析 Netty 源码设计(二)——BIO NIO AIO Reactor 模式到底干了啥

本文首发于点击转到原文前言周末向往常一样睡了一上午,惆怅了一个中午,下午学了会习,梳理了下Netty的线程模型是如何体现Reactor模式的。继上一篇对一些通信底层IO的C函数学习,这一篇主要是总结Java里对底层IO不同层次的抽象,每一层都为了解决什么问题?为什么Reator模型使得现在Netty处理网络IO时如此高效?带着问题,我们一起来学习。BIO让我们先回忆一下传统的服务器端同步...

2019-01-28 12:35:49

深入剖析Netty源码设计(一)——深入理解select poll epoll机制

前言打算输出一系列Netty源码分析与实践的文章,也作为后端开发学习过程中的沉淀,此文章为第一篇,从操作系统底层的IO讲起,为Netty的出场做下知识准备。一些概念文件描述符文件描述符在形式上是一个非负整数。实际上,它是一个索引值,指向为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符。读写文件也需要使用文件描述符来指定待...

2019-01-24 10:51:08

Google 重叠实验框架:更多,更好,更快地实验

转载自:http://www.6aiq.com/article/1548255866526IntroductionGoogle是一个数据驱动型公司,这意味着所有对用户的改动的发布,都要决策者以相应的经验数据作为依据。这些数据大部分是由在线流量上的实验产生的。在web的语境下,一个实验是由一股流量(比如,用户的请求)和在这股流量上进行的相对对比实验的修改组成的。修改包括用户可见的修改(比如,修...

2019-01-23 23:10:54

工作中组内遇到的elasticsearch使用上的踩坑总结

嵌套索引的坑场景:一个spudoc下有多个内嵌的csu,csu内有上下架状态,前台操作某csu上下架,在商城界面看起来未生效。坑1:mysqlbinlog消息监控组件dbus通知服务端B多台机器消息变更时,未考虑spu下csu消息的消费顺序性,导致同一spu的多个csu上下架变更消息被多个后端服务乱序消费方案:重新定制dbus消息通知的分发逻辑,采用spu的唯一标志分发,进而保...

2019-01-13 20:52:01

Effective Java要点笔记

基础知识要常回顾~,为了把姿势搞的优雅些,leader推荐花一周看下这本书,写了个笔记。新的一年打算常更新博客。第一章:创建和销毁对象1.类可以通过静态工厂方法来提供客户端,而不是通过构造器优点: 自定义工厂名称,提高可读性 可以工厂里搞单例 控制实例类是哪种子类 总之是更加灵活,可读性更高缺点: 有可能会导致类无法子类化,因为一般搞工厂,就把...

2019-01-10 18:46:18

Spark性能调优总结

使用正确的transformations操作虽然开发者达到某一目标,可以通过不同的transformations操作,但是有时候不同的姿势,性能差异非常明显。优化姿势的总体目标是尽可能少的产生shuffle,和待被shuffleddata。因为shffule过程存在写盘和节点间网络IO的开销repartition,join,cogroup,andanyofthe*Byo...

2019-01-09 17:55:27

Spark宽依赖 窄依赖 Job Stage Executor Task 总结

宽依赖与窄依赖窄依赖(narrowdependency)和宽依赖(widedependency,也称shuffledependency).窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用,子RDD分区通常对应常数个父RDD分区(O(1),与数据规模无关),map/filter和union相应的,宽依赖是指父RDD的每个分区都可能被多个子RDD分区所使用,子RDD...

2019-01-09 17:43:53

Scala 下划线(_) 用法汇总

导包时的通配符importjava.util._类似Java的importjava.util.*Scala类中成员变量初始化classFoo{//String类型的默认值为null不适合局部变量vars:String=_}类型通配符Java的泛型系统有一个通配符类型,例如List<?>,任意的List类型都是List<?...

2019-01-08 15:26:20

IDEA 配置Springboot项目热部署

一、实现的方式概述注意以下的热部署方式在IDEA是默认没有打开自动编译的,手动编译需要快捷键(Ctrl+Shift+F9),自动编译的修改配置如下:(注意刷新不要太快,会有1-2秒延迟)File-Settings-Compiler-BuildProjectautomatically二、spring-boot-devtools在pom中直接引入依赖<dependency>...

2018-11-16 19:22:57

响应式编程Rxjava 书籍视频教程

转载请注明AIQ-最专业的机器学习大数据社区http://www.6aiq.comAIQ机器学习大数据知乎专栏点击关注响应式编程业界知秋大佬:《Java编程方法论响应式之Rxjava篇》书籍配套视频,持续更新中.2019年视频配套书籍<<Java编程方法论响应式之Rxjava篇>>和<<Java编程方法论响应...

2018-10-29 16:38:37

Elasticsearch 之 commit point | Segment | refresh | flush 索引分片内部原理

转载自:http://www.6aiq.com/article/1539308290695基本概念SegmentsinLucene众所周知,Elasticsearch存储的基本单元是shard,ES中一个Index可能分为多个shard,事实上每个shard都是一个Lucence的Index,并且每个LucenceIndex由多个Segment组成,每个Segment...

2018-10-12 09:42:02

回顾·神马搜索技术演进之路

转载自 DataFunTalk公众号 http://www.6aiq.com/article/1535003242764前言国内搜索引擎大事记1998年,Google发布;2000年,百度发布;2004年,搜狗发布;2006年,搜搜发布;2010年,Google退出中国;2012年,360搜索发布;2013年,神马发布,搜搜并入搜狗,百度收购91;2017年,微信推出搜一搜。神...

2018-08-23 14:29:21

AIQ - deeplearning.ai 全套吴恩达老师的深度学习课程笔记及资源在线阅读

http://www.6aiq.com/deeplearning_ai/html/SUMMARY.html深度学习笔记目录第一门课神经网络和深度学习(NeuralNetworksandDeepLearning)第一周:深度学习引言(IntroductiontoDeepLearning)1.1欢迎(Welcome)1.2什么是神经网络?(Whatis...

2018-07-17 10:45:51

AIQ |【学界】机器学习、数据科学 如何进阶成为大神?

转载请注明AIQ-最专业的机器学习大数据社区http://www.6aiq.comAIQ机器学习大数据知乎专栏点击关注作者:@留德华叫兽,美国Clemson大学运筹学硕士,Ph.D.Candidate,后跳槽至欧盟玛丽居里博士项目,期间于意大利IBMCplex实习半年,巴黎综合理工访问一季,现任德国海德堡大学交叉学科计算中心、组合优化实验...

2018-06-28 21:20:20

thread "main" java.lang.NoSuchMethodError: org.apache.kafka.common.network.NetworkSend

org.apache.kafka.common.network.NetworkSend是一个Kafka客户端库,kafka0.9以前,首先初始化这个类。你确定在kafka-client客户端只有一个版本kafka-clientjar在classpath

2018-05-13 21:19:00

有哪些比较好的机器学习技术社区推荐

 AIQ-全国最专业的机器学习大数据技术社区,是一个以机器学习,大数据,云计算,数据分析,数据挖掘,人工智能,区块链为主要学习方向的学习交流社区,在这里可以讨论各种当下比较火热的技术,分享大数据,机器学习算法等各种优质精华文章与教程资料,填补了机器学习技术社区宇宙级空白,分享学习心得。人工智能是一个非常广泛的领域。当前人工智能涵盖很多大的学科,我把它们归纳为六个:(1)计算机视...

2018-04-04 10:37:19

信息检索常用的评价指标整理 MAP nDCG ERR F-measure Precision Recall

相关文献:learningtorank:https://en.wikipedia.org/wiki/Learning_to_rank#cite_note-13MRR:https://en.wikipedia.org/wiki/Mean_reciprocal_rankPrecisionandRecall:https://en.wikipedia.org/wiki/Prec...

2018-03-10 16:36:49

线性相关性 基 维数

MIT: https://open.163.com/movie/2010/11/C/T/M6V0BQC4M_M6V2ACDCT.html1,线性相关性:(1)m×n矩阵A中,如果A的解空间中只有零向量,则n个向量线性无关;如果A的解空间中一定含有其他非零解,则n个向量线性相关(2)m×n矩阵A中,如果r=n,则n个向量线性无关;如果rn,则n个向量线性相关2,生成空间:一组向量生成向量空间的含...

2018-03-09 08:49:46

Ax=b:秩与方程组可解性和解的结构

列空间与零空间: https://www.bilibili.com/video/av6240005/MIT求解Ax=b: https://open.163.com/movie/2010/11/V/8/M6V0BQC4M_M6V2ABHV8.html秩可以理解为矩阵A列的线性组合所张成的空间维度数-列空间维度数本课讨论AX=b的解情况,根据教授的思路,A矩阵(mrowXncol)经过化简可...

2018-03-08 20:01:25
奖章
  • 专栏达人
    专栏达人
    授予成功创建个人博客专栏的用户。专栏中添加五篇以上博文即可点亮!撰写博客专栏浓缩技术精华,专栏达人就是你!
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。