18 Frank201608

尚未进行身份认证

加油吧

等级
博文 38
排名 8w+

架构学习笔记:淘宝的 14 次架构演进之路

概述介绍淘宝从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,最后汇总了一些架构设计的原则。下面对几个最基础的概念进行介绍: 分布式 系统中的多个模块在不同服务器上部署,即可称为分布式系统,如Tomcat和数据库分别部署在不同的服务器上,或两个相同功能的Tomcat分别部署在不同服务器上 高可用 系统中部分节点失效时,其他...

2019-06-15 10:54:41

lookalike人群扩散算法

Facebook这样通过一群已有的用户发现并扩展出其他用户的推荐算法就叫Lookalike。1.利用用户画像,给用户打标签,利用相同标签找到目标人群实例:某品牌的豆浆机进行Look-alike人群扩展投放取得家电厂商的第一方消费者数据,涵盖浏览、购买行为等ID信息。通过导入DMP进行全库记录匹配,找到个体的在线历史大数据。经由人群分析模型,洞察用户的个性倾向特征,通过标签算法挖掘,将数据...

2019-06-10 14:08:54

关于技术规划、管理、架构的思考

一、关于技术规划三板斧技术规划规划分为三个部分的内容:第一部分:全局分析,这需要溯源历史,思考未来,要对未来有一定的预判。能够基于数据,基于专业,基于客户价值,同时结合公司的战略情况和组织的现状做分析。第二部分:定目标。这一部分非常关键,定义好目标以及非目标,哪些事情是不要做的也要讲明白,并且确认目标的实现路径,做好拆解。最后一部分:以终为始,从最终结果的角度,来溯源开始。从技术支...

2019-06-09 11:40:17

初识Kubernetes

什么是Kubernetes概述Kubernetes,简写成K8s。K8s是底层资源与容器间的一个抽象层,算作是一个分布式时代的Linux。K8s是Google开源的容器集群管理系统。在Docker技术的基础上,为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的便捷性。K8s是一个完备的分布式系统支撑平台,具有...

2019-06-01 13:08:23

Docker 学习笔记:第2节 Docker使用入门

运行一个新的容器:dockerrun-ti--namesecondubuntu:16.04bash命令解释:Dockerrun是从一个镜像运行一个容器的指令。 -ti参数的含义是:terminalinteractive,这个参数可以让我们进入容器的交互式终端。 --name指定容器的名字,后面的first就是我们给这个容器起的名字。 ubuntu:...

2019-05-04 12:11:18

Docker 学习笔记:第1节 初遇 Docker

----摘录《Docker极简入门指南》本节要点:Docker是什么? Docker重要概念 Docker镜像(Image) Docker容器(Container) Docker仓库(Registry) 为什么使用Docker?Docker是什么?Docker可以把Linux系统像集装箱一样封装起来运行,就好像虚拟机一样,并且额外开销很低,一台笔记本几...

2019-04-28 21:06:32

Spark:WordCount 步骤

scala>valdata=sc.textFile("/library/wordcount/input/Data")//data:org.apache.spark.rdd.RDD[String]=MapPartitionsRDD[9]attextFileas<console>:27scala>valflatted=data.flatM...

2019-04-21 21:03:45

第05课:机器是如何学习的?

本文转载:《21天入门机器学习》,以李烨老师的图文课《机器学习极简入门课》为学习素材,通过21天的社群学习模式带领大家入门机器学习。什么是机器学习?就是让机器自己学会某种东西,通过自身运行,学习事物的规律。人类对事物的认知,都不是孤立的,互相之间有着各种各样的关联。当我们说“苹果”的时候,可能马上就会想到那个圆圆的水果。也许还会想到香蕉等其他水果;或是想到咬了苹果一口的白...

2019-03-07 23:36:50

hdfs命令列表

root@master:~#hadoopdfs-ls/user/rootDEPRECATED:Useofthisscripttoexecutehdfscommandisdeprecated.Insteadusethehdfscommandforit.Found1itemsdrwxr-xr-x -rootsupergroup

2016-11-20 19:39:03

大数据系统的Lambda架构

本文是对大数据系统的Lambda架构的理解

2016-11-11 15:27:22

Spark SQL与Hive的关系

Shark为了实现Hive兼容,在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业(辅以内存列式存储等各种和Hive关系不大的优化);同时还依赖HiveMetastore和HiveSerDe(用于兼容现有的各种Hive存储格式)。这一策略导致了两个问题,第一是执行计划优化完全依赖于Hive,不方便

2016-11-05 20:45:39

Tachyon:Spark生态系统中的分布式内存文件系统

摘要:Tachyon把内存存储的功能从Spark中分离出来,使Spark可以更专注计算的本身,以求通过更细的分工达到更高的执行效率。Tachyon简介Tachyon是个分布式的内存文件系统,它在减轻Spark内存压力的同时,也赋予了Spark内存快速大量数据读写的能力。Tachyon把内存存储的功能从Spark中分离出来,使Spark可以更专注计算的本身,以求通过更细的分工达到更高的执行

2016-11-04 15:55:42

dubbo记录

**dubbo**阿里开源的分布式服务架构以及流动计算架构。架构的演进过程:1)单一应用架构当网站流量很小时,只需一个应用,将所有功能都部署在一起,数据访问框架(ORM)是关键。2)垂直应用架构将应用拆成互不相干的几个应用。此时,用于加速前端页面开发的Web框架(MVC)是关键。3)分布式服务架构当垂直应用越来越多,应用之间交互不可避免,将核

2016-11-04 15:43:10

第58课: 广告点击广告累计点击数分析与实现

第58课:广告点击广告累计点击数分析与实现

2016-10-12 10:36:14

第55课: 在线广告点击流处理代码的分析和实现

第55课:在线广告点击流处理代码的分析和实现

2016-09-28 15:53:33

第54课: 作业讲解与广告点击实现代码

第54课:作业讲解与广告点击实现代码

2016-09-28 13:48:54

第53课: Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战

第53课:Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战

2016-09-28 09:40:44

第52课: Spark大型项目广告点击项目数据建模

Spark大型项目广告点击项目数据建模

2016-09-23 08:42:19

第51课: Spark大型项目下的Spark Streaming本质剖析

第51课:Spark大型项目下的SparkStreaming本质剖析(全面涵盖Spark2.0的精髓)

2016-09-21 20:54:59

第50课:Spark 2.0项目概述

第50课程Spark2.0项目概述

2016-09-21 19:56:05
奖章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周上午根据用户上周的博文发布情况由系统自动颁发。