2 阿里云技术

尚未进行身份认证

我要认证

阿里云官方内容社区!博客、直播、问答、技术团队、资料下载等。如需转载或内容类合作,邮件 yqeditor@list.alibaba-inc.com 秒级回复!

等级
TA的排名 1k+

王者荣耀背后的实时大数据平台用了什么黑科技?

大家好我是许振文,今天分享的主题是《基于 Flink+ServiceMesh 的腾讯游戏大数据服务应用实践》,内容主要分为以下四个部分:背景和解决框架介绍 实时大数据计算 OneData 数据接口服务 OneFun 微服务化& ServiceMesh一、背景和解决框架介绍1、离线数据运营和实时数据运营首先介绍下背景,我们做游戏数据运营的时间是比较久的了,在 13 年的时候就已经在做游戏离线数据分析,并且能把数据运用到游戏的运营活动中去。但那时候的数据有一个缺陷,就是.

2020-09-24 15:32:36

【数据湖构建篇】多引擎集成挖掘湖上数据价值

数据湖已经逐步走到了精细化的管理,这意味着原始的计算引擎直接读写存储的方式应当逐步演变为使用标准方式读写数据湖存储。然而“标准方式”实际上并无业界标准,与具体的计算引擎深度绑定,因此,支持计算引擎的丰富程度也就成了衡量数据湖的一个准则。阿里云数据湖构建服务支持丰富的计算引擎对接,包括但不限于阿里云产品 E-MapReduce(EMR)、MaxCompute(开发中)、Blink(开发中)、Hologres(开发中)、PAI(开发中),以及开源系的 Hive、Spark、Presto 等等。数据湖

2020-09-24 15:29:04

Serverless:云计算的下一个10年

10年前, UC 伯克利就曾预测云计算将会得到蓬勃发展,客户无需自建机房,按需为云端的资源进行付费,就像租赁模式,降低了企业在IT 方面的一次性投入,同时,借助云端丰富的产品支持,加快了业务的上线和迭代速度,加码企业核心竞争力,值得称赞的是,基于云来构建的业务,其稳定性和安全性获得了更专业的保障。这就是常说的云计算带来的技术红利:更经济、更高效、更开放。因此,在各类市场分析报告中都能看到,云正在逐步替代传统 IDC 市场,呈现此消彼长的发展态势。我们总是对未来充满好奇,对新旧事物的交替感到兴奋。2

2020-09-24 15:27:57

阿里云张献涛:一切从场景出发,实现计算的全场景覆盖

9月18日,2020云栖大会上,阿里巴巴研究员、阿里云智能弹性计算负责人张献涛分享了阿里云弹性计算的最新进展。图:阿里巴巴集团研究员、阿里云智能弹性计算负责人张献涛张献涛透露,目前阿里云的弹性计算已经实现对计算能力、行业和计算位置的全覆盖,全场景满足用户全面上云需求。“如果说过去十年,阿里云只做了一件事情的话,就是通过不断的产品和技术改进,让客户的业务能够更简单、更高效地云化,协助客户业务最终All-in Cloud。”张献涛表示。通用计算、异构计算、HPC…实现计算能力的全面覆盖经过十

2020-09-24 15:25:56

从零入门 Serverless | Knative 带来的极致 Serverless 体验

导读:Serverless 如今已是万众期待未来可期的状态,但一个系统到底具备怎样的能力才能更好地支撑 Serverless 应用?随着 Kubernetes 和云原生概念的崛起,Serverless 在 Kubernetes 之上应该怎么玩?本文就从 Serverless 应用的核心特质出发,讨论作为 Serverless 应用管理平台应该具备哪些特质。通过本文让您对 Knative 的 Serverless 应用管理方式有一个深刻的了解。为什么需要 KnativeServerl...

2020-09-24 15:23:31

面试官问我什么是JMM

思维导图面试官:讲讲什么是JMM你要是整这个我可就不困了。JMM就是Java内存模型(java memory model)。因为在不同的硬件生产商和不同的操作系统下,内存的访问有一定的差异,所以会造成相同的代码运行在不同的系统上会出现各种问题。所以java内存模型(JMM)屏蔽掉各种硬件和操作系统的内存访问差异,以实现让java程序在各种平台下都能达到一致的并发效果。Java内存模型规定所有的变量都存储在主内存中,包括实例变量,静态变量,但是不包括局部变量和方法参数。每个线程都有自己

2020-09-23 15:16:28

云时代的智能运维平台,助力企业创新迭代

每一起严重事故背后,必然有29次轻微事故和300起未遂先兆以及1000起事故隐患。—— 海恩法则(Heinrich‘s Law)随着云计算时代的到来,大量企业将自己的业务逐步迁移上云。云计算的弹性,让IT资源购买、扩容等更简单。许多企业,已经不要花费巨大的人工时间,投入在IDC、服务器、网卡等物理资源的购买、扩容、升级等等。但随着信息时代的发展,业务在线化,业务系统服务客户规模更大,系统的稳定变得更加重要。一旦出现故障,运维人员无法提前预警、以及无法最快时间内寻找出问题,极易影响到业务,造成巨大损

2020-09-23 15:14:39

数据湖架构,为什么需要“湖加速”?

在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情:第一,选择什么样的存储系统做数据湖(湖存储)? 第二,计算和存储分离后,出现了性能瓶颈,计算如何加速和优化(湖加速)? 第三,针对需要的计算场景,选择什么样的计算引擎(湖计算)?湖存储可以基于我们熟悉的HDFS,在公共云上也可以选择对象存储,例如阿里云OSS。在公共云上,基于对象存储构建数据湖是目前业界最主流的做法,我们这里重点探讨第二个问题,结合阿里云上的.

2020-09-23 15:08:46

数据湖元数据服务的实现和挑战

大数据引擎的现状在大数据计算和存储领域,因不同业务场景、不同数据规模,诞生了很多适合处理不同需求的各类大数据引擎,比如计算引擎类有数据分析引擎Hive、交互式分析引擎Presto、迭代计算引擎spark以及流处理引擎Flink等,存储类有日志存储系统的SLS、分布式文件系统HDFS等,这些引擎和系统很好的满足了某一领域的业务需求,但也存在非常严重的数据孤岛问题:在同一份数据上综合使用这些系统,必然面临着大量的ETL工作,而且更关键的是在目前各种公司业务链路上这种使用方式非常常见,同时因数据加工、转储产生

2020-09-23 14:49:46

阿里云发布边缘计算视频上云解决方案 为海量视图处理提供城市级云基础设施

日前,2020云栖大会在云上成功召开,此次大会汇聚行业领袖,共同见证数智未来的重构进程。在9月18日的产品发布大厅,阿里云正式发布边缘计算视频上云解决方案,旨在依托城市级云计算基础设施,实现海量视图数据就近上云计算,助力行业最大化的挖掘视图数据价值,赋能城市产业发展。5G时代 视图数据成为信息数字化最重要载体纵观中国数字化发展历史,其实是一个信息载体不断演进的过程。从最初的文字载体,到2000年左右产生的数字语音、图片,再到4G时代视频的爆发,信息的承载方式随着网络基础设施的演进不断升级。5G的到来

2020-09-23 14:47:42

对话猿辅导:阿里云远程办公零信任落地创新安全

2020,一场突如其来的新冠疫情,引发了史上最大规模的远程办公。疫情让安全问题暴露得更加突出,与疫情的对抗也是阿里云安全的战场。9月18日,2020云栖大会技术重磅发布专场,阿里巴巴副总裁、阿里云智能事业部总经理肖力发布“远程办公零信任解决方案”。方案基于阿里巴巴集团十几万员工每天大规模远程接入的安全响应,以及疫情期间服务众多客户紧急扩缩容的安全实践落地,帮助百万云上用户了解如何基于不断变化的网络内动态因素构建一套成熟的安全体系,进而体验到与阿里巴巴同等能力的安全服务。疫情催化远程办公常态化

2020-09-22 15:55:28

Kubernetes 新玩法:在 yaml 中编程

引子性能测试在日常的开发工作中是常规需求,用来摸底服务的性能。那么如何做性能测试?要么是通过编码的方式完成,写一堆脚本,用完即弃;要么是基于平台,在平台定义的流程中进行。对于后者,通常由于目标场景的复杂性,如部署特定的 workload、观测特定的性能项、网络访问问题等,往往导致性能测试平台要以高成本才能满足不断变化的开发场景的需求。在云原生的背景下,是否可以更好解决这种问题?先看两个 yaml 文件: performance-test.yaml 描述了在 K8s 中的操作流程:..

2020-09-22 15:41:20

JindoTable数据湖优化与查询加速

概述近几年,数据湖架构的概念逐渐兴起,很多企业都在尝试构建数据湖。相比较大数据平台,数据湖在数据治理方面提出了更高的要求。对于数据湖场景所提出的新需求,“传统”的大数据工具在很多方面都面临着新的挑战。JindoTable 正是专为解决数据湖管理结构化数据甚至是半结构化数据的痛点而设计的,包括数据治理功能和查询加速功能。数据优化数据湖需要存储来自各种数据源的数据。对于 HDFS 集群,小文件问题让很多用户倍感烦恼。在存储计算分离的数据湖中,小文件同样会产生很多问题:过多的文件数会导致目录list时

2020-09-22 15:38:37

聚焦2020云栖大会 边缘计算专场畅谈技术应用创新

9月17-18日,一年一度科技圈盛事——云栖大会如期上演,本届大会以“数智未来,全速重构”为主题,历时2天,首次采用云上云栖的模式,与业界同仁、合作伙伴共同打造了一场数字时代的云上相聚。其中,边缘计算技术领域因5G商用落地而备受瞩目,边缘计算技术应用创新专场也受到了网友的强势围观。于9月18日下午举办的边缘计算技术应用创新专场中,阿里云携手甘肃省公路交通建设集团有限公司、华数传媒网络有限公司、首约科技(北京)有限公司等产业伙伴,分别从产品架构、技术创新、行业应用等维度,进一步阐述“边缘计算即城市计算”的

2020-09-22 15:08:43

从零入门 Serverless | SAE 场景下,应用流量的负载均衡及路由策略配置实践

流量管理从面向实例到面向应用在 Serverless 场景下,由于弹性能力以及底层计算实例易变的特性,后端应用实例需要频繁上下线,传统的 ECS 场景下的负载均衡管理方式不再适用。SAE 产品提供给用户面向应用的流量管理方式,不再需要关心弹性场景以及发布场景的实例上下线,仅仅需要关心监听的配置以及应用实例的健康检查探针,将面向实例的复杂配置工作交给 SAE 产品。单应用的负载均衡配置对于单个应用,SAE 产品支持将应用服务通过公网或私网 SLB 实例监听暴露,目前支持仅支持 TC..

2020-09-22 15:06:42

基于JindoFS+OSS构建高效数据湖

为什么要构建数据湖大数据时代早期,Apache HDFS 是构建具有海量存储能力数据仓库的首选方案。随着云计算、大数据、AI 等技术的发展,所有云厂商都在不断完善自家的对象存储,来更好地适配 Apache Hadoop/Spark 大数据以及各种 AI 生态。由于对象存储有海量、安全、低成本、高可靠、易集成等优势,各种 IoT 设备、网站数据都把各种形式的原始文件存储在对象存储上,利用对象存储增强和拓展大数据 AI 也成为了业界共识,Apache Hadoop 社区也推出了原生的对象存储“Ozone”。

2020-09-18 15:00:20

八种经典排序算法总结,妈妈再也不用担心我不会了

前言算法和数据结构是一个程序员的内功,所以经常在一些笔试中都会要求手写一些简单的排序算法,以此考验面试者的编程水平。下面我就简单介绍八种常见的排序算法,一起学习一下。一、冒泡排序思路:比较相邻的元素。如果第一个比第二个大,就交换它们两个; 对每一对相邻元素作同样的工作,从开始第一对到结尾的最后一对,这样在最后的元素就是最大的数; 排除最大的数,接着下一轮继续相同的操作,确定第二大的数... 重复步骤1-3,直到排序完成。动画演示:实现代码:/** * @author

2020-09-18 14:53:29

生意参谋牵手Quick BI 让数据再次驱动店铺经营

刚刚过去的一周,超两百家店铺体验了阿里巴巴官方全渠道、全链路、一站式数据平台生意参谋推出的全新功能,自助分析。作为生意参谋联合Quick BI的初次尝试, “自助分析”面向店铺提供自助分析解决方案,支持店铺个性化数据报表制作,同时支持长周期的数据存储和分析,形成店铺专属的数据监控和分析看板,以帮助店铺提升经营效率。“自助分析功能让店铺的数据统计与分析变得更加简单,” 厨房里的阿芬天猫旗舰店运营负责人宋福翔告诉记者,“过去需要花费1小时完成的数据统计分析工作,现在1分钟就能轻松搞定。”生意参谋全

2020-09-18 14:48:49

宜家:打造新零售时代的智能客户身份管理系统

作为全球领先的家居和家具零售商,宜家于1998 年进入中国,截止至今已经在大陆开放了 30+ 大型线下体验店。近两年来,宜家加快了迈向在线零售的转型脚步,在多个客终端稳健发力,获得了大量的新增客户。但与此同时,宜家原有的客户身份管理系统逐渐无法跟上企业快速成长的脚步。在原有的国际架构改造缓慢、流程偏长的不利情况下,宜家始终秉承为中国大众创造更美好的日常生活的企业理念,为客户身份管理系统的优化升级寻找新的答案与方法,为中国本土用户提供符合使用习惯的高质量服务。随着宜家业务的快速发展,越来越多的顾客

2020-09-18 14:43:54

从零入门 Serverless | 函数计算的可观测性

导读:本文主要分为三个部分:概述中介绍可观测性的基本概念,主要包括 Logging、Metrics、Tracing 三个方面;然后详细介绍函数计算上的 Logging、Metrics、Tracing;最后以几个常见场景为例,介绍在函数计算中如何快速定位问题并解决问题。概述可观测性是什么呢?维基百科中这样说:可观测性是通过外部表现判断系统内部状态的衡量方式。在应用开发中,可观测性帮助我们判断系统内部的健康状况。在系统出现问题时,帮助我们定位问题、排查问题、分析问题;在系统平稳运行时,...

2020-09-18 14:37:18

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 1024超级勋章
    1024超级勋章
    授予原创文章总数达到1024篇的博主,感谢你对CSDN社区的贡献,CSDN与你一起成长。
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。