爱奇艺技术产品团队

原创 爱奇艺APP Android低端机性能优化

01背景介绍在智能手机市场上，高端机型经常备受瞩目，但低端机型亦占据了不可忽视的份额。众多厂商为满足低端市场的需求，不断推出低配系列手机。另外过去几年的中高端机型，随着系统硬件的快速迭代，现已经被归类为低端机型。爱奇艺APP拥有庞大的用户基群，其中低端机型用户也占据了相当一部分。低端机优化能给这部分用户带来稳定、流畅、高效的使用体验。下面将从冷启动、流畅性、加载速度三个维度介绍爱奇艺APP对...

原创 爱奇艺 CTR 场景下的 GPU 推理性能优化

01背景介绍GPU 目前大量应用在了爱奇艺深度学习平台上。GPU 拥有成百上千个处理核心，能够并行的执行大量指令，非常适合用来做深度学习相关的计算。在 CV（计算机视觉），NLP（自然语言处理）的模型上，已经广泛的使用了 GPU，相比 CPU 通常能够更快、更经济的完成模型的训练和推理。CTR (Click Trough Rate) 模型广泛使用在推荐、广告、搜索等场景中，用来估算用户点击某...

转载 爱奇艺数据湖实战 - Hive数仓平滑入湖

爱奇艺基于 Hive 构建了传统的离线数据仓库，支持了公司运营决策、用户增长、视频推荐、会员、广告等业务需求。近几年，随着业务对数据实时性的更高要求。我们引入了基于 Iceberg 的数据湖技术，大幅提升数据查询性能及整体流通效率。从性能和成本角度考虑，将现有的Hive表迁移到数据湖是必要的。然而多年来，大数据平台上已经积累了数百 PB 的 Hive 数据，如何将 Hive 迁移到数据湖，成为我们...

原创 稀疏大模型在爱奇艺广告排序场景中的实践

01背景与现状1、广告领域数据特点广告领域数据可以分成：连续值特征和离散值特征。不同于 AI 图像、视频、语音等领域，广告领域内的原始数据大多以 ID 形式呈现，比如用户 ID、广告 ID、与用户交互的广告 ID 序列等，而且 ID 规模较大，形成了广告领域数据高维稀疏的鲜明特点。连续值特征既有静态的（比如用户的年龄），也有基于用户行为的动态特征（比如用户点击某行业广告的次数）。优点是具备良...

原创 爱奇艺图片格式演进

01 背景图片是爱奇艺APP页面的主要视觉元素，对整体用户体验有着至关重要的影响。同时，由大量启动带来的图片CDN峰值带宽成本也有待降低。因此，在努力提升用户体验的同时，优化图片CDN峰值带宽成本已成为一项关键任务。而决定图片显示质量和文件体积的编解码格式，就是优化的关键所在。1、图片格式简介爱奇艺APP中使用了各种各样的图片格式，具体对比如下：格式是否支持透明是否支持动图爱奇艺APP使用场景...

原创 奇异果投屏的进化之路

笔者按：奇异果投屏伴随奇异果TV一路发展至2022年，日活用户已达300多万，用户和我们都对投屏的功能和性能提出了更多的诉求和更高要求，因此2022开始系统地对投屏功能和性能做了扩展和优化。本文立足于TV端，为大家介绍爱奇艺站内投屏优化过程中面临的困难和解决方案，虚心以待您的指正和建议。01 优化历程回顾自2022年初接手投屏功能，先后开展了功能扩展、报障处理提效等工作，至2022年底仍深感投...

转载 工信部发布2023移动互联网应用服务能力优秀案例 爱奇艺两项目入选

2024年1月，工业和信息化部通信管理局公布2023年移动互联网应用服务能力提升优秀案例名单。“爱奇艺主动式合规风险处置平台——覆盖APP全业务流程的风险监测与处置”“爱奇艺全生命周期隐私保护方案”，分别入选“完善制度规程，加强全流程合规管理”和“研发部署技术手段，增强风险防范能力”领域优秀案例。同期获选优秀案例的公司包括华为、中国移动等。据悉，工信部本次评选旨在推荐企业先进经验和做法，推动提升移...

原创 微服务不死 — 共享变量在策略引擎项目的落地详解

01 背景1、共享变量的提出前段时间，来自亚马逊 Prime Video 团队的一个案例研究在开发者社区中掀起了轩然大波。大体是这样一件事，作为一个流媒体平台，Prime Video每天都会向客户提供成千上万的直播流。为了确保客户无缝接收内容，Prime Video需要构建一个监控工具来识别客户所查看的每个流中的质量问题，这提出了极高的可扩展性要求。对此，Prime Video团队优先考虑了微...

原创 TV端Web页面性能优化实践

01 背景随着互联网技术的持续创新和电视行业的高速发展，通过电视观看在线视频已经逐渐成为大众的重要娱乐方式。奇异果App作为在TV设备上用户活跃度最高的应用之一，为广大用户提供了丰富的内容播放服务，除此之外，同样有会员运营、专题活动等上线效率要求极高的服务提供给用户。为满足后者的诉求，我们调研了目前主流的动态化和跨端技术：H5、Flutter 和 React Native，最终从开发效率、人力...

原创 爱奇艺H5专题页打造原生体验优化实践

01 项目背景H5专题及活动页面一直是公司大剧热综宣传、App拉新促活的重要承载方式，其在各个业务领域中扮演着至关重要的角色。与此同时，也存在着一些弊端而广受诟病。比如页面打开速度慢，白屏现象、端内H5顶部标题栏与页面内容割裂等。我们针对这些问题与webview团队深入合作，沟通尝试各种解决方案，着重优化用户体验和页面性能，目前已经取得一定进展，现将一些实践经验分享给大家，以供参考。02 ...

原创 爱奇艺大数据离在线混部

混部作为一种提高资源利用率、降低成本的的方案，被业界普遍认可。爱奇艺在云原生化与降本增效的过程中，成功将大数据离线计算、音视频内容处理等工作负载与在线业务进行了混部，并且取得了阶段性收益。本文重点以大数据为例，介绍从 0 到 1 落地混部体系的实践过程。01 背景爱奇艺大数据支持了公司内运营决策、用户增长、广告分发、视频推荐、搜索、会员等重要场景，为业务提供数据驱动引擎。随着业务需求的增长，计...

转载 桃厂Hack Day，开启未来娱乐世界！

原创 爱奇艺效果广告双出价优化历程

01 项目背景效果广告的投放是一个博弈的场景：媒体平台希望流量卖出最高的价格，客户希望广告的投放成本和后端效果达标。随着效果广告行业的发展，客户不再满足于仅考核唤醒、激活等浅层转化的效果，越来越多的广告主向媒体平台表达优化后端效果的诉求。后端效果包括次留率、付费率、首日付费ROI等多种深层转化类型。这篇文章，我们将回顾讲述，效果广告在出价模式上的优化历程。广告媒体平台一般采用双出价模式来同时保...

原创 数据湖在爱奇艺数据中台的应用

01 我们眼中的数据湖作为爱奇艺的数据中台团队，我们的核心任务是管理和服务公司内的大量数据资产。在实施数据治理的过程中，我们不断吸收新的理念，引入尖端的工具，以精细化我们的数据体系管理。“数据湖”作为近年来数据领域广泛热议的概念，其技术层面也受到了业界的广泛关注。我们的团队对相关数据湖的理论和实践进行了深入研究，我们认为，数据湖不仅是一种治理数据的全新视角，更是一种集成和处理数据的极具前景的技...

原创 Apache Spark 在爱奇艺的应用实践

01 Apache Spark 在爱奇艺的现状Apache Spark 是爱奇艺大数据平台主要使用的离线计算框架，并支持部分流计算任务，用于数据处理、数据同步、数据查询分析等场景：数据处理：在数据开发平台中支持开发者提交 Spark Jar 包任务或Spark SQL 任务对数据进行ETL处理。数据同步：爱奇艺自研的BabelX数据同步工具基于Spark 计算框架开发，支持 Hive、MySQ...

原创 爱奇艺数据湖实战 - 基于数据湖的日志平台架构演进

01 背景为了满足公司内日志实时查询分析的需求，爱奇艺大数据团队自研了Venus日志服务平台，负责爱奇艺各服务日志的采集、存储、处理、分析等场景。早期采用基于ElasticSearch的存储分析架构，随着数据规模的不断扩大，出现了成本高、管理困难、稳定性差等问题。数据湖技术近几年快速发展，其采用了统一大数据存储底座和存算分离的架构，提供了一种适合于日志这种大量写入、少量查询场景的解决方案。因此...

原创 揭秘内存暴涨：解决大模型分布式训练OOM纪实

在现代深度学习开发中，我们通常依赖其他模块，像搭积木一样构建复杂的软件系统，这个过程往往快速且有效。然而，如何在遇到问题时迅速定位和解决问题，由于系统的复杂性和耦合性，一直困扰着深度学习系统设计和维护者。作为爱奇艺后端技术团队的一员，我们详细记录了一次解决深度学习训练内存相关问题的过程，希望为正努力解决棘手问题的同行提供一些启示。01 背景过去的一个季度中，我们一直在A100集群观察到随机的c...

原创 分布式系统日志打印优化方案的探索与实践

01 背景爱奇艺海外后端研发组支撑了爱奇艺海外PHONE/PCW/TV三端后端的相关业务。除了负责三端的后端服务外，还包含了海外积分业务，弹窗，各类节目的预约系统等。除此以外，还有落地了一些列基础设施，比如快速支持产品的各类运营配置和实验诉求的IQ后台；助力产品运营实现精细化运营的策略引擎；实现流量回放和压测的质量保障平台等。繁多业务的稳定运行依赖完善的日志体系，因此业务代码常常会打印许多日志...

原创 爱奇艺客户端开播体验优化实践

01 项目背景爱奇艺移动端绝大部分用户的消费时长在观看视频，海量用户每天数亿次播放。开播速度和体验对用户消费时长和留存尤为重要。随着音画品质的提升，视频开始播放所需要的资源也逐渐增加，对开播体验也提出了新的要求。然而整体播放链路十分复杂，主要包括网络环境、CDN、P2P、终端设备性能、内容清晰度等；如何优化降低开播链路各个环节耗时，克服设备性能参差不齐、网络波动、系统版本差异带来了新的挑战，也...

原创 Spring Cloud Gateway下的GC停顿排查之旅

01 背景在微服务架构体系流行的当下，Spring Cloud全家桶已经是大多数团队的首选，我们也不例外，并且选择了Spring Cloud Gateway作为了业务网关，进行了一些通用能力的开发，如鉴权、路由等等。作为一个成熟的框架，我们已经使用了很长时间都没有出现问题，表现十分稳定。然而最近突然出现短时间内的5xx告警，起先没引起注意，认为是网络的问题，但是后来发现每隔一段时间（一两个星期...

原创 爱奇艺数据湖实战-广告数据湖应用

01 背景广告数据主要包括效果、品牌和ADX等广告形式的请求和投放链路中产出的一系列日志，经过处理后，用于算法模型训练、广告运营分析、广告投放决策等场景。广告业务对数据的时效性、准确性以及查询性能要求较高。目前，广告数据链路整体采用Lambda架构，存在离线、实时两条链路，带来较高的使用成本和数据不一致性风险。为了解决这些问题，广告数据团队与爱奇艺大数据团队一起积极调研大数据前沿技术，很早就关...

原创 爱奇艺大数据加速：从Hive到Spark SQL

01 导语爱奇艺自2012年开展大数据业务以来，基于大数据开源生态服务建设了一系列平台，涵盖了数据采集、数据处理、数据分析、数据应用等整个大数据流程，为公司的运营决策和各种数据智能业务提供了强有力的支持。随着数据规模的不断增长和计算复杂度的增加，如何快速挖掘数据的潜在价值，给大数据平台带来了巨大挑战。 针对海量数据的实时分析需求，大数据团队从2020年开始发起大数据加速项目，基于大数据技术加速...

原创 奇巴布Feed流性能优化

01项目背景“爱奇艺奇巴布”是爱奇艺为0-8岁孩子和家长定制化设计的寓教于乐平台，为儿童量身打造精致的观看体验，精彩内容解锁寓教于乐新方式。为儿童提供优质动画内容的同时，我们更关注APP用户体验。在产品交互设计上我们立足儿童视角，把内容浏览和观影做到做到简约易用。奇巴布APP整体界面简约、导航清晰、播放流畅，以极致的设计理念荣获2018年德国红点传达设计奖。在技术侧我们不断完善技术架构体系，...

原创 Prometheus监控指标查询性能调优

01 背景在《SRE: Google运维解密》一书中作者指出，监控系统需要能够有效的支持白盒监控和黑盒监控。黑盒监控只在某个问题目前正在发生，并且造成了某个现象时才会发出紧急警报。“白盒监控则大量依赖对系统内部信息的检测，如系统日志、抓取提供指标信息的 HTTP 节点等。白盒监控系统因此可以检测到即将发生的问题及那些重试所掩盖的问题等”。为了完善系统的白盒监控，会员团队基于 Prometheu...

原创 爱奇艺DRM修炼之路

01 DRM的定义和作用DRM，即数字版权管理（digital rights management），是在数字内容交易过程中，对知识产权进行保护的技术、工具和处理过程。它的目的是防止数字内容被未经授权的用户复制、修改和分发，以保护知识产权所有者的权益。在日常生活中，我们经常与 DRM 技术打交道。比如，电影上映前，我们不能在视频网站上观看电影，只能去电影院。这是内容提供（发行）商对自己的数字内...

原创 组件化设计在会员业务的应用和实践

01 背景在现代商业环境中，为了实现商业目标和利益的最大化，企业之间经常进行各种合作，例如供应链合作、销售渠道合作、技术合作等等。在这种背景下，对外合作成为了会员业务的重要组成部分，随着业务的发展，外部合作的需求越来越多，如何能高效完成与合作方的对接，成为了一个重要的课题。02 合作方式介绍对外合作主要是以接口方式对接，负责企业之间的数据交换和服务共享。合作方式分为以下2种：1、合作方标准...

原创 会员测试环境治理之路

01 背景会员业务是公司的重要业务之一，为广大会员用户承载最基础的服务保障，随着会员数的破亿，业务复杂度也是呈现几何倍的增加，如何高效的支持会员业务的测试，也成为了会员测试团队不得不面对客观挑战，这其中最核心也是最基础的莫过于测试环境的治理，现将测试环境特点总结如下：特点1：基础应用服务数量多达数百个，分布在几十个域名下，维护成本高。特点2：调用关系复杂，应用之间互相调用，并且相互依赖，联调成...

原创 视频生产大镜像优化实践

本文介绍了爱奇艺视频生产技术团队针对大镜像的多种优化方案，充分利用现有的 Docker 镜像分层相关技术，在其基础上进行优化和创新，在开发人员无感知的情况下，优化镜像大小，同时提升了构建速度，减少了分发所需要的带宽。01 背景爱奇艺视频转码服务通过容器技术进行分布式任务的提交与执行，依赖 Docker 镜像进行版本发布以及部署,然而随着版本的迭代，Docker 镜像内容越来越多，体积越来越大，...

原创 爱奇艺数据湖实战

01 什么是数据湖？数据湖概念于2010年[1]首次提出，经过多年的演变，目前演化出两种不同的定义——公有云数据湖、非公有云数据湖。公有云数据湖AWS [2]、Google Cloud [3] 以及国内的阿里云、腾讯云等公有云厂商对数据湖的定义是一个集中的、近乎无限空间的数据存储区，支持结构化、半结构化、非结构化等各种类型数据。在公有云厂商的语境下，数据湖一般就是各家的云存储产品，比如...

转载 AI重现巾帼名将英姿 爱奇艺独家修复《穆桂英挂帅》助推豫剧热潮

“还是老电影有味道”。“感谢可以看到这么清晰的经典影片”。近日，由爱奇艺-厦门大学电影修复联合实验室独家数字修复的《穆桂英挂帅》在爱奇艺上线，感动、致敬、怀念等声音在弹幕区此起彼伏。这部1958年上映的黑白胶片豫剧戏曲片，60多年后再次大放异彩。该片由徐苏灵执导、豫剧大师马金凤主演。片中，马金凤唱腔明亮纯净、引人入胜，其饰演的穆桂英更是融青衣、武旦、刀马旦的表演程式为一炉，一句“辕门外三声炮响如同...

转载 ShardingSphere + Database Mesh，爱奇艺的云上数据治理实践

今年 5 月，SphereEx 正式对外提出了 Database Mesh 2.0 理念。关于 Database Mesh，其不是静态的定义，而是一个在不断进化的动态概念。Database Mesh 始终关注对数据库流量的治理，基于数据库协议感知能力，提供数据分片、负载均衡、可观测性、审计等能力，这些能力已经解决了数据库治理中属于流量治理的部分问题。此外 Database Mesh 也关注数据库可...

原创 会员接口治理的探索与实践

随着爱奇艺会员破亿，会员服务从小而快的单一业务系统升级为了按领域划分的微服务模式，满足了业务的高速发展和服务的高流量调用，但是微服务的拆分，系统间的交互越来越多，在需求开发时，协作成本随之增加，问题总结如下：历史包袱过重，接口管理工具不统一：WIKI、YAPI、Swagger接口维护成本高，代码和文档需要同时更新接口联调和测试成本高，由于环境、链路导致的问题，排查难度大，业务复杂的需求可能会延期基...

转载 爱奇艺影视剧智能配音系统奇声获2022年度CCF科技成果奖“科技进步一等奖”

2022年度“CCF科技成果奖”评选结果于11月8日公布，爱奇艺奇声影视剧智能配音系统（IQDubbing）获得“科技进步一等奖”。这是科技界权威奖项对爱奇艺技术内容创新的再次肯定。作为衡量企业、高校技术创新水平最权威的科技奖项之一，“CCF科技成果奖”创办于2005年，旨在授予在计算机科学、技术或工程领域具有重要发现、发明、原始创新，在相关领域有一定国际影响的优秀成果。此次获奖的30个项目涵盖自...

转载 爱奇艺混合云内网DNS实践

爱奇艺早期业务多数以私有云方式部署，随时间推移，私有云模式在成本、弹性及区域覆盖等方面开始显现不足，而公有云在近年的发展中成熟度不断提高，逐步满足爱奇艺业务需求，爱奇艺开始有计划的使用公有云资源，逐渐形成私有云与多家公有云结合的业务部署模式，即混合云模式。混合云模式下，私有云和公有云分属不同的 DNS 体系，如何实现域名统一管理，高效、安全地完成云间通信，成为一个巨大的挑战，本文即介绍爱奇艺内网 ...

转载 程序员还能这样？是的，没听说过！

在桃厂做程序员，都在忙什么？猜猜图中的人在做什么？（据说全猜对的人不足1%）【一】【二】【三】【四】【五】“程序员的工作主要是写代码？”是，也不全是。代码是程序员的画笔，勾勒出这个世界的无限可能。就在刚刚过去的周末，177位极客，在爱奇艺Hack Day（黑客马拉松）历经45天准备和24小时的集中开发，又为我们的生活创造出44种新的娱乐可能性。在谈到“你的技术给娱乐生活带来哪些变化”时，他们这样说...

转载 一图读懂国家标准GB/T 42016-2022《信息安全技术 网络音视频服务数据安全要求》...

导语为了贯彻落实《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《国务院办公厅关于促进平台经济规范健康发展的指导意见》等有关要求，强化平台企业数据安全责任、保障平台经济安全健康发展，由北京爱奇艺科技有限公司和中国电子技术标准化牵头，联合其他26家音视频及相关企业共同制定的《信息安全技术网络音视频服务数据安全要求》（GB/T 42016-2022）的国家标准已经于2022年10月14日...

转载 一图读懂国家标准GB/T 42016-2022《信息安全技术 网络音视频服务数据安全要求》...

导语为了贯彻落实《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《国务院办公厅关于促进平台经济规范健康发展的指导意见》等有关要求，强化平台企业数据安全责任、保障平台经济安全健康发展，由北京爱奇艺科技有限公司和中国电子技术标准化牵头，联合其他26家音视频及相关企业共同制定的《信息安全技术网络音视频服务数据安全要求》（GB/T 42016-2022）的国家标准已经于2022年10月14日...

原创 爱奇艺播放技术——300ms背后的故事

爱奇艺大播放内核运行在 Android Mobile、Android TV、Apple TV、iPhone、iPad、GPad、MAC、Windows PC 等不同业务平台，支持以“直播、点播”为核心的广告、会员、VR、AR、交互视频等业务，经过9年4个大版本迭代，对于用户长视频播放“点击/播放”场景已经达到了相对稳定阶段，性能上基本能满足了所有的长视频播放场景。期间，在播放性能优化上，不同业务均...

转载 中国移动北京公司携未来电视、UWA、爱奇艺开启超高清新时代

以下文章来源于新华网近日，中国移动北京公司（以下简称：北京移动）联合未来电视、世界超高清视频产业联盟（UWA联盟）和爱奇艺，在支持4K/8K高分辨率基础上，叠加画质提升创新技术HDR Vivid（高动态范围视频标准）和ChinaDRM3.0（数字版权保护），率先成为国内面向家庭用户提供高规格、高安全的4K/8K超高清视听体验服务（4K/8K+HDR Vivid+ChinaDRM3.0）的通信运营商...

转载 爱奇艺海外运营系统的设计和实践

海外技术团队针对海外运营需求，整合爱奇艺人群运营、移动端动态化、A/B 测试等资源，从零到一设计落地了海外运营系统：IQ Explorer 。从原型设计到上线至今，历经多个版本的迭代，覆盖了海外本地化、人群精细化运营以及 A/B 测试等需求场景，对海外业务探索起到了卓有成效的作用，从技术侧支撑了海外业务的快速发展。本文从需求分析、原型设计，讲解我们对海外运营的理解以及实践，希望能对读者有所帮助。0...