- 博客(400)
- 收藏
- 关注
RSS订阅原创 「从零入门推荐系统」22：chatGPT、大模型在推荐系统中的应用
作者|gongyouliu编辑 |gongyouliu提示：全文2.5万字，预计阅读时长2小时，可以先收藏再慢慢阅读。我们在上一章介绍了chatGPT、大模型的基本概念、核心技术原理等基础知识，有了这些背景知识的铺垫，下面我们来介绍chatGPT、大模型在推荐系统中的应用，为了简单起见下面我们将chatGPT、大模型应用于推荐系统统称为大模型在推荐系统中的应用（其实大家都知道驱动chatGP...
2023-08-03 16:08:16
1810
1
转载 换脸、伪造、黑产……AI觉醒带来法律和伦理问题，有解吗？| 直播预告
火爆出圈的ChatGPT持续引发关注，有人和它产生共鸣，工作效率更高；也有人质ChatGPT没“人性”，或带来更大的危害；更多的人是好奇，它将如何渗透我们的生活？如何应对AI技术迅速发展带来的社会、法律和伦理问题？对谈大纲1、人类对人工智能伦理道德的担忧涉及哪些方面？2、当AI技术的应用在人类社会中引发伦理风险时，人工智能开发的道德伦理边界在哪里？如何界定AI与人的边界？3、最近，ChatG...
2023-08-02 17:14:40
269
原创 「从零入门推荐系统」21：chatGPT、大模型介绍
作者|gongyouliu编辑 |gongyouliu自2022年11月30日OpenAI发布chatGPT以来，大模型技术掀起了新一轮人工智能浪潮。chatGPT在各个领域（包括对话、摘要、内容生成、问题解答、识图、数学计算与推理、代码编写等）取得了比之前算法好得多的成绩，很多方面都超越了人类专家的水平，特别是对话交流具备了一定的共情能力，这让AI领域的工作者和普通大众相信AGI（Arti...
2023-07-18 17:11:40
1417
原创 文学创作的数学原理——5年文学阅读的思考
作者|gongyouliu编辑 |gongyouliu我从2019年初开始阅读文学作品，到今年差不多5年了，至少也阅读了50本以上的世界名著了（如果算「得到」听书上的文学作品，那么至少也有200本以上了），这里面绝大多数都是世界经典文学名著，很多都是诺贝尔文学奖获得者的代表作品。从这些伟大作品中，自己多少也学到了些许的文学“精髓”。牛顿之前写过一本非常出名的书叫做《自然哲学的数学原理》，在这...
2023-06-21 21:37:59
285
原创 「从零入门推荐系统」20：推荐系统的未来发展
作者|gongyouliu编辑 |gongyouliu随着科学技术的进步，信息技术、网络技术及物联网的快速发展，新信息的生产与传播更加便捷、快速。特别是最近大火的chatGPT、大模型技术引领的新一轮科技革命，让每一个人都可以轻松地生产各种各样的内容（文字、图片、视频、音频等），信息的生产以指数级增长，我们的生活中充斥着海量的信息。在上述背景下，怎么高效、快速地获取对自己有价值的信息对每个互...
2023-05-31 16:39:05
654
原创 「从零入门推荐系统」19：H&M推荐系统代码实战案例
作者|gongyouliu编辑 |gongyouliu我们在上一章中利用Netflix prize数据集讲解了最基础、最简单的一些推荐系统召回、排序算法，大家应该对怎么基于Python实现推荐算法有了一些基本的了解了。接着上一章的思路，本章我们会基于一个更复杂、更近代一点的数据集来实现一些我们在前面章节中讲到的更复杂的一些推荐召回、排序算法。本章我们讲解的算法跟上一章完全不重复，因此是对上一...
2023-05-30 17:05:31
632
原创 「读书感悟系列」生命的礼物 · 关于爱、死亡及存在的意义
作者|gongyouliu编辑 |gongyouliu最近花了不到一周时间看完了著名的团体心理治疗大师欧文·D.亚隆和他的妻子玛丽莲·亚隆合著的这本『生命的礼物 · 关于爱、死亡及存在的意义』。这本书非常特别，这是玛丽莲在87岁得癌症后跟丈夫一起合作的，每人写一章，玛丽莲死后，欧文一个人克服丧妻之痛后独自一个人完成后面章节的写作。另外，就像副标题中呈现的，本书的主题是关于爱、死亡和存在的意义...
2023-05-25 09:47:04
935
原创 「读书感悟系列」原则：应对变化中的世界秩序(达利欧)
作者|gongyouliu编辑 |gongyouliu最近2个月读完了达利欧的『原则2：应对变化中的世界秩序』，收获非常大。几年之前读他的『原则1：工作与生活』就非常喜欢，很有启发，这次读起来一如既往的喜欢。这本书利用周期的思路来描述世界（各种国家）的发展变化，并从中发现投资机会。下面我从3个方面来分享一下我读后的思考和感悟。1、周期现象是世界发展中最本源的一种规律日常生活中的周期现象...
2023-05-18 09:21:06
266
原创 「读书感悟系列」友者生存：与人为善的进化力量（我会解释人类善良和暴力的进化原因）...
作者|gongyouliu编辑 |gongyouliu最近花了不长的时间读完了这本『友者生存：与人为善的进化力量』，由于我对进化生物学非常感兴趣，又有4年的生物学学习背景，读起来还是非常容易的，这本书算是人类进化学的科普读物，一般的读者也能读懂。本书主要关注的是善良这个品质是怎么伴随人类的进化而进化出来的，以及伴随着善良这个品性，人类为啥还有那么多的战争和暴力。下面我基于自己的理解来分享一...
2023-05-12 12:10:19
434
原创 最全的国内chatGPT大模型企业及产品整理
作者|gongyouliu编辑 |gongyouliu自从去年11月30日openAI发布chatGPT以来，chatGPT引爆了新一轮科技革命。最近很多年都没有哪一项科技进步如chatGPT这般吸引全球的目光。除了媒体的大肆报道，国内外各个科技公司、科研机构、高等院校都在跟进，不到半年时间，就跑出了非常多的大模型应用的创业公司，做得优秀的如midjourney、jasper、runway等...
2023-05-10 13:44:07
3738
原创 来上海一个月的记录、思考和感悟
作者|gongyouliu编辑 |gongyouliu从4月3号早上来上海，到今天差不多整整一个月了，也是自己正式从杭州离职创业（我更愿意称之为自由职业者，毕竟我没有招聘全职员工，有两个朋友业余时间在帮我）的第一个月。这一个月过得非常放松、忙碌而充实。这个月也一直在思考自己做的事情、自己未来的规划、自己想要的是什么，目前思考得也比较清晰了。这篇文章记录一下自己的思考和产出，也算是给未来要做的...
2023-04-30 10:04:05
1028
原创 「读书感悟系列」价值(高瓴资本张磊)
作者|gongyouliu编辑 |gongyouliu4月初来上海后差不多花一个月的时间，读完了这本高瓴资本创始人张磊写的《价值》一书。整本书读完还是比较有收获的，现将自己的一点思考和感悟分享给大家。由于我自己出来创业了，平时时间比较多，也特别想了解目前创业市场上创业者关注的点，所以最近跟我一个做投资的朋友一起（作为投资人的角色）去看了好几家创业公司，对于创业公司的定位、价值、商业模式等有了...
2023-04-26 08:46:47
221
原创 「从零入门推荐系统」18：Netflix prize推荐系统代码实战案例
作者|gongyouliu编辑 |gongyouliu我们在前面章节将推荐系统的基本概念、算法原理、工程实践等相关的核心知识点都讲完了。从本章开始，我们会用3章的篇幅讲解推荐系统的具体代码实现。由于本系列是推荐系统入门课程，所以一定量的代码案例对读者从零开始熟悉推荐系统是非常有必要的。读者可以跟着作者的节奏去详细了解具体的实现过程，如果能够在这个基础上进行拓展和完善，那更好了。第18章会讲解...
2023-04-20 20:15:26
415
2
原创 「从零入门推荐系统」17：推荐系统的web服务
作者|gongyouliu编辑 |gongyouliu推荐系统是一种算法工程技术解决方案，目的是通过挖掘用户操作行为来为用户提供个性化的物品推荐，满足用户差异化的兴趣偏好。推荐系统要想真正产生作用，需要将训练好的推荐模型部署成web服务（一般是采用Restful API接口的形式），当用户在前端使用推荐模块时，推荐模块会调用推荐web服务，最终将该用户的推荐结果展示给用户，给用户所见即所得的...
2023-04-11 14:57:55
274
原创 「从零入门推荐系统」16：推荐系统的AB测试
作者|gongyouliu编辑 |gongyouliu我们在上一章《推荐系统的效果评估》中提到了推荐系统在线评估的重要性。我们知道了在线评估的指标才是最真实、最可靠的。一般来说，当算法工程师想优化某个推荐算法时，会构建一个新的推荐算法，如果通过离线评估指标发现效果比线上的算法好，这时该怎么做呢？是直接全盘替换线上算法吗？答案显然是否定的。直接取代是非常粗暴的做法，我们不能保证新算法的在线指标...
2023-04-09 16:10:54
507
原创 「从零入门推荐系统」15：推荐系统的效果评估
作者|gongyouliu编辑 |gongyouliu我们在第5章《推荐系统业务流程与架构》5.1.6节中简单介绍了什么是离线评估、什么是在线评估，本章我们会深入讲解具体的推荐系统评估指标及计算方法。推荐系统是一个偏业务应用的工程算法解决方案。对推荐系统进行评估，是想更好地衡量推荐系统的价值，希望通过数据化的形式反馈可能存在的问题，最终优化推荐系统的效果，带来用户体验的提升，最终为提供推荐服...
2023-04-07 19:30:12
444
原创 「从零入门推荐系统」14：推荐系统冷启动
作者|gongyouliu编辑 |gongyouliu作者在第2章《推荐系统基础介绍》中讲述推荐系统面临的挑战时提到冷启动是推荐系统的重要挑战之一。冷启动问题是推荐系统工程实践中非常重要的一个问题，只有解决好冷启动问题，推荐系统的用户体验才会更好。有很多读者可能对冷启动不是特别了解或者不知道怎么设计一个好的冷启动解决方案，所以本章试图给读者讲清楚这些问题。具体来说，在本章我会解释清楚什么是冷...
2023-04-06 12:04:46
534
原创 「读书感悟系列」失明症漫记
作者|gongyouliu编辑 |gongyouliu最近花了不到一周的时间读完了葡萄牙作家萨拉马戈的小说《失明症漫记》，萨拉马戈是葡萄牙到目前为止唯一一位获得诺贝尔文学奖的作家，而这本书就是他的代表作。下面对这本书做一个简单分享。正如书名所说的，作者设定了一个场景：除了一个女人（其中的主角之一）外，所有人都由于未知的原因得了一种不明的眼疾导致看不见（不是同时得的，是陆续感染眼疾），眼前一片...
2023-04-05 10:55:55
339
原创 「读书感悟系列」贫穷的本质
作者|gongyouliu编辑 |gongyouliu这几天在老家看完了「贫穷的本质」这本书，看得比较快，不到3-4天就看完了。这是一本诺贝尔经济学奖得主研究贫穷本质的书，是经济学领域非常出名的一本名著。这本书是非常值得一读的，最大的价值是拓宽自己对这个世界的认知。我之前由于在柬埔寨工作、生活过差不多一年，算是亲身经历过很穷的人的生活状态。另外，之前看过一套描写印度底层人民生活的书《项塔兰》...
2023-03-31 15:55:53
139
原创 「读书感悟系列」苏世民：我的经验与教训
作者|gongyouliu编辑 |gongyouliu这本书是今年完整看完的第一本书，是朋友推荐的。苏世民是黑石集团的创始人，本书主要讲他自己成长、创业、做慈善的一些思考和感悟。整本书写得非常浅显易懂，围绕一个个小片段、小故事展开，将真知灼见、人生感悟、经验教训融入到每个故事中，可读性非常强，读起来非常轻松愉快。下面分享5个对自己非常有触发、并且自己也非常认可的观点，也希望对大家有所帮助和借...
2023-03-25 17:02:56
293
原创 「从零入门推荐系统」13：推荐系统排序算法之wide & deep、YouTube深度学习排序...
作者|gongyouliu编辑 |gongyouliu我们在上一章讲解了常用的3种基础排序算法，本章我们接着讲解2种经典的深度学习排序算法，即Google的wide & deep和YouTube的深度学习排序。这2个算法是国外大厂在真实业务场景中得到验证的、有真实业务价值的方法，并且也被中国广大互联网公司应用于自己的业务中，是得到业界一致认可的算法。虽然这2个算法是在大约2016年左...
2023-01-08 16:53:55
461
原创 「从零入门推荐系统」12：推荐系统排序算法之logistics回归、FM、GBDT
作者|gongyouliu编辑 |gongyouliu我们在上一篇文章中介绍了5种最基础的、基于规则策略的排序算法，那些算法是在没有足够的用户行为数据的情况下不得已才采用的方法，一旦我们有了足够多的行为数据，那么我们就可以采用更加客观、科学的机器学习排序算法了。本章我们就来讲解3个最常用、最基础的基于机器学习的排序算法，分别是logistics回归、FM（分解机）和GBDT（Gradient...
2023-01-02 18:33:56
728
原创 梳理一下我在2022年读过的23本书
作者|gongyouliu编辑 |gongyouliu2022年我一共看了23本书，比自己之前定的目标——每年看36本书——少了不少。今天特意花大半天时间写一篇文章来整理一下今年看的书，梳理一下自己的思路，也算是留下一份记录。这份书单也希望给大家作为参考，或许其中某些书你是感兴趣的。我简单将我读的书分为3大类：文学、技术、其它。下面我也按照这个结构分3部分来说明，针对每本书我会简单说一下这本...
2023-01-01 15:18:32
677
原创 「从零入门推荐系统」11：推荐系统排序算法之规则策略方法
作者|gongyouliu编辑 |gongyouliu我们在上面一篇文章中介绍了排序算法的一些基本概念和知识点。大家应该已经非常清楚排序算法可以解决什么问题，可以用在哪些推荐场景了。上一章也对排序算法做了一个简单的说明性介绍，从本章开始我们会花3章的篇幅来介绍具体的排序算法的实现原理。本章我们先介绍最简单、最没有机器学习含量的规则策略排序方法。虽然规则策略算法没有用到复杂的机器学习模型，主要...
2022-12-31 22:15:43
714
原创 「从零入门推荐系统」10：推荐系统排序算法介绍
作者|gongyouliu编辑 |gongyouliu我们在第5章「推荐系统业务流程与架构」中讲到推荐系统一般会分为召回和排序两个阶段，召回可以看成是推荐前的初筛过程，排序是对初筛的结果进行精细打分的过程。我们在前面4章中介绍完了推荐系统召回算法相关的知识点，从本章开始，我们会花4章的篇幅来介绍排序算法。本章是关于排序的第一章，在这一章我们会对排序算法的基本概念、常用的排序算法、排序算法的应...
2022-12-25 20:28:09
702
1
原创 「从零入门推荐系统」09：召回算法之嵌入召回算法和深度学习召回算法
作者|gongyouliu编辑 |gongyouliu我们在上一篇文章中介绍了5种基础的召回算法，这5种召回算法原理简单，工程实现容易，非常实用。本章我们会讲解两类更复杂的召回算法，一类是嵌入方法召回，另一类是深度学习召回。由于本系列文章是入门文章，不会讲太多太复杂的算法，我们会拿几个最有价值的方法介绍给大家。更现代、更复杂的的召回算法，我们会在本章提一下，但是不会深入介绍，读者自己可以去了...
2022-12-24 23:16:09
731
原创 「从零入门推荐系统」08：召回算法之5类基础召回算法
作者|gongyouliu编辑 |gongyouliu我们在上一篇文章中介绍了规则策略召回算法，这类方法非常简单，只需要利用一些业务经验和基础的统计计算就可以实现了。本节我们来讲解一些基础的召回算法，这类算法要么是非常经典的方法，要么是需要利用一些机器学习知识的，相比上一章的方法要更复杂一点，不过也不难，只要懂一些基础的机器学习和数学知识就可以很好地理解算法原理。具体来说，本章我们会讲解关联...
2022-12-18 19:09:04
803
原创 「从零入门推荐系统」07：召回算法之规则策略方法
作者|gongyouliu编辑 |gongyouliu我们在上一篇文章中对推荐系统中的召回算法进行了简单梳理。从本章开始，我们会花3章的篇幅来详细介绍推荐系统召回算法的具体思路和实现细节。上一章中我们提到了可以按照算法复杂度将召回算法分为3类，接下来的3章我们按照这个分类来介绍召回算法，我们会分别讲解规则策略召回算法、基础召回算法、高阶召回算法。本章我们介绍规则策略召回算法。下面我们分5小结...
2022-12-17 20:43:43
721
原创 「从零入门推荐系统」06：推荐系统召回算法介绍
作者|gongyouliu编辑 |gongyouliu我们在前面几章中介绍了推荐系统的一些基本概念，从本章开始我们会进入推荐系统的核心章节，也就是关于推荐算法部分的介绍。我们在第五章「推荐系统业务流程与架构」中讲到推荐系统一般会分为召回和排序两个阶段，召回可以看成是推荐前的初筛过程，排序是对初筛的结果进行精细打分排序的过程。召回和排序两个阶段中使用的算法就是推荐系统的核心算法。在后面一系列文...
2022-12-11 18:52:41
842
原创 专注推荐系统13年，我收获最大的4个成长
作者|gongyouliu编辑 |gongyouliu我从2010年开始接触推荐系统，到现在差不多有13年了，这13年间我基本没有间断过对推荐系统的学习和实践（今年还看了两本推荐系统相关的书籍和一些论文）。回顾一下这十几年的经历，我获得了非常多的成长。在这里想跟大家分享我收获最大的4个成长，希望对大家有所参考和借鉴。1、通过推荐系统，我获得了一个非常好的职业。职场是一辈子的事情...
2022-12-10 15:34:23
354
原创 13年实践经验总结，200多页PPT的企业级推荐系统原理与实践，助力企业精细化与个性化运营...
我最早在2010年就开始学习研究推荐系统，目前在推荐系统领域已经有13年实践经验，过去5年帮很多大中小公司做过企业级推荐系统的咨询和培训，帮助他们更好地实施推荐系统。自己也有至少3次从零构建企业级推荐系统的经验，曾经构建过DAU千万级产品的推荐系统，这些经验都沉淀在我去年出的书里，参考如下：今年结合我的书和过去几年为企业进行咨询培训的经历整理了200多页的企业级推荐系统的PPT，涵盖企业级推荐系统...
2022-12-04 21:34:47
237
原创 13年实践经验总结，200多页PPT的企业级推荐系统原理与实践，助力企业精细化与个性化运营...
我最早在2010年就开始学习研究推荐系统，目前在推荐系统领域已经有13年实践经验，过去5年帮很多大中小公司做过企业级推荐系统的咨询和培训，帮助他们更好地实施推荐系统。自己也有至少3次从零构建企业级推荐系统的经验，曾经构建过DAU千万级产品的推荐系统，这些经验都沉淀在我去年出的书里，参考如下：今年结合我的书和过去几年为企业进行咨询培训的经历整理了200多页的企业级推荐系统的PPT，涵盖企业级推荐系统...
2022-12-04 21:34:47
142
原创 我的20条生活原则之01：任何事情都有两面性
作者|gongyouliu编辑 |gongyouliu之前在9月中旬，我写过一篇文章「多年的生活经历，让我深刻领悟到的20条生活原则」（点击紫色字体查看原文），在那篇文章中，我对自己过去多年领悟到的20条生活原则进行了简单的陈述和说明。当时那篇文章也受到了很多朋友的喜欢和认可。那篇文章由于篇幅所限，对每一条原则没有展开详细说明，说得不是很透彻，还不够有深度，所以我准备开启一个系列，针对每个原...
2022-11-13 19:00:04
320
原创 「推荐系统特征工程」07. 一些与特征工程相关的实际问题
作者 |gongyouliu编辑|gongyouliu我们在上一章中介绍了特征选择，讲到了选择特征的一些基本方法及在具体模型中怎么选择合适的特征。本章我们来介绍几个与特征工程相关的实际问题，这些问题在实际构建模型过程中是比较重要的，需要很好地处理，才能更好地构建出有业务价值的特征。7.1 可变维度的离散特征有些特征的维度是动态变化的，训练样本数量不同特征维度不同。典型的比如标签，一般标签可能...
2022-10-02 18:35:51
533
原创 多年的生活经历，让我深刻领悟到的20条生活原则
作者|gongyouliu编辑 |gongyouliu我们每个人从小到大听过很多很多的道理，但是很多道理只有在自己亲身经历过很多事情之后才能真正领悟，你有多痛，你的领悟就有多深刻。很多道理即使你领悟了，你也不一定能做到，也许只有你付出了足够大的代价后才能真正领悟并做到。在自己最具“弱点（这往往是你的性格或者从小的生活环境给你带来的）”的事情上，你往往要付出最“惨痛的教训”才能“领悟并规避”。...
2022-09-17 17:49:51
385
原创 「推荐系统特征工程」06. 特征选择
作者 |gongyouliu编辑|gongyouliu我们在上一章中讲到了特征构建。通过特征构建可以从已知的数据样本中获得对问题进行建模的数学化的对象（即向量）。针对具体的业务问题，我们可以采用不同的模型来（近似）描述现实世界，不同的模型对数据的要求是不一样的，当尝试或者选定了合适的模型时，我们就需要从已有的特征中选择合适的特征来训练模型（有时特征不够，还要进行构建新特征或者特征处理、增强等...
2022-09-04 15:52:07
311
原创 元宇宙01：什么是“元宇宙”
作者| 橙子审核|gongyouliu编辑|gongyouliu从今天开始，我们将进入一个全新的专题——“元宇宙”。首先我们来谈谈元宇宙的定义。1992年，尼尔斯蒂芬森的科幻小说《雪崩》出版，好评如潮。《雪崩》描述的是脱胎于现实世界的一代互联网人对两个平行世界的感知和认识。但是，不论是作者还是书评者都没有预见到，在30年之后，此书提出的元宇宙Metaverse概...
2022-08-06 21:12:10
429
原创 「认识AI：人工智能如何赋能商业」【32】目前主流的深度学习工具
作者|Harper审核|gongyouliu编辑|gongyouliu我在前面的内容中给大家介绍了深度学习相比机器学习的优势所在，也给大家梳理了目前主流的机器学习工具，本期给大家分享的内容是主流的深度学习工具。深度学习是人工智能中最有趣的领域之一，因此有许多工具可以用于创建深度学习人工神经网络，这些工具以深度学习框架的形式出现。深度学习框架是一个接口，它使得开...
2022-07-13 22:30:38
352
原创 「推荐系统特征工程」05. 特征构建
作者 |gongyouliu编辑|gongyouliu机器学习模型一般只能处理向量化的数据，因此在建模过程中，需要将收集到的原始数据进行转化，构建出机器学习模型可以利用的数据形式（即向量化的数据），这个过程就是特征构建的过程。特征构建从收集到的机器学习模型的原始数据中提取出特征，将原始数据空间映射到新的特征空间，使得在新的特征空间中，模型能够更好地学习数据中的规律。...
2022-07-12 08:30:31
639
原创 2022年上半年总结——忙碌而有点忧伤的半年
现在越来越感受到了时间的相对性。固定不变的生活方式，狭小单调的生活空间，让每一天的流逝串联成一串串的数字，就像我最近在读的小说《魔山》中对时间描写的那样，2022年的上半年不知不觉就过完了，仿佛是一场梦。去年年中说过每半年要写一篇文章来回顾一下自己的工作生活，做一些总结和感悟分享的，虽然今年太忙没时间写什么文章，但是这个年中总结不管多忙还是得写一写。回顾上半年，很多事情跟...
2022-07-11 08:30:58
2835
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人