智享与潜沉

原创 大语言模型开源数据集

本文目标：汇聚目前大语言模型预训练、微调、RM/RL、评测等全流程所需的常见数据集，方便大家使用，本文持续更新。文章较长，建议收藏后使用。

原创 大模型微调的几种常见方法

在文章《深入理解大语言模型微调技术》中，我们详细了解大语言模型微调的概念和训练过程，本篇给大家介绍大模型微调常见的7种训练方法。

原创 深入理解大语言模型微调技术

大模型微调，也称为Fine-tuning，是指在已经预训练好的大型语言模型基础上（一般称为“基座模型”），使用特定的数据集进行进一步的训练，让模型适应特定任务或领域。

原创 Cyber Weekly #2

赛博周刊 (Cyber Weekly），每周一上午发布，欢迎关注、收藏、点赞。

原创 AI Agent概念、能力初探

AI Agent无疑是大语言模型当前最热门且最具前景的方向，也是通往AGI的必经之路，下面我们从基本概念和系统能力层面来逐步揭开AI Agent的神秘面纱。

原创 万字长文｜Sam Altman创业手册（下）

本文是Sam Altman在Y Combinator期间给创业者写的Startup Playbook（创业手册），接近1.4w字，由于篇幅原因分为上、中、下3篇，预计累计需要阅读30min，建议大家收藏后在免打扰的环境下使用。

原创 万字长文｜Sam Altman创业手册（中）

本文是Sam Altman在Y Combinator期间给创业者写的Startup Playbook（创业手册），接近1.4w字，由于篇幅原因分为上、中、下3篇，预计累计需要阅读30min，建议大家收藏后在免打扰的环境下使用。

原创 万字长文｜Sam Altman创业手册（上）

​本文是Sam Altman在Y Combinator期间给创业者写的Startup Playbook（创业手册），接近1.4w字，由于篇幅原因分为上、中、下3篇，预计累计需要阅读30min，建议大家收藏后在免打扰的环境下使用。

原创 关于AI发展的3种声音：杨植麟 朱啸虎 王小川

回顾近期市场上对于AI未来的看法，杨植麟、朱啸虎和王小川恰恰代表了技术信仰派、市场信仰派和中间派的观点，无论你站哪一方，不妨听听其他声音。

原创 揭秘ChatGPT的数据集构建

解析ChatGPT在SFT和RLHF阶段的训练数据集。

原创 解析大语言模型训练三阶段

大语言模型的训练过程一般包括3个阶段：预训练（Pre-training）、SFT（有监督的微调，Supervised-Finetuning）以及RLHF（基于人类反馈的强化学习，Reinforcement Learning from Human Feedback），其中SFT和RLHF不是必须的流程。

原创 揭秘ChatGPT预训练数据集

自大语言模型引领新一代的AI浪潮之后，对于Open AI发布的GPT系列LLM使用的数据集一直是行业内的谜，我们都知道，随着模型的参数量提升，预训练数据的使用量也同步增加，下面就让我们从相关论文和分析从探索GPT-X大模型的预训练数据集。

原创 Cyber Weekly #1

赛博周刊（Cyber Weekly），每周一上午发布，欢迎点赞、评论、收藏。

原创 大语言模型RAG vs. 长文本

​在学习完大语言模型中最热门的两个概念大语言模型落地的关键技术：RAG和大语言模型上下文窗口初探后，关于RAG和长文本（long-context）的优劣比较引起了广泛的讨论，本文整理了大语言模型RAG vs. 长文本争论的5种类观点。

原创 大语言模型上下文窗口初探（下）

​由于篇幅原因，本文分为上下两篇，上篇主要讲解上下文窗口的概念、在LLM中的重要性，下篇主要讲解长文本能否成为LLM的护城河、国外大厂对长文本的态度。

原创 大语言模型上下文窗口初探（上）

由于篇幅原因，本文分为上下两篇，上篇主要讲解上下文窗口的概念、在LLM中的重要性，下篇主要讲解长文本能否成为LLM的护城河、国外大厂对长文本的态度。

原创 大语言模型RAG项目实战

​学习完大语言模型落地的关键技术：RAG的相关概念，我们今天来用代码实现一下RAG。

原创 大语言模型落地的关键技术：RAG

RAG 是检索增强生成（Retrieval-Augmented Generation）的简称，是当前最火热的大语言模型应用落地的关键技术，主要用于提高语言模型的效果和准确性。

原创 深度解析GPT中的Tokenizer

​继学习完深度解析大语言模型中的词向量后，让我们继续学习大语言模型中另外几个重要概念：token（词元）、tokenization（词元化）、tokenizer（词元生成器）。

原创 深度解析大语言模型中的词向量

​在学习完语言模型中的编码器与解码器知识后，让我们继续深入学习大语言模型中一个非常关键的技术：词向量表示，以及如何通过Transformer模型实现对next token的预测。​

原创 语言模型中的编码器与解码器

语言模型主要分为三大类：一是“仅编码器（encoder-only）”组，该类语言模型擅长文本理解，因为它们允许信息在文本的两个方向上流动。二是“仅解码器（decoder-only）”组，该类语言模型擅长文本生成，因为信息只能从文本的左侧向右侧流动，以自回归方式有效生成新词汇。三是“编码器-解码器（encoder-decoder）”组，该类语言模型对上述两种模型进行了结合，用于完成需要理解输入并生成输出的任务，例如翻译。

原创 语言模型进化史（下）

由于篇幅原因，本文分为上下两篇，上篇主要讲解语言模型从朴素语言模型到基于神经网络的语言模型，下篇主要讲解现代大语言模型以及基于指令微调的LLM。

原创 语言模型进化史（上）

由于篇幅原因，本文分为上下两篇，上篇主要讲解语言模型从朴素语言模型到基于神经网络的语言模型，下篇主要讲解现代大语言模型以及基于指令微调的LLM。

原创 红杉资本：2024年关于AI的4大预测

红杉资本：2024年关于AI的4大预测以及对未来长期的影响判断

转载 与大佬畅谈元宇宙

谈到 2021 年的游戏市场，绕不开元宇宙。堡垒之夜、Roblox 和 Minecraft 都声称正在构建元宇宙（以他们自己的方式），还有许多人试图加入这一行动。谁会是第一个成功构建元宇宙的人是一个有聊的问题，很少有人比 Matthew Ball 花更多时间来思考它。本次音频播客的主题将围绕元宇宙，什么创造了它？元宇宙的现状及未来，以及一些更基本的问题：什么是元宇宙？游戏在其中扮演什么角色？谁是主要玩家？元宇宙将走向何处？以下将概述本次访谈的内容。1、激情和好奇心Matthew Ball 被

原创 产品经理面试大全

产品经理面试常见问题分享（一） 产品经理面试常见问题分享（二） 产品经理面试常见问题分享（三） 产品经理面试常见问题分享（四） 产品经理面试常见问题分享（五） 产品经理面试常见问题分享（六） 产品经理面试常见问题分享（七）产品经理面试前需要准备的内容分享（一） 产品经理面试前需要准备的内容分享（二） 产品经理面试前需要准备的内容分享（三） 产品经理面试前需要准备的内容分享（四） 产品经理面试前需要准备的内容分享（五） 产品经理面试前需要准备的内容分享（六）...

原创 KK（凯文·凯利）给年轻人的建议

学习：学习如何从你不同意甚至冒犯你的人身上学习。看看你是否能从他们的信仰中找到真理。 不要做房间里最聪明的人。和比你聪明的人一起逛街，向他们学习。更好的办法是，找到那些不同意你的聪明人。小时候让你变得古怪的东西，如果你没有失去它，可能会让你成为一个伟大的成年人。 明智意味着有更多的问题而非答案。成为你希望看到的改变。 最伟大的老师被称为“行动”。生活态度：充满热情抵得上25个智商点。 不要做最好的。做唯一的。犯错是人之常情。承认自己的错误是神圣的。没有什么比迅速承认自己犯下的错.

原创 金字塔原理

金字塔原理主要解决“如何思考”和“如何表达”两个问题。针对这两个问题，作者提出了“MECE法则”和“SCQA模型”来进行结构化思考和表达。MECE法则（Mutually Exclusive Collectively Exhaustive）：思考时各论点之间要“相互独立、完全穷尽”，做到不重不漏。解释：上一层论点是下一层论点的总结和结论，下一层观点是上一层观点的论据支撑。进行表达时，需要从上到下，结论先行，一层层展开；进行思考时，需要从下到上，先从多方面收集资料，然后整理归纳，向上得出..

转载 什么是RESTful API

REST，即Representational State Transfer的缩写。直接翻译的意思是"表现层状态转化"。它是一种互联网应用程序的API设计理念：URL定位资源，用HTTP动词（GET,POST,DELETE,DETC）描述操作。产生背景近年来移动互联网的发展，前端设备层出不穷（手机、平板、桌面电脑、其他专用设备......），因此，必须有一种统一的机制，方便不同的前端...

转载 敏捷开发入门教程

敏捷开发（agile development）是非常流行的软件开发方法。据统计，2018年90%的软件开发采用敏捷开发。但是，到底什么是敏捷开发，能说清的人却不多。本文尝试用简洁易懂的语言，解释敏捷开发。一、迭代开发敏捷开发的核心是迭代开发（iterative development）。敏捷一定是采用迭代开发的方式。那么什么是"迭代开发"呢？迭代的英文是 iterative，直...

转载 H5 手机 App 开发入门：技术篇

新人学习手机 App 开发，一开始总要选择一条学习路径。如果你熟悉 Java 语言，可以学习安卓开发；如果熟悉脚本语言（比如 Python 或 Ruby），可以学习 Swift 语言，进行 iOS 开发；如果像我一样，比较熟悉 Web 网页技术，那么 H5 开发是最容易上手的。这个系列教程的第一篇，已经介绍过了手机 App 的种类。所谓的 H5 页面，其实就是混合 App 的前端，外面...

转载 H5 手机 App 开发入门：概念篇

手机现在是互联网的最大入口。根据《中国互联网报告》，手机网民已经超过8亿，人均每天上网三个多小时。毫不奇怪，手机应用软件（mobile application，简称 mobile App）的开发工程师供不应求，一直是 IT 招聘的热门。如果你开始学习手机 App 开发，就一定会听到 H5 这个词。它是目前的主流开发技术之一，容易上手，开发周期短、成本低、兼容传统 Web 开发。但是...

原创 俞军：漫谈产品经理

转载 4个步骤教你：如何建立后台通用权限管理系统？

由于不同的后台管理系统需求多样化，此处所分享的是通用型，对于大多数的后台管理系统逻辑都已足够使用，主要应用于WEB应用程序，如：网站管理后台、CMS、CRM、OA等等。当然，您也可以对他进一步深度设计，以做出更强的系统。涉及到权限的问题往往是都是复杂的问题，在系统权限控制方面，我们经常会参照现成的案例来设计自己的权限控制，以下就是我所总结最常见的四种权限控制的方法。（附上高保真原型链接+整...

转载 对账整体设计

从整体来看，按照时序维度的先后，系统对账主要分为三阶段的工作。分别是数据准备、数据核对和差错处理。数据准备细分一下，又分为文件获取、文件解析、数据清洗。在对账专业概念中，数据核对和差错处理又叫轧账和平账。具体设计脑图如下:check-arch.png对账各个模块设计数据准备数据准备，顾名思义，我们需要把对账所需的全部数据，接入到我们的对账系统。该模块主要实现两...

转载 PV、UV、VV、IP及其关系与计算

什么是PV？PV即Page View，网站浏览量，指页面浏览的次数，用以衡量网站用户访问的网页数量。用户每次打开一个页面便记录1次PV，多次打开同一页面则浏览量累计。一般来说，PV与来访者的数量成正比，但是PV并不直接决定页面的真实来访者数量，如同一个来访者通过不断的刷新页面，也可以制造出非常高的PV。具体的说，PV值就是所有访问者在24小时（0点到24点）内看了某个网站多少个页面或某个网页多...

转载 http和https、ftp和tcp的关系

一、概念 HTTP，即超文本传输协议，是HyperText Transfer Protocol的缩写。浏览网页时在浏览器地址栏中输入的URL前面都是以"http://"开始的。HTTP定义了信息如何被格式化、如何被传输，以及在各种命令下服务器和浏览器所采取的响应。 HTTPS（全称：Hypertext Transfer Protocol over Secure Socket La...

转载 前后端常见的几种鉴权方式

最近在重构公司以前产品的前端代码，摈弃了以前的session-cookie鉴权方式，采用token鉴权，忙里偷闲觉得有必要对几种常见的鉴权方式整理一下。目前我们常用的鉴权有四种：1.HTTP Basic Authentication2.session-cookie3.Token 验证4.OAuth(开放授权)一.HTTP Basic Authentication这种授权方...

原创 电信运营商营销手段

运营商的营销手段分为三类：套餐营销、渠道营销、其他。套餐营销：运营商在营销过程中以主产品带动附属配套产品、以主品牌带动附属品牌、或以销售产品为核心，外加其他增值服务，使其结合成为“一套商品”的一种异业联盟营销活动。套餐营销的优势在于只要客户对整套产品中的一环满意就能提升客户对整套产品的满意度，增加客户黏性。 渠道营销：分为线上渠道和线下渠道，线上渠道主要是电子渠道，是指通过信息化方式提供服务...

转载 对账处理

可以说，对账是支付系统最头疼的事情。每一笔交易，都要做到各参与者的记录能够吻合，没有偏差。对账系统的工作，是发现有差异的记录，即轧帐；然后通过人工或者自动的方式，解决这些差异，即平帐。对电商系统来说，每一笔交易，在所有相关主体侧都要能对得上：交易主体，如果发起人是个人，必须能够从个人交易历史记录中找到这笔交易。但大部分人不会保留电子记录，所以一般是提供可以下载的账单或交易记录，让用户自己对...