- 博客(18)
- 收藏
- 关注
RSS订阅转载 Datawhale组队学习NLP之transformer Task04 编写BERT模型
Datawhale组队学习NLP之transformer Task04 编写BERT模型前言一、BERT Tokenization 分词模型（BertTokenizer）二、BERT Model 本体模型（BertModel）1、BertEmbeddings2、BertEncoder2.1 BertLayer2.1.1 BertAttention2.1.2 BertIntermediate2.1.3 BertOutput2.2.BertPooler总结参考前言本文包含大量源码和讲解，通过段落和横线分割
2021-08-23 00:58:21
411
转载 Datawhale组队学习NLP之transformer Task03 BERT
Datawhale组队学习NLP之transformer Task03 BERT前言一、句子分类二、模型架构1.模型输入2.模型输出三、词嵌入（扩展）1.词嵌入2.语境问题三、BERT：从 Decoder 到 Encoder1.Masked Language Model（MLM 语言模型）2.两个句子的任务3.BERT 在不同任务上的应用4.将 BERT 用于特征提取参考前言在学习完Transformer之后，我们来学习一下将Transformer模型结构发扬光大的一个经典模型：BERT。BERT
2021-08-21 02:54:16
273
转载 Datawhale组队学习NLP之transformer Task02 Attention和transformer
Datawhale组队学习NLP之transformer Task02 Attention和transformer前言一、从整体宏观来理解 Transformer二、从细节来理解 Transformer1.Transformer 的输入2.Encoder(编码器)3.Self-Attention1.Self-Attention整体理解2.Self-Attention 的细节3.多头注意力机制（multi-head attention）4.使用位置编码来表示序列的顺序5.残差连接6.Decoder（解码器）7
2021-08-19 00:55:01
277
转载 Datawhale组队学习NLP之transformer Task 01
Datawhale组队学习NLP之transformer Task 01Transformers在NLP中的兴起一、自然语言处理(Natural Language Processing, NLP)二、常见的NLP任务三、Transformer的兴起参考Transformers在NLP中的兴起一、自然语言处理(Natural Language Processing, NLP)自然语言处理（Natural Language Processing, NLP）是一种重要的人工智能（Artificial In
2021-08-15 23:19:05
164
转载 Datawhale组队学习之集成学习——Task 8 案例学习
集成学习案例二 （蒸汽量预测）背景介绍火力发电的基本原理是：燃料在燃烧时加热水生成蒸汽，蒸汽压力推动汽轮机旋转，然后汽轮机带动发电机旋转，产生电能。在这一系列的能量转化中，影响发电效率的核心是锅炉的燃烧效率，即燃料燃烧加热水产生高温高压蒸汽。锅炉的燃烧效率的影响因素很多，包括锅炉的可调参数，如燃烧给量，一二次风，引风，返料风，给水水量；以及锅炉的工况，比如锅炉床温、床压，炉膛温度、压力，过热器的温度等。我们如何使用以上的信息，根据锅炉的工况，预测产生的蒸汽量，来为我国的工业届的产量预测贡献自己的一份力量
2021-07-31 22:47:46
114
转载 Datawhale组队学习之集成学习——Task 7 Stacking
Datawhale组队学习之集成学习——Task 7 Stacking前言一、Blending集成学习算法1、算法原理2、相关案例二、Stacking集成学习算法1、算法原理2、相关案例总结参考前言在前几个章节中，我们学习了关于回归和分类的算法，同时也讨论了如何将这些方法集成为强大的算法的集成学习方式，分别是Bagging和Boosting。本章我们继续讨论集成学习方法的最后一个成员–Stacking，这个集成方法在比赛中被称为“懒人”算法，因为它不需要花费过多时间的调参就可以得到一个效果不错的算法，同
2021-07-29 22:37:11
145
原创 Datawhale组队学习之集成学习——Task 6 Boosting
Datawhale组队学习之集成学习——Task 6 Boosting一、Boosting方法的基本思路二、Adaboost算法1、Adaboost基本原理2、使用sklearn对Adaboost算法进行建模三、前向分步算法四、梯度提升决策树(GBDT)1、基本原理2、使用sklearn来使用GBDT五、XGBoost算法1、基本原理2、XGBoost系统讲解3、XGBoost代码示例六、LightGBM算法七、作业总结参考在前面的学习中，探讨了一系列简单而实用的回归和分类模型，同时也探讨了如何使用集成学
2021-07-24 21:28:54
227
原创 Datawhale组队学习之集成学习——Task5 Bagging
Datawhale组队学习之集成学习——Task5 Bagging目录一、投票法1、投票法的原理2、投票法的案例分析二、bagging1、bagging的原理2、bagging的案例分析三、作业参考目录一、投票法投票法是集成学习中常用的技巧，可以帮助我们提高模型的泛化能力，减少模型的错误率。1、投票法的原理 投票法是一种遵循少数服从多数原则的集成学习模型，通过多个模型的集成降低方差，从而提高模型的鲁棒性。在理想情况下，投票法的预测效果应当优于任何一个基模型的预测效果。 投票法在回归模型与分类
2021-07-21 17:49:07
149
原创 Datawhale组队学习之集成学习——Task4分类问题
Datawhale组队学习之集成学习——Task4分类问题前言一、使用sklearn构建完整的分类项目1、收集数据集并选择合适的特征2、选择度量模型性能的指标3、选择具体的模型并进行训练二、示例1、代码示例2、作业参考前言一、使用sklearn构建完整的分类项目1、收集数据集并选择合适的特征在数据集上我们使用我们比较熟悉的IRIS鸢尾花数据集。代码如下（示例）：from sklearn import datasetsiris = datasets.load_iris()X = iris.d
2021-07-20 11:54:03
156
原创 Datawhale组队学习之集成学习——Task3偏差和方差理论
Datawhale组队学习之集成学习——Task3偏差和方差理论前言一、优化基础模型1、训练均方误差与测试均方误差：2、偏差-方差的权衡：3、特征提取：4、压缩估计(正则化)：5、降维：6、示例二、对模型超参数进行调优(调参)：1、使用SVR的例子，结合管道来进行调优：2、作业参考前言我们建立机器学习的目的并不是为了在已有的数据集，也就是训练集上效果表现非常优异，我们希望建立的机器学习模型在未知且情况复杂的测试数据上表现优异，我们称这样的未出现在训练集的未知数据集成为测试数据集，简称测试集。我们希望模
2021-07-18 17:30:43
289
原创 2021-07-14
Datawhale组队学习之集成学习——Task2回归问题前言一、回归和分类1.回归2.分类二、使用sklearn构建完整的机器学习项目流程1.使用sklearn构建完整的回归项目2.作业前言机器学习的一个重要的目标就是利用数学模型来理解数据，发现数据中的规律，用作数据的分析和预测。数据通常由一组向量组成，这组向量中的每个向量都是一个样本，我们用xix_ixi来表示一个样本，其中i=1,2,3,...,Ni=1,2,3,...,Ni=1,2,3,...,N,共N个样本，每个样本xi=(xi1,xi2
2021-07-14 17:37:13
295
原创 2021-07-13
Datawhale组队学习之集成学习——Task1 数学基础集成学习高等数学随机事件与概率课程作业（最小解发现）集成学习高等数学函数的定义定义:设数集 D⊂R, 则称映射 f:D→R 为定义在 D 上的函数,通常简记为 D \subset {\mathbf{R}}, \text { 则称映射 } f: D \rightarrow \mathbf{R} \text { 为定义在 } D \text { 上的函数,通常简记为 }D⊂R,&n
2021-07-13 19:27:25
914
原创 Python 学习笔记4：异常处理
Python 学习笔记4：异常处理Python 标准异常总结Python 标准异常总结try - except 语句try - except - finally 语句try - except - else 语句raise 语句练习题参考文献异常就是运行期间检测到错误。计算机语言针对可能出现的错误定义了异常类型，某种错误引发对应的异常时，异常处理程序将被启动，从而恢复程序的正常运行。Python 标准异常总结BaseException：所有异常的 基类Exception：常规异常的 基类Standa
2020-07-27 19:00:11
120
原创 Python 学习笔记补充1：字符（str）、元组（tuple）、列表（list）、字典（dict）、集合（set）
Python 学习笔记补充1：字符（str）、元组（tuple）、列表（list）、字典（dict）、集合（set）字符（str）元组（tuple）内置方法元组拼接解压元组优点缺点列表（list）内置方法切片索引列表拼接优点缺点字典（dict）内置方法优点缺点集合（set）内置方法优点缺点参考文献字符（str）字符用于处理文本 (text) 数据，用「单引号 ’」和「双引号 “」来定义都可以。字符中常见的内置方法 (可以用 dir(str) 来查) 有:capitalize()：大写句首的字母s
2020-07-27 16:23:45
514
原创 Python 学习笔记3：循环语句
Python 学习笔记3：循环语句while 循环while - else 语句for 循环for - else 语句range() 函数emumerate() 函数break 语句continue 语句pass 语句推导式列表推导式：元组推导式：字典推导式：集合推导式：其他：练习题参考文献while 循环while语句最基本的形式包括一个位于顶部的布尔表达式，一个或多个属于while代码块的缩进语句。while 布尔表达式: 代码块while循环的代码块会一直循环执行，直到布尔表达式的
2020-07-27 10:54:40
239
原创 Python 学习笔记补充2：python的复制、浅拷贝和深拷贝
Python 学习笔记2：条件语句变量，运算符，数据类型及位运算变量运算符基本的数据类型位运算leetcode 习题136：只出现一次的数字参考文献变量，运算符，数据类型及位运算变量在python中：变量名可以包括字母，数字和下划线，但变量名不能以数字开头python变量名是大小写敏感的有关注释：单行注释（#）：用于整行的注释多行注释（’‘’ ‘’‘，“”“ ”“”）：用于区间注释print函数：print(*objects, sep=’ ‘, end=’\n’, file=sys
2020-07-23 21:23:03
198
原创 自然语言处理实践——数据读取与数据分析（新闻文本分类）
自然语言处理实践——赛题理解（新闻文本分类）赛题名称：零基础入门NLP之新闻文本分类赛题目标：通过这道赛题可以引导大家走入自然语言处理的世界，带大家接触NLP的预处理、模型构建和模型训练等知识点。赛题任务：赛题以自然语言处理为背景，要求选手对新闻文本进行分类，这是一个典型的字符识别问题。1.学习目标理解赛题背景与赛题数据完成赛题报名和数据下载，理解赛题的解题思路2.赛题数据赛题以匿名处理后的新闻数据为赛题数据，数据集报名后可见并可下载。赛题数据为新闻文本，并按照字符级别进行
2020-07-21 21:27:22
644
原创 Python 学习笔记1：变量，运算符，数据类型及位运算
Python 学习笔记1：变量，运算符，数据类型及位运算变量，运算符，数据类型及位运算变量运算符基本的数据类型位运算leetcode 习题136：只出现一次的数字参考文献变量，运算符，数据类型及位运算变量在python中：变量名可以包括字母，数字和下划线，但变量名不能以数字开头python变量名是大小写敏感的有关注释：单行注释（#）：用于整行的注释多行注释（’‘’ ‘’‘，“”“ ”“”）：用于区间注释print函数：print(*objects, sep=’ ‘, end=’\n
2020-07-21 18:37:36
161
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人