- 博客(12)
- 收藏
- 关注
RSS订阅翻译 【译】BERT Fine-Tuning 指南（with PyTorch）
By Chris McCormick and Nick Ryan原文链接：http://tinyurl.com/y74pvgyc介绍历史2018 年是 NLP 突破的一年，迁移学习、特别是 Allen AI 的 ELMO，OpenAI 的 Open-GPT，以及 Google 的 BERT，这些模型让研究者们刷新了多项任务的基线（benchmark），并提供了容易被微调预训练模型（只需很少的数据量和计算量），使用它们，可产出当今最高水平的结果。但是，对于刚接触 NLP 甚至很多有经验的开发者来..
2020-05-25 08:50:32
3389
4
原创 深入理解 Word2vec 算法
Word2vec 论文由 Google 的研究团队发布于 2013 年，它的发布，很大程度上改变了 NLP 技术的发展，不仅如此，在使用神经网络来解决各个领域的问题时，谈必离不开 Embedding，而 Embedding 究竟是什么？了解 Word2vec 的同学都知道，它其实是 Word2vec 的另一个名字，或广义的 Word2vec，是一种使用稠密向量来表示特征的表示学习方法。例如在搜索与推荐领域，Word2vec 的思想可以用来对 Item、Query 和 User 等关键特征编码，产生 It.
2020-05-15 22:21:24
645
原创 白话神经网络原理
要说近几年最引人注目的技术，无疑的，非人工智能莫属。无论你是否身处科技互联网行业，随处可见人工智能的身影：从 AlphaGo 击败世界围棋冠军，到无人驾驶概念的兴起，再到科技巨头 All in AI，以及各大高校向社会输送海量的人工智能专业的毕业生。以至于人们开始萌生一个想法：新的革命就要来了，我们的世界将再次发生一次巨变；而后开始焦虑：我的工作是否会被机器取代？我该如何才能抓住这次革命？人工...
2020-01-20 12:52:57
307
原创 用 TensorFlow2.0 实现 Softmax 多分类
我们知道线性回归一般都用来解决回归类问题，例如房价预测，气温预测等。实际上，加上 Softmax 这样的技术，我们还可以使用线性回归来解决多分类问题。Softmax 是对网络结构中输出层的改造，其示意图如下：Softmax 技术细节上图中，x1、x2 和 x3 是输入层，它们分别通过两个线性回归模型来产生 y1 和 y2：y1=w11x1+w12x2+w13x3+b1y2=w21x1+w2...
2020-01-19 16:57:53
2764
原创 使用 TensorFlow2.0 实现线性回归
本文是笔者学习 TensorFlow2.0（下文都写作 TF2.0） 的一篇笔记，使用的教材是《动手深度学习》（TF2.0版）。之所以可以使用 TensorFlow 来实现线性回归，是因为我们可以把线性回归看成是只有一层、一个神经元的全连接网络：上面这个图就是线性回归 y=w1x1+w2x2+by = w_1x_1 + w_2x_2 + by=w1x1+w2x2+b 的神经网络的表示...
2020-01-16 09:06:19
3004
1
原创 决策树之 GBDT 算法 - 分类部分
上一次我们一起学习了 GBDT 算法的回归部分，今天我们继续学习该算法的分类部分。使用 GBDT 来解决分类问题和解决回归问题的本质是一样的，都是通过不断构建决策树的方式，使预测结果一步步的接近目标值。因为是分类问题，所以分类 GBDT 和回归 GBDT 的 Loss 函数是不同的，具体原因我们在《深入理解逻辑回归》 一文中有分析过，下面我们来看下分类 GBDT 的 Loss 函数。Loss ...
2020-01-15 09:49:37
456
2
原创 决策树之 GBDT 算法 - 回归部分
GBDT（Gradient Boosting Decision Tree）是被工业界广泛使用的机器学习算法之一，它既可以解决回归问题，又可以应用在分类场景中，该算法由斯坦福统计学教授 Jerome H. Friedman 在 1999 年发表。本文中，我们主要学习 GBDT 的回归部分。在学习 GBDT 之前，你需要对 CART、AdaBoost 决策树有所了解，和 AdaBoost 类似，...
2020-01-14 10:54:44
507
1
原创 深入理解逻辑回归算法（Logistic Regression）
在继续学习 GBDT（Gradient Boosting Dicision Tree） 决策树前，我们需要先来了解下逻辑回归算法（Logistic Regression），因为 GBDT 较为复杂，但在逻辑回归的基础上，理解起来会容易些。逻辑回归是机器学习中最为基础的算法，也是工业界使用得最多的算法之一，究其原因，在于其简单、高效以及实用。虽然线性回归也很简单，但却不实用，是因为逻辑回归本质上...
2020-01-13 10:11:17
1659
原创 决策树算法之 AdaBoost
AdaBoost 是一种更高级的「森林」类型的决策树，和随机森林比起来，它有以下三个特点AdaBoost 的每棵树都只有一个根节点和两个叶子节点，实际上叫树桩（stump）可能会更合适AdaBoost 的每个树桩的权重是不同的，而随机森林中的每棵树的权重是相同的前一个树桩的错误数据会影响后一个树桩的生成，意味着后面的树桩是前面树桩的补足。这种思想也被称为 Boost，除 AdaBoost...
2020-01-09 10:08:01
5925
1
原创 决策树算法之随机森林
在 CART 分类回归树的基础之上，我们可以很容易的掌握随机森林算法，它们之间的区别在于，CART 决策树较容易过拟合，而随机森林可以在一定程度上解决该问题。随机森林的主要思想是：使用随机性产生出一系列简单的决策树，并组合它们的预测结果为最终的结果，可谓三个臭皮匠赛过一个诸葛亮，下面我们就来具体了解一下。产生随机森林的具体步骤产生随机森林的步骤大致为三步准备样本产生决策树循环第 1...
2020-01-08 09:47:09
358
原创 决策树算法之分类回归树 CART（Classification and Regression Trees）【2】
上一篇文章主要介绍了分类树，下面我们再一起来看一下回归树，我们知道，分类决策树的叶子节点即为分类的结果；同理，回归树的叶子节点便是连续的预测值。那么，同样是回归算法，线性回归和决策树回归有什么区别呢？区别在于，前者拟合的是一条直线，而后者却可以拟合非线性的数据，如下图中的数据就是用线性回归来拟合的：当数据呈现非线性分布时，例如下面的数据，假设它统计了流行歌手的喜好程度和年龄的关系，该系数值在 ...
2020-01-07 12:50:17
1035
原创 决策树算法之分类回归树 CART（Classification and Regression Trees）【1】
分类回归树 CART 是决策树家族中的基础算法，它非常直觉（intuitive），但看网上的文章，很少能把它讲的通俗易懂（也许是我理解能力不够），幸运的是，我在 Youtube 上看到了这个视频，可以让你在没有任何机器学习基础的情况下掌握 CART 的原理，下面我尝试着把它写出来，以加深印象.决策树的结构下图是一个简单的决策树示例：假设上面这个决策树是一个用来判断病人是否患有心脏病的系统，...
2020-01-06 15:08:24
1391
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人