寒小阳-CSDN博客

原创 “ML学分计划”说明书

##计划的由来##我们是一群对机器学习感兴趣的小伙伴，对于神奇的机器学习经常有“一探究竟”的冲动，却因为孤身一人学习的寂寞、亦或繁忙考试工作之余的小小拖延症，而没有持续这份对知识的渴求和热情。由于深感类似情况的小伙伴之多，我们希望建立一个“ML学分计划”——机器学习的学习和分享计划——来帮助我们一起更高效地学习、更集中地整理分享我们的知识和经验。因为我们也深信”证明自己真的透彻理解一个知识，最好

2015-11-04 00:20:00 33519 52

原创 NLP系列(10)_词向量之图解Word2vec

审校：龙心尘作者：Jay Alammar编译：张秋玥、毅航、高延https://blog.csdn.net/longxinchen_ml/article/details/89077048原文链接：https://jalammar.github.io/illustrated-word2vec/嵌入（embedding）是机器学习中最迷人的想法之一。如果你曾经使用Siri、Google...

2019-04-08 09:58:35 29946 2

原创 NLP系列(9)_深入理解BERT Transformer ，不仅仅是注意力机制

大数据文摘与百度NLP联合出品作者：Damien Sileo审校：百度NLP、龙心尘编译：张驰、毅航https://blog.csdn.net/longxinchen_ml/article/details/89058309原文链接：https://medium.com/synapse-dev/understanding-bert-transformer-attention-isnt-a...

2019-04-08 09:56:43 3801

原创 NLP系列(8)_用可视化解构BERT，从上亿参数中提取出的6种直观模式

大数据文摘联合百度NLP出品审校：百度NLP、龙心尘编译：Andy，张驰来源：towardsdatascience.comhttps://blog.csdn.net/longxinchen_ml/article/details/89036531编者按：深度神经网络的超强有效性一直让人疑惑。经典论文《可视化与理解CNN》（Visualizing and Understanding Con...

2019-04-08 09:54:32 4021

原创 NLP系列(7)_Transformer详解

审校：百度NLP、龙心尘翻译：张驰、毅航、Conrad原作者：Jay Alammar原链接：https://jalammar.github.io/illustrated-transformer/编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型...

2019-01-20 11:29:23 8588 5

原创 NLP系列(6)_从NLP反作弊技术看马蜂窝注水事件

作者：龙心尘时间：2018年11月出处：https://blog.csdn.net/longxinchen_ml/article/details/84205459按：本文基于网易云课堂公开课分享内容整理补充完成。感谢志愿者july同学的贡献。10月21日，朋友圈被一篇名为《估值175亿的旅游独角兽，是一座僵尸和水军构成的鬼城？》的文章刷屏。文章作者小声比比指控在线旅游网站马蜂窝存在点评大...

2018-11-18 22:06:00 4461 2

作者：龙心尘 &amp;amp;amp;amp;&amp;amp;amp;amp; 寒小阳时间：2018年7月。出处：https://blog.csdn.net/longxinchen_ml/article/details/81031736 http://blog.csdn.net/han_xiaoyang/article/details/？声明：版权所有，转载请联系作者并注明出处。本文代码部分参考了lambda等同学的tens...

2018-07-13 15:13:47 17064 12

原创全球名校课程作业分享系列(11)--斯坦福CS231n之生成对抗网络

课程作业原地址：CS231n Assignment 3 作业及整理：@邓姸蕾 &amp;&amp; @Molly &amp;&amp; @寒小阳时间：2018年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/79316554引言CS231N到目前位置，所有对神经网络的应用都是判别式模型，给定一个输入，训练产生一个...

2018-02-12 14:23:23 5732 2

原创全球名校课程作业分享系列(10)--斯坦福CS231n之Network visualization

课程作业原地址：CS231n Assignment 3 作业及整理：@邓姸蕾 &amp;&amp; @Molly &amp;&amp; @寒小阳时间：2018年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/79316525引言在这份Notebook里面我们会来探索图像梯度对于生成新图片的用法。当训练模型的时...

2018-02-12 14:20:18 6088

原创全球名校课程作业分享系列(9)--斯坦福CS231n之RNN与计算机看图说话

课程作业原地址：CS231n Assignment 3 作业及整理：@张礼俊 &amp;&amp; @Molly &amp;&amp; @寒小阳时间：2018年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/793164111. 问题背景在问题1里，我们要训练一个循环神经网络（Recurrent neural n...

2018-02-12 14:05:12 4689 2

原创全球名校课程作业分享系列(8)--斯坦福计算机视觉与深度学习CS231n之tensorflow实践

课程作业原地址：CS231n Assignment 1 作业及整理：@邓妍蕾 && @郭承坤 && @寒小阳时间：2018年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/79278930在前面的作业中你已经写了很多代码来实现很多的神经网络功能。Dropout, Batch Norm 和 2D卷积是深度学习在计算机

2018-02-07 13:07:25 6294 1

原创全球名校课程作业分享系列(7)--斯坦福计算机视觉与深度学习CS231n之基于cifar10的卷积神经网络实践

课程作业原地址：CS231n Assignment 1 作业及整理：@张铮 && @郭承坤 && @寒小阳时间：2018年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/79278917问题描述：使用IPython Notebook（现版本为jupyter notebook，如果安装anaconda完整版会内置

2018-02-07 13:04:27 7800

原创全球名校课程作业分享系列(6)--斯坦福计算机视觉与深度学习CS231n之神经网络细解与优化尝试

课程作业原地址：CS231n Assignment 1 作业及整理：编写：@土豆 && @郭承坤 && @寒小阳时间：2018年2月。出处：http://blog.csdn.net/han_xiaoyang/article/details/79278882待折腾的数据集关于神经网络你起码应该知道的所谓的前向传播一个神经元的本事强大的层状神经元不废话了看代码

2018-02-07 12:58:12 9399 1

原创全球名校课程作业分享系列(5)--斯坦福计算机视觉与深度学习CS231n之特征抽取与图像分类提升

课程作业原地址：CS231n Assignment 1 作业及整理：@邓妍蕾 && @Molly && @寒小阳时间：2018年1月。出处：http://blog.csdn.net/han_xiaoyang/article/details/791400840.前言我们已经看到，通过用输入图像的像素训练的线性分类器对图像的分类问题已经取得了不错的结果。在这个练习中我们会用对图像像素

2018-01-23 15:11:33 12334

原创全球名校课程作业分享系列(4)--斯坦福计算机视觉与深度学习CS231n之双层神经网络完成图像多分类

课程作业原地址：CS231n Assignment 1 作业及整理：@林凡莉 && @Molly && @寒小阳时间：2018年1月。出处：http://blog.csdn.net/han_xiaoyang/article/details/791393951 任务在这个练习里，我们将实现一个完全连接的神经网络分类器，然后用CIFAR-10数据集进行测试。2 知识点

2018-01-23 14:28:56 13250 1

原创全球名校课程作业分享系列(3)--斯坦福计算机视觉与深度学习CS231n之softmax图像多分类

课程作业原地址：CS231n Assignment 1 作业及整理：@林凡莉 && @Molly && @寒小阳时间：2018年1月。出处：http://blog.csdn.net/han_xiaoyang/article/details/791383521. 任务这次练习跟SVM练习类似。你将完成下面的任务：通过矩阵运算为Softmax分类器实现一个损失函数为这个损

2018-01-23 13:06:58 13755 3

原创全球名校课程作业分享系列(2)--斯坦福计算机视觉与深度学习CS231n之SVM图像分类

课程作业原地址：CS231n Assignment 1 作业及整理：@谭斌 && @Molly && @寒小阳时间：2018年1月。出处：http://blog.csdn.net/han_xiaoyang/article/details/70214565任务背景用支持向量机(SVM)的方法去完成图像识别多分类的任务完成一个基于SVM的全向量化损失函数完成解析

2018-01-23 12:58:12 11870

原创全球名校课程作业分享系列(1)--斯坦福计算机视觉与深度学习CS231n之KNN

课程作业原地址：CS231n Assignment 1 作业及整理：@郭承坤 && @Molly && @寒小阳时间：2018年1月。出处：http://blog.csdn.net/han_xiaoyang/article/details/79138352任务背景用K最近邻的方法去完成图像识别的任务代码环境 python3.6.1(anaconda4.

2018-01-23 12:49:17 15070 3

原创机器学习系列(23)_SVM碎碎念part6：对偶和拉格朗日乘子

2018-01-16 22:44:46 8791 2

原创机器学习系列(22)_SVM碎碎念part5：凸函数与优化

2018-01-16 22:42:50 10495 1

原创机器学习系列(21)_SVM碎碎念part4：无约束最小化问题

原文地址：SVM - Understanding the math - Unconstrained minimization by Alexandre KOWALCZYK 感谢参与翻译同学：@田苗苗 && @樊睿 && @jozee 时间：2018年1月。出处：http://blog.csdn.net/han_xiaoyang/article/details/70214565 声明：

2018-01-16 21:39:21 9507 1

原创深度学习与计算机视觉(12)_tensorflow实现基于深度学习的图像补全

内容识别填充(译注: Content-aware fill ,是 photoshop 的一个功能)是一个强大的工具，设计师和摄影师可以用它来填充图片中不想要的部分或者缺失的部分。在填充图片的缺失或损坏的部分时，图像补全和修复是两种密切相关的技术。有很多方法可以实现内容识别填充，图像补全和修复。在这篇博客中，我会介绍 Raymond Yeh 和 Chen Chen 等人的一篇论文，“基于感知和语境损失的图像语义修补

2017-04-17 18:27:09 41338 18

原创机器学习系列(20)_机器学习性能改善备忘单

机器学习最有价值(实际应用最广)的部分是预测性建模。也就是在历史数据上进行训练，在新数据上做出预测。而预测性建模的首要问题是：如何才能得到更好的结果？这个备忘单基于本人多年的实践，以及我对顶级机器学习专家和大赛优胜者的研究。

2016-12-04 10:46:05 19377 6

原创机器学习系列(19)_通用机器学习流程与问题解决架构模板

本文由Searchmetrics公司高级数据科学家Abhishek Thakur提供。“一个中等水平的数据科学家每天都要处理大量的数据。一些人说超过60%到70%的时间都用于数据清理、数据处理及格式转化，以便于在之后应用机器学习模型。这篇文章的重点便在后者—— 应用机器学习模型（包括预处理的阶段）。此文讨论到的内容来源于我参加的过的数百次的机器学习竞赛。请大家注意这里讨论的方法是大体上适用的，当然还有很多被专业”

2016-10-24 11:20:13 35105 8

原创机器学习系列(18)_Kaggle债务违约预测冠军经验分享

债务违约预测是Kaggle中的一个比赛，本文将介绍取得第一名成绩的方法，本次比赛的目标包括两个方面。其一是建立一个模型，债务人可以通过它来更好地进行财务方面的决策。其二是债权人可以预测这个债务人何时会陷入到财务方面的困境。最终目的是，通过预测未来两年内债务违约的概率，来改进现有的信用评分制度。这是一个极度复杂和困难的Kaggle挑战，因为银行和各种借贷机构一直都在不断地寻找和优化信用评分的算法。这个模型是银行用来判定

2016-10-11 15:54:13 51413 8

原创机器学习系列(17)_Yelper推荐系统

“推荐”可是个当红话题。Netflix愿意用百万美金召求最佳的电影推荐算法，Facebook也为了登陆时的推荐服务开发了上百个项目，遑论现在市场上各式各样的应用都需要个性化服务。“从互联网中提取信息犹如用消防栓饮水”（Mitchell Kapor）。如今的信息量早已过载，要依据如此嘈杂的信息做出正确决定显然是艰难的。这也是为什么推荐系统日渐流行，尤其在像Netflix, Amazon, Echo,和Facebook

2016-10-10 15:38:24 27616 17

原创机器学习系列(16)_怎样找到一份深度学习的工作(附学习材料,资源与建议)

如果你是一个软件工程师(或者你现在正在学习这一方面)，你肯定有机会听说过深度学习（有时候深度学习缩写为”DL”）。它现在是一个热门、且快速发展的研究领域，解决工业界的一系列问题，从图像识别、手写识别到机器翻译，更甚于AlphaGo4比1击败了世界围棋冠军。大部分人认为找与深度学习相关的工作应该具有博士学位或者大量的相关经验，但是如果你已经是一名很好的工程师，那你就可以很快、很好的学习这些必要的技能和技巧。

2016-10-10 14:43:06 36886 13

原创机器学习系列(15)_SVM碎碎念part3：如何找到最优分离超平面

是的，咱们第1篇blog介绍了目标；第2篇blog介绍了向量相关的背景数学知识，看到了如何求解Margin的值；今天这个部分主要目的是和大家一起来看看，选择最优超平面的推理过程。以下是本篇的一个简短目录：如何找到最优超平面如何计算两超平面间的距离SVM的最优化问题是什么

2016-09-27 18:36:28 36553 5

原创机器学习系列(14)_SVM碎碎念part2：SVM中的向量与空间距离

第一篇博客part1的部分很短，就说了一个事情，SVM在试图找一个Max Margin(最大间隔)的分离超平面。OK，这个部分要补补基础，复习一下数学，为后面的学习做准备（墙裂建议数学基础好的同学略过此节基础内容...）。咱们来看看SVM涉及到的向量和空间距离。

2016-09-27 11:59:54 17074 6

原创机器学习系列(13)_SVM碎碎念part1：间隔

欠的总归是要还的，SVM这么神圣的算法是每个学习machine learning的同学可能会头痛却又不得不面对的，即使到现在为止博主这样的Math/CS渣都觉得一定没有领悟到SVM精髓，所以整理了一些边边角角的碎碎念，颤颤巍巍放到这个系列里，算是自己做个总结，也希望能对大家有一点点的帮助。这个SVM系列大部分内容来自Alexandre KOWALCZYK大神的[SVM Tutorial]

2016-09-27 10:23:23 14955 2

原创机器学习系列(12)_XGBoost参数调优完全指南（附Python代码）

这篇文章主要讲了如何提升XGBoost模型的表现。首先，我们介绍了相比于GBM，为何XGBoost可以取得这么好的表现。紧接着，我们介绍了每个参数的细节。我们定义了一个可以重复使用的构造模型的函数。最后，我们讨论了使用XGBoost解决问题的一般方法，在AV Data Hackathon 3.x problem数据上实践了这些方法。希望看过这篇文章之后，你能有所收获

2016-09-25 23:35:50 208957 41

原创机器学习系列(11)_Python中Gradient Boosting Machine(GBM）调参方法详解

这篇文章详细地介绍了GBM模型。我们首先了解了何为boosting，然后详细介绍了各种参数。这些参数可以被分为3类：树参数，boosting参数，和其他影响模型的参数。最后我们提到了用GBM解决问题的一般方法，并且用AV Data Hackathon 3.x problem数据运用了这些方法。

2016-09-25 17:33:34 105737 30

原创机器学习系列(10)_如何提高深度学习(和机器学习)的性能

我经常被问到诸如`如何从深度学习模型中得到更好的效果`的问题，类似的问题还有：我如何提升准确度,如果我的神经网络模型性能不佳，我能够做什么？对于这些问题，我经常这样回答，“我并不知道确切的答案，但是我有很多思路”，接着我会列出了我所能想到的所有**或许能够给性能带来提升**的思路，。为避免一次次罗列出这样一个简单的列表，我决定把所有想法详细写在这篇博客里。这些思路应该是通用的

2016-09-24 23:34:19 34634 2

原创 ML学习分享系列3_计算广告小窥[下]要啥自行车！

提笔写这篇博客，我的内心是惶恐的。原因很简单，作为一个资历尚浅的研究生，是没有资格对计算广告这样一个伟大的行业、领域和学科来评头论足的。之所以这么做，一是总结自己已掌握的知识，二是降低同学们的学习成本。本人能力有限，更缺乏实践经验，文章内容多为书籍和论文的读后感，若有不当或者错误之处，还望各位同学指出，我定悉心求教。在此，向编写《计算广告》的刘鹏和王超两位老师致谢，向各位paper作者致谢。

2016-08-22 11:26:31 25496 3

原创深度学习与自然语言处理(8)_斯坦福cs224d RNN，MV-RNN与RNTN

这篇课堂笔记将介绍不同类型的RNN（递归神经网络），并介绍它在NLP领域的应用和优势。在这篇课笔记中，我们会一起学习一种新的模型，这种模型绝对是以前介绍的那种递归神经网络的加强版！递归神经网络(RNNs)十分适用于有层次的、本身就有递归结构的数据集。

2016-07-30 21:23:06 15686 8

原创深度学习与自然语言处理(7)_斯坦福cs224d 语言模型，RNN，LSTM与GRU

说明：本文为斯坦福大学CS224d课程的中文版内容笔记，已得到斯坦福大学课程@Richard Socher教授的授权翻译与发表1.语言模型语言模型用于对特定序列的一系列词汇的出现概率进行计算。一个长度为m的词汇序列{w1,…,wm}的联合概率被表示为P(w1,…,wm)。由于在得到具体的词汇之前我们会先知道词汇的数量，词汇wi的属性变化会根据其在输入文档中的位置而定，而联合概率P(w1,…,wm)的计

2016-07-17 15:27:29 53084 3

原创深度学习与自然语言处理(6)_斯坦福cs224d 一起来学Tensorflow part1

之前的课程里介绍了自然语言处理当中的一些问题，以及设计出来的一些相应的算法。research的东西还是落地到工程应用上比较有价值，之前也手撸过一些toy project，不过这些实现要用在工程中，总是有那么些虚的，毕竟稳定性和效率未必能够保证。所幸的是，深度学习热度持续升温的大环境下，各种大神和各家大厂也陆续造福民众，开源了一些深度学习框架，在这些开源框架的基础上去搭建和实现自己想要的深度学习网络结构就简单和稳定得多

2016-07-10 13:12:18 27998 10

原创深度学习与自然语言处理(5)_斯坦福cs224d 大作业测验2与解答

本文为斯坦福大学CS224d课程的第二次作业内容，原本打算把作业和答案做个编排，一起发出来给大家看，无奈代码量有点大，贴上来以后文章篇幅过长，于是乎题目的代码解答放到了百度云盘，欢迎自行下载和运行或者调整

2016-07-03 16:30:20 31951

原创深度学习与自然语言处理(4)_斯坦福cs224d 大作业测验1与解答

前面一个接一个的Lecture，看得老衲自己也是一脸懵逼，不过你以为你做一个安安静静的美男子(总感觉有勇气做deep learning的女生也是一条汉纸)就能在Stanford这样的学校顺利毕业啦？图样图森破，除掉极高的内容学习梯度，这种顶尖大学的作业和考试一样会让你突(tong)飞(bu)猛(yu)进(sheng)。说起来，怎么也是堂堂斯坦福的课，这种最看重前言研究在实际工业应用的学校，一定是理论和应用并进

2016-06-26 00:55:33 35097 9

原创深度学习与自然语言处理(3)_斯坦福cs224d Lecture 3

这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用，接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门，比如，神经元（非线性激励），梯度检验，参数的Xavier初始化方法，学习速率，ADAGRAD

2016-06-19 09:14:42 31586 7

高质量C/C++编程指南

空空如也