- 博客(101)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 CNN经典算法GoogleNet介绍（论文详细解读）
本文是深度学习经典算法解读的一部分，原文发之：https://www.datalearner.com/blog/1051558603213207来源论文：Szegedy, Christian, et al. “Going deeper with convolutions.” Proceedings of the IEEE conference on computer vision and pa...
2019-09-21 21:29:50
3078
原创 CNN经典算法VGGNet介绍（论文详细解读）
CNN经典算法VGGNet介绍本文是深度学习经典算法解读的一部分，原文发之：https://www.datalearner.com/blog/1051558603213207来源论文：Simonyan, Karen, and Andrew Zisserman. “Very deep convolutional networks for large-scale image recogniti...
2019-07-06 23:00:13
12451
原创 CNN经典算法AlexNet介绍（论文详细解读）
本文是深度学习经典算法解读的一部分，原文发之：https://www.datalearner.com/blog/1051558603213207来源论文：Krizhevsky, Alex, Ilya Sutskever, and Geoffrey E. Hinton. “Imagenet classification with deep convolutional neural network...
2019-06-30 20:47:55
7064
原创 CNN入门算法LeNet-5介绍（论文详细解读）
本文是深度学习经典算法解读的一部分，原文发之：https://www.datalearner.com/blog/1051558603213207（本网站是合肥工业大学电子商务研究所的知识分享网站。）来源论文：LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings o...
2019-06-23 16:12:49
18611
3
原创 NLP中文预训练模型泛化能力挑战赛-Baseline算法实现
NLP中文预训练模型泛化能力挑战赛，使用tensorflow1.x版本实现Baseline算法，第一阶段分数0.6236
2020-12-30 20:06:20
660
2
原创 Tensorflow1.x实现BiLstm+CRF
基于Tensorflow1.x的Estimator高级api实现BiLstm+CRF的命名实体识别任务
2020-11-15 20:29:15
1424
3
翻译 BiLSTM中的CRF层（三）CRF损失函数
本文翻译，原文地址：https://createmomo.github.io/2017/10/08/CRF-Layer-on-the-Top-of-BiLSTM-3/三、CRF损失函数CRF损失函数由两部分组成，真实路径的分数 和 所有路径的总分数。真实路径的分数应该是所有路径中分数最高的。例如，我们的数据集中有如下几种类别：Label Index B-Person 0 I-Person 1 B-Organization 2 I-Organizatio
2020-10-11 15:00:04
10872
6
翻译 BiLSTM中的CRF层（二）CRF层
前言：本文翻译，原文地址：https://createmomo.github.io/2017/09/12/CRF_Layer_on_the_Top_of_BiLSTM_2/上一节中《BiLSTM中的CRF层（一）简介》，CRF层可以加入一些约束来保证最终预测结果是有效的。这些约束可以在训练数据时被CRF层自动学习得到。约束一般有如下：句子的开头应该是“B-”或“O”，而不是“I-”。 “B-label1 I-label2 I-label3…”，在该模式中，类别1,2,3应该是同一种实体类别
2020-09-20 18:32:35
1883
4
原创 自然语言处理任务栈
简单总结一下自然语言处理的任务栈。主要有：（1）词法分析（Lexical Analysis）（2）句子分析（sentence Analysis）（3）语义分析（Semantic Analysis）（4）信息抽取（Information Extraction）（5）顶层任务（High-level Task）一、词法分析分词（word Segmentation/Tokenization）：对没有明显词编辑的文本进行切分，得到词序列 新词发现（New Words Identifi
2020-08-30 20:53:07
575
1
翻译 BiLSTM中的CRF层（一）简介
BiLSTM中的CRF层详解提纲本篇文章包括以下几个部分：1.简介 2.举例说明 3.BILSMT+CRF实现一、简介在命名实体识别任务中，基于神经网络的方法是非常流行和常用的。论文《Neural Architectures for Named Entity Recognition》基于词嵌入和字嵌入提出了一种BiLstm-CRF模型，本文将基于这篇论文来举例说明CRF层是如何起作用的。如果你不知道BiLSTM和CRF，那么你只需要记住他们是命名实体识别中两个完全不同的网络层...
2020-08-23 12:07:25
6099
2
原创 Deep Learning Based Text Classification (文本分类综述)
Deep Learning Based TextClassification: AComprehensiveReview论文来源：https://arxiv.org/abs/2004.037051. 前言文本分类是NLP中一个非常经典任务（对给定的句子、查询、段落或者文档打上相应的类别标签）。其应用包括机器问答、垃圾邮件识别、情感分析、新闻分类、用户意图识别等。文本数据的来源也十分的广泛，比如网页数据、邮件内容、聊天记录、社交媒体、用户评论等。文本是是极其丰富的信息载体，然而由于文本的非结构化特
2020-06-27 20:21:27
2098
2
原创 最大似然损失与最小化交叉熵损失的异曲同工之妙
一、逻辑回归与softmax回归在逻辑回归问题中，我们使用sigmoid函数将线性模型的连续值映射到0~1的区间上，设置一定的阈值（二分类问题，大于阈值设置为1，小于阈值设置为0），从而得到某个类别的概率。如果将这个问题泛化，推广到多分类问题上（如图片的多分类），我们可以使用softmax函数将其输出单元从一个变成多个。1.sigmoid函数sigmoid函数是个很漂亮的S形，其作用可...
2020-05-07 22:14:57
2840
原创 kaggle经典比赛总结（二）CNN入门-数字识别
Introduction to CNN Keras — Acc 0.997数字识别-CNN介绍Kaggle链接：https://www.kaggle.com/yassineghouzam/introduction-to-cnn-keras-0-997-top-6/comments数字识别是kaggle上关于深度学习的入门比赛，等同与深度学习的hello world程序。1. 介绍...
2020-03-07 17:02:12
1057
2
原创 优化算法（从梯度下降到Adam算法）
1.优化与深度学习2.梯度下降和随机梯度下降3.动量法在梯度下降和随机梯度下降算法中我们提到，目标函数有关自变量的梯度代表了目标函数在自变量当前位置下降最快的方向。因此，梯度下降算法也叫作最陡下降。在每次迭代中，梯度下降根据自变量当前位置，沿着当前位置的梯度更新自变量。然而，如果自变量的迭代方向仅仅取决于自变量当前位置，这可能会带来一些问题。3.1 梯度下降算法的问题[图片1]可以看到...
2019-12-15 18:01:31
1070
原创 kaggle经典比赛总结（一）Stacked Regressions to predict House Prices
kaggle经典比赛优秀社区总结：Stacked Regressions to predict House Prices本文主要讲述特征工程和Stacking回归模型，可以说本文是新手入kaggle必经历的过程。本篇文章主要讲述上如何在数据集上进行特征工程，然后使用sklearn的基础模型加上xgboost和lightGBM进行集成，目的是能够使得线性模型有很好鲁棒性，最终达到一个很好的预测效...
2019-11-17 21:04:29
2115
原创 Python网络爬虫-使用Selenium爬取京东商品
Python网络爬虫-模拟Ajax请求抓取微博中我们了解了Ajax的分析和抓取的方式，但是有很多的网站即使是Ajax来获取的数据，但是其Ajax接口含有很多加密参数，我们很难找出其中的规律，也就很难直接使用Ajax来抓取。为了解决这些问题，我们可以直接使用模拟浏览器运行的方式来实现，这样就可以做到在浏览器中看到是什么样，抓取的源码就是什么样，也就是可见即可爬。这样我们就不用再去管网页内部的Ja...
2019-08-04 15:19:33
1617
原创 Python网络爬虫-模拟Ajax请求抓取微博
Python模拟Ajax请求有时候我们在用requests抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用requests得到的结果并没有。这是因为requests获取到的都是原始的HTML静态文档，而浏览器中的页面则是经过javaScript处理数据后生成的结果，这些数据的来源有很多种，可能是通过Ajax加载的，经过JS生成等。Aja...
2019-07-28 21:29:40
1764
1
原创 推荐算法概述
内容主要是围绕电商中用到的一些推荐算法。一、推荐系统介绍1.信息过载社交网络和大数据时代，这是一张很著名的图，图的标题是互联网上的一分钟，例如在Twitter上一分钟会更新452000条推特，Instagram一分钟会更新46200张照片等。这表面社交媒体上的信息过载现象很严重。社交网络中信息爆炸会带来的危害（两个纬度）：用户很难找到自己想要看的内容 社交网站很难吸引或者留住...
2019-07-27 20:41:30
1869
原创 Python网络爬虫-BeautifulSoup使用
BeautifulSoup是一个强大的网页解析工具，它借助网页的结构和属性等特性来解析网页。有了它就不用再去写一些复杂的正则表达式来匹配我们想要的信息，只需要简单的几条语句就能完成网页中某个元素的提取。一、简介简单来说，BeautifulSoup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官网的介绍如下：Beautiful Soup提供了一些简单的...
2019-07-20 21:04:07
998
原创 Python网络爬虫-基本库使用
网络爬虫，最开始的操作便是模拟浏览器向服务求发出请求，但是网络通信的知识很多包括HTTP/TCP/IP等一系列，以及服务器的响应和请求原理等。不过这些都不用担心，一般只需简单了解这些即可，Python提供了功能齐全的类库来帮助我们完成这些而不需要我们更多的关注这些网络通信知识。最基础的HTTP库有urllib、httplib2、requests等。比如urllib库来说，我们只需要关注请求的链...
2019-07-20 21:02:25
269
原创 100天搞定机器学习（100-Days-Of-ML）（十八）K-means聚类
第十八天K-means聚类无监督学习（Unsupervised Learning），顾名思义，就是不受监督的学习，一种自由的学习方式。该学习方式不需要先验知识进行指导，而是不断地自我认知，自我巩固，最后进行自我归纳，在机器学习中，无监督学习可以被简单理解为不为训练集提供对应的类别标识（label）。K-means聚类是一种典型的无监督学习模型。本章使用一些真实的地理位置来进行k-mean...
2019-04-06 12:21:32
276
原创 100天搞定机器学习（100-Days-Of-ML）（十七）Pandas处理缺失值
第十七天Pandas处理缺失值大多数教程里使用的数据与现实工作中的数据的区别在于后者很少是干净整齐的，许多流行的数据集都会有数据缺失的现象。如何处理这些缺失值对模型的训练有着重要的作用。下面学习一些处理缺失值的通用规则，Pandas对缺失值的表现形式，以及Pandas自带的几个处理缺失值的工具的用法。一、选择处理缺失值的方法在数据表或DataFrame中有很多识别缺失值的方法。一般情况下...
2019-03-17 17:55:20
317
原创 100天搞定机器学习（100-Days-Of-ML）（十六）Pandas数值运算方法
第十六天Pandas数值运算方法Numpy的基本功能之一是快速对每个元素进行运算，即包括基本算术，也包括更复杂的运算。Pandas继承了Numpy的功能。但是Pandas也实现了一些高效技巧：对于一元运算（像函数与三角函数），这些通用函数将在输出结果中保留索引和列标签；而对于二元运算（如加法和乘法），Pandas 在传递通用函数时会自动对齐索引进行计算。这就意味着，保存数据内容与组合不同来源...
2019-03-17 17:53:42
301
原创 100天搞定机器学习（100-Days-Of-ML）（十五）Pandas数据取值与选择
第十五天Pandas数据取值与选择在前面介绍了获取、设置、调整Numpy数组数值的方法，包括取值操作、切片操作、掩码操作、花哨的索引以及组合操作。下面介绍Pandas的Series 和DataFrame 对象相似的数据获取与调整操作。一、Series数据选择如前所述，Series 对象与一维NumPy 数组和标准Python 字典在许多方面都一样。只要牢记住这两个类比，就可以帮助我们更好地...
2019-03-17 17:52:06
208
原创 100天搞定机器学习（100-Days-Of-ML）（十四）Pandas简介
第十四天接下来学习Pandas工具。Pandas是在Numpy基础上建立的新程序库，提供了一种高效的DataFrame数据结构。DataFrame本质上是一种带有行标签和列标签、支持相同类型数据和缺失值的多维数组。Pandas不仅为带各种标签的数据提供了便利的存储界面，还实现了许多强大的操作。尤其它的Series和DataFrame对象，为数据我们处理那些消耗大量时间的数据清理任务提供了捷...
2019-02-24 11:25:42
216
原创 100天搞定机器学习（100-Days-Of-ML）（十三）随机森林
第十三天随机森林随机森林是有监督学习的集成学习模型，主要用于分类和回归。随机森林集成了很多的决策树模型，然后将其每颗树的预测结果组合以获得更加准确和稳定的预测结果。第一步：导入库并加载数据集import numpy as npimport pandas as pddataset = pd.read_csv('../datasets/Socail_Network_Ads...
2019-02-17 22:32:48
250
原创 100天搞定机器学习（100-Days-Of-ML）（十二）决策树
第十二天决策树决策树是一种有监督学习算法，主要用于分类问题，适用于可分类的、连续的输入和输出变量。 第一步：导入库并加载数据集import numpy as npimport pandas as pddataset = pd.read_csv('E:/dataset/Social_Network_Ads.cs')X = dataset.iloc[ : , [2,...
2019-02-10 21:33:10
306
原创 100天搞定机器学习（100-Days-Of-ML）（十一）Numpy数组的排序
第十一天Numpy数组的排序前面我们关注了用Numpy获取和操作数组。下面介绍用于排序Numpy数组的相关算法。这些算法也是计算机科学类课程非常喜欢的话题。比如插入排序、归并排序、快速排序、冒泡排序等。这些方法的任务：对一个列表或者数组进行排序。1.Numpy快速排序Python有内置的sort和sorted函数可以对列表进行排序，但是Numpy的sort函数实际上效率会更高。默认...
2019-01-27 15:39:10
239
原创 100天搞定机器学习（100-Days-Of-ML）（十）Numpy数组布尔掩码和花哨的索引
第十天Numpy数组布尔掩码和花哨的索引当你想基于默写准则来抽取、修改、计数或对一个数组中的值进行其他操作时，掩码就可以派上用场了。例如你可能希望统计数组中有多少值大于某一个给定值，或者删除所有超出某些阈值的异常点。在Numpy中，布尔掩码通常是完成这类任务的最高效方式。一、操作布尔数组通用函数中，我们看到+，-，*，/等一些运算符实现了数组的逐元素操作。Numpy还实现了<...
2019-01-19 23:43:27
496
原创 100天搞定机器学习（100-Days-Of-ML）（九）Numpy聚合和广播
第九天Numpy聚合和广播一、Numpy聚合函数当你面对大量的数据时，第一个步骤通常是计算相关数据的概括统计值。最常用的概括统计值可能是均值和标准差，这两个值能让你分别概括出数据集中的“经典”值，但是其他一些形式的聚合也是非常有用的（如求和、乘积、中位数、最小值和最大值、分位数等等）。1.数组值求和import numpy as npL = np.random.random...
2019-01-13 20:46:04
280
原创 100天搞定机器学习（100-Days-Of-ML）（八）Numpy数组通用函数
第八天Numpy数组通用函数Numpy数组的计算有时非常快，有时也非常慢。使Numpy数组变快的关键是利用向量化操作，通常是在Numpy的通用函数（ufunc）中实现。一、一般通用函数：通用函数有两种存在形式：一元通用函数（unary ufunc）对单个输入操作，二元通用函数（binary ufunc）对两个输入操作。1.数组的运算Numpy通用函数得到使用方式非常自然，因...
2019-01-12 20:46:00
305
3
原创 100天搞定机器学习（100-Days-Of-ML）（七）Numpy数组基础
第七天Numpy的学习（一）数组基础Python中的数据操作几乎等同于Numpy数据操作，甚至Pandas工具也是构建在Numpy数组的基础之上的。一、从Python列表创建数组1.首先，可以用np.array从Python列表创建数组：import numpy as npnp.array([1, 4, 2, 5, 3])Numpy创建数组要求必须包含同一类型的数据。如...
2019-01-05 20:42:43
299
1
原创 100天搞定机器学习（100-Days-Of-ML）（六）支持向量机SVM
第六天：支持向量机SVM支持向量机SVM是一个有监督的机器学习算法，它可用于分类和回归分析，最主要是用再分类问题中。在这个算法中，根据特征值，构建一个n维空间（其中n即是特征数量），把每个数据点投影到此空间内。通过查找一个超平面，把数据区分成两类。换句话说，算法输出一个最佳超平面，用于数据分类。对于SVM来说，它指的是距离两类数据最远的一个超平面，即是此超平面到最近元素的距离最远。 ...
2018-12-23 21:04:12
378
原创 100天搞定机器学习（100-Days-Of-ML）（五）KNN
第五天：KNNK近邻算法是一种简单但也是常用的分类算法，它也可以用于回归计算。KNN是无参数学习（这意味着它不会对底层数据的分布做出任何假设），它是基于实例（意味着我们的算法没有显示地学习模型，相反，它选择的是记忆训练实例）并在一个有监督的学习环境中使用。第一步：导入库import numpy as npimport pandas as pd第二步：加载数据集数据集同第...
2018-12-14 22:36:31
546
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人