manmanxiaowugun的博客

原创 推荐系统实战（一）——FM原理

在推荐系统及广告系统中，ctr预估是极其重要的一部分，解决该问题的经典模型分别为：LR、gbdt、xgboost、FM、wide&deep、deepFM、DCN、xdeepFM、DIN、DIEN、DISN。本文先介绍FM（因子分解机）算法。一、FM原理：除了特征的线性组合，FM主要是引入了二阶特征交叉，通过将特征映射为隐向量，求两个特征对应的隐向量的内积完成二阶特征交叉，无需做人工的特征工程。正向传播： ...

转载 推荐系统——MF及其python实现

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 ...

原创 可解释性（2）—— RNN可视化工具RNNVis

一、背景解释RNN为什么那么困难： 1. hidden state多，更新hidden state所用的参数更多。 2.使用RNN处理的文本等序列数据，本身语义信息繁多，难以解释。 3.输入一个单词会导致很多hidden state产生变化，而一个hidden state又受很多单词影响，多对多的关系难以分析。ok，RNNVis[1]自称是解决第3...

原创 可解释性（1）—— lstm可视化工具LSTMVis

一、背景深度模型成绩斐然，然而它就像一个黑箱子一样捉摸不透，使用者不知道它到底学到了些什么，也不知道它有什么凭据作出那样的预测，更不知道如何根据bad case去调特征，虽然能总结出几类bad case，bad case也有一些特定的pattern，但对样本作出相应的调整总是有点隔靴搔痒，难解其中真谛。伟大的研究者们开始进行可解释性研究，针对LSTM，目前有词向量的聚类可视化，hidden...

转载 fasttext源码解析

转载自知乎作者：张晓辉链接：https://zhuanlan.zhihu.com/p/64960839 https://zhuanlan.zhihu.com/p/65687490来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。最近花了一些时间通读了fb的fasttext的源码。远离了c++好长一段时间，猛地一看c++，太亲切了。简单的说，f...

原创 Graph Embedding（一）—— DeepWalk的原理及实现

1. 概念介绍图：是一种非常常用的结构，包含边和节点；Graph Embedding：图中的每个节点会对应一个词向量，某两个节点挨的越近（或者联系越紧密、或者共同的边越多），词向量在词向量空间里也就越近（想想单词的词向量的定义，和这差不多，就是把文字中的单词迁移到图的节点了）2. deepwalk想想单词的词向量训练的时候，是不是根据文本序列，生成中心词和上下文词列表分别作为输入输...

原创 词向量训练skipgram的python实现

skipgram的原理及公式推倒就不详细说了，主要记录一下第一个正向传播和反向传播都自己写的神经网络，也终于体验了一把负采样对于词向量训练速度的惊人提升，感人！虽然最终的时间复杂度依然较高，不过我正在研究同样使用python的gensim为啥这么快的原因！(明天有时间会把)数据和代码放在本人的github里，写的比较搓，待改进...1.工具介绍python： 3.6电脑：mac本地...

原创 Alias method:时间复杂度O(1)的离散采样方法

最近在看图算法相关的东西，先介绍一个用于其中的采样算法吧（超小声的说一句，我打算以后把看过的算法都实现一遍，提高一下工程能力）。1. 什么叫离散分布首先，离散分布：给你一个概率分布，是离散的，比如[1/2, 1/3, 1/12, 1/12]，代表某个变量属于事件A的概率为1/2， 属于事件B的概率为1/3，属于事件C的概率为1/12，属于事件D的概率为1/12。2. 时间复杂度为o(N...

原创 知识图谱_关系抽取_文献笔记（三）———利用分层强化学习

本文介绍一篇发表在AAAI 2019上的关系抽取方向的文章：A Hierarchical Framework for Relation Extraction with Reinforcement Learning。对知识图谱关系抽取前世了解一下。源代码：https://github.com/truthless11/HRL-RE【一些废话】paper中其实对于任务具体是个什么样子，预训练的过...

原创 【python爬虫】利用selenium获取百度搜索结果及标红的相关关键字

一、环境搭建1. 安装chromedriverbrew cask install chromedriver2. 安装seleniumpip3 install selenium3. 安装beautifulsoup4pip3 install beautifulsoup44. 用以下代码测试fromselenium import webdriverdriv...

转载 图像识别——AlexNet原理解析及实现

转载自：https://blog.csdn.net/u012679707/article/details/80793916                        &nb

原创 知识图谱_关系抽取_文献笔记（二）

本文介绍一篇18年EMNLP的文章Neural Relation Extraction via Inner-Sentence Noise Reduction and Transfer Learning。对知识图谱关系抽取前世了解一下，再来看今天的文章哦。还需了解一下用神经网络做依存句法分析。一、问题描述这篇文章是做知识图谱中的关系抽取的，创新点有三个：1. 通过Sub-Tree Par...

原创 依存句法分析—A Fast and Accurate Dependency Parser using Neural Networks

一、问题描述这是一篇使用神经网络来做依存句法分析的经典文章，传统的依存句法分析特征向量稀疏，特征向量泛化能力差，特征计算消耗大，用神经网络做transition-based贪心模型可以缓解上述问题，准确率提高，速度变快。由于源代码是java写的，所以本人看了用tensorflow改写的代码，但是该代码存在一些问题，只预测是LEFT-ARC，RIGHT-ARC，SHIFT中的一种（即三分类），但...

原创 语音识别MFCC系列（四）——MFCC特征参数提取

最好先看下下面三篇（其中系统的讲述了离散傅里叶变换，能量密度谱为什么是DFT系数的平方除以总点数，为什么512点的离散傅里叶变换只选前257个分量，离散余弦变换，为什么采样频率要大于真实信号最大频率的两倍，频谱混叠，频谱泄露，为什么要用窗函数等等），做知识储备，如果上述问题不懂，一定要去看哦，都可以找到答案。然后MFCC的提取过程就特别好理解。因为我就是这么学过来的！本文是我看了代码以后做的总结，...

原创 语音识别MFCC系列（三）——离散余弦变换DCT

都说DCT和离散傅里叶变换DFT其实是一样的，那咱们就从DFT推出DCT吧。如果信号是实数，那么DFT的系数有实部，有虚部，是复共轭的，也就是说正频率的系数是负频率系数的共轭，原理参考前两篇博客：连续信号的请看语音识别MFCC系列（一）——连续信号、傅里叶变换离散信号的请看语音识别MFCC系列（二）——离散信号、离散傅里叶变换 那么DCT最后求得的系数只有实部，没有虚部。有...

原创 语音识别MFCC系列（二）——离散信号、离散傅里叶变换

看了很多傅里叶变换（连续信号和离散信号）的博客，都写的不是很清楚，有些地方可能有误，我在查阅了书籍和大量资料以后，争取能用前后标注一致的公式把相关内容（帕斯瓦尔公式，能量信号，功率信号，能量谱，功率谱等）讲清楚，说正确。最好先看连续信号再看离散信号哦连续信号的请看语音识别MFCC系列（一）——连续信号、傅里叶变换离散信号的请看语音识别MFCC系列（二）——离散信号、离散傅里叶变换耐不住...

原创 语音识别MFCC系列（一）——连续信号、傅里叶变换

看了很多傅里叶变换（连续信号和离散信号）的博客，都写的不是很清楚，有些地方可能有误，我在查阅了书籍和大量资料以后，争取能用前后标注一致的公式把相关内容（帕斯瓦尔公式，能量信号，功率信号，能量密度谱，功率频谱等）讲清楚，说正确。最好先看连续信号再看离散信号哦连续信号的请看语音识别MFCC系列（一）——连续信号、傅里叶变换离散信号的请看语音识别MFCC系列（二）——离散信号、离散傅里叶变换...

原创 bagging， boosting

本文将介绍Offline Bagging，Offline Boosting，adaboost，Online Bagging，Online Boosting，Offline Boosting应用于特征选择，Online Boosting应用于特征选择等算法。参考文献[1]    Breiman L. Bagging predictors[J]. Machine learn...

原创 文献阅读笔记—BERT: Pretraining of Deep Bidirectional Transformers for Language Understanding

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！（一）ELMO：Deep contextualized word representations（二）Universal Language Model Fine-tuning for Text Classification（三）openAI ...

原创 文献阅读笔记—Improving Language Understanding by Generative Pre-Training

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！（一）ELMO：Deep contextualized word representations（二）Universal Language Model Fine-tuning for Text Classification（三）openAI ...

原创 文献阅读笔记—Universal Language Model Fine-tuning for Text Classification

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！（一）ELMO：Deep contextualized word representations（二）Universal Language Model Fine-tuning for Text Classification（三）openAI ...

原创 文献阅读笔记—Deep contextualized word representations

迁移学习在nlp领域的应用之pretrain language representation，四连载，建议按顺序看，看完对该方向一定会非常清楚的！（一）ELMO：Deep contextualized word representations（二）Universal Language Model Fine-tuning for Text Classification（三）openAI ...

原创 文献阅读笔记—Multiway Attention Networks for Modeling Sentence Pairs

1. 问题描述这是一篇计算两个句子间相似度的文章，用于句子p是否是句子q的另一种表达（paraphrase identification）、句子p是否可以从句子q中推断出（natural language inference）、句子p是否是句子q的答案（Answer Sentence Selection）的问题中。在上述三方面都做了实验，如下图所示：2. 以前的解决方法几创新点阶段...

原创 mac安装pytesseract遇到的问题集锦

电脑mac本地，楼主本来想用下面这段代码识别一个图片中的数字：import pytesseractfrom PIL import Imageimg = Image.open('/Users/liangmimi/Desktop/11.png')a = pytesseract.image_to_string(img, config='--psm 6')print(a)1. pip i...

原创 mac用终端进入pycharm的虚拟python环境

在pycharm中每新建一个项目，会新建一个python虚拟环境，如果想在这个虚拟环境中安装一些python库，有两种方法：1. 在这个项目中新建一个requirements文件，里面写上你想要的库，然后pycharm会自动检测这些库有没有安装并提醒你安装。2. 在项目的interpreter中安装库，点下方的+ 添加即可。但是这两种方法如果安装失败呢，比如说有些依赖条件无法满...

原创 深度学习最优化（四）—— 动量法/Nesterov/Adagrad/Adadelta/RMSprop/Adam/Nadam

1. SGD现在的SGD一般都指小批量梯度下降，即每一次迭代计算mini-batch的梯度，然后对参数进行更新。 其中是模型参数，是模型目标函数，是目标函数的梯度，是学习率。难点（缺点）： （1）学习率的选择。过低收敛缓慢，过高无法收敛。 （2）“...

转载 RNN与LSTM系列（一）——LSTM反向传播公式推导

转载自https://blog.csdn.net/wjc1182511338/article/details/792855030 LSTM相对于rnn的优势The Problem of Long-Term DependenciesOne of the appeals of RNNs is the idea that they might be able to connect previ...

转载 RNN与LSTM系列（二）——LSTM的参数个数

转载：https://www.cnblogs.com/wushaogui/p/9176617.html目录:1. LSTM简单介绍 2.简单假设样例 3.神经元分析 3.1忘记门层 3.2细胞状态 3.3输出层 3.4总结 4.测试1.LSTM简单介绍 ...

原创 文献阅读—跨语言词向量—无监督

上一篇博客将了有监督的跨语言词向量训练，这篇博客将无监督的跨语言词向量《A robust self-learning method for fully unsupervised cross-lingual mappings of word embeddings》。1. 初步构想和分别表示两类语言中独立训练好的词嵌入矩阵，需要自己先训练好，或者拿别人现成的。其中每行代表一个词的词向量，每一列...

原创 文献阅读—跨语言词向量—有监督

1. 问题描述跨语言词向量解决什么问题呢？当我们有英文标注数据，在英文数据上训练好模型，但是我们没有中文标注数据去训练模型，怎么办？跨语言词向量就是将英文词向量和中文词向量映射到一个空间里，这样相当于中英文数据都只是整体数据的一部分，我拿整体数据中的一部分（即英文数据）做训练，拿整体数据中的另一部分（即中文数据）做测试，所以就不需要重新训练模型，解决了中文标注数据缺失的问题。啊说的有点多了，西...

原创 文献阅读笔记—Attention is ALL You Need

本文主要是参考https://yq.aliyun.com/articles/342508?utm_content=m_39938https://mchromiak.github.io/articles/2017/Sep/12/Transformer-Attention-is-all-you-need/#positional-encoding-pe将互相缺少的融合到一起，略微加了点其他东...

原创 决策树、随机森林、GBDT等面试重点

本文包含决策树ID3，C4.5，cart；剪枝；随机森林bootstrap，提升树adaboost，GBDT等面试重点。

原创 排序算法python实现集锦

1. 直接插入排序——升序#直接插入排序 升序排序def insert_sort(a): length = len(a) for i in range(1, length): if a[i] < a[i - 1]: j= i -1 temp = a[i] while j &gt...

原创 知识图谱_关系抽取_文献笔记（一）

主要有4篇知识图谱之关系抽取的文献，可以保证看了这篇博客，对关系抽取的前世今生／state of art都会非常清楚。《Distant supervision for relation extraction without labeled data》《Distant Supervision for Relation Extraction via Piecewise Convolutiona...

转载 RNN与LSTM系列（三）——RNN和变种LSTM的前向和反向传播

转载自：http://blog.csdn.net/u011414416/article/details/46709965 以下内容主要引自Alex Graves写的Supervised Sequence Labelling with Recurrent Neural Networks 一书。 （http://www.springer.com/cn/book/9783642247965）...

原创 深度学习最优化（三）—— 共轭梯度法

原创 深度学习最优化（二）—— 牛顿法和拟牛顿法

原创 深度学习最优化（一）—— 梯度下降法

原创 用python + stack实现括号有效问题

def isValid(self, s): Parentheses = [] count = 0 Parenthese_dict = {'(' : ')', '[' : ']', '{' : '}'} for Parenthese in s: if Paren...

原创 用python实现约瑟夫环

先上代码：def circle(number, k): length = number people = [] for index in range(number): people.append(index + 1) j = 0 temp = 0 res = 0 while number > 1: ind...