- 博客(42)
- 收藏
- 关注
RSS订阅原创 广告投放中的预算问题
广告投放中的预算问题广告投放中的预算问题万年不变的广告费效果关系函数关键词解决思路广告平台的竞价原理三大竞争价格1. 广义第一价格（Generalized First Price,GFP)2. 广义第二价格（Generalized Second Price , GSP)3. VCF竞价机制（Vickrey-Clarke-Groves）参考链接广告投放中的预算问题 &nbs...
2019-09-19 14:18:39
1910
原创 C++学习（一）
C++学习（一） 由于本人实习的缘故，需要使用C++来进行算法编程，所以从2019-9-10日开始进行C++编程学习！加油！Fighting！MinGW是Minimalist GNU for Windows的缩写，其是一个可以自由使用和自由发布的Windows特定头文件和使用GNU工具集导入库的集合，允许你在GNU/Linux...
2019-09-10 22:47:32
183
激活函数详解
激活函数详解ELU函数 ELUs是“指数线性单元”，它试图将激活函数的平均值接近零，从而加快学习的速度。同时，它还能通过正值的标识来避免梯度消失的问题。根据一些研究，ELUs分类精确度是高于ReLUs的。具有relu的优势，且输出均值接近零，实际上prelu和LeakyReLU都有这一优点。有负数饱和区域，从而对噪声有一...
2019-09-05 11:29:14
563
原创 LeetCode专题（三）--腾讯系简单题
70.爬楼梯问题 很明显这是一个动态规划的问题，第一层楼梯有一种解法，第二层有两种解法，第三层楼梯有三种解法，而第四层楼梯有五种解法，得到下面的解题公式：f(n)=f(n−1)+f(n−2)f(n) = f(n-1) + f(n-2)f(n)=f(n−1)+f(n−2) &n...
2019-08-29 05:02:06
160
原创 LeetCode专题（二）--股票买卖问题
121.买卖股票的最佳时机思路描述 对于上述的描述而言，我们有两种思路：找到下一个时间点与当前时间点的差值，只考虑将最大的股票价格减去最小的股票价格使用DP的方式进行动态规划转移 由于我本人对于DP较为感兴趣，所以我们使用第二种方法来解题，解题的...
2019-08-26 17:49:12
248
原创 机器学习进阶之（六）CatBoost
机器学习进阶之（六）CatBoost1.CatBoost简介 俄罗斯人提出了CatBoost，这个算法在其论文中与GBDTS算法对比，注意，这里的GBDT算法不是简单的GBDT算法，而是作者将GBDT与XGBoost统称为GBDTS。这两个算法具体的差别是：GBDTS={1.GBDT2.XGBoost GBD...
2019-08-18 03:07:37
422
原创 NLP进阶之（十一）预训练模型Bert
NLP进阶之（十一）Bert一、Bert简介 Bert作为近1年来大热的语言模型，必有其可爱之处，学习Bert，是做为每个算法工程师的必备，不仅仅是CV抑或是NLP，依照笔者两段算法实习经验来看，Bert在推荐领域、风控领域都是必不可少的一项工作。 ...
2019-08-16 17:26:59
441
原创 LeetCode专题--蓄水池问题
目前我所做的蓄水池问题一共有三题，后续会慢慢更新题目一、398随机数索引 思路解法1遍历nums，记录所有的索引位置，然后通过random.sample() 返回一个结果。通过candid这个数组保存所有相对应的索引值，这些索引值作为 random.sample 采样的标准。在解题的过程，还是选...
2019-08-15 15:43:51
1628
转载 NLP进阶之（十）Transformer：Attention is All You Need
NLP进阶之（十）Transformer1. 概述1.1 模型概览1.2 Tensor1.3 Self-Attention 简介2. Self-Attention详细介绍2.1 Embedding过程细节2.2 Embedding矩阵计算2.2.1 Multi-Head Attention2.3 位置编码(Positional Encoding)2.4 LayerNorm2.5 残差连接1. 概...
2019-03-13 01:33:43
277
翻译 NLP进阶之（九）BiLSTM-CRF模型
NLP进阶之（九）BiLSTM-CRF模型一、BiLSTM-CRF构造二、CRF构造序列标注2.1 CRF两类得分2.1.1 Emission-Score2.1.2 Transaction-Score2.2 CRF 损失函数2.3 CRF Demo一、BiLSTM-CRF构造对于NER而言，我们可以构造BiLSTM-CRF来实现NER中，往往需要得到一个序列标注：二、CRF构造序列标注...
2019-03-11 10:29:22
1531
转载 专题（一）优化算法
专题（一）优化算法1.梯度下降1.1 随机梯度下降1.2 小批量随机梯度下降1.2.1 小批量 SGD 的更新过程1.2.2 “批”的大小对优化效果的影响1.2.3 随机梯度下降存在的问题1.2.4 随机梯度下降的改进方向2. 动量（Momentum）算法2.1 带动量的 SGD2.1.1 参数更新公式2.1.2 动量算法描述2.2 NAG 算法（Nesterov 动量）3. 自适应学习率的优化算...
2019-02-22 17:41:21
552
原创 NLP进阶之（一）Seq2Seq模型之Chatbot
NLP进阶之（一）Seq2Seq模型之Chatbot1. 编码器—解码器（seq2seq）解释编码器合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图...
2019-02-08 22:50:17
1204
原创 机器学习进阶之（五）Bagging和Boosting
机器学习进阶之（五）Bagging和Boosting1.回顾Bagging与Boosting1.1 Boostraping1.2 Bagging1.3 Boosting2.Bagging与Boosting的区别3. 总结1.回顾Bagging与BoostingBagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个性能更加强大的分类器，更准确的说这是一种分类算法...
2019-02-05 13:24:49
348
1
原创 机器学习进阶之（四）XGBoost-LightGBM
机器学习进阶之（四）XGBoost-LightGBM1. 回顾XGboost1.1 XGBoost损失函数1.2 正则化构建公式1.3 泰勒展开公式1. 回顾XGboostXGBoost在竞赛与工业界都使用频繁。XGBoost是决策树的一种，那么要使用决策树过程，下面有两个弱分类器，一个以年龄性别，另一个以是否使用电脑，这是一种集成的思想，我们利用叶子节点与权值来表示预测值。1.1 XGB...
2019-02-04 15:41:09
241
原创 NLP进阶之（八）LDA主题模型、LSA隐语义模型
NLP进阶之（八）LDA主题模型1. 回顾主题模型1.1 SVD奇异值矩阵分解1.2 LSA (Latent Semantic Analysis, LSA)1.3 NMF1. 回顾主题模型主题模型是一种生成模型，一篇文章中每个词都是通过“以一定概率选择某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到:p(word∣doc)=∑topicp(topic∣doc)∗p(word∣...
2019-01-30 02:57:48
1017
原创 程序化交易入门（二）强化学习DQN及其由来
程序化交易入门（二）强化学习DQN及其衍生体1. 引入1.1 Machine Learning在做什么？1.2 DQN在寻找什么？1.2.1 Step1. Neural Network as Actor1.2.2 Goodness of function1.2.3 pick the best function1.4 几种假设1.4.1 状态价值函数1.4.2 Bellman方程1.4.3 Acti...
2019-01-28 02:24:45
1234
原创 NLP进阶之（七）膨胀卷积神经网络
NLP进阶之（七）膨胀卷积神经网络1. Dilated Convolutions 膨胀卷积神经网络1.2 动态理解2. Dilated Convolutions 优点3. 应用理论来自Multi-scale context aggregation by dilated convolutions ICLR 2016作者将代码贡献于github针对语义分割问题 semantic segment...
2019-01-26 17:00:49
5842
原创 NLP进阶之（六）Word2Vec+FastText+Glove
NLP进阶之（六）Word2Vec+FastText+Glove1. WordEmbedding（seq2seq）1.4 负采样1.1 编码器1.2 解码器1.3 模型训练1.4 参考文献2. 注意力机制（Attention）2.1 注意力机制背景2.2 计算背景变量2.3 矢量化计算2.4 更新隐藏状态3. 小结3.1 参考链接1. WordEmbedding（seq2seq）NLP之前的章...
2019-01-25 01:36:04
1137
原创 NLP进阶之（二）Chatbot评估指标
NLP进阶之（二）Chatbot评估指标1. 基于检索模型1.1 Ubuntu对话语料库1.2 Baseline评估指标1.2 解码器1.3 模型训练1.4 参考文献2. 注意力机制（Attention）2.1 注意力机制背景2.2 计算背景变量2.3 矢量化计算2.4 更新隐藏状态3. 小结3.1 参考链接1. 基于检索模型在这篇文章中，我们将实现一个基于检索的机器人。基于检索的模型具有可以...
2019-01-25 00:12:14
1370
转载 NLP进阶之（五）条件随机场CRF
NLP进阶之（五）条件随机场CRF1. 引入CRF1.1 词性标注问题1.2 定义CRF特征函数1.3 从特征函数到概率1.4 几个特征函数例子2 CRF对比2.1 CRF与逻辑回归比较3 参考链接1. 引入CRF由于小明是一个IG控，在IG上po出了很多自己的照片，假设你有许多小明同学一天内不同时段的照片，现在任务是对照片进行分类，比如有些照片是吃饭，那么就给其打上吃饭的标签，有些照片是跑步...
2019-01-24 12:04:21
258
原创 NLP进阶之（四）于Tensorflow中使用Word Embedding
NLP进阶之（一）Seq2Seq模型之Chatbot1. 文本预处理2. 词向量维度设置3. 不同情况下Embedding设置情况3.1 Keras层3.2 Tensorflow层3.3 编写自定义模块3.4 采用预训练的词嵌入模型**TensorFlow Hub**4. 总结4.1 参考链接本节为遇到问题的教程章节，我这里使用了Tensorflow的Embedding模型，通常，我们会有一些文...
2019-01-24 01:11:35
1944
1
原创 NLP进阶之（三）Chatbot进阶之TA-Seq2Seq之《Topic Aware Neural Response Generation》
Seq2Seq模型进阶之TA-Seq2Seq1. TA-Seq2Seq简介1.1 模型回顾1.2 Seq2Seq1.3 Attention模型1.3 LDA主题模型2. TA-Seq2Seq模型细节2.1 TA-Seq2Seq Encoder2.1 TA-Seq2Seq Decoder1.2 解码器1.3 模型训练1.4 参考文献2. 注意力机制（Attention）2.1 注意力机制背景2.2 ...
2019-01-24 00:12:38
1582
1
原创 机器学习基础之（一）SVM支持向量机
1. Support Vector Machine了解SVM，就要知道，但是SVM现在已经被神经网络的风头所盖过，但是SVM依然活跃于各大领域。1.SVM分类器是如何工作？2.SVM分类器与区分度较小的数据类型？3.计算复杂度怎么样？ 1. SVM是如何工作的？...
2019-01-17 13:29:01
380
原创 NLP-分词、词性标注及命名实体识别（一）：概念及jieba使用解析
一、分词 中文分词（Chinese Word Segmentation）指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字符按照一定的规范重新组合成次序的过程。二、词性标注 词性标注（Part-of-Speech tagging或POS tagging），又称词类标注或简称标注，是指分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词...
2019-01-17 13:26:06
9930
3
原创 机器学习进阶之（三）GBDT-AdaBoost提升算法
1. 背景介绍 GBDT和Random Forest都是两种常见的集成算法，虽然两者都是基于决策树的集成方式，但是两者都有不同的侧重点，本文从不同的角度来讲述不同的学习方式。他们都是通过某种策略把多个弱学习器组合起来，形成一个具有很高预测准确率的强学习算法。2. Bagging 和 Boosting 集成学习是机器学习领域的一个重要分支，其不仅仅是一种具体的算...
2019-01-17 13:12:45
237
原创 机器学习进阶之（二）条件随机场
条件随机场就是通过给定训练数据集估计条件随机场模型训练参数，条件随机场实际上是定义在时序数据上的对数线性模型，其学习方法包括极大似然估计以及正则化的极大似然估计，具体的优化实现方法包括改进的迭代尺度法、梯度下降法以及拟牛顿法，类似于隐马尔科夫法。 -----------------（后续将在下午更新）----------------- ...
2019-01-17 12:55:32
196
原创 机器学习进阶之（一）HMM隐马尔可夫模型
举一个小例子，今天天晴，明天多云，后天下雨应该存在着某种联系，如下图所示： 那么我们可以根据统计规律构建状态转移矩阵，根据昨天跟今天构建状态转移矩阵： ...
2019-01-17 12:55:17
165
原创 深度学习进阶之（一）AutoEncoder
1. AutoEncoder的原理、变种及实现 AutoEncoder包含输入层、隐含层以及输出层，AutoEncoder原理就是利用BP来进行整个过程，那么如何构建AutoEncoder呢？1.搭建编码器2.搭建解码器3. 定义Loss function AutoEncoder主要用来数据去噪、为可视化降维以及构建深层神经网络。 ...
2019-01-17 01:02:29
1371
原创 NLP-分词、词性标注及命名实体识别（二）：TextRank原理及应用
一、TextRank原理 TextRank不需要大量标注样本，就可提取出文本相关词，其类似于PageRank思想，将文本的语法单元视作图中节点，如果两个语法单元存在一定语法关系（例如共现），其论文为：Rada Mihalcea的《TextRank:Bring Order into texts》。若将文本中语法单元视作图的节点，如果两个语法单元存在一定的语法关系（例如共现），则这两个...
2019-01-16 16:02:20
1762
原创 卷积神经网络以及文本表示学习（一）
下面会以卷积神经网络为开端，介绍文本表示学习：一、回顾卷积神经网络 卷积神经网络（CNN）由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT-CONV-RELU-POOL-FC 1.1 卷积层 卷积层是卷积核在上一级输入层上通过逐一滑动窗口计算而得，卷积核中的每一个参数都相当于传统神经网络中的权值参数，与...
2019-01-16 00:44:42
4150
1
原创 [IJCAI 2017]A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction
A Dual-Stage Attention-Based Recurrent Neural Network for Time Series Prediction 论文提出了基于注意力机制的两阶段循环神经网络（DA-RNN），在第一阶段（encoder），引入input attention m...
2018-12-02 01:18:56
3519
5
原创 机器学习API知识点（二）：numpy.linspace & numpy.random 难点解答
1. numpy.linspace 经常性会遇到numpy.linspace，但是开始的时候会忘记其属性，现在以API为目击点。 这里会看到numpy.linsapce(start, stop, num=50, endpoint=True, restep=False, dtype=None)这样的一个形式，使用numpy.linspace是返回等差序列，序列范围在(s...
2018-11-06 17:03:37
274
原创 机器学习API知识点（一）：numpy.reshape难点解答
1.Python中reshape函数参数-1 在Python的numpy库中，经常出现reshape(x，[-1，28，28，1])之类的表达，请问新shape中-1是什么含义？reshape是一个模糊匹配的原理！ 根据Numpy文档的解释，大意是说，数组新的shape属性应该要与原来的配套，如果等于-1的话，那么Numpy会根据剩下的维度计算出数组的另外一个sh...
2018-11-06 10:35:01
1045
原创 机器学习数学知识点（一）
数理统计中均方误差是指参数估计值与参数真值之差平方的期望值，记为MSE。MSE是衡量“平均误差”的一种较方便的方法，MSE可以评价数据的变化程度，MSE的值越小，说明预测模型描述实验数据具有更好的精确度。 首先先回顾复习三个概念： 1. 方差 方差是在概率论和统计方差衡量随机变量或一组数据的离散程度的度量方式，方差越大，离散度越大。求解方式为，各随机变量与平均值差值的平方...
2018-11-05 22:55:45
175
原创 Kaggle比赛系列（一）房价预测
本人目前开始在做一些银行信用贷款风控跟量化交易的项目，故想多学点知识，朝着kaggle大神方向进发，这里写下我对房价预测案例的总结以及进阶，该案例的背景是以其余的特征维度预测相关房地产价格，代码会稍后上传至我的github：Merlin5417，下面开始：数据读入后如下：1.观察预测数据 由于房价是我们要预测的数据类型，所以我们先把SalePrice这一...
2018-11-05 00:27:57
1159
原创 机器学习遇到问题一览
1. 机器学习遇到问题概述了解场景和目标了解评估准则认识数据数据预处理（清洗，调权）特征工程模型调参模型状态分析模型融合2. 机器学习算法简述按照不同的分类标准，可以把机器学习的算法做不同的分类。2.1 从机器学习问题角度分类我们先从机器学习问题本身分类的角度来看，我们可以分成下列类型的算法：机器学习中有一大部分的问题属于『监督学习』的范畴，简单...
2018-11-03 16:40:33
256
原创 程序化交易入门（一）
OKEX期货数据抓取程序化交易入门（1）：概述程序化交易就是用程序通过API和交易所连接，实现按照设计的意图自动进行比特币买卖或实现其他功能。程序化与量化不完全相同，你也可以实现一些辅助功能，如价格报警、数据统计、自动满仓、定时买入，设定价格买卖等等，利用程序化交易赚钱则是一项更困难的任务。1. 什么是API、apiKey?API全程Application Programming ...
2018-10-31 10:31:29
4072
原创 ARIMA模型（一）定义与介绍
了解ARIMA模型，就需要先了解数据的一个平稳性。1. 平稳性：平稳性就是要求经由样本时间序列所得到的拟合曲线，在未来的一段时间内仍能顺着现有状态“惯性”地延续下去； 平稳性要求序列的均值和方差不发生明显变化； 方差越大，数据波动越大，方差计算公式如下式所示： 方差等于1，那么标准差也就是1，表示概率函数在对称轴左右偏差1的位置导数为0，...
2018-10-30 10:45:37
36407
翻译 简单理解LSTM网络（Understanding LSTM Networks by colah）
原文链接：Understanding LSTM Networks https://colah.github.io/posts/2015-08-Understanding-LSTMs/1. 循环神经网络（RNNs)人们思考问题往往不是从零开始的。就好像你现在阅读这篇文章一样，你对每个词的理解都会依赖于你前面看到的一些词，而不是把你前面看的内容全部抛弃了，忘记了，再去理解这个单词。也就是说...
2018-10-29 00:50:29
481
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人