- 博客(11)
- 收藏
- 关注
RSS订阅翻译 Wide and Deep论文笔记加理解
文论提出了学习过程中核心的两个概念，memorization and generalization，记忆与一般化memorization 指记忆，即规则generalization指泛化，即归纳我们一般学习的内容是归纳而来的，但是也需要加上一些例外的规则，才能够学习到真实的世界。a wide linear model 即学习的是规则部分，a deep neural networ...
2018-09-17 16:07:25
715
原创 momentum RMSprop Adam gradient descent介绍
momentum gradient descent，即动量梯度下降，主要是运用了加权指数移动平均（为什么是指数是因为将式子展开后呈现指数形式），将历史的梯度平均下来，这样正负方向震荡的梯度平均为0，而一直沿着某一方向的梯度在更新迭代中就会保存下来，因此相比于mini batch sgd来说，收敛更快！ RMSprop不再进行简单的加权指数移动平均，而是平均梯度的平方，这样最后的结果总是正值...
2018-08-08 21:04:57
333
翻译 LightGBM: A Highly Efficient Gradient Boosting Decision Tree 论文笔记
上一篇我们介绍了XGBOOST，这一篇我们趁热打铁来把LIGHTGBM也讲了！ Abstract提出两个方法：Gradient-based One-Side Sampling (GOSS)（单边采样） 和 Exclusive Feature Bundling (EFB)（互斥特征捆绑）.GOSS就是不考虑具有小梯度的数据，而这部分数据往往占有很大比重，只考虑会带来大梯度的数据。...
2018-08-05 16:33:18
388
翻译 XGBoost: A Scalable Tree Boosting System 论文笔记
ABSTRACT可扩展的端到端的提升树系统对于稀疏数据，提出稀疏感知算法对于近似树学习，提出加权的分位数速算缓存访问方式，数据压缩和分片，达到可扩展，节省资源，处理大规模数据1.INTRODUCTIONxgb和neural net的ensemble都取得了很好的效果。一种新颖的树学习算法，用于处理稀疏数据;理论上合理的加权分位数草图过程使得能够在近似树学习中处理实例...
2018-08-01 22:30:05
953
原创 tensorflow学习笔记2
tensor(vector)flow!tensorflow中变量variable的作用：通常会将一个统计模型中的参数表示为一组变量. 例如, 你可以将一个神经网络的权重作为某个变量存储在一个 tensor 中. 在训练过程中, 通过重复运行训练图, 更新这个 tensor.tensorboard使用方法：首先使用tf.scalar_summary("loss", cost)添加我们...
2018-07-20 17:31:46
127
翻译 模型融合指南
模型融合 Model ensemblingCreating ensembles from submission files在这种方法中，你只需要测试集的预测结果，而不需要重新训练模型，优点是方便、快捷，尤其是在团队合作的时候体现较多。 Voting ensembles使用多数投票原则，适用于二（多）分类问题。70% accuracy的模型经过3个分类器融合，准确率可以提...
2018-07-16 10:17:54
419
原创 手把手教你写一个抢讲座的脚本
利用js脚本来帮你抢到一个表单提交类型的各种活动，这里以讲座为例~准备注册一个麦克表单创建一个自己的表单数据探索首先自己提交一个表单，同时打开f12中的network,看一看自己提交的东西包含了什么。比如这里我们发现了d这个对象之后我们尝试着按照它这种格式，自己提交一下，看看能不能成功。这里我选用了restlet这个工具。可以发现，成功了o(*￣▽￣*)o分析我们来仔细研究下这个表单中提交的这个数...
2018-05-17 23:08:36
19715
10
原创 密度聚类学习总结
密度聚类的典型算法是DBSCANDBSCAN是由高密度区域和低密度区域划分的，更准确的说，DBSCAN算法的原理是由低密度区域划分出来高密度区域。因此，DBSCAN可以发现任何形状的簇。不像k-means，k-means的本质是默认每一簇的数据服从高斯分布（且方差也要相等），因此，簇的形状应该是凸形的。...
2018-05-17 15:29:46
420
原创 win10安装keras报错No module named 'yaml'
在win10下成功安装了keras，并且pip3 list显示但是在import keras时，总是报错网上查了很多资料，都是显示没有安装pyyaml，但是我明明安装了啊最终解决方法如下：pip3 uninstall pyyamlpip3 install pyyaml即重新安装pyyaml即可。。。...
2018-04-29 22:21:28
1710
1
原创 假设检验介绍
利用饭后时间回顾和总结了一下假设检验的相关知识，现总结如下~假设检验的本质利用样本对假设的真假进行判断。假设检验的思想那么我们如何根据样本来进行判断呢，这其中设计到小概率事件和概率反证法的原理，即：一般我们认为小概率事件不会发生。一旦发生，则可以认为原有的假设不成立。因此我们假定原假设为真，然后根据条件和分布特征，构造一个分布。接下来确定一个概率阈值（检验水平），这个概率阈值对应了一个在该分布下的...
2018-04-17 21:03:01
375
原创 tensorflow学习笔记1
tensorflow学习在跑minist demo时，遇到了这几句BATCHSIZE=6 label=tf.expand_dims(tf.constant([0,2,3,6,7,9]),1)index=tf.expand_dims(tf.range(0,BATCHSIZE),1)concated = tf.concat(1, [index, label])可以跑的时候却报错查了半天资料，发...
2018-04-11 16:12:53
186
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人