- 博客(107)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 bert code阅读笔记
参考:参数量计算https://zhuanlan.zhihu.com/p/144582114为什么bert中的设置为: size_per_head * num_heads = 768https://github.com/google-research/bert/issues/316
2020-09-21 18:36:42
265
原创 Bert-paper reading
论文原文:https://arxiv.org/abs/1810.04805代码实现:https://github.com/google-research/bert按照原文结构记录总结#1.Introductionelmo = feature_based approach,双层双向LSTMGPT = fine-tuning approach,transformer decoder缺点:...
2020-05-04 20:30:23
360
2
原创 transformer-paper reading
论文原文: https://arxiv.org/abs/1706.03762代码实现:https://github.com/Kyubyong/transformer按照原文结构记录总结#1.Model Architecture1.1.Encoder&Decoder stacksstacks = 6 transformersublayers = multi-head attent...
2020-05-02 16:57:22
464
原创 optimizer个人总结
optimizer = SGD + Learning Rate scheduler机器之心：Adagrad & 优化器发展历程Paper: An overview of gradient descent optimization algorithms简书：Adam知乎：文本分类问题常见的性能&效果Tricks引用:1.在文本分类任务中，有哪些论文中很少提及却对性能有重...
2020-04-11 21:03:05
335
原创 bert笔记
来自于李宏毅老师的bert课程，http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html0. 前置基础word can have multiple sense.e.g. bank is word type, can be multiple word tokenscontextalized embedding: 同一个word type，在不...
2020-03-09 21:07:15
173
原创 transformer笔记
来自李宏毅老师的课程笔记，http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML19.html0.前置基础RNN: 优点:可以获取全局信息 缺点:不能并行计算CNN: 优点:GPU并行计算 缺点:bigram仅能观察到本地信息self-attention层:x1: input sequence itema1: item embeddingq1...
2020-03-09 21:05:31
213
原创 个人秋招流程3-常见面试题
其他代码:螺旋打印,倾斜打印数组矩阵乘法O(1)空间判断整数是否为回文数字 （负数;直接翻转会溢出） => 思路具体如何取? 取最高位,最低位后; 在删除最高位最低位矩形中1的个数（连通集 & 正方形分别如何做？）打印所有的子集买卖股票 1次？dp[i]当前位置的最小值 dp[i] = dp[i-1] or prices[i]买卖股票 多次？当前为止的最大利...
2019-10-15 15:54:25
234
原创 个人秋招流程2
1.头条重构二叉树2.百度快排,字符串编辑距离,青蛙过河。逆序对问题3.高德双快排变型(字符+数字; 荷兰国旗问题),打印对角线数组=>顺时针打印4.京东5.百度跳马问题,随机概率权重的选择6.百度旋转数组的二分查找7.竞技世界笔试召回率,曼哈顿距离,最小覆盖子串8.依图笔试区间覆盖坐标轴点数,(二分查找变型: 第一个大于等于target的index)9.贝...
2019-10-15 15:53:41
493
原创 C++初步总结
https://github.com/huihut/interview#-cc基础类型1.枚举,替换define。 默认从零开始逐渐为枚举元素+1初始化类和对象this类的成员函数体是被所有对象共有; 函数体内访问成员变量通过this->访问成员函数static,const成员函数==>只能读取成员变量成员变量的初始化顺序类中成员变量的声明顺序 = 实际初始化的顺序...
2019-10-15 15:52:39
208
原创 个人秋招流程
2019.6.28头条提前批: 广告算法(一面卒)原因分析: 概率题+代码题挂。给的机会没抓住。题目: ID3,C4.5,C&RT树; 圆内任意三个点构成锐角三角形的概率;preorder,inorder重建二叉树重点: 1/4，积分方法而非排列组合方法。重建树记得边界条件(重点在于root,left节点的距离length)主要收获: 基础一定要扎实，被问住基础的不会直接gg2...
2019-10-15 15:51:57
542
2
原创 [leetcode] 0-1背包问题详解 416，474，1049题
格式化的代码求解背包问题先验: 《背包九讲》的pdf先熟悉一波416.选择子集和等于所有元素值和的一半转化: 0-1背包恰好装满问题/*0-1背包的恰好装满的问题选择若干物品,使得物品价值和 恰好等于sum(array)/2背包容量: sum(array)/2重量花费cost: array[i]物品价值: 0 本题: 也可以将"价值"设定为array[i]恰...
2019-07-04 14:49:56
18862
1
原创 gbdt,xgb,lgb总结
最近学习了gradient boost+Decision Tree的原理；xgboost，lightgbm论文原文。有一些收获，gbdt总结的笔记比较多 就没放上来。主要看下xgb,lgb的时间复杂度 & 部分总结点1.时间复杂度对比2.gbdt一阶导数 & xgb二阶导数3.exact greedy algorihtm(pre-sort)4.approximately a...
2019-06-24 10:21:26
2411
原创 kaggle kernel 学习笔记
学习链接https://www.kaggle.com/learn/intermediate-machine-learning3.Missing Values1.drop columns# Get names of columns with missing valuescols_with_missing = [col for col in X_train.columns if X_trai...
2019-05-12 22:26:49
1612
原创 FM初步理解&代码实现
0.Reference美团FFM: https://tech.meituan.com/2016/03/03/deep-understanding-of-ffm-principles-and-practices.htmlCMUpdf: http://www.cs.cmu.edu/~wcohen/10-605/2015-guest-lecture/FM.pdfCSDN: http://www.5...
2019-05-02 16:39:28
2094
原创 GBDT+LR
0. 基础准备论文: Practical Lessons from Predicting Clicks on Ads at Facebook参考资料:https://github.com/aragorn/home/wiki/Study-:-Practical-Lessons-from-Predicting-Clicks-on-Ads-at-Facebookhttps://zhuanlan....
2019-04-20 17:18:21
708
原创 GBDT输出形式理解
0.训练过程"放大"错误样本,基学习器的个数==训练的迭代次数1.输出形式二分类:每个基学习器输出one-hot向量(长度==num_leaves)one-hot to intprediction = num_boost_iteration个整数(每个整数是来自一个基学习器的输出)思考:多分类 || 回归GBDT的树的输出还是one-hot吗？？2.FM输入:libsvm格式...
2019-04-14 15:01:41
2511
原创 word2vec之skip-gram算法原理
skip-gram算法原理1.input,output,targetinput的某个单词的one-hot编码（11000 词汇量的总数目）output其他所有单词的概率（softmax 输出也是11000）target是相近单词的one-hot形式2.Losstarget和output的矩阵的交叉熵最小 or 平方差最小3.NNet3.1 隐层300个神经元,需要训练的权重矩阵...
2019-03-31 15:24:23
599
原创 推荐系统实践-阅读笔记5
#三.冷启动问题1.简介2.利用用户注册信息3.选择合适的物品 (用户注册后让其自主选择类别)选择区分度大的物品 P105 评价区分度4.利用物品的内容信息5.发挥专家作用#四.利用用户标签数据UGC标签 user generated content1.用户如何打标签e.g. 给定若干类型,时间,人物,地点,语言…2.基于标签的推荐系统e.g. 三元组信息(U,i,lab...
2019-02-25 20:18:33
299
原创 推荐系统实践-阅读笔记4
一. 隐语义模型latent factor model算法理论对于某个用户,首先得到他的兴趣分类,再从分类中挑选他可能喜欢的物品基于用户行为的自动聚类P83 迭代优化P Q两个参数(负样本采集问题: 热门商品却没有被用户喜欢的商品作为该用户的负样本)重要的参数有:1.隐藏的特征个数F2.学习速率alpha3.正则化参数lamba4.负样本/正样本比例ratio缺点:...
2019-02-25 20:17:53
123
原创 推荐系统实践-基于邻域算法-阅读笔记3
#2.基于邻域的推荐算法#2.1 User-CF算法1.计算用户之间的相似度,得到目标用户的兴趣相似的集合2.从这个集合中选取目标用户没有使用的物品作为推荐流程计算用户的相似度 余弦相似度1.建立物品-用户的倒排索引表,通过将此表每个物品的对应用户"两两标记"2.关于所有用户的相似度矩阵C定义:定义: 目标用户u对于新物品i的感兴趣程度: 和自己最类似的K个用户对于物品i的评分之...
2019-02-25 20:16:52
454
原创 推荐系统实践-用户行为数据-阅读笔记2
#用户行为数据简介基于用户行为的推荐算法 ==> 协同过滤算法用户和网站不断地互动,使得推荐列表过滤掉不感兴趣的物品显性反馈 + 隐形反馈用户行为的表格 举例:user iditem id (行为对象)behavior type (e.g. 购买or浏览)context (e.g. 时间&地点)behavior weight (e.g.观看视频的时长...
2019-02-25 20:16:17
246
原创 推荐系统实践-评价方法-阅读笔记1
评价方法1.离线实验通过日志获取用户的行为数据=>作为训练测试集离线的评价指标=>预测准确率缺点: 无法关注商业指标,点击率转化率2.在线A/Btest如何分桶分层？3.评价指标3.1 用户评价(e.g. 实际购买率 ctr等等)3.2 预测准确度(离线实验 大部分的论文使用的评价指标)3.3 评分预测基于历史的评分,预测用户的评分(RMSE均方误差 MAE)p...
2019-02-25 20:15:00
175
原创 指针和引用的区别
指针和引用的区别？指针会新构建一个变量,而引用则不会e.g.int* p;void func(int* p1){};在指针传递中,实参是p,形参是p1这是两个不同的变量。1.可以通过修改p1指向的变量,来改变p指向的变量2.修改地址p1的值,不会改变地址p的值,导致*p1不会改变#include<iostream>using namespace std;class ...
2019-02-03 21:30:55
125
原创 机器学习技法-林轩田-课程总结
https://github.com/cuixuage/Machine_LearningLecture DirectoryHow can machines learn by Embedding numerous features1.线性SVM,推导非条件目标,QP求解2.对偶SVM,非线性问题消除Z域d+1依赖3.kernel trick仅在X域计算4.soft-margin,ξn...
2019-01-18 18:32:28
537
原创 机器学习基石-林轩田-课程总结
https://github.com/cuixuage/Machine_LearningLecture DirectoryWhen can Machines Learn?1.机器学习问题2.二分类3.不同的ML类型4.可行性hw0: 条件概率 and 贝叶斯公式hw1: Perceptron and Pocket algorithm实现Why can Machines Lea...
2019-01-18 18:31:09
215
原创 Algorithm 4th Context--学习笔记
代码链接:https://github.com/ISCASTEAM/Algorithm事件驱动的粒子碰撞B-树查找成本很低 需要空间大后缀数组字符串的子串中最长的公共前缀问题思路:排序的后缀数组,最长的公共前缀在相邻的位置出现最大流给定有向图找出满足平衡的最大流思路:剩余网络中不存在从S到T的增广路径(将增广路径所有边 add最小边的可增加容量)跳过归约问题不可解...
2018-12-21 20:36:23
115
原创 Algorithm 4th Strings--学习笔记
代码链接:https://github.com/ISCASTEAM/Algorithm字符串数组排序低位优先缺点:字符串要求相同长度高位优先三向快排排序思路:高位优先的,递归排序。之间相等部分去掉首字符继续递归note:大量具有公共前缀的字符串数组的排序//这两部分 我理解比较困难,实现复杂//我就跳过了单词查找树子串搜索正则表达式数据压缩只讨论无损压缩...
2018-12-21 20:35:36
117
原创 Algorithm 4th Graphs--学习笔记
代码链接:https://github.com/ISCASTEAM/Algorithm无向图Graph.h 实现图的API 邻接链表保存边DFS BFS的核心代码应用连通性||单点路径 DFS or BFS单点最短路径 BFS其它:1.连通分量个数 DFS2.检测环 DFS3.双色问题 DFS有向图Digraph.h 实现图的API 邻接链表保存边应用单点可...
2018-12-21 20:34:43
155
原创 Algorithm 4th Searching--学习笔记
代码链接:https://github.com/ISCASTEAM/AlgorithmElementray Tables无序链表key: 插入时间O(1) 查找时间O(N)note: 新元素直接插入链表头部有序数组key:查找使用二分查找key: 插入时间O(N) 查找时间O(lgN)note: 插入元素BinarySearchTree1.基本实现get/put ...
2018-12-21 20:33:53
191
原创 Algorithm 4th Sorting--学习笔记
代码链接:https://github.com/ISCASTEAM/Algorithm1.Elementray SortsSelect sort P156key:选择第i小的元素放入a[i]位置note:运行时间和输入顺序无关Insertion sort P157key:当前索引左边的所有元素是有序的,但是最终位置尚不确定note:运行时间和输入顺序相关(1.部分有序 2.小...
2018-12-21 20:33:06
147
原创 Algorithm 4th Fundmentals--学习笔记
代码链接:https://github.com/ISCASTEAM/Algorithm1.binary searchurl get data练习edu.princeton.cs.algs4 普林斯顿算法 jar包2.dataStructqueue stack bag 链表实现3.Union Find连通集的查找API: union find connectedkey: 辅助数...
2018-12-21 20:32:12
133
原创 红黑树C++实现 Lite版
重构于Algorithm 4th的java 版本实现红黑树查找 插入操作 没有实现删除以及一些其它的API思考:1.nested class作为Node节点，其内部变量的含义都是什么？1.红黑树保持平衡依赖的转换方式？2.三种变换的判断条件是什么？//更详细的在书籍Algorithm 4th中的分类讨论过3.删除操作的有点复杂 就没拿c++重构后面在理解删除的思路实现与测试...
2018-12-09 21:07:49
1192
原创 DQN若干种变型及实现
测试环境 gym cartPole-vo代码实现https://github.com/cuixuage/Reinforcement_Learning/tree/master/Pytorch_basic1.Nature DQN延迟target NetWork更新相当于用前期一定步数的reward来计算当前真实值2.Double DQN为什么我测试效果不如DQN好?https://bl...
2018-10-05 21:14:30
4413
原创 DQN paper 总结
已读paperPlaying Atari with Deep Reinforcement LearningHuman-level control through deep reinforcement learningdeep-Q-NetWork思考1.value-function是如何使用的2.算法伪代码3.异策略 行动策略(产生新样本数据的策略,例如e-greedy) 和 评估策略...
2018-10-02 16:01:49
636
翻译 DeepReinforcementlearning:AnOverview paper总结
Deep Reinforcement Learning: An OverviewIntroduction高维的input-data in learning-control-policies in complex RL environment2,3节 deep RL内容,介绍三种常用的Deep learning结构4节 监督/无监督model in deep RLReinforcement...
2018-09-25 20:09:56
995
原创 CS231n-课程总结
来自斯坦福CS231n课程 李飞飞主讲 我主要是对Notes部分的小总结 包括图像基础,神经网络Backprop,卷积层做了基础的了解 还有参数的调整,解决过拟合的问题等等0_图像基础1.k-Nearest-Neighber: 最相似的前k个元素中 找到属于同一类别最多的label2.高维数据的PCA降维 再使用KNN3.参数K值 向量距离的L1(差值Sum) or L2(差值平方和)定...
2018-09-19 11:04:09
339
原创 CS231n-课程作业总结
来自斯坦福CS231n课程 李飞飞主讲 我主要是对Notes部分的小总结 包括图像基础,神经网络Backprop,卷积层做了基础的了解 还有参数的调整,解决过拟合的问题等等 ·0_图像基础 1.k-Nearest-Neighber: 最相似的前k个元素中 找到属于同一类别最多的label 2.高维数据的PCA降维 再使用KNN 3.参数K值 向量距离的L1(差值Sum) or...
2018-09-12 14:47:01
413
原创 RLAI-第十二章-EligibilityTrace实践
Sarsa(λ)实践 Model-Free先验知识 https://zhuanlan.zhihu.com/p/28108498 1.资格迹定义的来源公式 chapter12 2.定义 E0(s,a)=0 Et(s,a) = γ * λ * Et-1(s,a) + 1 其中(St=s,At=a) 3.引入资格迹的Q值更新公式: Q(s,a) = Q(s,a) + α * {Rt...
2018-09-05 17:02:40
283
原创 RLAI-第六章-TD-Sarsa(0)实践
TD思想中的Sarsa实现 https://zhuanlan.zhihu.com/p/28133594 Sarsa是on-policy的 action初始拥有自己的策略d 我们需要优化策略π 初始情况 1.终止点Reward=1,否则Reward=-1 2.Sarsa需要维护Q(s,a)即state-value函数。在状态S下采取动作A能获取对应value 目的 Ag...
2018-09-04 20:11:25
243
原创 RLAI-第三章-gridWorld实践
第三讲 方格世界 DP 初始情况 1.只有移动到指定位置,Reward=1.否则Reward=-1 2.States-space(4*4 终止的方格+非终止) 3.Action-space(n,e,s,w) 4.转移概率(1/4 感觉这就是相当于指定Action的策略) 5. 折扣因子γ=1 目的 给定某一策略(比如转移概率)，计算每一个方格最终的状态价值 公式 ...
2018-09-04 20:09:52
2235
ELK日志解析初步认识
2016-10-21
PSO粒子群算法+VS2012
2016-10-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人