- 博客(94)
- 收藏
- 关注
RSS订阅转载 【转载】回归比分类更难吗？
本文转载自：https://cloud.tencent.com/developer/news/60043 里的这篇文章，觉得讲的不错回归问题是指要预测的是一个连续值，例如预测房价或股价；分类问题则是预测样本的类别，例如区分图片是猫还是狗、明天股价会上升还是下降，等等。根据经验，回归模型确实更难调优，有时，将样本真值划分为一系列的区间，然后转变为分类问题，可以取得更好的结果。是什么造成了这种现象呢？从网上的讨论来看，可以归纳为以下几个原因：一、回归问题的损失函数更难选取。回归问题的背后是贝叶斯统计.
2021-12-04 12:01:17
669
原创 工作中的一些思考
AB实验相关ab实验长期开着会有问题，有些实验是会对用户行为产生影响，长期累积下来会导致各组之间不再严格平衡。所以需要定时关闭实验重新开启。
2021-05-10 11:58:30
268
原创 sigmoid/softmax指数运算溢出问题的解决方法
今天用tensorflow的代码的时候，看到了tensorflow中计算crossentropy方法的，不由得赞叹起来开发人员的巧妙构思。顺便捋了一下sigmoid/softmax指数运算溢出问题的解决方法。sigmoid和softmax函数在计算中，都会用到指数运算e−xe^{-x}e−x或者exe^{x}ex，这个时候，如果前一步计算得到的xxx非常小或者非常大的时候，都有溢出的风险，同时在计算cross entropy的时候，也要考虑下溢出，因为如果softmax分子太小近似为0，前面取log.
2020-07-16 15:48:40
2772
原创 git命令个人总结
本文是个基于个人习惯的git命令总结，不图全面。最近的git主要学习自https://learngitbranching.js.org/git reset这个是用来改变branch的指向的git rebasegit rebase 也是用来改变branch或者head指向的，不过其涉及到讲一个分支的commit完全并到另一个分支上面，如果rebase的两个分支有直接的前后继关系，那么相当于reset命令了git checkout这个除了用来切换分支，也是用来改变HEAD指向的git chec.
2020-05-18 23:30:19
266
原创 一道递归/动规易错题的总结
这两天做leetcode发现自己对一个递归/动规的问题容易想错，特此来总结一下总共3道题一个是前几天碰见的面试题，给定一个二叉树还有一个给定的数值，让找到这课二叉树是否有一条路径上的值的和刚好等于给定的值（这里的路径只能从父节点到子节点）Leetcode 1367 这道题是相当于上面的变体，给定一个二叉树还有一个链表，判断二叉树上是否有一条路径刚好等于链表上的那条路径。第三题也是le...
2020-03-03 19:29:54
275
原创 跟mentor交流的一点思考2019.11.25
个人工作和成长方面：在完成一项工作的时候，比较好的状态是，工作有自己的思考和想法，向leader汇报工作，而不是把问题都推给leader，然后leader再指导你怎么做。思考跟具体项目之外的事情，你的leader推动一个事情的时候，他对事情会有一个想法，这个想法也并不是非常准确或者切合的。当你在实际做这个事情的时候，自己也会有些自己的体会和想法，而且也要想到跟这个项目相关的一些东西，自己能不...
2019-11-25 13:33:59
684
原创 又是一点感悟
今天去参加了一个技术人员的聚会，席间基本上以80后的各种前辈居多，跟他们交流也产生了一些感悟，再加上前段时间的一些经历和感悟，特此记录下来。每个人最终职业走向是跟性格有关，闪银奇异的一个技术合伙人说的那样，他本质上就是一个不安分的人，喜欢与人交流，他早期在百度做技术，后来觉得做程序员离时代越来越远了，于是就跳出来去做了两年销售，后来就去闪银奇异。每个人所选择的道路和自己的性格相互选择，相互...
2019-08-04 21:26:26
334
1
原创 一个有趣的面试题：伞兵跳伞问题
这道题是今天同事分享给我们做的，题目挺难的，也挺有意思的，一堆清北的人围在一起讨论了半个多小时，最后还是一个搞过ACM的人想出来了解法。特此把这道题和解法都分享一下。题目描述有n个伞兵从飞机上跳伞，伞兵落地后会昏迷一段时间，等到醒来后能看一眼雷达，雷达上能显示包括自己在内所有人的位置，但是雷达上显示的只是相对位置，没有东南西北这种方向，伞兵看完这一次雷达后就再也不能看了。要求：设计一个策...
2019-03-29 22:46:27
1419
原创 SQL中join加where时的一个小坑
今天工作的时候碰见了一个非常神奇的问题，简单来说我写的SQL是这样的 select f.id, p.id from table1 as f full join table2 as p on f.id = p.id where f.date >= '{}' and p...
2019-01-30 19:46:48
1236
原创 2019年新税法+抵扣项的个人所得税攻击计算器
由于新税法是累进抵扣，所以每月需要缴税的金额也是不一样的，写了个python程序算一下自己每年要交多少个税# -*- coding: utf-8 -*-import matplotlib.pyplot as pltimport numpy as npdef get_rate(m): if m <= 36000: return 0.03 if m <...
2019-01-14 20:38:14
4486
原创 时间特征在深度学习中的表示问题
这几天对于时间序列的预测，需要时间这一特征值，月份，星期等等。对于这些时间序列特征需要怎么去刻画和表示嗯？one-hot方法一个直观想到的方法就是one-hot法，但是仔细考虑一下，one-hot真的适合表示时间序列吗？one-hot适用于的特征应该是分类特征，而且不同类别之间的距离是没有差别的，比如红黄蓝三种颜色，汉字等等用one-hot表示是很好的。但是对于时间序列，5点和6点跟18点...
2018-12-14 14:39:11
2913
3
原创 关于职业生涯，关于认知自我【待续】
今天跟公司的一个资深前辈聊了聊，感觉受益匪浅1.树立正确的职业观念，相较于个人的职业生涯跟一个公司的寿命来说，一般都是个人职业生涯更长一些。而同时一个公司都有自己的优势和局限，像我司的优势一个是人（清北人占绝大多数）其次是文化，但是局限也很明显，就是技术深度，数据量等都不能算业界顶尖。所以这会导致在一个公司呆久了早晚会遇到瓶颈。比如在我的这个广告组，可能2~3年就会遇到瓶颈。怎么去突破这些平...
2018-12-07 12:55:49
890
8
原创 Python使用try...except...输出详细错误
当Python的语段用了try...except...方式之后，就一直不太知道怎么定位到详细的程序crush位置，这两天程序需要用到这方面，于是就查了一下。需要使用traceback包import tracebacktry: #以除0错误为例 3/0except Exception, e: #这个是输出错误类别的，如果捕捉的是通用错误，其实这个看不出来什么 prin...
2018-11-26 13:45:02
43260
2
原创 前辈们给的建议和感受
这两天入职培训外加跟自己的manager和priciple manager 1 on 1的交流，有不少的感悟，这里记录一下。不要满足与做好基本的工作做好基本的工作只是一个底线，只是说明你现在的能力能够与你现在的职位相匹配。如果想要升职加薪，就必须做的要比现在的工作要多。只有证明你拥有比现在职位还要高的能力，才能promote 这点我确实需要反思一下，最近确实经常沾沾自喜于自己能够...
2018-08-15 07:20:58
597
原创 pandas的SettingWithCopyWarning警告出现的原因和如何避免
这段时间一直在用pandas，今天运行前人代码发现报了一个warning： SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame See the caveats in the documentation: http://pandas.pydata.org...
2018-07-31 01:17:28
206481
9
原创 IDEA变量断点设置方式
最常见的断点方式是 行断点，而有时候我们需要在debug的时候，当一个变量的值发生变化时，程序中断，这样就需要 变量断点这种方式的断点了。 但是查了下中文的资料，发现并没有相关的文中讲IDEA如何设置变量断点，google了一下，第一条就是IDEA的官方文档【还是google好用啊】官方文档将变量断点命名为：field watchpoints【中文应该翻译为：现场观察点？】 官方文档中提供
2018-03-15 19:55:34
3479
1
原创 数据库获取时间的时区问题以及getTimestamp和getDate的坑
今天程序中需要用到对数据库时间的获取，数据库在美国，用的是UTC时区，客户端在中国，用的时GMT+8时区，但是发现用getTime和getTimestamp时候获取日期时得到的时间不一致。于是就看了下JDBC的源码了解了这个Bug或者说Feature的原理。 就是getTimestamp这个函数比如在数据库连接的url里面加入useTimezone = true这个参数才可以转换时区，...
2018-03-08 20:18:52
14730
原创 DBCP何时初始化的一个小坑
因为目前的项目要频繁获取数据库连接，发现这块已经成为了时间瓶颈，所以考虑可以引入数据库连接池。查了下参考资料，考虑采用DBCP这种数据库连接池。但是实际上使用的时候，发现在程序首次去获取数据库连接池的连接时，时间还是很长，看了下时间发现应该就是数据连接池初始化和建立连接的时间。 当时就非常疑惑，难道在设置初始化的时候，数据库连接池没有建立连接吗？ google搜了官方说明文档，在setInit
2018-03-07 11:24:22
851
1
原创 【数学】康托对于实数集大于自然数集的对角线证法
今天看刘大可的混乱博物馆的一期提到了GEB那本书，然后提到了康托的对角线证明，但是当时没有立马明白过来，下来看了下资料才明白。康托的对角线证明法，证明的是实数集合是要大于自然数集合的无穷集合的大小比较对于有穷集合，可以数集合中元素的个数，然后比较大小，对于无穷集合的大小比较这种方法就不能用了，需要找到元素之间的一一对应关系。 其实对于有穷集合的数个数比较，本质上也是相当于将集合中每一个元素与每一
2017-10-21 16:25:39
9118
原创 【读论文】Attentive Collaborative Filtering【待完成】
《Attentive Collaborative Filtering: Multimedia Recommendation with Feature- and Item-level Attention 》是今年SIGIR上的一篇关于Attention Model用于推荐系统CF上的方法Abstract这部分作者首先说对于多媒体信息，多为0/1信息（照片的点赞，歌曲的下载，视频的观看），相较于需要f
2017-10-15 23:55:11
2769
原创 【机器学习】关于CNN中1×1卷积核和Network in Network的理解
前天去面某公司的AI部门，被问到了关于1×1卷积核的相关问题，因为之前没有了解过，所以也没有答上来，回来查阅了相关资料，特此总结一番。1×1的卷积核卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的，见下图，这里不多赘述 那么1×1的卷积核，就像上面那样。 一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个ww去乘以原图像上的每一个像素点，相当于做了一个scali
2017-08-10 20:35:45
24172
6
原创 推荐系统研究相关的数据集
因为最近要做一些关于推荐系统相关的研究，所以查阅了一些资料，总结一下市面上能用到推荐系统研究方面的常用公开数据集。作者：张昭 haolexiaoJester在线笑话评分数据集这个数据集是Jester这个伯克利专门用来收集数据集的在线笑话网站http://eigentaste.berkeley.edu/，类似于外文的糗事百科，不过更侧重于冷笑话。然后每个笑话展示后用户可以依据好笑程度打分。然后伯克利
2017-07-27 18:04:02
2938
原创 【数学】用信息论去解决「小白鼠试毒」问题
试毒问题非常经典，最早是在本科时候人人上看到的，是最基础的1000个试剂，有一个是有毒的，一点就会死去，而且一个小白鼠只能试一次，问最少几个小白鼠能够找出哪瓶是有毒的。后来陆陆续续又看到了一些关于这方面的题，发现这个本质上相当于信息论中关于信息编码长度的问题。通用方法是讲试剂中哪瓶是毒品的信息总数表示出来为N，然后再找出小白鼠所能表示的状态数目为M，则需要的小白鼠个数为：K=logNMK =log
2017-06-02 12:49:49
7931
原创 【机器学习】softmax函数总结
原本以为softmax函数求导没啥难度的，结果自己写CNN的时候，梯度算的一直不对，查了半天才发现是因为softmax求导没求对。索性就开一篇Blog把softmax相关的都给记录一下。softmax的定义softmax函数如下： aLj=ezLj∑kezLka_j^L = \frac{e^{z_j^L}}{\sum_k e^{z_k^L}} 其可以看成sigmoid函数在多元分布中的一个推广
2017-05-25 21:13:16
17879
原创 CNN中的梯度的求法和反向传播过程
写这个起因是前段时间面试的时候被问到了CNN中反向传播该怎么求，我说直接算就好了呀，面试官让我下来再看看。之后问了下舍友，舍友说需要去把卷积核旋转180°来反向传播，然后我就赶紧查了下相关资料，发现还是非常interesting的。【不过这种本质上还是链式法则直接求的结果，只是形式上会比较tricky】卷积神经网络（Convolutional Neural Network）关于卷积神经网络的相关介
2017-05-22 22:35:00
13581
1
原创 再生核希尔伯特空间（RKHS）和核函数
之前看SVM核函数相关的问题，总是会碰到再生核希尔伯特空间（Reproducing Kernel Hilbert Space, RKHS）不过一直没有太仔细了解过到底是指的什么，前几天研究了一下。希尔伯特空间先来说一下什么是希尔伯特空间。 这个概念听起来高大上，其实是个非常简单的概念。 先说什么是线性空间线性空间线性空间即定义了数乘和加法的空间。这个就是具有线性结构的空间。 有了线性空间的概
2017-05-15 17:48:51
44501
14
原创 【机器学习】Kernel Logestic Regression 和Kernel SVM
之前一篇文章【机器学习】Linear SVM 和 LR 的联系和区别讲了线性SVM和常规LR的关系和优缺点。结果今天想研究一下Kernel logistic regression（以下简称KLR），结果发现相关的中文资料几乎没有啊， SVMww是xix_i的线性组合是使用Kernel的关键所在。 比如SVM，其最佳ww来源于xix_i的线性组合 w∗=∑i=1n(αiyi)xiw^* = \s
2017-04-26 22:14:50
2139
2
原创 【算法】2SUM/3SUM/4SUM问题
之前就总结过一些Leetcode上各种sum问题，今天再拿出来完整得总结一番。 nSUM问题是指，在一个数组中，找出n个数相加和等于给定的数，这个叫做nSUM问题。 常见的有2SUM，3SUM，4SUM问题，还有各种SUM问题的变种. Leetcode上SUM问题包括： 1. 2SUM 15. 3Sum 16. 3Sum Closest 18.
2017-04-26 01:21:50
23708
1
原创 【算法】A*算法与启发函数
写这篇是因为看到国外一篇讲的巨好的关于A*算法的文章——Introduction to A*。图文并茂，而且讲了一些A*算法的来龙去脉，有些观点也醍醐灌顶啊，所以赶紧来总结一下。A*算法为什么叫这个名这个从wiki上看来的，一开始是57年提出的Dijkstra算法，然后64年Nils Nilsson提出了A1算法，是一个启发式搜索算法，而后又被改进成为A2算法，直到68年，被Peter E. Ha
2017-04-20 22:22:42
14836
2
原创 【机器学习】贝叶斯角度看L1，L2正则化
之前总结过不同正则化方法的关系【不过那篇文章被吞了】当时看的资料里面提到了一句话就是：正则化等价于对模型参数引入先验分布，而L1正则化相当于参数中引入拉普拉斯分布先验，而L2分布则相当于引入了高斯分布先验。当时这这句话不是很理解，今天又找了一下相关的资料研究了一下。贝叶斯学派和频率学派要解释上面的问题，需要先区别一下贝叶斯学派和频率学派的区别。 本质上频率学派和贝叶斯学派最大的差别其实产生于对
2017-04-19 21:42:53
9822
3
原创 【机器学习】生成模型和判别模型
上篇文章提到了Linear SVM 和 LR 的联系和区别，提到了它们都是判别模型。但是什么是判别模型呢，与其相对应的生成模型又有哪些呢。本文来总结一下。以下部分主要参考了李航那本《统计学习方法》判别模型和生成模型都是指监督学习下的模型，监督学习模型本质上就是求决策函数： Y=F(X)Y=F(X) 或者条件概率分布： P(Y|X)P(Y|X) 而求解过程又可以分为判别方法和生成方法生成模型
2017-04-18 01:24:05
4102
2
原创 【机器学习】Linear SVM 和 LR 的联系和区别
今天看到别人问这个问题，突然想到自己也对这两个经典的线性分类器没有太过区别其异同，所以特此翻阅了一下资料总结了一番。以下理论部分主要参考了LR与SVM的异同这篇文章LR和Linear SVM的相同点都是监督的分类算法都是线性分类方法 另外这里需要说的就是LR也是可以加核函数的至于为什么不用，是原因的，后面再说。都是判别模型 判别模型和生成模型是两个相对应的模型。 判别模型是直接生成一个
2017-04-16 03:05:11
14050
1
原创 【算法】O(1)空间，不改变原数组的情况下找第K大的数
找到无序数组中第K大的数，这道题蜜汁经典，腾讯和头条的面试中都被问到了，我一般用的都是大小为K的小顶堆和快排扫一半这两种思路做这道题，直到前几天面试头条的时候，终面面试官问，有没有O(1)O(1)空间【严格的O(1)O(1)空间，即不能用递归】且不改变原数组的情况下，找第K大的数。当场没有想起来，下来之后突然就想到了。所以特此来总结一下。找数组第K大的数 ，Leetcode上有一道原题： 215
2017-04-15 16:35:48
2758
1
原创 【机器学习】信息量，信息熵，交叉熵，KL散度和互信息（信息增益）
首先先强烈推荐一篇外文博客Visual Information Theory这个博客的博主colah是个著名的计算机知识科普达人，之前非常著名的那篇LSTM讲解的文章也是他写的。这篇文章详细讲解了信息论中许多基本概念的来龙去脉，而且非常的直观用了大量的图片，和形象化的解释。信息量信息量用一个信息所需要的编码长度来定义,而一个信息的编码长度跟其出现的概率呈负相关,因为一个短编码的代价也是巨大的,因为
2017-04-12 15:20:34
27033
15
原创 【算法】Trie数（前缀树/字典树）简介及Leetcode上关于前缀树的题
前几天同学面今日头条被问到了Trie树，刚好我也对于Trie树这种数据结构不是很熟悉，所以研究了一下前缀树，然后把Leetcode上关于前缀树的题都给做了一遍。Leetcode上关于前缀树的题有如下：208. Implement Trie (Prefix Tree)这道题是实现一个前缀树，作为基础题啦Add and Search Word - Data structure design这道题是
2017-04-04 22:29:47
7865
原创 最大子串和问题及其变形
今天英文面试的时候碰见的题目，倒是不难，就是稍微变形之后，一时没想起来。n天股票价格的信息，只能买卖一次，问什么时候买卖利润最大。这道题真的是太过经典了，但是面试的时候虽然答出来了，但是解释的不是很好，一方面是因为英文面试所以不是很擅长表述，另外一方面解释的不够有逻辑性，认为面试官很多都知道的。可以如下解释：这道题给形式化之后相当于找出一个i,j（i< j）使得nums[j]-nums[i]值最
2017-03-30 19:05:30
466
原创 从矩阵乘法的不同计算方式来看局部性原理
今天碰到的关于矩阵乘法不同情况下运算速度的问题，隐约记得是因为缓存的问题，后来突然想起来CSAPP那本书上讲过这个东西的，就是通过矩阵乘法三重循环的不同顺序来讲的局部性原理的，所以翻过来又看了一下。两个矩阵A,B相乘得到C【为了方便起见，把它们都看成n*n的方阵】经典的做法就是用三重循环来实现，但是具体这三重循环如何进行排列，就非常的有讲究。 假设n是一个非常大的数,也就意味着如果跨行的话,必然
2017-03-28 20:38:19
2719
1
原创 【算法】矩阵的快速幂以及利用快速幂去解题
易老师购买了一盒饼干，盒子中一共有k块饼干，但是数字k有些数位变得模糊了，看不清楚数字具体是多少了。易老师需要你帮忙把这k块饼干平分给n个小朋友，易老师保证这盒饼干能平分给n个小朋友。现在你需要计算出k有多少种可能的数值 输入描述: 输入包括两行：第一行为盒子上的数值k，模糊的数位用X表示，长度小于18(可能有多个模糊的数位)第二行为小朋友的人数n输出描述: 输出k可能的数值种
2017-03-27 10:57:36
2130
原创 【数学】时间复杂度O(1)的离散采样算法—— Alias method/别名采样方法
因为需要用到Alias Sampling Method的方法，但是查了一下，发现没有找到靠谱的关于Alias Method的中文介绍，所以干脆自己写一个好了。 关于Alias Method的介绍的比较好的是一个外国Blog：Darts, Dice, and Coins: Sampling from a Discrete Distribution，以下的介绍也主要参考这篇Blog里的算法。
2017-03-24 09:52:40
29816
10
原创 C++从虚函数表的底层来看虚函数调用问题
原本以为自己对虚函数掌握的还可以，结果前几天面试的时候被问了一个构造和析构函数里调用虚函数的问题，结果就给答错了。
2017-03-23 13:43:54
1438
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人