7 taoqick

尚未进行身份认证

暂无相关简介

等级
TA的排名 7k+

数学之美 统计学习方法 信息熵 条件熵 交叉熵 联合熵 相对熵(KL散度) 互信息(信息增益)

条件熵H(Y∣X)=联合熵H(X,Y)−H(X)信息增益I(X,Y)=H(X)−H(X∣Y)=H(X)+H(Y)-H(X,Y),也就是InformationGain,互信息KL散度(相对熵)KL(X,Y)=-H(X)+交叉熵C(X,Y)相对熵的定义:交叉熵的定义:联合熵的定义:条件熵的定义:至于熵为什么是这个定义请参考https://blo...

2019-10-18 11:15:29

分类问题中为什么用交叉熵而不用MSE KL散度和交叉熵的关系

1.引言我们都知道损失函数有很多种:均方误差(MSE)、SVM的合页损失(hingeloss)、交叉熵(crossentropy)。这几天看论文的时候产生了疑问:为啥损失函数很多用的都是交叉熵(crossentropy)?其背后深层的含义是什么?如果换做均方误差(MSE)会怎么样?下面我们一步步来揭开交叉熵的神秘面纱。2.交叉熵的来源2.1信息量一条信息的信息量大小和它...

2019-10-18 11:04:15

谷歌BERT预训练源码解析

转载自以下三篇,注释基本正确https://blog.csdn.net/weixin_39470744/article/details/84373933https://blog.csdn.net/weixin_39470744/article/details/84401339https://blog.csdn.net/weixin_39470744/article/details/846199...

2019-10-16 09:54:53

详解Transformer (Attention Is All You Need)

转载自:https://zhuanlan.zhihu.com/p/48508221http://jalammar.github.io/illustrated-transformer/https://mp.weixin.qq.com/s/WDq8tUpfiKHNC6y_8pgHoA1.Transformer详解1.1高层Transformer论文中的验证Transfor...

2019-10-07 15:37:57

iPhone on Windows 10: “Device is unreachable” SOLVED [Debug]

DisconnectyouriPhone/iPadfromyourcomputer GotoSettingsonyouriOSdevice OpenPhotosandscrolltothebottom Under‘TransfertoMacorPC’,changefromAutomatictoKeepOriginals(“Automa...

2019-09-18 14:30:59

iTunes备份路径Windows[Debug]

有两个可以选择:C:\Users\username\Apple\MobileSync\BackupC:\Users\username\AppData\Roaming\AppleComputer\MobileSync\Backup使用iTunes恢复照片、信息、通讯录还是在的,App的文稿貌似在,但是App需要从AppStore重新load,iPhone的备份功能实在太难用了...

2019-09-17 20:13:05

为什么ROC曲线不受样本不均衡问题的影响

在对分类模型的评价标准中,除了常用的错误率,精确率,召回率和F1度量外,还有两类曲线:ROC曲线和PR曲线,它们都是基于混淆矩阵,在不同分类阈值下两个重要量的关系曲线。在二分类问题中,分类器将一个实例分类为正样本和负样本,全部分类样本可以用一个混淆矩阵来表示。混淆矩阵有四个分类,如下表:对于PR曲线,它是精确率(precision,简称P)和召回率(Recall,简称R)的关系曲线,计...

2019-09-16 17:17:21

TensorFlow LSTM Shape变换

TensorFlow的图对应的shape可以先用print出来debug,拿ptbmodel里面的build_rnn_graph_lstm代码为例:importnumpyasnpimporttensorflowastfclassSmallConfig(object):"""Smallconfig."""init_scale=0.1le...

2019-08-31 18:10:13

leetcode Find Minimum in Rotated Sorted Array I II

Supposeanarraysortedinascendingorderisrotatedatsomepivotunknowntoyoubeforehand.(i.e.,[0,1,2,4,5,6,7]mightbecome[4,5,6,7,0,1,2]).Findtheminimumelement.Youmayassumenodu...

2019-08-24 14:38:34

如何写一个正确的二分法代码

二分原理简单,但是实现起来经常出错,下面一些经验很有用:跨步移动(left=mid+1,right=mid-1)是惯例,跨步移动保证每次搜索范围至少缩小1。如果不跨步,不管left<=right还是left<right都可能死循环,除非能保证提前退出的情况下才可以不跨步移动。 跨步移动的前提下,假设搜索范围是闭区间[0,n-1],left退出范围是[0,n],right是[-1,...

2019-08-22 23:38:50

taoqick 搜索自己CSDN博客

CSDN不能搜自己的博客太难受了,就是能简单contains都行啊,被迫把自己的list都列在这,下次直接在这个页面find就行gitmerge和gitrebase的区别和反思STL源码剖析——deque的实现原理和使用方法详解poj2420广义费马点Powershell美化笔记Pycharm关闭文件右侧检查disablethehighlightinglevelfo...

2019-08-13 17:08:56

taoqick 生成下一篇文章的脚本(偶尔更新)[Debug]

frombs4importBeautifulSoupimporturllibimporturllib.requestdefIsValidTitle(title):blockList=['帝都','windowsanacondaTypeError:LoadLibrary()''[Debug]']...

2019-08-13 16:27:00

windows anaconda TypeError: LoadLibrary() argument 1 must be str, not None [Debug]

最新windowsconda在运行时会报以下错误:λcondainfo-e#>>>>>>>>>>>>>>>>>>>>>>ERRORREPORT<<<<<<<<<<<<&lt...

2019-08-13 11:43:04

git merge和git rebase的区别和反思

在devbranch上执行下面两个命令,都是为了让dev最新的commits放在master最新的commits之后:gitmergemaster gitrebasemaster但是实现的方式有所不同,简单来说,gitmerge执行了一次三方的提交,所以gitmerge是非线性的;gitrebase并没有进行合并操作,只是提取了当前分支的修改,将其复制在了目标分支的最新提交...

2019-08-01 02:02:26

STL源码剖析——deque的实现原理和使用方法详解

Deque简介deque是“double—endedqueue”的缩写,和vector一样都是STL的容器,deque是双端数组,而vector是单端的。deque在接口上和vector非常相似,在许多操作的地方可以直接替换。deque可以随机存取元素(支持索引值直接存取,用[]操作符或at()方法,这个等下会详讲)。deque头...

2019-07-21 16:57:44

poj 2420 广义费马点

题目概述给定一个N边形所有顶点坐标x,y,求其费马点到所有顶点距离和费马点是指到多边形所有顶点距离和最小的点时限1000ms/3000ms输入第一行正整数N,其后N行,每行两个整数x,y,输入到EOF为止限制1<=N<=100;0<=x,y<=10000输出每行一个数,为所求距离和,精确到整数样例输入40001000010...

2019-06-01 21:22:31

Powershell 美化笔记 [Debug]

这个配色还不错,如果对字体不care,不改字体就可以:配色lukesampson/concfg可以用来导入和导出Windows控制台的设置。总之concfg十分方便。安装很简单,首先安装scoopiex(new-objectnet.webclient).downloadstring('https://get.scoop.sh')如果你没有打开运行远程签名的脚本文...

2019-05-30 12:03:41

Pycharm 关闭文件右侧检查 disable the highlighting level for a file [Debug]

Changethehighlightinglevelforafile#Bydefault,PyCharmhighlightsalldetectedcodeproblems.Youcanchangethisbehaviorforthefileyouarecurrentlyworkingwith.Clickinthestatusba...

2019-05-28 16:47:24

node 重新安装依赖模块

rm-rfnode_modulesrmpackage-lock.jsonnpmcacheclear--forcenpminstall

2019-05-01 18:31:49

leetcode n queens 回溯 backtrack 递归 非递归

Then-queenspuzzleistheproblemofplacingnqueensonann×nchessboardsuchthatnotwoqueensattackeachother.Givenanintegern,returnthenumberofdistinctsolutionstothen-queenspu...

2019-04-27 01:05:31

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv1
    勤写标兵Lv1
    授予每个自然周发布1篇到3篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。