- 博客(34)
- 资源 (9)
- 收藏
- 关注
RSS订阅
原创 实战07- 模型融合：利用AdaBoost元算法提高分类性能
元算法（meta-algorithm）是对其他算法进行组合的一种方式，即模型融合。模型融合主要分为三种：Bagging、Boosting和Stacking。思想：将弱分类器融合成强分类器，融合后比最强的弱分类器更好。视频导学：https://www.bilibili.com/video/BV1y4411g7ia?p=8参考：https://www.cnblogs.com/hithink/p/6424508.htmlhttps://www.cnblogs.com/rongyux/p/562185
2020-10-05 14:14:29
528
原创 线性回归
线性回归标签（空格分隔）： 机器学习基本形式：给定d个属性的示例 $ x= (x_1 ; x_2 ; \cdots ; x_d) ，其中，，其中，，其中，x_1$ 是 xxx在第个iii属性上的取值。f(x)=ω1x1+ω2x2+⋯+ωnxn+bf(x) = \omega_1x_1 + \omega_2x_2 + \cdots + \omega_nx_n + b f(x)=ω1x1+...
2018-10-18 09:33:52
208
转载 F.cross_entropy 交叉熵损失
https://blog.csdn.net/wuliBob/article/details/104119616 Examples:: >>>import torch.nn.functional as F >>> input = torch.randn(3, 5, requires_grad=True) >>> target = torch.randint(5, (3,), dtype=tor...
2020-06-12 10:23:30
977
转载 syntactic 与semantic 的区别
Syntax是语法上的，Sematic是语义上的。在自然语言范围内举个简单的例子The dog is a man.从syntax上来说，这句话没有错，主谓宾齐全而且各个成分的性和格也没错，但是语义上来说是错的，dog 怎么能是man呢。4楼说的不错，在不同的领域，syntax 和semantic有着不同的对照，但大致关系和自然语言里是差不多的。syntactic，也就是句法，指的是语言的结构，...
2019-06-28 10:12:53
10146
原创 实体识别NER模块理解整理（待进一步更新）
请参考一篇BiLSTM-CRF比较易懂的文章基于上面的链接内容的理解 博客其中的CRF:由于状态转移的限制，能够避免诸如 I 的后面接 B的非法错误。
2019-06-13 21:44:30
455
原创 Paper1 Review《Deep learning》笔记
《Deep learning》三位大佬的review：时间安排学习建议深度学习方法，是通过组合多层次的表示（该表示由每一层简单非线性模块产生），产生更抽象的表示，从而学习到满足要求的复杂函数。监督学习one-hotdataset: 输入数据及其对应标签train: 通过计算目标函数（输出与标签之间的误差），使用BP算法来调整内部的参数（weights）减小误差。梯度下降：...
2019-06-08 23:51:34
256
转载 转 如何理解TensorFlow中的batch和minibatch
如何理解TensorFlow中的batch和minibatch深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。另一种，每看一个数据就算一...
2019-05-13 08:40:49
533
原创 卷积入门指南
卷积，特征图，转置卷积和空洞卷积的计算细节A guide to convolution arithmetic for deep learning根据上面的指南，了解卷积和池化， 卷积算法，池化算法，转置卷积算法，空洞卷积算法。...
2019-05-01 20:30:12
217
转载 数据结构——图
数据结构——图定义：一个图就是一些顶点的集合，这些顶点通过一系列边结对（连接）。著名的图算法（比如广度优先搜索 或者 深度优先搜索）如何描述：有两种主要的方法：邻接列表和邻接矩阵。邻接列表邻接矩阵往这个图中添加顶点的成本非常昂贵，因为新的矩阵结果必须重新按照新的行/列创建，然后将已有的数据复制到新的矩阵中。所以使用哪一个呢？大多数时候，选择邻接列表是正确的。代码：cla...
2019-03-10 19:27:18
681
原创 统计学习--HMM
隐马尔可夫模型的定义：HMM 是关于时序的概率模型，描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列，再由各个状态生成一个观测而产生观测随机序列的过程。(p171)隐藏的马尔可夫链随机生成的状态的序列，称为状态序列。每个状态生成一个观测，而由此产生的观测的随机序列，称为观测序列。序列的每一个位置又可以看作是一个时刻 t。隐马尔可夫模型由初始概率分布(π\piπ)、状态转移概率...
2019-03-10 15:58:42
355
原创 NLP顶会论文
MIT NLP Group http://nlp.csail.mit.edu/research清华NLP http://nlp.csai.tsinghua.edu.cn/site2/index.php/zh/the-news/257-acl2018-ijcai-ecai2018-www2018ACL2018 https://zhuanlan.zhihu.com/p/36847701...
2019-03-02 09:50:05
2723
2
原创 特征值分解：特征值，特征向量，特征向量矩阵
特征值和特征向量特征向量矩阵特征向量矩阵S，由矩阵A的所有线性无关的特征向量按列排列组成的矩阵。特征值矩阵，有矩阵A的所有特征值放在对角线位置组成的对角矩阵。特征值分解的物理意义矩阵的特征值分解目的就是提取出一个矩阵最重要的特征。分解得到的Σ矩阵是一个对角阵，里面的特征值是由大到小排列的，这些特征值所对应的特征向量就是描述这个矩阵变化方向（从主要的变化到次要的变化排列）。通过...
2019-01-19 09:57:26
11770
原创 实战03 分门别类 非此即彼——决策树
适用类型：数值型和标称型。优点：对中间值的缺失不敏感。寻找划分数据集的最好特征——信息增益划分数据集——最大信息增益array类型不具有append()方法，需要强转为list类型。#使用pickle模块存储决策树def storeTree(inputTree, filename):import picklefw = open(filename, ‘wb’, 0)#wb的写入方...
2019-01-07 22:02:06
140
原创 实战06 顶天立地，三分天下——支持向量机SVM
SVM有三宝：间隔，对偶，核技巧。软间隔松弛变量(ζ{\zeta }ζ) or 惩罚因子( C)核函数与松弛变量： 一般的过程应该是这样，还以文本分类为例。在原始的低维空间中，样本相当的不可分，无论你怎么找分类平面，总会有大量的离群点，此时用核函数向高维空间映射一下，虽然结果仍然是不可分的，但比原始空间里的要更加接近线性可分的状态（就是达到了近似线性可分的状态），此时再用松弛变量处理那些少数...
2019-01-07 21:44:57
184
原创 实战01 统揽全局
1.如何选择合适机器学习算法？在选择合适算法之前，需要考虑两个问题：一是算法任务目的是什么，是预测概率还是分类；二是收集的数据是什么，是图片、文本、视频等类型，是否有缺失值和异常值等。可以简单参考一下图表。...
2019-01-04 10:04:06
101
原创 实战04 似是而非，概率大小——朴素贝叶斯
朴素贝叶斯决策论的核心思想：选择高概率对应的类别。贝叶斯概率：先验概率p(c)p(c)p(c) 和后验概率p(c∣x)p(c|x)p(c∣x)贝叶斯准则：p(c∣x)=p(x∣c)p(c)p(x)p(c|x) = \frac{p(x|c) p(c)}{p(x)}p(c∣x)=p(x)p(x∣c)p(c)1 本章的核心是：利用条件概率来分类如果p(c1∣x,y)>p(...
2019-01-03 22:23:22
263
转载 机器学习中输入空间、特征空间、假设空间
容易迷糊的几个概念：输入空间：X输出空间：Y特征空间：每一条样本被称作是一个实例，通常由特征向量表示，所有特征向量存在的空间称为特征空间。特征空间有时候与输入空间相同，有时候不同（例如word embbeding），不同的情况是输入空间通过某种映射生成了特征空间。联合概率分布：两个以上随机变量所组成的随机向量的概率分布称作是联合概率分布。根据对象的类型可分为离散型随机变量以及连续...
2018-12-28 10:21:41
3073
原创 实战02 近朱者赤，近墨者黑——kNN
classify0(待判定的样本向量， 数据集矩阵， 标签向量， k值（选前k个）)sqDiffMat.sum(axis=1) 表示同一行累加（axis=0表示同一列累加）pycharm->Ctrl+A(全选)->Ctrl+Alt+L（格式化代码）shell中 导入模块 import kNNfrom imp import * ————&amp
2018-12-23 15:50:36
234
原创 概率分布基础知识
一、均匀分布期望：取值乘以概率密度函数的累加和或者是积分。方差：EX2−(EX)2{EX^2 - (EX)^2}EX2−(EX)2二、伯努利分布期望，方差推导
2018-12-19 16:38:03
1620
原创 jianzhang
华东师范招生简章 https://yjszs.ecnu.edu.cn/system/bszszyml_list.asp吉林大学2018年招生简章 http://zsb.jlu.edu.cn/Public/uploads/ueditor/file/20171201/1512132579343503.pdf
2018-12-07 10:50:45
265
原创 第10章 第11章，降维与特征选择
第10章 降维与度量学习西瓜书中，补充 推导如下12345 （PCA流程总结）678——————————————————————————————————————第11章 特征选择与稀疏学习...
2018-11-27 12:03:25
144
原创 逻辑回归
回归回归，其直观的理解就是拟合的意思。回归的本质就是我们的预测结果尽量贴近实际观测的结果，或者说我们的求得一些参数，经过计算之后的预测结果尽可能接近真实值。线性回归定义线性回归是一个回归问题，即用一条线去拟合训练数据线性回归的模型： 通过训练数据学习一个特征的线性组合，以此作为预测函数，预测值Y是连续值。 f(x)=ω1x1+ω2x2+⋯+ωnxn+bf(x) = \omega_1...
2018-11-19 18:03:37
124
原创 小技巧
import matplotlib.pyplot as pltfrom sklearn.datasets import fetch_openmlfrom sklearn.neural_network import MLPClassifierfrom pandas import read_csvprint(__doc__)# Load data from https://www.ope...
2018-11-14 15:26:22
916
原创 2.1-2.2 模型评估与选择
误差(error)：学习器的实际预测输出与样本的真实输出之间的差异。训练误差(或经验误差)：学习器在训练集上的误差(training error)、（empirical error）。泛化误差：学习器在新样本上的误差(generalization error）。=> 希望得到泛化误差小的学习器，但能做的是让训练误差尽量小。欠拟合与过拟合，与学习器的学习能力有关。（这里的学习能力是否“...
2018-11-14 14:21:48
217
原创 7.3 朴素贝叶斯分类器
朴素：属性条件独立性假设。即假设每个属性独立地对分类结果发生影响。朴素贝叶斯分类器重写了书中的式(7.8)为：P(c∣x)=P(c)P(x∣c)P(x)=P(c)P(x)∏i=1dP(xi∣c)P(c|x) = \frac{P(c)P(x|c)}{P(x)} = \frac{P(c)}{P(x)}\prod_{i=1}^d P(x_i|c)P(c∣x)=P(x)P(c)P(x∣c)=P(x)...
2018-11-04 20:25:59
417
原创 6.5支持向量回归SVR
西瓜书6.5SVR梳理，到后面的6.6实在看不动了，有浅显易懂的博文、视频欢迎给我评论留言。以下开始简单的推导：第1页第2页 第2页中的画红线部分不太理解，是否意味着点只能在间隔的一边？ 不这么约束是否可以？ ————————————————————————————割————————————————————SVM推导流程的简单概括： ...
2018-10-30 18:55:01
636
原创 6.3-6.4核函数
核函数可以将样本空间映射到更高维的特征空间 ，使得样本在这个特征空间内线性可分。以下根据西瓜书，推导6.3到6.4核函数的相关公式推导第1页第2页 第3页 第4页 ...
2018-10-26 10:01:52
161
原创 6.1-6.2支持向量机SVM 与smo算法
SVM有三宝：间隔、对偶、核技巧。这里针对前两个中的公式做一下推导和理解：第1页 第2页 第3页
2018-10-25 10:54:00
399
1
Sora论文引用文件（Video generation models as world simulators）
2024-02-20
G*Powerwin统计分析资料（入门视频，中文文档）
2018-10-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人