- 博客(43)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 机器学习系列27-循环神经网络RNN(Ⅱ)
Recurrent Neural Network(Ⅱ)上一篇文章介绍了RNN的基本架构，像这么复杂的结构，我们该如何训练呢？Learning TargetLoss Function依旧是Slot Filling的例子，我们需要把model的输出yiy^iyi与映射到slot的reference vector求交叉熵，比如“Taipei”对应到的是“dest”这个slot，则reference vector在“dest”位置上值为1，其余维度值为0RNN的output和reference vec
2020-08-05 12:19:10
1846
1
原创 机器学习系列26-循环神经网络(Ⅰ)
Recurrent Neural Network(Ⅰ)RNN，或者说最常用的LSTM，一般用于记住之前的状态，以供后续神经网络的判断，它由input gate、forget gate、output gate和cell memory组成，每个LSTM本质上就是一个neuron，特殊之处在于有4个输入：zzz和三门控制信号ziz_izi、zfz_fzf和zoz_ozo，每个时间点的输入都是由当前输入值+上一个时间点的输出值+上一个时间点cell值来组成IntroductionSlot Filli
2020-07-30 16:29:32
2464
原创 机器学习系列25-支持向量机
Support Vector Machine支持向量机(SVM)有两个特点：SVM=铰链损失(Hinge Loss)+核技巧(Kernel Method)注：建议先看这篇博客了解SVM基础知识后再看本文的分析Hinge LossBinary Classification先回顾一下二元分类的做法，为了方便后续推导，这里定义data的标签为-1和+1当f(x)>0f(x)>0f(x)>0时，g(x)=1g(x)=1g(x)=1，表示属于第一类别；当f(x)<0f(x)&l
2020-07-30 16:27:36
1143
原创 机器学习系列24-迁移学习
Transfer Learning如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！更多优质内容欢迎关注我的微信公众号“Sakura的知识库”：迁移学习，主要介绍共享layer的方法以及属性降维对比的方法Introduction迁移学习，transfer learning，旨在利用一些不直接相关的数据对完成目标任务做出贡献not directly related以猫狗识别为例，解释“不直接相关”的含义：input domain是类似的，但task是无
2020-07-12 21:03:04
1739
原创 机器学习系列23-无监督学习之生成模型
Unsupervised Learning: Generation如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！更多优质内容欢迎关注我的微信公众号“Sakura的知识库”：本文将简单介绍无监督学习中的生成模型，包括PixelRNN、VAE和GAN，以后将会有一个专门的系列介绍对抗生成网络GANIntroduction正如Richard Feynman所说，“What I cannot create, I do not understand”，我无法创造的东
2020-07-12 21:02:02
2009
原创 机器学习系列22-无监督学习之自编码器
Unsupervised Learning: Deep Auto-encoder如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！更多优质内容欢迎关注我的微信公众号“Sakura的知识库”：文本介绍了自编码器的基本思想，与PCA的联系，从单层编码到多层的变化，在文字搜索和图像搜索上的应用，预训练DNN的基本过程，利用CNN实现自编码器的过程，加噪声的自编码器，利用解码器生成图像等内容IntroductionAuto-encoder本质上就是一个自我压缩和解压的
2020-07-12 21:00:23
1735
原创 机器学习系列21-无监督学习之近邻嵌入
Unsupervised Learning: Neighbor Embedding如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！更多优质内容欢迎关注我的微信公众号“Sakura的知识库”：本文介绍了非线性降维的一些算法，包括局部线性嵌入LLE、拉普拉斯特征映射和t分布随机邻居嵌入t-SNE，其中t-SNE特别适用于可视化的应用场景PCA和Word Embedding介绍了线性降维的思想，而Neighbor Embedding要介绍的是非线性的降维Manif
2020-07-12 20:58:39
781
原创 机器学习系列20-无监督学习之词嵌入
Unsupervised Learning: Word Embedding如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！更多优质内容欢迎关注我的微信公众号“Sakura的知识库”：本文介绍NLP中词嵌入(Word Embedding)相关的基本知识，基于降维思想提供了count-based和prediction-based两种方法，并介绍了该思想在机器问答、机器翻译、图像分类、文档嵌入等方面的应用Introduction词嵌入(word embedding
2020-07-06 21:15:27
1686
原创 机器学习系列19-矩阵分解&推荐系统初步
Matrix Factorization如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！辛苦整理码字不易，免费分享给大家，也希望大家能帮忙点一点链接，给我更多的更新动力！本文介绍矩阵分解思想及其在推荐系统上的应用，分析用户背后的隐藏属性并预测其行为Introduction接下来介绍矩阵分解的思想：有时候存在两种object，它们之间会受到某种共同潜在因素(latent factor)的操控，如果我们找出这些潜在因素，就可以对用户的行为进行预测，这也是推荐系统
2020-07-03 10:11:02
794
原创 机器学习系列18-无监督学习之PCA深入探讨(Ⅱ)
Unsupervised Learning: PCA(Ⅱ)如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！辛苦整理码字不易，免费分享给大家，也希望大家能帮忙点一点下图链接，给我更多的更新动力！本文主要从组件和SVD分解的角度介绍PCA，并描述了PCA的神经网络实现方式，通过引入宝可梦、手写数字分解、人脸图像分解的例子，介绍了NMF算法的基本思想，此外，还提供了一些PCA相关的降维算法和论文Reconstruction Component假设我们现在考虑的是手
2020-07-02 13:46:52
2733
原创 机器学习系列17-无监督学习之PCA推导(Ⅰ)
Unsupervised Learning: PCA(Ⅰ)如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！辛苦整理码字不易，免费分享给大家，也希望大家能帮忙点一点链接，给我更多的更新动力叭！本文将主要介绍PCA算法的数学推导过程上一篇文章提到，PCA算法认为降维就是一个简单的linear function，它的input x和output z之间是linear transform，即z=Wxz=Wxz=Wx，PCA要做的，就是根据xxx把W给找出来(zzz未知
2020-07-02 13:43:54
1124
原创 机器学习系列16-无监督学习引言
Unsupervised Learning: Introduction如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！辛苦整理码字不易，免费分享给大家，也希望大家能帮忙点一点链接，给我更多的更新动力叭！Unsupervised Learning无监督学习(Unsupervised Learning)可以分为两种：化繁为简聚类(Clustering)降维(Dimension Reduction)无中生有(Generation)对于无监督学习(Un
2020-06-29 22:02:54
1047
原创 机器学习系列15-半监督学习
如果本文对你有帮助，请给我的github打个star叭辛苦整理码字不易，免费分享给大家，也希望大家能帮忙点一点下面的图片，给我更多的更新动力叭！半监督学习(semi-supervised learning)1、introduction2、Semi-supervised Learning for Generative Model3、Low-density Separation Assumption：非黑即白4、Smoothness Assumption：近朱者赤，近墨者黑5、Better R
2020-06-28 08:24:13
2399
1
原创 python类变量、实例变量和私有变量的区别
Python支持面向对象编程，对于一个class类，具有两种类型的成员，一种是变量，另一种是方法(也就是我们平常所说的函数)。所谓的类，指的就是同一个类型的事物，是一个抽象的概念；而所谓实例，就是这个类型中的其中一样具体的事物。假设我有这样一个类：class A: test='this is the test' # 类变量 def __init__(self, name, age): self.name = name # 实例变量 self.__age =
2020-06-05 14:31:21
606
原创 机器学习前沿算法介绍
上一篇推文介绍了机器学习领域比较常见的几种算法，除此之外，随着人工智能深度学习技术的飞速发展，也涌现了不少前沿研究和新的算法，本文会对上一篇推文进行简要回顾，并扩展介绍一些前沿算法机器学习算法回顾机器学习的本质就是寻找一个函数，它根据某种统计意义来预测现实中已发生或即将发生的现象，这个函数可以相当复杂，它也许具有上千万个参数，以至于根本没有人能够把这个函数的数学表达式给手写出来，但幸运的是，机器可以。给机器指定明确的任务当然机器是很笨的，你要给机器指派任务，首先要做的就是明确自己要找什么样的函.
2020-06-03 22:22:17
4067
原创 机器学习实战项目汇总
ML assignments, about Regression, Classification, CNN, RNN, Explainable AI, Adversarial Attack, Network Compression, Seq2Seq, GAN, Transfer Learning, Meta Learning, Life-long Learning, Reforcement Learning. It will be challenge but cheerful work!Learnin.
2020-05-29 13:01:40
1827
原创 机器学习笔记汇总
ML-notesnotes about machine learning很喜欢一句话：应用之道，存乎一心，与大家共勉ps：如果我的笔记对你有帮助，给个star叭！ML配套Assignments (ppt+code)：https://github.com/Sakura-gh/ML-assignments内容包括：Regression, Classification, CNN, RNN, Explainable AI, Adversarial Attack, Network Compression,
2020-05-29 12:58:31
2191
原创 pyqt5如何在同一个窗口下切换不同界面
问题的提出和基本前提网上找了半天也没发现什么靠谱的解答，自己捣鼓着花费了好几个小时，总算是发现了两种能用的方法，先假设一下使用的场景：现在窗口的右半部分有两个界面想要切换显示我们主体窗口的控件为self.main_widget，网格布局为self.main_layout，分为左右两部分：布局的左半部分为self.left_widget，它的作用是导航栏(标签和按钮)，因此有一个就足够了布...
2020-04-17 11:44:11
20967
21
原创 DP动态规划
DP动态规划的本质就是：求出规模为n的问题所需要的所有小规模问题的解，然后把该问题分解成两个小规模问题(考虑所有分解的情况)，根据之前得到的解再加上小规模问题合并的代价得到这一种分解的答案，综合考虑所有的分解答案，取最优解遍历并先后求解规模为i的问题，其中i=1~N比如先求出规模为1的问题，再去求规模为2的问题(利用已有的规模为1的问题的答案)，然后去求规模为3的问题(利用已有的规模为1和2的...
2020-04-10 20:24:37
602
原创 带有Alpha-Beta剪枝的Minimax(回溯分析)
带有Alpha-Beta修剪的Minimax极小极大算法是一种在两人游戏中寻找最佳移动的方法。 Alpha-beta修剪是一种找到最佳minimax解决方案的方法，同时可以避免搜索不会被选择的动作子树。在两人游戏的搜索树中，有两种节点，一种代表您的 举动，另一种代表对手的举动。代表您的移动的节点通常绘制为正方形（或可能是朝上的三角形）： 这些也称为MAX节点。MAX节点的目标是最大化...
2020-04-04 11:02:07
1051
1
原创 C++ STL有关集合set相加、相减、求交集的操作
求两个集合的和(并集)、差、交集set库提供set容器，iterator库提供迭代器，algorithm库提供集合操作(故也可以对其他容器进行集合操作)#include <iostream>#include <set>#include <iterator>#include <algorithm>using namespace std...
2020-04-02 11:17:56
5451
原创 机器学习系列14-为什么要做“深度”学习
Why Deep?如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！本文主要围绕Deep这个关键词展开，重点比较了shallow learning和deep learning的区别：shallow：不考虑不同input之间的关联，针对每一种class都设计了一个独立的model检测deep：考虑了input之间的某些共同特征，所有class用同个model...
2020-02-22 23:26:19
2172
4
原创 机器学习系列13-深度学习的技巧和优化方法
Tips for Deep Learning本文共12829字，手打不易，如果对你有帮助，请给我的github打个star吧，上面附有全系列文章和目录本文会顺带解决CNN部分的两个问题：1、max pooling架构中用到的max无法微分，那在gradient descent的时候该如何处理？2、L1 的Regression到底是什么东西本文的主要思路：针对training set和t...
2020-02-21 16:58:56
2316
6
原创 机器学习系列12-卷积神经网络CNN part2
Convolutional Neural Network part2如果本文对你有帮助，请给我的github打个star叭，上面附有全系列目录和内容！人们常常会说，deep learning就是一个黑盒子，你learn完以后根本就不知道它得到了什么，所以会有很多人不喜欢这种方法，这篇文章就讲述了三个问题：What does CNN do？Why CNN？How to design CNN?...
2020-02-19 14:30:28
2374
1
原创 机器学习系列11-卷积神经网络CNN part1
Convolutional Neural network(part 1)CNN常常被用在影像处理上Why CNN for Image？CNN V.s. DNN我们当然可以用一般的neural network来做影像处理，不一定要用CNN，比如说，你想要做图像的分类，那你就去train一个neural network，它的input是一张图片，你就用里面的pixel来表示这张图片，也就是...
2020-02-18 10:39:59
5495
4
原创 机器学习系列10-手写数字识别(Keras2.0)
Keras2.0Why Keras你可能会问，为什么不学TensorFlow呢？明明tensorflow才是目前最流行的machine learning库之一啊。其实，它并没有那么好用，tensorflow和另外一个功能相近的toolkit theano，它们是非常flexible的，你甚至可以把它想成是一个微分器，它完全可以做deep learning以外的事情，因为它的作用就是帮你算微分，...
2020-02-15 15:41:21
2818
4
原创 机器学习系列9-反向传播
BackpropagationBackpropagation(反向传播)，就是告诉我们用gradient descent来train一个neural network的时候该怎么做，它只是求微分的一种方法，而不是一种新的算法Gradient Descentgradient descent的使用方法，跟前面讲到的linear Regression或者是Logistic Regression是...
2020-02-14 13:43:32
2545
1
原创 机器学习系列8-深度学习简介
Deep LearningUps and downs of Deep Learning1958：Perceptron(linear model)，感知机的提出和Logistic Regression类似，只是少了sigmoid的部分1969：Perceptron has limitation，from MIT1980s：Multi-layer Perceptron，多层感知机...
2020-02-13 18:05:48
2831
1
原创 机器学习系列7-逻辑回归
Logistic RegressionReview在classification这一章节，我们讨论了如何通过样本点的均值uuu和协方差Σ\SigmaΣ来计算P(C1),P(C2),P(x∣C1),P(x∣C2)P(C_1),P(C_2),P(x|C_1),P(x|C_2)P(C1),P(C2),P(x∣C1),P(x∣C2)，进而利用P(C1∣x)=P(C1)P(x∣C1)P(C1)P...
2020-02-12 23:23:09
3339
1
原创 机器学习系列6-分类问题(概率生成模型)
Classification: Probabilistic Generative ModelClassification概念描述分类问题是找一个function，它的input是一个object，它的输出是这个object属于哪一个class还是以宝可梦为例，已知宝可梦有18种属性，现在要解决的分类问题就是做一个宝可梦种类的分类器，我们要找一个function，这个function的inp...
2020-02-11 23:32:38
5798
4
原创 机器学习系列5-梯度下降法
Gradient DescentReview前面预测宝可梦cp值的例子里，已经初步介绍了Gradient Descent的用法：In step 3, we have to solve the following optimization problem:θ∗=argminθL(θ)\theta^{*}=\arg \underset{\theta}{\min} L(\theta) \q...
2020-02-10 22:21:25
3527
2
原创 用pyinstaller打包pyqt5下的GUI python程序(含图片资源和qss文件)
pyinstaller的用法网上传的很多，实际上大家最关心的问题是，怎么把图片文件、qss样式表等不是以.py结尾的文件统统打包到一个.exe里这里我尝试了多种方法，总结出了一种有效的途径首先介绍一下pyinstaller的特点，它会去寻找并打包那些依赖项以及你给出的.py文件，而对于图片文件，如.jpg、.png；qss样式文件，如.qss等，pyinstaller是不会帮你打包进exe的，...
2020-02-04 22:28:50
2691
2
原创 Qss的使用(pyqt)
Qss的使用(pyqt)qss通过selector:declaration设置其属性参数等引用qss文件我们在本地创建一个qss文件，然后在代码中加载即可QFile qss("testqss.qss");qss.open(QFile::ReadOnly);qApp->setStyleSheet(qss.readAll());qss.close();或者with open(...
2020-02-03 14:14:26
2247
1
原创 Python(pyqt5)利用按钮打开文件并将内容显示在文本框中
QFileDialog是一个打开文件或者文件夹选择对话框一般我们使用的方法是：单个文件打开 QFileDialog.getOpenFileName()具体参数如下：QFileDialog::getOpenFileName (QWidget * parent = 0,const QString & caption = QString(), const QString & ...
2020-02-03 00:35:28
24163
6
原创 计算机组成笔记2——指令系统体系结构(MIPS)
2、指令系统体系结构2.1 设计自己的计算机运算类指令ADD R,M：将寄存器R中的数和一个存储器M中的数相加，然后存到这个寄存器R中传送类指令LOAD R,M：把存储器M中的内容，加载到寄存器R中STORE M,R：把寄存器R中的数存入到存储器M中转移类指令JMP L：无条件转向L处CPU是从内存中，按照地址依次(本质是计数器累计取值)取出指令开始执行的，如果想改变取指令的位置...
2020-02-02 00:35:43
6832
原创 计算机组成笔记1——计算机基本结构
1、计算机基本结构1.1 电子计算机的兴起现代电子计算机之父：冯-洛伊曼1946.2.14 世界上第一台通用电子计算机ENIAC 在宾夕法尼亚大学诞生1939 世界上第一台电子计算机ABC 阿塔纳索夫-贝里计算机冯诺依曼指出，ENIAC的开关定位和转插线只不过代表着一些数字信息，完全可以像受程序管理的数据一样，存放于主存储器中(存储程序的概念)1945 宾夕法尼亚大学 冯诺依曼所著的《...
2020-01-31 14:17:20
1827
原创 windows下配置flask和nginx(vscode)
windows下配置flask和nginx(vscode)开发背景近期在windows环境下捣鼓flask、nginx等环境的配置，希望能够自己建一个前后端开发的网站，网上搜集到的资料大多是linux环境下的配置，并且清一色地都是用pycharm作为开发工具但是作为一名准程序员，vscode可谓是全能的开发工具，既能够开发c/cpp的程序，又可以写html、css、JavaScript的代码...
2020-01-30 18:58:34
1836
1
原创 机器学习系列4-模型的误差来源及减少误差的方法
Where does the error come from?Review之前有提到说，不同的function set，也就是不同的model，它对应的error是不同的；越复杂的model，也许performance会越差，所以今天要讨论的问题是，这个error来自什么地方error due to biaserror due to variance了解error的来源其实是很重要的...
2020-01-26 18:44:41
4867
2
原创 梯度下降代码举例：Gradient Descent Demo(Adagrad)
Regression：linear model这里用的是 Adagrad ，接下来的课程会再细讲，这里只是想显示 gradient descent 实作起来没有想像的那么简单，还有很多小技巧要注意这里采用最简单的linear model：y_data=b+w*x_data我们要用gradient descent把b和w找出来当然这个问题有closed-form solution，这个b...
2020-01-23 15:17:09
4773
6
sublime text3插件管理package_control.rar
2020-01-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人