- 博客(41)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 kaggle-(digit recognizer)
URL : https://www.kaggle.com/greenarrow2018/minist-recognizer-with-cnn-with-0-996-acurracy本来的做法是直接使用CNN对原始数据做分类。效果也还可以。阅读了 Another Solution : https://www.kaggle.com/alifrahman/digit-recognizer...
2020-09-19 22:25:16
118
原创 Astar Algorithm
参考文献：https://www.gamedev.net/reference/articles/article2003.asp这篇东西写的贼好。介绍A*算法主要用于寻路，比如游戏中的自动寻路系统。比其他算法优越的地方就在于他缩小了搜索空间。像迪杰斯特拉弗洛伊德算法这些都只是考虑了到原点的距离，他没有考虑到终点的代价，而且求出了很多不太必要的信息。如果我们仅仅只是求两点的距离，就没有必要用迪杰...
2020-09-07 23:52:58
322
原创 A differentiable approach to inductive logic programming
AbstractRecent work in neural abstract machines has proposed many useful techniques to learn sequences of applications of discrete but differentiable operators. These tech- niques allow us to model t...
2020-06-14 15:43:55
332
原创 专业英语
The Optimization Method of Wireless Network Attacks Detection Based on Semi-Supervised LearningAiming to optimize the attacks detection in high-dimensional and complex wireless network traffic data w...
2020-05-10 21:39:01
214
原创 吴恩达DL笔记
1.2 什么是神经网络这个课程啥也没讲，就用一个最简单的例子引出神经网络。下图所示ReLu激活函数，全称是rectified linear unit，后面还会出现一个其他的激活函数。把一个个小的神经元堆叠起来就形成神经网络，中间的神经元称为隐藏神经元，当这个神经网络训练完成之后，就可以通过输入x特征就可以得到target了。1.3...
2020-04-14 00:17:20
231
原创 PAT甲级题目
PAT甲级的题目有关于树的题目，1053，1086，1090，1102，1106，1115，1119，1110A1053这题目比较简单，给定一棵树，给定一个数字，要你找到所有和等于给定数字的路径。这个题目的树没有给出是二叉树，自然不能按照原来二叉树的方法来构建了。其实就是BFS，用DFS也是可以的，不过考虑到DFS还要新开一个数组来存储路径，还是使用BFS。首先...
2020-03-14 16:23:07
245
原创 Hidden Markov Model
HMM隐马尔科夫模型①通俗的理解首先举一个例子，扔骰子，有三种骰子，第一个是比较常见的6个面x=[1,2,3,4,5,6]x = [1,2,3,4,5,6]x=[1,2,3,4,5,6]，每一个面的概率都是1/6。第二个只有4个面，x=[1,2,3,4]x = [1,2,3,4]x=[1,2,3,4]，每一个面的概率是1/4。第三个有8个面，x=[1,2,3,4,5,6,7,8]x = [1...
2020-01-30 13:09:35
336
原创 Machine Learning in Action:Decision Tree
概述决策树这个算法比较接地气，就算你根本不懂机器学习算法也可以很好的理解决策树，决策树之前的算法就已经解释过了。主要思想就算通过条件进行分类即可。决策树主要的优点就在于数据形式非常好理解。decision tree的算法可以读取数据集合，可以得到数据中所隐含的知识信息，因此决策树可以使用不熟悉的数据集合，并从中提取一系列规则。优点很明显，计算复杂度不高，...
2019-03-02 21:16:00
187
原创 Machine Learning in Action:KNN Algorithm
概述对于分类问题，最主要的任务就是找到对应数据合适的分类。而机器学习的另一项任务就是回归，比如CTR预测之类的。ml算法按照有无label可以分为有监督学习和无监督学习，对于无监督学习的算法比较经典的有聚类算法，有监督的相对来说较多，回归类算法基本都是的。按照参数有可以划分成有参数模型和无参数模型和半参数模型，有参数模型有两个特征，一个是用参数代表从训练...
2019-03-02 17:06:00
274
原创 Chapter 7:Neural Network
神经网络是一种生物启发式的模型，在时间序列上和视觉上已经有了很重要的工程应用。①The Multi-layer Perceptron对于上诉的公式证明，在理论上可以使用一些方法来类比计算，也就是说任何的一个在紧密集合上的连续函数都可以使用单步函数进行任意近似。单步函数可以说是最简单的函数，感知机perceptron好就是一种...
2019-02-26 12:32:00
185
原创 Chapter 6:Similarity-Based Methods
①Similarity Measure相似度的衡量方法：Euclidean Distance（欧几里得距离）：Mahalanobi Distance（马氏距离）：，其中Q是一个半正定的协方差矩阵，是多维度数据之间的方差。马氏距离比高斯距离考虑的更全面，因为他把数据的维度和数据的大小都考虑了进来。中间的Q矩阵就是起到这个作用，Cossim Simil...
2019-01-31 00:27:00
516
原创 Data Structure_Visualization
所以代码附上GitHub:https://github.com/GreenArrow2017/DataStructure_Java/tree/master/out/production/DataStructure_Java/ApplicationOfAlgorithm排序可视化SelectionSort选择排序很简单，所有的排序算法在前面的博...
2018-12-25 16:13:00
1518
原创 Data Structure_JavaSwing
Java Swing的基础首先需要注意的就是JFrame这个类，如果在main类整直接new一个出来是没有任何的变化，需要设置一个setvisible为true来显示出来。public class AlgorFrame extends JFrame { private int canvasWith; private int canvas...
2018-12-18 23:52:00
114
原创 Data Structure_树
线段树Segment Tree对于有一类问题，时常关注的是一个区间或者是一个线段，那么就可以使用线段树来解决。比较经典的问题，就是区间染色问题：有一面墙，长度为n，每次选择一段墙来染色，一开始4-6绘制成黄色，然后1-10绘制蓝色，2-7绘制红色，若干次绘色之后能看见多少种颜色，或者是在区间「i，j」区间里面可以看到多少种颜色。所以主要有两个操作，染色操...
2018-12-08 00:27:00
562
原创 Data Structure_二叉树_集合_堆_并查集_哈希表
前情提要——二叉树二叉树之前已经提到过，二叉树这种数据结构只能有两个子数，一左一右。叶子节点就是左右孩子都是空的，但是并不是每一颗树都像上图所示的那样这么规整，有些树树可以只有左孩子没有右孩子的。二叉树的节点一定会大于左节点的值小于右节点的值，每一个节点都要满足，所有每一个节点下面拿出来的树都可以作为一个二叉树。既然有大于等于了，那么这...
2018-12-04 00:31:00
158
原创 Data Structure_数组_栈_队列_链表_霍夫曼
数组数组在编码中很常见，就是把数据码成一排存放。这就表示一个数组，这个数组有八个元素存放。对于元素的获取，主要就是通过下标获取，所以索引对于数组是很重要的，这个索引可以是有意义的，也可以是没有意义的。比如array【2】这个数组，可以是仅仅代表下标，也可以是有一个意义在里面，代表学号分数等等。Java里面有存在静态数组，直接int[]赋...
2018-11-12 21:02:00
128
原创 Data Structure_图
图论无权图交通运输，社交网络，互联网，工作的安排，闹区活动等等都可以用到图论处理。图可以分成两大类，一类是无向图，就是没有方向的，就好像两个人都互相认识一样，有向图就是单方面的联系，一个人认识另一个人，但是另一个人确不认识。当然，无向图也可以看成是一种特殊的有向图。图还可以根据权值分成两类，有权图和无权图，也就是边的权值，无权值只是表示了这个边存在与否...
2018-10-26 10:39:00
221
原创 Data Structure_堆_二叉树_并查集
堆堆这种数据结构的应用很广泛，比较常用的就是优先队列。普通的队列就是先进先出，后进后出。优先队列就不太一样，出队顺序和入队顺序没有关系，只和这个队列的优先级相关，比如去医院看病，你来的早不一定是先看你，因为病情严重的病人可能需要优先接受治疗，这就和时间顺序没有必然联系。优先队列最频繁的应用就是操作系统，操作系统的执行是划分成一个一个的时间片的，每一次在时...
2018-10-19 22:53:00
211
原创 Data Structure_Sort Algorithm
排序算法Tool implement //generate a array of n elements, range [rangL, rangeR] int *generateRandomArray(int n, int rangL, int rangeR) { assert(rangeR >= rangL); ...
2018-10-10 21:39:00
109
原创 Recommended System
推荐系统推荐系统的核心问题就在于为用户推荐与其兴趣相似度比较高的商品。比如在微博上，用户至上想打发时间，并不是想准确的查看某条信息，在首页中查看每一条微博，为了帮助他筛选出一批他们可能感兴趣的信息，此时就需要分析出该用户的兴趣，从海量信息中选择出与用户兴趣相似的信息，并将这些信息推荐给用户。推荐系统就是这样，根据用户的历史和社交情况推荐与其喜好相符的商品...
2018-09-27 23:21:00
345
原创 Label Propagation
Label propagation是基于标传播的一种社区划分算法。Label Propagation Algorithm简称LPA算法，也可以是说是一种划分小团体的算法。这种社区划分的方法有很多，LPA只是一种最简单的一种。比如，以微博为例，用户在微博上可以关注感兴趣的人，同样也会被其他人关注，这样用户和用户之间就存在了关系，使用LPA就可以对用户进行聚类...
2018-09-25 20:33:00
1049
原创 Optimization of Machine Learning
机器学习就是需要找到模型的鞍点，也就是最优点。因为模型很多时候并不是完全的凸函数，所以如果没有好的优化方法可能会跑不到极值点，或者是局部极值，甚至是偏离。所以选择一个良好的优化方法是至关重要的。首先是比较常规的优化方法：梯度下降。以下介绍的这些算法都不是用于当个算法，可以试用于能可微的所有算法。Gradient Descent常见会用在logistic...
2018-09-18 19:32:00
167
原创 Factorization Machine
Factorization Machine---因子分解机①target function的推导logistics regression algorithm model中使用的是特征的线性组合，最终得到的分割平面属于线性模型，但是线性模型就只能处理线性问题，所以对于非线性的问题就有点难处理了，对于这些复杂问题一般是两种解决方法①对数据本身进行处理，比如...
2018-08-30 17:24:00
768
原创 Softmax Classifier
Softmax Classifiersoftmax分类器和logistics regression有点像，softmax其实就是从logistics发张过来的。由于是多分类了，需要走更多的概率来表示每一个分类。softmax的公式：问题来了，为什么不直接求？而是绕这么大的一圈最后还是求最大值。①我们需要的其实就是max，但是这个max有一个缺点，就是不...
2018-08-27 11:34:00
180
原创 linear regression and logistic regression
①linear regressiontarget function的推导线性回归是一种做拟合的算法：通过工资和年龄预测额度，这样就可以做拟合来预测了。有两个特征，那么就要求有两个参数了，设置，对应工资和年龄两个字段的值。拟合的公式一般都是，所以还缺一个，所以还要设置一个，所以决策函数就是。这个决策函数的形式并不是推出来的...
2018-08-23 20:38:00
224
原创 基于SVM的思想做CIFAR-10图像分类
SVM回顾一下之前的SVM，找到一个间隔最大的函数，使得正负样本离该函数是最远的，是否最远不是看哪个点离函数最远，而是找到一个离函数最近的点看他是不是和该分割函数离的最近的。使用large margin来regularization。之前讲SVM的算法：https://www.jianshu.com/p/8fd28df734a0线性分类...
2018-08-13 22:14:00
1041
原创 Hidden Markov Model
HMM隐马尔科夫模型①通俗的理解首先举一个例子，扔骰子，有三种骰子，第一个是比较常见的6个面，每一个面的概率都是1/6。第二个只有4个面，，每一个面的概率是1/4。第三个有8个面，，每一个面的概率是1/8。首先先选择一个骰子，挑到每一个骰子的概率1/3，然后投掷，可以得到。最后会得到一堆的序列，比如会得到等等，这种序列叫可见状态序...
2018-08-03 23:04:00
747
原创 EM Algorithm
Expectation Maximization AlgorithmEM算法和之前学的都不太一样，EM算法更多的是一种思想，所以后面用几个例子讲解，同时也会重点讲解GMM高斯混合模型。①极大似然估计极大似然估计这里面用的比较多。假设我们想要知道我们学生身高的分布，首先先假设这些学生都是符合高斯分布我们要做的就是要估计这两个参数到底是多少。学生这么多，...
2018-08-02 17:00:00
1312
原创 Finale
Feature Exploitation Techniques这几篇博客介绍的第一个feature transform方法就是kernel。kernel先出现是在SVM里面，原因就是为了减少 內积计算的复杂度，把特征转换和內积计算结合到一起。特征转换其实也是一种特征的提取。介绍过的kernel：polynomial kernel，Gaussion ker...
2018-07-31 22:08:00
110
原创 Matrix Factorization
Matrix Factorization①linearNetwork Hypothesis机器学习的作用就是要从一堆数据中学习到学习到某种能力，然后用这种skill来预测未来的结果。比如一个电影推荐的例子，我们手上有很多的电影数据，现在就需要训练一个机器学习的模型来使得这个模型可以预测一个新来的用户会喜欢什么电影，然后推荐过去。或者是对用户没有看过的电...
2018-07-31 01:16:00
125
原创 Radial Basis Function Network
RBF Network前面的一篇SVM中，最后的分割函数：使用高斯核函数方式把数据维度扩展到无限维度进而得到一条粗壮的分界线。仔细看一下这个分割函数，其实就是一些Gaussian函数的线性组合，y就是增长的方向。Gaussian函数还有另外一个叫法——径向基函数，这是因为这个base function的结果只和计算这个x和中心点xn的距离...
2018-07-20 18:54:00
1360
原创 Some methods of deep learning and dimensionality reduction
Deep Learning上一篇主要是讲了全连接神经网络，这里主要讲的就是深度学习网络的一些设计以及一些权值的设置。神经网络可以根据模型的层数，模型的复杂度和神经元的多少大致可以分成两类：Shallow Neural Network和Deep Neural Network。比较一下两者：Network NameTimecomplexityt...
2018-07-17 18:04:00
170
原创 Neural Network
1.PLA重新回顾一下一开始学的PLA，preceptron learning Algorithm。PLA适用于二维及高维的线性可分的情况，如果是非线性可分的数据，如果使用PLA可能会无限循环。问题的答案只有同意或不同意：PLA要做的其实就找到一个x映射到y的f，使得这个f和数据的分布一致，判断结果一致。如果是遇到了线性不可分的情况，...
2018-07-12 15:39:00
219
原创 The Optimization of the Adaboost and Gradient Boosted Decision Tree
The Optimization of the Adaboost1.对于Adaboost error function的推导再回到我们上篇文章讲到的Adaboost算法，我们要从Adaboost算法推导出GBDT。首先回顾一下上篇文章的Adaboost，主要思想就是把弱分类器集中起来得到一个强的分类器。首先第一次建造树的时候每一个样本的权值都是一样的，...
2018-07-10 12:01:00
96
原创 Random Forest
Random Forest——随机森林上一篇是讲到了决策树，这篇就来讲一下树的集合，随机森林。①Aggregation Model随机森林还是没有脱离聚合模型这块，之前学过两个aggregation model，bagging和decision tree，一个是边learning边uniform。首先是boostrap方式得到数据D1，之后训练做平均...
2018-07-01 01:12:00
178
原创 Decision Tree
①Aggregation Model回顾上一篇文章讲到的聚合模型，三个臭皮匠顶一个诸葛亮。于是出现了blending，bagging，boost，stacking。blending有uniform和non-uniform，stacking是属于条件类的，而boost里面的Adaboost是边学习边做linear，bagging也是属于边学习边做unifo...
2018-06-29 23:56:00
132
原创 Aggregation Model : Blending , Bagging , Boosting
⑴Motivation of Aggregation比如现在有一支股票，你不知道是跌还是涨。你有T个friends，每一个friend对应的建议分别是g1,g2,g3...gn，那么你应该怎么选择建议？⑵Blending1.Select the most trust-worthy friend这其实就是对应validation，我们在所有的frie...
2018-06-26 01:29:00
427
原创 ClusterAlgorithm
聚类算法：聚类算法属于无监督学习，没有给出分类，通过相似度得到种类。主要会讲四种：Kmeans均值，层次聚类，DBSCAN，谱聚类。再讲算法前先讲一下几种衡量相似度的方法：1.欧氏距离：p=2时就说平时计算的几何距离，当p趋向于正无穷的时候，其实求的就不是x,y的距离了，而是求x y中最长的一个了。因为如果x大于y，在指数增长下x回...
2018-06-19 23:02:00
419
原创 机器学习可行性与VC dimension
机器学习可行性在银行评估贷款申请人的授信请求前，会进行风险评估。符合申请则通过，反之驳回。长时间的数据和申请使得银行从中找到了一些规律并开始learning，所以风险评估就是一个learning的过程，流程图如下：机器学习流程图首先target function我们是未知的，需要求解的。D就是我们的训练数据，hypothesis set...
2018-06-19 19:31:00
316
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人