- 博客(118)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Subset Selection
（3）逐步法（本次分享）：逐步法结合向前法和向后法的优点，在向前引入每一个新自变量之后都要重新对已代入的自变量进行计算，以检验其有无继续保留在方程中的价值，并以此为依据进行自变量的引入和剔除交替进行，直到没有新的变量可以引入或剔除为止，此法较为准确。白话解释：https://www.geeksforgeeks.org/feature-subset-selection-process/（1）向前法：n个因变量情况，慢慢增加因变量到方程中，计算各个因变量对y的影响，若无影响则删除，迭代执行。
2023-11-10 17:03:49
167
原创 earth mover‘s distances学习记录
问题转换一下，一个工厂有A，B，C三个仓库，目标让ABC仓库的存货量为1,2,3。可以先构造一个3X3矩阵，aij，可以得到目标函数是sum(aij)，让其最小即是目标函数。约束条件则是，比如因为要让A仓库货是1，原来A仓库的货量比如是5。一开始我没想清楚，为什么可以把问题转换成线性规划问题。那么要求A仓库的总运出量和运入量，要等于-4。如此构造约束条件最后解，就ok了。后面的感觉没讲清楚。
2023-05-05 16:05:39
115
原创 有用网站记录
1，专利http://pss-system.cnipa.gov.cn/sipopublicsearch/portal/uiIndex.shtml
2022-05-19 16:56:43
59
原创 python 调c++记录
生成dll，然后读dll，然后运行就可以了。听起来很简单，确实很简单，就是不能debug。而且c++可以运行，但是python不能运行。生成dll时不能用一些库，比如vector有时候，比如你的计算程序占内存太大，也会有莫名其妙错误。...
2022-05-11 13:19:46
228
原创 图像的transformation与registration
Transformation(x,y,z,1)AB*C，其中ABC是平移、旋转、缩放矩阵。https://zhuanlan.zhihu.com/p/67957693registration求出transformation矩阵，利用变换前和变换后的图像。如利用最小二乘的方法或RANSAC（https://zhuanlan.zhihu.com/p/45532306）等求解方法来根据点来求取ABC矩阵。RANSAC主要解决样本中的外点问题，最多可处理50%的外点情况。外点即是异常点的意思。基本思想：
2022-04-24 13:37:27
171
原创 深度学习模型训练问题记录
1，res50在cifar10上准确率低于res181，res50在cifar10上准确率低于res18发现res18不加weight decay准确率可达86，但是res50只到80。加入weight decay后，res50准确率提高到89。res18准确率从86提高到87.8其他无效的测试：batch size，32变为128，准确率86->84。测试除以255和利用imgnet的mean[0.485, 0.456, 0.406]和std先除以256，再减去mean和std。在re
2022-02-16 09:28:25
446
原创 PAC bounding学习记录
参考：https://jeremykun.com/2014/01/02/probably-approximately-correct-a-formal-theory-of-learning/PAC-learnableA problem is PAC-learnable if there is an algorithm A which will likely win the game for all distributions D over X.concept, or a targetPlayer
2021-10-24 11:04:57
155
原创 生成某一概率分布的数据
简单的举例：下图是高斯分布的概率密度函数曲线可以见到中间的任意小区间的概率大于两边的小区间的概率。要生成这个概率密度函数f(x)的数据，首先将区间分解成很多小区间，如分解为100个区间。然后同样概率随机的选一个小区间，这个小区间的概率用f(x)的积分来算。接下来取一个均值分布0-1随机一个数。若这个数大于小区间的概率，那么就把这个数据留下来。否则就不留。不断的重复就可以得到符合这个分布的X。原理以相同的概率选取X的值或X一个邻域。因为选了一个邻域后，这个邻域有概率值，表示X取这个区间内的
2021-10-14 11:34:35
737
1
原创 VC维和PAC
参考博客：https://tangshusen.me/2018/12/09/vc-dimension/疑问：（1）一般情况下，假设空间的VC维约等于假设自由变量的数目。这个在线性分类器是成立的，神经网络的vc维是无穷大。（2）为什么深度学习和VC维有矛盾深度学习里，在cifar10数据集，简单的卷积网络和残差网络的参数的数量相差了很多，前者的参数量远小于后者，用vc维解释的话，测试误差和训练误差应该后者更大，但是为什么反而小了呢？我感觉是因为VC维的这些推论很大程度上是过于把问题简化，都是在线性
2021-08-16 10:36:46
280
原创 YOLOF和DEFCN记录
共同的改进点1 box assign 问题原来的目标检测在遇到多个目标靠近时，其生成target 预测结果的流程有问题。由于是个for循环生成target，因此有可能直接将一部分不为0的box覆盖掉。而yolof和defcn都考虑了此问题，采用了匈牙利匹配算法来解决此问题。采用了匈牙利匹配算法后，无需担心覆盖掉的问题。2 多尺度问题yolov4和v3这些都存在使用base net 不同深度的特征来预测不同大小的物体。但是yolof实验证明不需要这么复杂。因此yolof第一网络结构更直接简单，
2021-06-30 11:20:44
391
原创 C++问题及解决记录
1，无法include 问题问题描述：两个文件在相同的目录下，但是a可以include目录下的头文件，b却不能。原因：右键那个源新建项目，新建的路径bi
2021-06-19 10:11:19
217
原创 2020DEEP NETWORKS FROM THE PRINCIPLE OF RATE REDUCTION 阅读记录
We contend that all key features and structures of modern deep (convolution) neural networks can be naturally derived from optimizing a principled objective, namely the rate reduction recently proposed by Yu et al. (2020)Yu et al. (2020)Learning Diverse
2021-05-19 17:00:27
148
原创 微分几何记录
\section{curve}curve : x(t),y(t),z(t){x(t),y(t),z(t)}x(t),y(t),z(t)arc length :$s(t)=\int_{t_0}^{t} \left\lvert a^{’}(t)\right\rvert dt $dot and vector product:$\cdot \times $t(s)=a′(s),t′(s)=k(s)n(s),b(s)=t(s)⋀n(s)t(s)=a^{'}(s) ,t^{'}(s)=k(s)n(s),b(s
2021-05-12 11:57:53
116
原创 latex 安装学习记录
latex 是什么个人理解是一个用来写文档的编程语言。其类似于python这样的编程语言，可以理解其功能就是编辑代码，按照代码自动生成一个文档。那他和word比强在哪？因为他是个编程语言，或是一种严谨的数据结构，可以理解成他将一个文章分解为两个部分，一个是内容，一个是外观。用他来写文档我们只需要把内容写好，然后可以用不同的自动化方法自动的生成各种样式（排版）的文档。工具一边下4个g的安装包，另一边用在线版的去学习。网址分别为：overleaf在线板学习教程：https://liam.page/
2021-05-10 09:54:24
81
原创 强化学习4 a3c
基本思想存在一个共享的网络，有多个线程是这个共享网络的拷贝，每个线程用这个网络进行与环境交互、训练。这样可以达到提高训练样本多样性的目的。实现CartPole-v0（1）一个网络的类，ACnet，包含了动作网络、分值网络（2）class Worker(object) ，每个用来独立训练共享网络的线程，只要执行这个worker.work(),就会开始训练共享网络。然后就是一个for循环，执行worker.work()，就会更新共享网络的参数。各个线程在代码中没有任何的通信，只是去更新共享网络参数，
2021-04-07 10:06:11
245
原创 强化学习3：Actor-Critic算法学习记录
参考：https://www.cnblogs.com/pinard/p/10272023.html前面讲了dqn，其是基于：公式1来做的，后来又有人提出了基于：公式2来做的。公式1这个函数的含义是：输出是分值，高表示好。s是state，a是action。公式2则表示给定状态s，动作a的概率。公式1的方法叫critic，公式2为actor。因为公式1是评价每次行动的分数，公式2则是选择每次的行动。最终评价函数评价函数貌似看起来较复杂，但是其实很简单，就是算从头到位的总收益的大小：公式
2021-04-06 10:12:40
455
原创 C++实现算法环境安装流程，opencv onnx
opencvopencv按照官方教程就可以了https://docs.opencv.org/master/dd/d6e/tutorial_windows_visual_studio_opencv.html，有一点需要注意的是，在链接库中的input包含哪些lib，debug版本只包含带有d的哪个，假如你把两个都包含了就会报错。onnx傻瓜式安装方法目前：在程序包管理器控制台，输入命令：Install-Package Microsoft.ML.OnnxRuntime.Gpu -Version 1
2021-03-23 14:58:13
436
原创 实变函数记录
第一章上限集与下限集解释：想了几个小时，推导了几个小时。定义是上限集就是存在无穷个k，使x属于Ak。因此必然可以得到，设任意的无穷多个Ak的并是（2）式（2）式包含上限集。所有（2）式的交即是上限集。之前的疑惑是，x肯定属于无穷多个Ak，那么x应该是无穷多个Ak的交啊，因此证明的第二行有啥意义？x是无穷多个Ak的交，但是不一定是所有Ak的交。因为有无穷多个Ak，因此一步一步来，由大至小。（1）上限集属于任意一个(无穷多的Ak的并)（2）上限集是最小的(无穷多的Ak的并)，因此其是
2021-02-05 17:45:10
507
原创 强化学习1.1
大体介绍首先从最简单的开始学习，可以说最新的强化学习的各种状态都是基于这个最简单的模式改进出来的。介绍一个最简单的问题如下图所示，中间的o就是我们现在的位置，目标是到达最右边的T位置，o可以左右移动。–o--T具体的移动过程如下–o--T-o—T–o--T—o-T----oT—o-T最简单的设计思路是这样的，我们首先构造一个表，如下所示：left right0 0.0 0.01 0.0 0.02 0.0 0.03 0.0 0.04
2021-01-27 17:33:37
82
原创 Meta Pseudo Labels最新半监督学习 记录
Knowledge Distillation原理：1.Teacher的输出往往带有一些额外的信息, 即Dark Knowledge. 手写体识别的classifier为例, 该classifier的作用是识别0-9的手写体数字, 其最后输出的是一个样本属于10个数字的distribution.比如样本x的输出为[1e-10, 1e-10, 0.98, 0.01, 1e-10, 0.009, 1e-10, 1e-10, 1e-10, 1e-10] (依次对应数字0-9),根据输出distributio
2021-01-25 14:28:58
2167
原创 惊人bug记录
一句话的bug训练网络一共训练300epoch，分别在100，200epoch缩小10倍lr。代码为factor = 1.0 if epochs[1] < epoch < epochs[2] : factor = 0.1 if epoch>epochs[2]: factor = 0.01于是每次在200epoch时都会让lr变成0.1，于是训练曲线都是这样的：每到那个地方就会直线下降...
2021-01-05 14:22:39
87
原创 resnet initial weights method 学习记录
1主题学习并理解resnet中的权重初始化方法。其相关论文是【13】Delving deep into rectifiers:Surpassing human-level performance on imagenet classification1.1【13】Delving deep into rectifiers:Surpassing human-level performance on imagenet classificationGlorot and Bengio [7] proposed
2020-12-24 16:28:44
232
1
原创 imagenet 数据集读取数据速度记录
电脑配置是固态硬盘，i7cpu，不进行计算，只读数据，不做数据增广，只做resize目录：1，最初级版1，最初级版DataLoader(train_dataset, batch_size=16, shuffle=True, num_workers=0, pin_memory=True, drop_last=True, )2020-12-23 11:20:0602020-12-23 11:21:5310000读取了一万张图片花费时
2020-12-23 11:47:07
1340
1
原创 transformer学习记录
参考资料：https://blog.csdn.net/longxinchen_ml/article/details/86533005query、key、value都是什么？在自动问答系统里，attension结构会根据不同的问题，来计算一句话的每个词的权重。再将权重相加得到的向量来作为最后的解。同样的自动翻译里，每次翻译一个词，翻译每个词时会将这个词当前的状态作为一个问题，即是query，根据query来计算原句子中的每个词的权重，再将value乘以权重加起来作为一个最终特征向量。因此transf
2020-12-16 14:04:11
106
1
原创 batch normalization学习记录
深度学习存在两个问题1，由于更新权重导致输入取值范围的变化导致收敛慢。2，由于输入数量的增多，一般都是累加x*w。而若假设他们都是正太0，1分布，那么加的越多会导致方差越大，因此使用sigmoid会导致饱和，而使用relu 等线性的会导致数有可能很大，几百上千的值。解决方案将每个核的输出给一个归一化，让其都保持期望是0，方差为1。归一化的话无非就是求均值方差，而根据求得方法分为很多种，因此出现各种normalization 方法。batch 方法就是在batch范围内对每个单个得输出求均值。l
2020-12-01 10:10:17
84
原创 牛逼代码记录
1，找峰热图shape：aaa.shape=[100,100,1]卷积maxpool后为bbbccc=bbb==aaa和原来点相等，则是峰
2020-11-23 11:55:54
1249
原创 基于视频的目标检测
2017 Flow-Guided Feature Aggregation for Video Object Detection这个论文中说，他之前的论文，用cnn提取出特征后，利用相邻帧的特征来补充当前帧的特征。而他采用了利用网络来做这个事情，提出一个网络，训练这个网络来合并、补充特征，再将完善后的特征图用来目标检测。2018Object Detection in Video with Spatiotemporal Sampling Networks这个论文中基于前面那个，提出利用deformabl
2020-11-10 14:52:20
331
原创 图卷积学习记录
The Graph Neural Network Modelhttps://zhuanlan.zhihu.com/p/76916386这个文我看一遍就感觉懂了。然后我感觉他这个和自然语言处理里的loss很像，预测下一个词是啥，然后对每个结果更新梯度。Learning Convolutional Neural Networks for Graphs缩写叫PATCHY - SAN网络。大体原理：输入一个graph，将其转换成一个图片那种数据结构，输入给卷积神经网络。存在问题：graph转换img的
2020-11-02 11:21:53
71
原创 直方图均衡化学习记录
参考：https://www.zhihu.com/question/37204742/answer/221844779算法思想白话解释：灰度图像，有的偏黑、有的偏灰，直方图均衡化就是让对比度更高，不同的像素分的更开。但是分的更开还要让原来任意的ai>aj ，仍旧是ai>aj，我觉得更好的还应该大的幅度比例差不多，比如ai/ai+1=1.5，变换后bi/bi+1也还是1.5。具体怎么算的就是参考文献里讲的。算法思想具体解释：设输入图像为二元函数 f(x, y) ，输出图像为二元函数 g(x,
2020-10-29 09:39:13
129
Estimation of！dependences￥based on（empirical data
2021-10-21
Stein_Real_Analysis_Solution_zhaoyue.pdf
2020-08-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人