- 博客(431)
- 资源 (3)
- 问答 (3)
- 收藏
- 关注
RSS订阅
原创 第1章 机器学习概览
第一个机器学习实例：垃圾邮件分类器。什么是机器学习：有任务，为了完成任务需要有经验和指标。经验从训练数据中获取。指标用于衡量任务完成的怎么样。为什么要使用ML:传统的算法其实是规则，很难维护。 但是机器学习，可能会揭示出人类未曾意识到的关联型，帮助我们理解问题。 引出：数据挖掘：应用机器学习技术挖掘海量数据，发现并非立见...
2019-06-28 01:46:21
175
转载 opencv cv::Mat数据类型总结
https://blog.csdn.net/weixin_35695879/article/details/85948011
2022-11-03 17:18:34
1461
转载 模型剪枝（移动端）-NetAdapt
轻量级网络：NetAdapt算法_坚硬果壳_的博客-CSDN博客1. Choose Number of Filters:这一步的重点是确定有多少过滤器保存在一个特定的层基于经验的测量。NetAdapt逐渐减少目标层中的过滤器数量，并测量每个简单网络的资源消耗。将选择能够满足当前资源约束的最大过滤器数量。注意，当从一个层中删除一些过滤器时，也应该删除以下层中的关联通道。因此，需要考虑其他层的资源消耗变化。2. Choose Which Filters:此步骤根据...
2022-05-31 17:26:48
294
原创 视频理解2-I3D
I3D简介视频的模型，最好要在视频的数据集上进行预训练。I3D模型在现有的数据集上，效果不错。(在本数据集上训练，然后微调，结果很好)在视频中间选一帧，然后做动作分类。效果已经很好了。摘要（1）提出了新的数据集以前的数据集太小，因此无法区分算法的优劣。因此重新构造了数据集。每个视频clip有10s，并且精准的切割(标注)。在此大规模上训练过的数据集，在小数据上有很大的提升。（2）提出了新的模型I3D ：双流扩展的3D网络。其来自2D网络的扩展，将已经训练好的2D网络
2022-05-27 11:17:15
1549
原创 few-shot基本概念
Few-shot learninghttps://www.youtube.com/watch?v=UkQ2FVpDxHg&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=1&t=3s1.问题的引出通过很少的样本来进行分类/回归给你四张图像，人类大概可以知道，查询图像是什么。同样，机器也需要知道。Support set：很少的数据集，例如每类图像有2张。这么少的样本不足以训练一个模型。传统的监督学习：让机
2022-05-27 11:13:29
615
原创 视频理解1-two-stream
视频理解视频分类，也叫做动作识别，或者视频理解。因此对人的动作感兴趣。概述单个cnn仅适合学习局部信息，不适合学习移动信息。因此，学习光流到动作的映射。时间流网络：一系列的光流。 光流 观察者和场景中各种物体的运动。描述视频中各个物体时如何运动的。背景没有动。越亮的地方，运动越厉害。光流是非常有效的表示物体之间运动的特征。光流可以忽略性别，穿着等，仅仅关注与动作本身。3. 摘要3.1 需要同时获取两种信息：（1）静止图像的外观信息：形状，大小，颜色，
2022-05-26 18:15:03
378
原创 few-shot 微调网络
https://www.youtube.com/watch?v=3zSYMuDm6RU&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=3预训练 + 微调在大规模数据集上预训练，在support set上微调。方法简单，准确率高。预备知识1.1 cosine similarity投影的长度，在-1 和1 之间。如果长度不同，则就进行归一化。 softmax function 可以将一个向
2022-05-26 16:38:12
870
原创 few-shot简单的网络-siamese network
siamese network本文介绍两种不同的训练方法每次取两个样本，比较他们的相似度训练这类网络，需要大的数据集，需要标注，每一类有很多样本。构造正样本-负样本。正样本：随机取一张图像，然后从同类别中，随机选另一张图像；负样本：随机取一张图像，排除掉本类别的图像，随机选另一张图像。搭建一个神经网络，用于提取特征F共享参数再用fc来处理z，最终得到标量。最后再用sigmoid，来处理标量，得到相似度。训练时，准备相同数量的正样本-负样本。...
2022-05-26 15:17:08
260
原创 few-shot基本概念
Few-shot learninghttps://www.youtube.com/watch?v=UkQ2FVpDxHg&list=PLvOO0btloRnuGl5OJM37a8c6auebn-rH2&index=1&t=3s1.问题的引出通过很少的样本来进行分类/回归给你四张图像，人类大概可以知道，查询图像是什么。同样，机器也需要知道。Support set：很少的数据集，例如每类图像有2张。这么少的样本不足以训练一个模型。传统的监督学习：让机
2022-05-26 15:11:59
13530
原创 VIT基础概述
四，VIT概述需要在的数据集上进行预训练。Vit本质为 transformer encoder网络。算法Vit将图片划分为大小相同的patches，可以重叠划分，也可以不重叠划分。每个patches都是RGB的图像，属于张量。需要将张量拉伸为向量。Fc对向量x进行线性变化，注意不采用relu，得到z，此处WB为参数，需要训练得到，并且所有patch共享参数。Z不仅编码了内容表征，而且包含位置信息。如果不用位置信息，会掉点3%。一定要
2022-05-26 11:48:51
3591
2
原创 BERT思想
三，BERT1.概述BERT:预训练transformer中的encoder网络，可以大幅增加模型的准确率。基本思想，增加两个任务：随机遮挡1个或多个单词，让encoder网络根据上下文，预测被遮挡的单词。 把两个句子放在一起，让encoder判断这两句话是否为相邻的对话。用这两个任务训练transformer中的encoder网络。2. 预测被遮挡的单词Transformer encoder网络，输入一句话，被分成很多个单词，embedding将单词映射为词向量
2022-05-26 11:12:36
273
原创 transformer构建
二，采用attention和self-attention搭建深度神经网络multi-head self-attention此时输出1个序列c1,c2,…cm.此时为single-headL个单头注意力网络组成，每个单头注意力网络由三个参数。每个单头自注意 不会共享参数。共3l个参数。multi-head attention搭建深度神经网络的encoder采用multi-head self-attention + fc 搭建encoder。注意：此处fc会
2022-05-25 18:32:23
197
原创 transformer 之 attention
Transformer1.简介非rnn结构，仅仅基于attention + fc现在机器翻译，全部用transformer + bert2. 回顾attentionHm:对所有的输入的概括根据状态sj，生成单词。新生成的单词，作为xn每一个s计算一个c（context vector）Decoder 的当前状态与encoder的所有状态做对比，用align函数计算相关性alpha。此处，WK,WQ,WV均为attention的参数，需要从训练集中学习到。此处的at
2022-05-25 18:31:14
483
原创 自动搜索算法-FBNet
上面的案例，仅仅考虑了准确率的问题。但是对于移动端部署的模型，虽然仅仅推理，但是不能仅仅推理几次，就没电了。因此，设备端应用，要考虑计算量的问题，需要权衡计算量和准确率。下面介绍，在搜索神经网络的时候，考虑到计算量。推理时间：latency.最好几百ms。NN搜索时考虑到latency，希望小的latency，达到近似的精度。做NN搜索，选出CNN的最优参数，然后训练CNN，部署到iphone12.不同的block有不同的latency，因此需要事前知道不同的bloc
2022-05-25 16:05:54
508
原创 自动搜索网络-darts
之前的方法，采用RNN + RL，那个代价太大。本节介绍的方法，是常用的方法。Darts：目标函数是NN结构超参数的可微函数，于时可以对目标函数，关于超参数求梯度，直接用梯度来更新超参数。这样不用RL，更好的找到RL。FBNet：是Darts的特例。基本思想用户需要手动定义一些模块，作为候选方案，例如：9中候选模块，包含conv以及其他。《候选模块越多，计算量越大，搜索越慢》。图为9个候选框的一个。输入为张量；经过conv，输出张量，其维度和输入相同。然后采用直连。用户
2022-05-25 16:02:28
354
原创 强化学习-DPG
DPG包含两个网络：策略网络：控制action运动，故为actor，根据状态s做出决策a；价值网络：不控制action，基于状态s，给a打分，从而指导决策网络做出改进。Critic/策略网络：属于确定性函数。Theta是网络函数。其输入为s，输出不是概率分布，而是一个具体的动作a。给定s，输出的a是确定的，没有随机性。本例中，a是二维的，自由度为2。注意，a，不是说有两个动作，而是有很多动作。可以为实数，或者向量。价值网络：w为参数。基于s评价a的好坏。输出为实数，对动作a
2022-05-25 15:44:30
608
原创 NAS 概述
一．基础知识https://www.youtube.com/watch?v=voWgnMpFaW8参数 & 超参数参数：权重超参数：结构参数（卷积层数，卷积核数，卷积尺寸）& 优化参数（优化器类型，学习率，batchsize，epoch等）CNN结构NASNAS:最优验证集，对应的模型的最优结构。此处不一定是验证集的准确率，对于移动端设备，还可以是：计算量&存储开销。搜索空间超参数的搜索空间太大，不能一一搜索。因此，需要手动设置一些指.
2022-05-25 15:40:49
529
原创 MNASNET论文详解
MNasNet核心点机器学习搜索最优模型； 多目标优化：精度 速度（pixel1上实测） 分层搜索结构即：以前是搜索一个block，然后model对这个block重复；根据自然规律，浅层的block和深层的block不同，因此文本的假设：每个block有很多层，每一层相同。每个block各自搜索结构。此处的搜索空间，要兼顾：多样性和有限性。摘要Float只是一个代理指标，例如：mobilenetv1和nasnet的float差不多，但是其速度差距很大。 过去搜索基本...
2022-05-25 15:31:22
315
原创 MNASNET 概述
MNASNET简介设计mobilent的过程中发现：人类设计的能力有极限。因此，需要找到一个网络，在acc和latency之间平衡。设计loss function，让机器来找到最优的网络结构。 优化目标层级搜索空间Cnn动辄上百层，本文将CNN分为多个block，block中相同的layer重复。Layer的搜索空间：训练Mobilenetv2作为baseline，我们搜索{0，+1，-1}基于mobilenetv2，每层的filter size，提出一个新的CNN，训练，得到ac
2022-05-25 15:28:34
720
转载 CRF(4)
谈谈序列标注三大模型HMM、MEMM、CRF | 明天探索者这篇文章更加偏理论一些。从判别模型和生成模型的角度，分析HMM MEMM CRF等。很久之前曾经接触过CRF，但是觉得这东西太晦涩难懂了，看了很多科普博客但很多都是从概率图的层面上解释的，虽然图形能让你很快了解个大概，但是有些地方疑惑时是很难从图形中得到答案的，所以我更喜欢从公式出发。最近重拾CRF，顺便也回顾了HMMMEMM，这几个模型主要用在了序列标注上，故在此形成一个小型知识体系便于以后复习。前情知识生成模型 &.
2022-04-21 18:17:08
283
转载 CRF（3）
条件随机场-CRF | LonePatient'Blog最近一段时间在研究NER相关项目，因此，打算对NER一些算法做一定总结，本文主要记录自己在学习CRF模型过程中的一些记录，大部分来自于网上各位大神的博客。什么样的问题需要CRF模型假设你有许多小明同学一天内不同时段的照片，从小明提裤子起床到脱裤子睡觉各个时间段都有（小明是照片控！）。现在的任务是对这些照片进行分类。比如有的照片是吃饭，那就给它打上吃饭的标签；有的照片是跑步时拍的，那就打上跑步的标签；有的照片是开会时拍的，那就打上开会的标签。
2022-04-21 17:35:16
1102
转载 CRF(2)
给一个案例，学习crf怎么使用。CRF 中文分词解码过程理解https://www.52nlp.cn/%E5%88%9D%E5%AD%A6%E8%80%85%E6%8A%A5%E9%81%933-crf-%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E8%A7%A3%E7%A0%81%E8%BF%87%E7%A8%8B%E7%90%86%E8%A7%A3一，标记问题解决分词：就是将 词语开始和结束的字标记出来，就能对一个句子完成分词，假设使用两个标记B (开始)，
2022-04-21 17:13:47
269
转载 CRF(1)
最近整理了一下关于CRF的文章，便于进行理解。关于三者的区别，先给个整体的感觉。HMM、CRF、MEMM区别cnblogs.com/gczr/p/10248232.html隐马尔可夫模型（Hidden Markov Model，HMM），最大熵马尔可夫模型（Maximum Entropy Markov Model，MEMM）以及条件随机场（Conditional Random Field，CRF）是序列标注中最常用也是最基本的三个模型。HMM首先出现，MEMM其次，CRF最后。三个算法主
2022-04-21 17:09:30
117
转载 关于管理那些事
<人是管不住的>没有经验的管理者，经常会工作中产生一种主观情绪——员工不太好管，然后开始私下抱怨，现在的年轻人，工作态度越来越不积极。其实，这些管理者都没有弄清楚一个问题，人是管不住的。一听到这儿，肯定有些同学很迷茫，甚至会质疑，既然管不住人，那还要做什么管理。从两个方面，展开解释下。首先，从人的本性来讲，没有人喜欢被管理，更没有人喜欢被定义。不信，你私下做一些调查，哪怕是那些工作成绩真的不好的员工，他们也会心里认为，自己很想把事情做好，自己并不是不努力。这就是人性，很少有人会承认
2022-04-01 11:30:51
191
转载 关于imu的介绍
1.imu时惯性运动丹云，包含加速度计和陀螺传感器的组合。它被用来检查加速度和角速度。（IMU传感器，你所需要知道的全部 - 知乎）虽然时外文翻译的，凡是整体风格清晰。2.imu的使用。测量物体三轴姿态角（或角速率）以及加速度的装置。一般情况下，一个imu内装有三轴的陀螺仪和三个方向的加速度计。分别用来测量物体在三维空间中的角速度和加速度，并以此结算出物体的姿态。为了提高可靠性，还可以为每个轴将配备更多的传感器。一般而言，imu要安装在被测物体的重心上。3.imu数据的物理含
2022-02-15 14:29:12
4927
转载 关于网页中ｐｏｓｔ方法的复现方法
１．如何用chrome浏览器截获和发送POST请求网址：如何用chrome浏览器截获和发送POST请求 - pu369com - 博客园［但是我没有成功］
2021-10-18 22:20:52
155
阅读英语芯片手册的技巧
2013-02-27
stm32启动过程详解
2013-02-27
关于cvWaitKey的工作机理；图像的闪烁问题；CPU下降措施
2015-07-28
VS编写的GMM函数，效率问题
2015-07-28
关于OPENCV 中MOG的问题，关于背景比例阈值的理解。
2015-07-23
TA创建的收藏夹 TA关注的收藏夹
TA关注的人