1226km-CSDN博客

翻译数据集蒸馏论文(七)：Dataset Distillation using Neural Feature Regression

数据集蒸馏可以被表述为一个双层元学习问题，其中外环优化元数据集，内环在蒸馏数据上训练模型。元梯度计算是该公式中的关键挑战之一，因为通过内环学习过程进行区分会引入显著的计算和内存成本。本文使用带有池化的神经特征回归（FRepo）来解决这些挑战，实现了最先进的性能，且内存需求减少了一个数量级，训练速度快了两个数量级。所提出的算法类似于用模型池截断时序反向传播，以缓解数据集蒸馏中的各种类型的过拟合。提出一种高效的元梯度计算方法和一个“模型池”，以解决过拟合问题。

2024-03-22 15:07:46 40

翻译数据集蒸馏论文(六)：Dataset Distillation by Matching Training Trajectories

引导网络在多个训练steps中达到与在真实数据上训练的网络相似的状态给定一个网络，进行多次迭代，并计算合成数据训练参数与真实数据训练参数之间的距离，优化蒸馏数据为了有效地获得大规模数据集的初始和目标网络参数，预先计算和存储在真实数据集上训练的专家网络的训练轨迹蒸馏算法必须通过在不完全消除判别特征的情况下大量压缩信息来取得微妙的平衡为了降低优化难度，其他方法[45,47]专注于短期行为，对蒸馏数据强制执行单个训练step以匹配真实数据。然而，错误可能会在评估中积累。

2024-03-21 09:49:38 39

原创多任务学习综述

只使用单个任务的样本信息局限性1、忽略其它任务的经验信息，致使训练冗余重复和学习资源浪费，限制性能提升2、对于训练样本少且特征维数高的任务，单任务学习出现秩亏且存在过拟合风险给定MMM个任务Tmm1MTmm1M第mmm个任务为TmT_mTm其训练集为DmD_mDm包含nmn_mnm个样本-标签对xmjymjj1nmxmjymjj1nmxmj∈RDymj∈Rx。

2023-12-20 15:18:53 1048

翻译数据集蒸馏论文(五)：Dataset Condensation with Distribution Matching

设计新的深度学习模型或将其应用于新任务需要更多的计算，因为它们涉及在同一数据集上多次训练多个模型以验证设计选择，例如损失函数、架构和超参数[5,14]，这需要大量的训练时间。虽然在小压缩图像集上训练深度模型可以非常快，但由于复杂的双层最优化和二阶导数计算，它们的合成仍然计算成本高昂。结合了以前的核心集和数据集压缩方法的优点，同时避免了它们的局限性。与前者不同与后者相同，本文方法不限于原始数据集中的单个样本，并且可以合成训练图像；

2023-12-08 09:51:29 157

翻译数据集蒸馏论文(四)：Dataset Condensation with Differentiable Siamese Augmentation

提出可微Siamese增强该方法能够有效地利用数据增强来合成更多信息的合成图像，从而在使用增强训练网络时获得更好的性能。DSA在每次训练迭代中，对采样的真实和合成Data应用相同的随机采样数据转换，并且还允许通过可微数据转换反向传播关于合成Data的损失函数的梯度。如图1(右)所示，对采样的真实和合成batches应用相同程度的旋转。在训练中同时对真实和合成图像应用各种数据转换（例如顺时针旋转15°）具有三个关键优势。

2023-12-07 16:11:38 156

翻译数据集蒸馏论文(三)：Dataset condensation with gradient matching

特点：跨模型目的：将大型数据集压缩成一小部分信息丰富的合成样本，用于从头开始训练深度神经网络目标函数：在原始数据上训练的深度神经网络权重的梯度与合成数据之间的梯度匹配问题基于训练损失计算梯度。

2023-12-04 10:45:58 233

翻译数据集蒸馏论文(二)：Dataset Distillation

为了解决这个问题，本文转而计算少量蒸馏数据，这些数据可以适用来自特定分布的随机初始化网络。固定初始化的局限性：给定初始化优化的蒸馏数据不能很好地推广到其他初始化。此外，蒸馏图像通常看起来信息丰富，编码了每个类别的判别特征（例如图3）在实践中，我们观察到最终蒸馏数据能够很好地推广到未知初始化。在优化过程中，蒸馏数据被优化为适用于随机初始化网络。蒸馏数据通常看起来像随机噪声，因为它对训练集。算法1说明了我们的主要方法。

2023-11-29 10:45:17 143

翻译数据集蒸馏论文(一)：Dataset Distillation A Comprehensive Review（未完成）

合成小样本数据集且保持性能

2023-11-27 15:21:01 341 1

原创 python：删除文件中的换行符

【代码】python：删除文件中的换行符。

2022-09-07 09:53:48 804 1

原创 python：计算子文件夹内的文件个数

import osfrom args import argsdef num_dir(num_each_dir): """ 计算子文件夹内的文件个数 """ # 输入num_each_dir为主文件夹路径（主文件夹内为n个子文件夹 # 初始化每个子文件夹内文件个数（共有args.num_classes个子文件夹 each_num = [0] * args.num_classes # 将子文件夹名称输入列表 DirList = os.list

2022-04-15 11:48:16 1689

原创 C++：Windows平台下利用LibTorch调用PyTorch模型

文章目录环境Libtorch下载Pytorch将.pth转为.pt文件python环境下的预测输出结果：rose新建pt模型生成文件输出结果：roseC++调用pytorch模型新建空项目pt_alex项目属性配置修改配置管理器属性>VC++目录>包含目录属性>VC++目录>库目录属性>链接器>输入>附加依赖项注意CUDA下的情况属性>C/C++项目下新建test.cpp输出结果：roseC# Demo新建C++空项目，封装DLL源码项目属性点击生成解决方案，

2022-03-03 15:29:11 5459 12

原创 C++：VS包含目录、继承值修改

VS重装后修改VC++包含目录、继承值以及附加依赖项等主要是为了修改默认使用的opencv版本（1）进入目录： C:\Users\xxx\AppData\Local\Microsoft\MSBuild\v4.0（2）使用文本编辑器打开文件 Microsoft.Cpp.Win32.user.props 及 Microsoft.Cpp.x64.user.props（3）修改或中间内容。（4）重新打开VS，问题解决。...

2022-03-01 17:47:27 3835

原创 C#：利用button控件本地上传图片并显示

界面代码// Form1.csusing System;using System.Collections.Generic;using System.ComponentModel;using System.Data;using System.Drawing;using System.Linq;using System.Text;using System.Threading.Tasks;using System.Windows.Forms;namespace XXX{ p

2022-02-28 16:41:13 1684

原创 Ubuntu：磁盘满了开机黑屏

重启长按shift键进入grub菜单选择 Advanced options for Ubuntu选择（recovery mode）选择clean，自动清理一些文件重启，成功开机

2021-11-26 09:13:44 1688

原创 AlexNet：论文阅读及pytorch网络搭建

文章目录AlexNetAbstract1 Introduction2 Dataset3 Architecture3.1 ReLU Nonlinearity3.2 Training on Multiple GPUs3.3 Local Response Normalization3.4 Overlapping Pooling3.5 Overall Architecture4 Reducing Overfitting4.1 Data Augmentation4.2 Dropout5 Details of lea

2021-11-09 16:44:04 292

原创 python：（数据集分布）计算一维数组中不同数的数量、绘制柱状图及其详细信息

import osimport numpy as npimport collectionsimport matplotlibimport matplotlib.pyplot as pltmatplotlib.use('TkAgg')base_path = 'data/'labelsTrain = []ssT = []# 文件内容示例：img_1226.jpg,24，前部分为图像名称，后部分为图像标签for line in open(base_path + 'train1.txt'

2021-11-04 22:04:52 2200

原创 python：Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.

参考：Python下"No module named _tkinter"问题解决过程总结plt.show()报错：UserWarning: Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.plt.show()import matplotlibmatplotlib.use('TkAgg')import matplotlib.pyplot as plt报错：

2021-11-04 16:53:13 581

原创 Markdown格式学习记录

无

2021-10-25 11:46:18 89

原创 OCR ：PaddleOCR项目（vs2017 C++）

文章目录Github源码下载Install and Compile C++ Inference Library on WindowsCmake编译打开项目ocr_system.sln（vs2017）下载模型copy所需文件修改配置文件cmd测试参考：C++ | PaddleOCR+OpenCV实现文字识别步骤与代码演示百度PaddleOCR字符识别推理部署（C++）C++ 编译 PaddleOCR（CPU版）Github源码下载2.0版本：PaddleOCR-release-2.0Insta

2021-09-02 15:48:45 2838 6

原创 Ubuntu16.04：root权限创建文件夹

ubuntu16创建文件夹无root权限sudo nautilus

2021-06-29 15:53:12 1152

原创 OCR：PixelLink实验

安装ubuntu16.04下载代码包git clone --recursive [email protected]:ZJULearning/pixel_link.git错误：解决：github添加ssh公钥环境配置1、安装Anaconda2、conda env create --file pixel_link_env.txtsource activate pixel_link报错：...

2021-06-16 19:59:06 228 1

原创 Ubuntu：解压rar格式压缩包

sudo apt-get install unrar # 安装# 加参数，解压sudo unrar x name.rar # x 解压到一个文件夹sudo unrar e name.rar # e 解压到当前路径

2021-06-16 15:35:40 110

原创 Ubuntu16.04：安装python3.6及遗留问题解决

Ubuntu16.04：安装python3.6参考：Ubuntu16.04怎样安装Python3.6Ubuntu安装Python3.6并切换到3.6版本记Ubuntu16.04安装python3.6出现的问题(新手参考)输入python查看版本号ctrl+D退出命令行输入ls /usr/local/lib/查看本机有哪些可用python版本输入sudo add-apt-repository ppa:jonathonf/python-3.6报错，显示无法添加：依

2020-12-24 09:03:57 1244 2

原创 OpenCV：轮廓及矩形框提取

参考：opencv3/C++轮廓的提取与筛选#define _CRT_SECURE_NO_WARNINGS#include<opencv2/opencv.hpp>#include<opencv2/xfeatures2d.hpp>#include<iostream>using namespace cv;using namespace xfeatures2d;using namespace std;int main(){ Mat src, dst;

2020-12-10 20:21:14 2634

原创 python：objects cannot be broadcast to a single shape

绘制柱状图报错ValueError: shape mismatch: objects cannot be broadcast to a single shape x = range(1,36) y = results plt.bar(x,y) plt.title('Histogram') plt.savefig('Histogram.png') plt.close()我的问题：x与y大小不同size(x) = 35size(y) = 36x.

2020-11-10 22:05:59 3349 1

原创 python：遍历读取图像灰度值，并存入一个新数组中

import numpy as npimport cv2 as cvimport cv2from PIL import Imagedef test(): img = Image.open('lena.tif') # 读取图片 img = img.convert('L') # 灰度化 cols,rows = img.size # 图像大小 Value = [[0]*rows for i in range(cols)] # 创建一个大小与图片相同的二维数组

2020-11-09 17:32:11 10907 15

原创 python：创建数组/矩阵、数组/向量合并

def test(): # 一维元素为零 x = [0] * 5 # [0, 0, 0, 0, 0] # 三维 x1 = [[1]*3 for i in range(3)] # [ [1, 1, 1], # [1, 1, 1], # [1, 1, 1] ] x2 = [[2]*3 for i in range(3)] # [ [2, 2, 2], # [2, 2, 2], # [2, 2, 2] ] # 三

2020-11-09 17:09:43 1350

原创 OpenCV：vector subscript out of range

报错vector subscript out of range源码 // 查找轮廓 vector<vector<Point>> contours; vector<Vec4i> hierarcy; // 定义外接矩形集合 vector<Rect> boundRect(contours.size()); int x0 = 0, y0 = 0, w0 = 0, h0 = 0; Mat dstRect; ds

2020-08-01 08:40:48 751

原创 OpenCV：对视频使用背景差分法并实时显示结果

参考win10 / VS2013 / OpenCV3#include<opencv2/opencv.hpp>#include<iostream>using namespace std;using namespace cv;//背景差分法int main(){ VideoCapture capture("dust.mp4");//获取视频 if (!capture.isOpened()) { return -1; } double rate =

2020-07-28 16:09:35 397

原创 C#：登陆注册功能

注册//界面//Form1.Designer.cs private void InitializeComponent() { this.tb_username = new System.Windows.Forms.TextBox(); this.label1 = new System.Windows.Forms.Label(); this.label2 = new System.Windows.Forms.L

2020-07-23 14:40:20 1192

原创 OpenCV：imwrite存储图像后为全黑

//截取img左上部分图像 Rect rect1(0, 0, img.cols / 2, img.rows / 2); Mat w1 = img(rect1); imwrite("w1.jpg", w1);修改： //由于原图被归一化了，像素值都处于0-1之间 //将其*255还原 Rect rect1(0, 0, img.cols / 2, img.rows / 2); Mat w1 = img(rect1); w1 = w1 * 255; imwrite("w1.jpg", w.

2020-07-21 15:19:04 1388 1

翻译论文阅读＞烟雾检测：Video-based Smoke Detection Algorithms: A Chronological Survey

文章目录原文------------------------------------------------基于视频的烟雾检测算法：时序调查摘要关键词1 介绍2 现有的烟雾检测算法5 结论参考文献原文Video-based Smoke Detection Algorithms: A Chronological Survey ------------------------------------------------基于视频的烟雾检测算法：时序调查Video-based Smoke Detec

2020-07-17 11:14:04 6045 1

翻译论文阅读＞烟雾检测：Vision based smoke detection system using image energy and color information

原文Vision based smoke detection system using image energy and color information文章目录原文基于图像能量和颜色信息的视觉烟雾检测系统摘要关键词1 介绍2 相关工作3 系统概述4 烟雾分割的背景模型基于图像能量和颜色信息的视觉烟雾检测系统Vision based smoke detection system using image energy and color informationSimone Calderar

2020-07-16 17:45:54 3657

翻译论文阅读＞污垢检测：Vision-Based Dirt Detection and Adaptive Tiling Scheme for Selective Area Coverage

文章目录基于视觉的污垢检测和选择性区域覆盖的自适应切片方案摘要1 介绍提出的污垢检测和分割方法2.1 三阶段过滤2.1.1 定期模式检测过滤器2.1.2 边缘检测和增强2.1.3 噪声消除和污垢分析3 多米诺瓷砖3.1 基于自适应平铺的选择性污垢区域覆盖率Tetromino平铺理论3.1.2 自适应的Tetromino平铺算法4 实验，结果和讨论4.1 污垢检测算法验证4.2 使用污垢数据库4.2.1 ACIN污垢数据库4.2.2 Bormann污垢数据库4.3 带有自适应平铺的选择性污垢区域覆盖率4.3.

2020-07-16 16:27:14 2704 2

翻译论文阅读＞烟雾检测：Smoke detection based on imageprocessing by using grey and transparency features

文章目录通过利用灰度和透明度特征基于图像处理的烟雾检测摘要关键词1 介绍2 颜色模型和烟雾特征分析3 系统3.1 烟雾检测算法3.1.1 视频帧转换3.1.2 运动检测和颜色变换通过利用灰度和透明度特征基于图像处理的烟雾检测Smoke detection based on imageprocessing by using grey and transparency featuresAHMED FAKHIR MUTAR, DR. HAZIM GATI’ DWAY摘要在本研究中，我们通过分析早期烟雾的

2020-07-16 10:38:14 5345 6

空空如也

空空如也