the sourth wind-CSDN博客

原创简要论文笔记:Conformer: Local Features Coupling Global Representations for Visual Recognition

VIT后很多工作都是想办法把transforemer和convolution结合起来，希望同时享受各自的优点。一.论文试图解决什么问题？在Visual Transformer中，虽然级联自注意力模块可以捕获长距离特征依赖关系，但会破坏局部特征细节，虽然已经有工作提出了一个标记化模块或利用CNN特征图作为输入tokens来捕获特征相邻信息。然而不幸的是，关于如何精确的将局部特征和全局表示相互嵌入的问题依然存在。CNN虽然擅长提取局部细节，但是难以捕获全局表示，虽然已经有相关将全局线索引入CNN

2022-05-04 20:56:01 1082

原创技术笔记:Self-Attention机制

Self-Attention1.键值对注意力 Transformer中最核心的部分就是键值对注意力了，键值对注意力最核心的公式就是下面这个公式了，这个公式其实蕴含了很多点，这些点都要Get到。首先上面这个公式可能看起来挺难懂，但是我们可以看看下面这个公式，下面这个公式的意义是什么？先抛开Q,K,V矩阵不谈，self-Atte...

2022-03-28 21:51:12 2609 1

原创论文笔记：Dual Contrastive Loss and Attention for GANs

一.Dual Contrastive Loss and Attention for GANs 是什么？随着生成式对抗式网络的发展，在大规模数据集下、参数调优合理、损失函数设计合理的话就能够生成逼真的图像，作者指出了在最先进的StyleGAN2看似饱和的性能背后，仍然存在GANs的一些问题，它生成的图像仍然容易被甄别出来，尤其是在具有高方差的数据集上(例如卧室、教堂）上，因此作者重新审视了GAN基本的生成能力，为此在损失函数和网络结构上寻找原因（两个维度）。 1.损失函数...

2022-03-24 17:43:22 5404 1

原创论文解读：AdderSR Towards Energy Efficient Image Super-Reso

本文主要介绍的是加法神经网络的超分应用 (CVPR 2021 Oral），这篇是华为诺亚AdderNet的衍生版本，在超分辨率上的应用。AdderNet显著降低了分类网络的能耗，同时实现了相当的性能。所以，作者的新目标是将AdderNet应用在具有更高的能耗和计算复杂性图像超分辨率任务上。1.加法神经网络能不能应用于超分的任务上？理论上可行，但是应注意两个问题:（1）超分网络相邻2层之间的差异在纹理和颜色信息上都非常相似，AdderNet是否能实现这样的效果（2）随着深度的增加，高频信息

2022-03-19 18:49:27 4406

原创论文解读：AdderNet: Do We Really Need Multiplications in Deep Learning?

1.AdderNet是什么?卷积神经网络中的卷积操作充满了大量的浮点值乘法运算，因此相比加法运算，乘法运算复杂度更高，加法网络(AdderNets）交换了深度神经网络中的大规模乘法，获得了更低的计算成本，以其能够便携的搭载在移动设备应用场景。核心在于用L1距离代替欧式距离，即代替，在加法器网络中，作者以滤波器与输入特征之间的L1范数距离作为输出响应，分析了这种新的相似性度量对神经网络优化的影响。为了获得更好的性能，通过研究全精度梯度开发一种特殊的反向传播方法。然后作者还提出了一种自适应学习率..

2022-03-16 12:41:43 3879

原创论文详解EnlightenGAN: Deep Light Enhancement Without Paired Supervision

深度学习方法虽然在图像重建和增强上已经取得了显著的成功，但是他们对于图像的要求都比较高，需要成对的图像数据来进行训练，甚至有的算法对图片质量要求极高。那么如何进行非成对的数据这样在实践当中是一个很严重的问题。作者提出了一个无监督的生成对抗网络EnlightenGAN,它可以在没有配对数据的情况下进行训练。他提出了一系列的创新，包括全局-局部鉴别器结构，自正则化感知损失，以及自正则注意机制。经过实验证明，作者的模型能够很容易适应增强现实世界的各种图像。

2021-11-20 16:18:03 5861 6

原创汽车指示盘警示灯数据集增强(one-shot)

数据数据数据当然是一个很重要的东西，如果数据很少该怎么办呢？既要马儿跑，又不给马儿草......本文中我将要做的工作是一个关于汽车指示盘警示灯的数据集增强，因为网上的相关数据不好找，搜集和筛选数据的时间性价比较为低下，已经搜集到了少量的数据，如果要保证模型的准确性我们必须要进行数据增强，否则很容易陷入过拟合(增加数据不会导致过拟合，参数太多才会)，之后可以考虑拿着这些数据进行迁移学习，这里打算进行的是离线数据增强(有数据扩充的那种增强)。目录一.过拟合导致的原因二.解决过拟合的方法1.数据增强

2021-02-04 20:02:35 686

原创 Mask_Rcnn训练数据集(目标检测）

1.首先我们需要安装所需依赖，我们的依赖是全部写在了requirement文件里，可直接通过下面的命令Pip。 pip install -i https://pypi.mirrors.ustc.edu.cn/simple/ -r requirements.txtrequirements文件内容是这样的，这包含了我们所需要的依赖包。2.从项目目录下运行安装程序python setup.py install3.下载预处理好的COCO权重模型，可以去github也可以去csdn下

2021-02-01 10:16:03 2877 9

原创卷积神经网络之优化参数(剪子包袱锤)

目录一.优化参数的三个方法1.手动修改2.for循环调参3.Keras Tunner自动调参工具介绍1.安装2.准备训练数据和加载的库3.创建HyperParameters对象以及模型生成函数4.创建Hyperband对象4.开始优化5.获取最佳模型6.结果显示二.注释1.为什么二次调参无效，不起作用?(避坑)2.dropout的意义3.WARNING:tensorflow:Callbacks method `on_train_batc.

2021-01-28 21:14:59 2175

原创卷积神经网络之多元分类(剪刀石头布）

这里以剪刀石头布为例。具体一些细节已经在CV1-CV3中详细解释过。一.多元分类模型1.准备数据集下载代码:训练集数据wget --no-check-certificate \ https://storage.googleapis.com/laurencemoroney-blog.appspot.com/rps.zip测试集数据wget --no-check-certificate \ https://storage.googleapis.com/laurencemoroney-bl

2021-01-27 21:14:52 1689

原创卷积神经网络之优化参数(人马分类)

构造神经元网络模型时，我们一定会考虑需要几个卷积层，需要有几个过滤器，全连接层需要几个神经元？目录一.优化参数的三个方法1.手动修改2.for循环调参3.Keras Tunner自动调参工具介绍1.安装2.准备训练数据和加载的库3.创建HyperParameters对象4.创建Hyperband对象4.开始优化5.获取最佳模型6.结果显示

2021-01-26 23:11:25 1272

原创卷积神经网络(人马分类)

目录正文:1.数据集准备2.模型建立3.模型调用注释：一.ImageDataGenerator介绍二.flow_from_directory介绍三.判断深度学习效果好坏(通过loss和val_loss比较)四.测试图片格式转换问题1.img_to_array()2.expand_dims()3.np.squeeze()五.model.evaluate和model.predict的区别1.model.evaluate2.model.predict

2021-01-25 22:00:31 3745 1

原创全连接神经网络

#下面的代码是完成常用数据集Fashion-MNIST时尚物品的识别，每一行代码尽可能的都给出了详细注解# -!- coding: utf-8 -!- #防止中文乱码import tensorflow as tf #导入tensorflow库import matplotlib.pyplot as plf #matplotlib.pyplot是一个有命令风格的函数集合from tensorflow import keras #从tensorflow库中导入...

2021-01-23 13:27:00 2426

原创 Java提交OJ规范

首先我们需要很明确的一点是在类vjude这种OJ提交系统中一般都是需要循环输入的，即他会用多行输入来去测试你的程序是否正确。这是A题:题目中提供了问题，输入格式要求，输出格式要求，输入样例，输出样例，需要注意的就是输入样例是从控制台输入的，即要想接收这两个参数，必须从控制台输入。Scanner sc=new Scanner(System.in);int a=sc.nextInt();...

2019-07-15 11:10:46 2822

原创 php后台传前台json中文乱码问题解决

用PHP的json_encode来处理中文的时候, 中文都会被编码成Unicode 1 echojson_encode("中文");//"\u4e2d\u6587" 解决方式是加上JSON_UNESCAPED_UNICODE 1 echojson_encode("中文",JSON_UNESCAPED_UNICODE)...

2019-04-04 12:39:56 630

原创动态规划模型

动态规划1中已经介绍了一些动态规划的一些基本内容，现在我们从三道题来看一下动态规划的模型。1.最大字段和给定一个由数字组成的序列，其中连续的一段子序列称为一个子段，子段中的所有数只和称为子段和，这里只考虑非空子段，即至少包含一个元素的子序列，那么现在需要你求出有一个序列中的最大子段和。当然我们可以用o(n^3）的暴力算法来解决这道题，也可以用前缀和优化成o(n^2)的算法来解决，但...

2019-03-17 15:35:46 7735

原创动态规划1

动态规划是编程解题的一种重要的手段，他主要是根据一类多阶段问题的特点，把多阶段决策问题变换为一系列相互联系的单阶段问题，然后逐个加以解决，主要是用于求解具有某种最优性质的问题。我们遇到的问题可以会有许多可行解，但是我们希望找到具有最优的那个解。所以说我们就可以用一个表来记录所有已解的子问题的答案。不管该子问题以后是否被用到，只要他被我们计算过，就把这个结果填入表中，以供后面的使用。具体的动态规划算...

2019-03-15 18:19:55 360

原创 01迷宫问题

这题听说有人用并查集做的......很简单的一道题，要注意的就是可能会超时，需要计算一下时间复杂度。这题问的是某一格开始能移动到多少个格子，显然这题要不就用DFS连通块要不就用BFS宽搜一下，这题很好写。但是有一个问题就是注意这个数据规模，m<=100000,如果用bfs的话显然不能每次询问每次bfs，这样真的一定会超时，o(m*N*N)，N还是比较大的（N代表可移动的格数），所以肯...

2019-03-13 20:52:11 1100

原创深度优先搜索（基本款和加强款)

首先深度优先搜索是从图论中延展来的，他是一种适用性非常广泛的算法，同时也是一些高阶算法的组成部分。先看一道比较简单的深搜题。这题给出的数据范围是1<=N,M<=100000,如果用dfs的话这个时间复杂度足够解决该题。1.用vector邻接数组储存这个图，好处是这个dfs函数可以不用写边界条件也能终止dfs状态 2.用visited[]数组存储各个顶点是否被访问过的标记。要注意的就...

2019-02-19 12:36:45 225

原创版本分支（加强款深搜)

题目图片有点大。。不过不要紧。。。因为今晚上需要写三道题的题解。。。这个我就只把代码写写，不懂的可以问问我。明天我会把这题的具体题解写写。代码如下：#include <iostream>#include <vector>//邻接数组using namespace std;const int N=100001;vector<int> v[N...

2019-02-18 21:08:42 210

原创铺地毯

如题，我觉得大家应该都能做出来这题。我就把我的做法给大家看看。不明白的可以问问我。#include <iostream>using namespace std;const int N=100000;struct num{ int t; int x; int y; int g; int k;}num[N];int m...

2019-02-18 20:30:13 136

原创最佳牛围栏

如题，这题是一个最优化的问题，暴力肯定会超时，就是上来用前缀和的话，因为地的数量大于等于F，所以最坏时间复杂度为o（N*(N-1）)这个算法的话肯定也会超时，因为o(n^2）算法处理的数据只为5000，所以我们可以二分答案，就是最坏的时间复杂度是o(n*logn)能处理的数据为10^6，足够应对该题了。那么需要二分1到2000这个区间，这个问题变成了一个判定问题，判定问题其实比较好解，比m...

2019-02-18 20:24:03 608

原创前缀和讲解

什么是前缀和?假如有一个数组a[0]、a[1]、a[2]、a[3]、...、a[n]令s[i]=a[0]+a[1]+...+a[i]//数组前i项和=>区间[0,i]之间的所有和=>i的前缀和此时的s就是数组的一维前缀和前缀和是一种比较重要的预处理，它能大大的降低查询的时间复杂度我们可以通过前缀和来求出任意区间的求和值，比如我们想求出[5,10]区间内的求和值即s[1...

2019-01-23 20:52:19 1329 1

原创算式最大值

这是一道水题，不过还挺有趣的，主要就是找规律。-----------------------------------------------------------------------------------------重新提示一下下面符号的意义N代表有多少个数 P代表有多少个+号 Q代表有多少个-号 K代表有多少个括号Ai代表数据输入数据|K为0时算式最大...

2019-01-22 20:04:37 606

原创费解的开关

宽搜解法1：#include <iostream>#include <queue>#include <map>#include <cstdio>using namespace std;const int M=10000;map<int,int> m;queue<int> myqueue;int turn...

2019-01-19 20:07:27 295

原创指数型枚举

从 1~n 这 n 个整数中随机选取任意多个，输出所有可能的选择方案。输入格式输入一个整数n。输出格式每行输出一种方案。同一行内的数必须升序排列，相邻两个数用恰好1个空格隔开。对于没有选任何数的方案，输出空行。本题有自定义校验器（SPJ），各行（不同方案）之间的顺序任意。数据范围1≤n≤151≤n≤15输入样例：3输出样例：32...

2019-01-18 17:57:58 408

原创走进递归———凑数字题解

题目描述有n个数字，a[1],a[2],a[3]......a[n]，以及一个数字m。问n个数字中取出一些数字，这些数字的和能否等于m。输入多组测试数据，读入到文件尾结束。第一行输入n，m。（1<=n<=20, 1<=m<=100）第二行输入n个数字a[1],a[2],a[3]......a[n]。(1<=a[i]<=100)输出如果可...

2019-01-17 18:05:14 1763

原创位运算详解

首先我们需要清楚位运算的一些基本知识。与 a&b或 a|b非 ~a异或 a^bint 32位1:0000000...1 2:0000000...103:0000000...11补码(表示计算机中的负数): ~a+1是a的补码即(-a)memset(a,0x3f,sizeof a)//把这个a所占的全部字节初始化为0x3f(十六进制)0x3f3f3f3f*...

2019-01-16 16:02:13 564

原创 XMKF练习题2——对称之美

c语言版本:#include <stdio.h>#include <string.h>#include <stdlib.h>char str[50000000];int main(){ int n,i,len=0; scanf("%d",&n); for(i=0; i<n; i++) { ...

2019-01-16 09:26:50 322

原创 XMKF练习题1——数字对去重

由题意可知，此题即是要你求出差值为k的不重复数字对个数。输入样例中,1 5 3 4 2中1 3是一对，5 3 是一对，4 2是一对。很显然，最常规最暴力的解法是对n个元素进行二层遍历，之后再去判断重复，若之前已经有过这个数字对则不保存，如果没有的话则保存到开辟的二维数组中。for(int i=0;i<n;i++)for(int j=0;j<n;j++)if(a[...

2019-01-15 10:38:52 344