- 博客(52)
- 收藏
- 关注
RSS订阅原创 [ECCV2018] [MUNIT] Multimodal Unsupervised Image-to-Image Translation
贡献：为 unpaired image translation 的生成图像提供多样性提出假设：1、图像的表达可以分成为style code 与 content code；2、不同领域的图像，共享一个content space，但是不同的style space；style code captures domain-specific properties, and content code is domain-invariant. we refer to “content” as the underlin
2020-06-08 00:54:02
1487
4
原创 [CVPR2020] StarGAN v2
基于StarGAN，改进点（B）将原ACGAN+PatchGAN的鉴别器 换成 多任务鉴别器，使生成器能转换全局结构。
2020-06-02 07:34:23
12156
37
原创 [调研] 通用实例分割方法
目前的实例分割方法可分为3类：top-down，也叫做 detect-then-segment，顾名思义，先检测后分割，如FCIS, Mask-RCNN, PANet, Mask Scoring R-CNN；bottom-up，也叫Embedding-cluster，将每个实例看成一个类别；然后按照聚类的思路，最大类间距，最小类内距，对每个像素做embedding，最后做grouping分出不同的instance。Grouping的方法：learned associative embedding，A
2020-05-23 15:52:15
3596
原创 [StackGAN++实践] 网络训练
网络改进2018 IEEE PAMI文章，在2017ICCV StackGAN基础上，进行了一些改进。首先，StackGAN只用了两个GAN，分为两阶段分开训练；改进版将其一般化，可以有多个scale的GAN，并且联合训练；鉴别器使用conditional 与 unconditional 损失，区别就在于鉴别器输入的文本信息c的有无。这在StackGAN代码中已有实现；Co...
2020-05-06 15:39:58
937
原创 [StackGAN实践] [2]网络训练
网络结构论文中的网络结构图如下，embedding的提取直接使用预训练好的text encoder进行提取（不是本文重点）。提出的StackGAN整个模型包含2个GAN网络，分别用于两个阶段：Stage1 ：embedding+ noise 为输入，利用GAN输出低分辨率的64x64大小的影像；Stage2 ：embedding+ Stage I的低分辨率生成影像 为输入，利用GAN输高分辨...
2020-05-05 01:37:45
769
3
原创 [StackGAN实践] [1]图像数据预处理
CUB 鸟类图像数据集，含有11788张图片，200个鸟类别，其中80%的图片的目标占比小于0.5。为方便合成任务，需要提高目标在全图的占比，为此进行如下预处理。预处理：图像裁剪，裁剪多余背景区域，保证bbox划定的鸟的区域占图像比例不低于75% （bbox最大边至少为图像最大边的0.75倍）import numpy as npdef custom_crop(img, bbox): ...
2020-05-02 14:58:06
730
原创 用DCGAN与VAE合成脑MR影像
本文做了两个小实验，分别利用两个经典的生成模型（DCGAN与VAE）来合成脑影像；使用pytorch，全部代码见github；实验设备，NVIDIA 1080Ti；训练数据脑影像使用Brats18 公开数据集的T2模态；提取axial面的240X240大小2d 切片，resize成128X128大小；保存为.npy文件。数据集示例VAE网络结构损失函数第一项重建误差，第二项KL ...
2019-11-03 17:49:58
684
原创 [MICCAI2019] Robust Multimodal Brain Tumor Segmentation via Feature Disentanglement and Gated Fusion
Cheng chen，CUHKIntro针对分割问题中的模态缺失现象。利用 disentanglement的思路，将多模态的输入影像特征，解耦为modality-specific 以及 modality-invariant。在Brats18上进行实验。Method网络框架如下：EcE^cEc编码脑影像的内容信息，得到content code，EaE^aEa编码模态信息，得到appeara...
2019-11-02 19:42:33
1620
1
原创 [ICCV2019] InGAN: Capturing and Remapping the “DNA” of a Natural Image
ICCV2019 ORAL作者：Assaf Shocher，The Weizmann Institute of Science，以色列Intro第一篇用单张图片训练GAN来学习internal statistic的文章。输入单张图片训练，生成影像为任意大小形状的类似图片。Method生成器输入image x以及几何变换 T，鉴别器为多尺度。训练时，T随机采样，测试时，T根据需求选定。...
2019-10-29 17:52:26
1436
3
原创 [ICCV2019] SinGAN: Learning a Generative Model from a Single Natural Image
ICCV2019最佳论文Marr奖作者：Tamar Rott Shaham，Technion（以色列理工）Intro用一张自然图像训练，测试时可以生成类似该图像的合成图像。Method利用金字塔式的多个GAN，每层GAN均引入噪声，对应不同的分辨率。如下图生成器的具体细节：ResultsApplicationSuper-ResolutionPaint-to-Imag...
2019-10-29 17:14:38
1873
1
原创 [MICCAI2019] Artifact Disentanglement Network for Unsupervised Metal Artifact Reduction
作者：Haofu Liao, University of Rochestermetal artifact reduction(MAR)IntroCT影像的MAR一般是需要合成数据来进行训练，然而合成影像并不能完美反应真实CT的物理特性。本文首次提出利用无监督学习来做MAR，具体地，文章使用了disentanglement network，将影像解耦到common content 空间和ar...
2019-10-29 15:12:15
1153
原创 [MICCAI2019] Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-M
Unsupervised Domain Adaptation via Disentangled Representations: Application to Cross-Modality Liver Segmentation作者：Junlin Yang，yaleIntroCT便宜快速，但有辐射且对比度低；MRI对比度高，无辐射，但成本高，不易得到。在实际治疗中，CT和MRI都需要，且需要...
2019-10-29 12:47:48
833
原创 [ICCV2019] Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
作者：Patrick Esser，Heidelberg University, GermanyDistanglement何谓解耦。举例说明下：一张人像图，普通编码器会将这幅图的所有信息进行编码，包括人的外观，姿势，背景等，但这些特征是耦合的，即在改变编码向量时，你无法单独改变某一特征，而不影响其他特征；而distangle意味着图像中这些不同的特征在编码后，可以单独改变而不相互影响。本文中...
2019-10-28 21:44:58
689
1
原创 [ICCV2019] Learning Fixed Points in Generative Adversarial Networks: From Image-to-Image Translation
作者： Md Mahfuzur Rahman Siddiquee， asu虽然作者列表里有Yoshua Bengio大佬，但就顶会文章而言，这篇文章网络创新点很少，基于Stargan的代码改了几行，然后“装饰”成了一个新的网络。但是应用部分利用gan做基于image annotation的anomaly detection和病灶定位对我的启发还比较多。Intro如下图所示，文章认为Star...
2019-10-28 12:28:02
714
原创 [ICCV2019] Detecting the Unexpected via Image Resynthesis
作者：Krzysztof Lis ， EPFLIntroduction利用GAN网络做图像中未知物体的 anomaly detection。该任务简单来说即为，训练数据中没有该类别物体以及其标签，但测试数据中有，如何定位该物体。传统思路有两种：1、根据预测的分割图中较低的confidence score来找未知物体的区域（segmentation uncertainty）；2、利用auto-...
2019-10-27 18:38:14
649
1
原创 [论文笔记] A Fast diffeomorphic image registration algorithm
NeuroImage 2007， 提出DARTEL (Diffeomorphic Anatomical Registration using Exponentiaed Lie algebra) 快速配准方法，该文目前有4818个引用作者信息：John Ashburner, Wellcome Trust Center for Neuroimaging, UK评价配准方法：得到的形变结果是否编...
2019-09-26 21:32:58
1898
原创 影像配准入门资源
http://www.cs.ucf.edu/~bagci/teaching/mic16/lec17.pdfhttps://github.com/natandrade/Tutorial-Medical-Image-Registration
2019-09-24 14:14:56
218
原创 4DCT 数据读取与显示
以 4D-CT 数据集中 case1为例，使用nibabel库进行读取, 注意数据集只有 ANALYSE格式的 .img 文件 没有提供 .hdr 头文件，根据此issue提供的方法解决。并用matplotlib库中的animation模块进行动态显示。代码如下：import numpy as npimport matplotlib.animation as animationimpo...
2019-09-20 17:44:21
2192
2
原创 [MICCAI2019] Learning shape priors for robust cardiac MR segmentation from multi-view images
MICCAI2019 Oral作者信息Chen Chen,Biomedical Image Analysis Group, Imperial College London贡献：设计了Shape MAE（Multi-View Auto Encoder）结构来学习多视角下心脏形状的latent 表达设计了分割网络 Multi-View Unet，能够结合MAE学习到的解剖形状的先验知识，...
2019-09-08 12:44:10
712
3
原创 [MICCAI2019] Conv2Warp: An unsupervised deformable image registration with continuous convolution an
Conv2Warp: An unsupervised deformable image registration with continuous convolution and warping作者信息：Sharib Ali ， Oxford，Institute of Biomedical Engineering贡献：使用可变形卷积学习局部非线性形变；使用可学习的 bicubic Catm...
2019-09-06 15:21:49
1174
原创 [MICCAI2019] Pick-and-Learn: Automatic Quality Evaluation for Noisy-Labeled Image Segmentation
作者信息Haidong Zhu, Tsinghua 电机系文章针对医学影像中标注质量的痛点进行了探究，pick & learn，顾名思义，文章用到的解决方法为：对每个mini-batch中样本的标注质量进行评分，然后根据标注质量高低对相应样本的loss进行加权，得到mini-batch的最终loss后再反向传播，更新网络。Method如下为方法框图，包含3个主要模块：segmen...
2019-09-04 14:38:05
1126
2
原创 医学影像数据集汇总（不断更新）
brainchestJSRT dataset [CT] [lung nodule detection] [site] [pdf]created by Japanese Society of Radiological Technology (JSRT) , 1998SCR database [CT] [Organism Segmentation] [site] [pdf]...
2019-09-04 12:31:13
6157
1
原创 [MICCAI2019] Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation From Mu
Unified Attentional Generative Adversarial Network for Brain Tumor Segmentation From Multimodal Unpaired Images作者信息，Wenguang Yuan， 华南理工
2019-09-02 17:52:12
548
2
原创 [MICCAI2019] Multi Scale Curriculum CNN for Context-Aware Breast MRI Malignancy Classification
作者信息Christoph Haarburger，RWTH Aachen University, Germanycurriculum learning
2019-08-24 20:46:09
1086
2
原创 [MICCAI2019] FocusNet: Imbalanced Large and Small Organ Segmentation with an End-to-End Deep Neural
FocusNet: Imbalanced Large and Small Organ Segmentation with an End-to-End Deep Neural Network for Head and Neck CT Images作者信息：Yunhe Gao ，商汤Hongsheng Li 大佬，CUHK针对医学影像多类别分割任务的一个痛点，分割label不平衡。本文具体指头...
2019-08-20 20:46:36
1753
1
原创 [MICCAI2019] Global and Local Interpretability for Cardiac MRI Classification
深度学习可解释性
2019-08-17 20:11:24
815
原创 [MICCAI2019] Models Genesis: Generic Autodidactic Models for 3D Medical Image Analysis
作者信息Zongwei Zhou, Arizona State University医疗影像的一个痛点，数据少，常常需要自然图像的预训练模型做迁移学习，最广泛的预训练模型ImageNet是2D的，而医疗影像大多3D，且3D数据包含了影像的结构信息，一般而言，3D训练效果会比2D好。3D预训练模型的缺乏是本文的一个出发点。（最近腾讯有出一个3D医疗影像的预训练模型https://github...
2019-08-16 16:55:50
2215
原创 [MICCAI2019] Attention Guided Network for Retinal Image Segmentation
文章在分割网络结构中引入Guided Image Filtering 和 attension block。Guided Image Filtering用来引导图像特征，传递结构信息（边缘信息）；attension block用来去除噪声与无关背景的影响。Guided Image FilteringKaiming He ECCV2010提出。edge-awre滤波算子。介绍Guided Imag...
2019-08-08 01:53:53
1904
2
原创 [MICCAI2019] Overfitting of neural nets under class imbalance: Analysis and improvements for segment
作者单位：Zeju Li，Biomedical Image Analysis Group, Imperial College London分析在前景比较少（类别不平衡）的分割场景中，逐步减少训练数据量，作者发现precision稳定，sensitivity下降明显。作者进一步可视化分类层的输出，发现1、前景离决策面太近，背景离决策面较远；2、随训练数据量减少，前景train和test的...
2019-08-06 23:52:43
378
原创 [MICCAI2019] A Partially Reversible U-Net for Memory-Efficient Volumetric Image Segmentation
作者信息：Robin Brügger, CV Lab,ETH Zürich医疗影像常用3D网络，显存占用经常制约了网络结构与深度，从而对最终精度产生影响。文章主要借鉴了reversible block 的思路来解决上述问题。reversible block该block设计很巧妙。输入x 按通道数先分成两组，x1， x2。利用如下公式(1)，得到y1，y2，由于特殊的结构设计，x1，x2...
2019-08-06 15:23:03
892
1
原创 [论文笔记] SPECTRAL NORMALIZATION FOR GENERATIVE ADVERSARIAL NETWORKS
对 normalization 进行改进优点：Lipschitz常数
2019-05-26 18:28:12
3067
1
原创 [论文笔记] Self-Attention Generative Adversarial Networks
问题：卷积只有局部的感受野，大范围的依赖关系只能通过多层卷积进行处理。这可能影响网络学习到长依赖关系：1、小模型可能无法学习；2、优化算法可能很难找到多层卷积的合适参数来捕捉这种依赖关系；3、这种参数化可能对之前没见过的图片很不稳定，容易失败。单纯增大卷积核扩大感受野是个办法，但增大了计算量文章贡献：1、SAGAN 中引入：引入attention机制学习long range depende...
2019-05-10 16:56:14
716
原创 [医学影像基础] 脑部MRI影像
【参考文献】非医学专业，不保证内容准确性，此笔记仅个人学习备忘通过调节射频脉冲序列，可以得到同一区域不同模态的影像。Repetition Time (TR)是连续射频脉冲在一个slice上作用的时间；Time to Echo (TE)是射频脉冲从发射到接受经过的时间。最常见的是T1-weighted和T2-weighted模态。通过观察CSF区域，很容易分辨T1和T2影像：T1模态CS...
2019-04-26 15:04:12
4991
1
原创 WGAN-GP 关键源码
#https://github.com/yunjey/stargan/blob/master/solver.pydef gradient_penalty(self, y, x): """Compute gradient penalty: (L2_norm(dy/dx) - 1)**2.""" weight = torch.ones(y.size()).to(self.device...
2019-04-25 10:07:56
823
原创 [论文笔记] Mode Seeking Generative Adversarial Networks for Diverse Image Synthesis
作者单位：北大，加利福尼亚大学Abstract针对cGAN输出样本的多样性问题（也是著名的mode collapse问题 ），文章给出的解决方法是在损失函数上加入一个简单的正则项mode seeking regularization term，其主要思想是最大化输出图像之间的距离 与 对应latent code之间的距离 的比值。Motivation来看看作者是如何对文章的motivati...
2019-04-12 10:59:06
2918
1
原创 [深度学习框架] Pytorch源码学习之源码基础一
代码段一// Python object that backs torch.autograd.Variablestruct THPVariable { PyObject_HEAD torch::autograd::Variable cdata; PyObject* backward_hooks;};PyObject_HEAD这个宏用于标准化python对象，其拓展...
2019-04-04 21:34:04
2111
原创 [深度学习框架] Pytorch源码学习之JIT
JIT–Just-In-Time CompilerJIT有两种模式，一种叫tracing，一种叫scriptingtracing不会记录任何控制流信息，如if条件句和循环。但是scripting会保留这些信息。tracing和scripting都包含在TorchScript中，TorchScript的主要目的是从python代码中串行化和优化模型，用TorchScript实现的代码能较方便地...
2019-04-04 15:05:30
2437
1
原创 [深度学习框架] Pytorch源码学习之Tensor
Tensor总览：Tensor对象中包含Storage对象，Storage完成对原数据的抽象：Storage中包含指向原始数据的指针以及用于内存分配的Allocatorpytorch虽然是python first的设计，但所有heavy work都是由C++实现的在python 中，C++代码的集成由extension完成pytorch使用基础张量操作库ATen，其他都在ATen基础上建...
2019-04-04 11:30:00
1155
原创 [深度学习基础] 反向传播：简单实例
首先以单隐藏层的MLP为例对反向传播的过程进行具体说明：前向传播1、网络输入层：训练集上的一小批数据作为输入，将其规范化为：矩阵X,以及对应的类标签向量y矩阵X,以及对应的类标签向量y矩阵X,以及对应的类标签向量y2、网络计算隐藏层：全连接层+ReLUH=max{0,XW(1)}H=max{\{0,XW^{(1)}\}}H=max{0,XW(1)}3、网络计算输出层：全连接层HW(...
2019-04-03 18:12:31
950
原创 [深度学习基础] PCA与LDA
我对PCA的浅显的理解PCA：无监督数据降维主成分分析，以n维数据降到m维为例：对数据矩阵进行特征值分解，将分解得到的n个特征值由大到小排序，找到前m个特征值，再由这m个特征值对应的特征向量将原始n维数据重构为m维数据矩阵，即完成了数据降维。LDA：有监督数据降维线性判别分析，核心思想：将高维数据投影到低维后，使得类内方差最小，类间方差最大...
2019-04-01 20:07:27
308
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人