- 博客(177)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 DIP: Spectral Bias of DIP 频谱偏置解释DIP
研究思路从谱偏置方向分析DIP的工作，网络先拟合低频信息，逐渐拟合高频信息怎么控制拟合高频信息？–> 高频截断 --> 应用Lipschitz理论控制，解决网络层退化的问题网络训练慢怎么解决？–>分析发现常规的上采样层相当于一个低通滤波器，引入了过多的低频分量导致很多时候收敛非常慢，所以使用 gaussian 核控制的转置卷积方法 平衡网络收敛效率的问题。怎么Early stopping减少迭代次数？--> 使用模糊度与锐度的比值的导数进行衡量优点。
2023-08-13 23:40:27
710
原创 DIP: NAS(Neural Architecture Search)论文阅读与总结（双份快乐）
NAS-DIP就是用了一个RNN controller 强化学习模块搜索最合适的DIP网络架构：提供的两个网络模块搜索空间是Upsampling方法和大小Upsampling 分解和权重共享总结网络结构对传统DIP的效果有影响，搜索一个合适的网络结构可能对网络效果有很大的影响定性分析上采样结构、skip connection结构对DIP的影响很大，设置了搜索空间（包括upsampling方法、结构和skip connection结构等）提出了一种基于强化学习的网络结构搜索方法问题。
2023-08-12 09:31:46
1309
1
原创 DIP:《Denoising and Regularization via exploiting the structural Bias of Convolutional 》经典文献阅读总结与实现
重复一下贡献分析提出：Convolution Generator（无参数数量限制的Deep Decoder）能够解决逆问题的核心原因在于有固定的卷积核，bilinear upsampling可以看作是固定核的卷积利用NTK理论计算得到了网络去噪效果的上界，并通过上界公式中的迭代次数证明了过参数化网络可以通过 early stopping方法去噪NTK：描述无限宽深度神经网络在梯度下降训练过程中演化的核利用NTK理论证明了一个 双层convolution generator。
2023-08-11 13:02:24
202
原创 DIP:《Deep Decoder: Concise Image Representation from Untrained Non-convolut》文献阅读与总结
ICLR 2019工作 Deep Decoder只使用Encoder-Decoder结构中的Decoder进行探索对DIP的影响，分析了DIP结构对高频噪声的屏蔽效果，同时分析了使用欠参数网络模型对图片进行构造是可行的，一定程度上可以解决DIP训练效率低的问题。同时欠参数化的模型对于early stopping的需求没有那么强了，可以一定程度上解决DIP固有的这个问题。
2023-08-10 14:10:54
237
原创 DIP:《Deep Image Prior》经典文献阅读总结与实现
Deep Image Prior经典文献，利用CNN/网络的低频响应特征恢复信号过滤噪声。这种单张图片无监督方法去噪，脱离了海量数据需求，适应于那种稀有数据去噪、恢复、超分辨率等等类型的工作。除此之外这种方法为图像处理提出了新的解决思路（反演）。
2023-08-09 23:18:23
1658
1
原创 自监督去噪：Blind2Unblind原理分析与总结
CVPR 2022 Blind2UnBlind 自监督去噪文件原理分析与总结，基于Noise2Void，Noise2Self等方法提出的盲点网络方法，提出了循环损失函数和正则化方法，解决了盲点本身带来的信息丢失等问题。
2023-08-07 11:25:03
751
2
原创 自监督去噪：Recorrupted-to-Recorrupted原理分析与总结
Recorrupted-to-recorrupted 子监督去噪方法原理推导，这种方法基于单张含噪图片进行采样，在已知噪声模式的条件下可获得相对较好的去噪效果。提供了一种用于去噪的思路。
2023-08-06 10:35:52
718
原创 自监督去噪：Neighbor2Neighbor原理分析与总结
Neighbor2Neighbor: 基于Noise2Noise自监督方法加入额外的正则化，从单张图片中采样噪声对进行训练。
2023-08-05 13:29:54
762
原创 自监督去噪：Noise2Self原理分析及实现 (Pytorch)
Noise2Self文章原理理解和代码解读，提供了一种盲点网络的思路用于无监督去噪
2023-08-04 15:00:27
2070
原创 自监督去噪：Noise2Void原理和调用（Tensorflow）
Noise2Void 原理推导，调用Tensorflow官方代码进行测试
2023-08-02 11:38:09
2163
2
原创 自监督去噪：Noise2Noise原理及实现（Pytorch）
noise2noise 不需要干净训练样本的去噪方法，原理解析及 pytorch实现
2023-07-30 19:45:30
3268
2
原创 嵌入物理(PINN)还是基于物理(AD)?
基于自动微分（Automatic Differentiation）的反演问题解析。利用深度学习框架的自动微分（auto diff）自动计算损失函数关于输入参数的梯度，然后利用深度学习框架中自带的优化算法如Adam等进行模型优化，同时用GPU和矩阵计算提高反演的效率。可用于高效地下横波波速反演和反演结果不确定性估计。核心优势:(1) 无损梯度求解。(2)计算效率高：与传统的数值微分方法相比，自动微分技术具有更高的计算效率，其可以自动计算梯度，避免了重复计算和存储导数的问题。
2023-02-20 16:55:38
1614
原创 文章阅读总结：视频理解论文串讲（Li Mu+ Yi zhu）
根据B站Li Mu 和YI Zhu 大神的文章阅读精讲所作的笔记，同时包含有一些个人的理解。对于很多领域都可能会用到视频理解领域的技术，通过了解整个视频理解技术框架的形成与发展也可以更好地将其中地精华部分迁移到各自对应地领域之中。可以少踩很多坑...
2022-07-13 15:19:28
573
原创 文章阅读总结：GPT
GPT发展及重要点的提取：GPT1提出使用Transformer解码器进行无监督预训练，开启大模型训练潮流；GPT2提出新的思考点：zero-shot，直接使用预训练模型进行有监督任务；GPT3继续提高网络的参数量，达到恐怖的1700亿，大力出奇迹，获得了非常好的效果，后来人也在GPT3的基础上玩儿出了花！...
2022-07-08 16:00:44
1779
原创 存在感逐渐降低的池化层——Pooling Layer总结
文章目录1. Pooling的作用2. 各种不同的Pooling1. max pooling（最大池化层）2. average pooling （平均池化层）3. Global Average Pooling（全局平均池化层）4. mix pooling（混合池化层）5. stochastic pooling(随机池化)6. Local Importance-based pooling（局部重要性池化层）7. Generalized-mean Polling layer（GeM池化层）3. 使用卷积替代池.
2022-04-27 17:51:22
3245
原创 实用机器学习笔记（九）：模型评估+过/欠拟合+模型验证
文章目录Evaluation Metrics1. Model Metrics2. Metrics for Classification3. AUC & ROCunderfiting & overfiting1. Training and generalization errors2. Model complexity3. Data complexityModel Validation1. Estimate Generalization Error2. Hold out validation3
2022-03-23 17:46:46
1555
原创 实用机器学习笔记（八）：SGD + MLP + CNN + RNN简介
文章目录1. Mini-batch stochastic gradient descnet (SGD)2. Linear Methods -> Multilayer Perception（MLP）3. Dense Layer --> Convolution layerThe problem of dense layerConvolution layerPooling LayerConvolution Neural Network(CNN): 有参考文献，可以白嫖4. Dense layer --
2022-03-22 22:52:28
1793
原创 实用机器学习笔记（七）：决策树
文章目录1. Decision Trees (决策树)2. Random Forest (随机森林)3. Gradient Boosting Decision Trees(梯度提升决策树)4. Summary1. Decision Trees (决策树)优点Explainable (可解释性)Can handle both numerical and categorical features （数值与分类特征）缺点Very non-robust(unsemble to help) （鲁棒性
2022-03-13 10:25:33
1746
原创 实用机器学习笔记（六）：特征工程
文章目录1. Feature Engineering(特征工程)2. Tabular data features(表格数据)3. Text features (文本数据)4. image/video features (图片/视频数据)5. Summary1. Feature Engineering(特征工程)Machine learning algorithms prefer well define fixed length input/output (机器学习更喜欢固定的输入输出)Feat
2022-03-13 10:14:20
1228
原创 实用机器学习笔记（五）：数据变换
文章目录Data Transformation1. Normalization for Real Value Columns2. Image Transformations3. Video Transformations4. Text transformations5. SummaryData TransformationData are transformed into forms appropriate for ML algorithmsWe focus on methods in a part
2022-03-11 17:53:34
669
原创 实用机器学习笔记（四）：数据清洗
文章目录Data Clearning1. Data Errors2. Types of data errors3. Outlier Detection4. Rule based detection5. Pattern-based detectionData Clearning1. Data ErrorsData often have errors -the mismatch with ground truth(数据误差)Good ML model are resilient to the erro
2022-03-11 17:48:21
914
原创 实用机器学习笔记（三）：数据预处理
文章目录一、使用pandas+seaborn+pyplot进行数据展示和预处理操作1. 读取与查看数据2. 数据预处理： Drop + Filter + Replace3. 数据统计4. 数据可视化二、总结一、使用pandas+seaborn+pyplot进行数据展示和预处理操作Pandas基础教学：这是前两天在Datawhale看到的一篇关于Pandas的介绍，写得非常好，记录备用https://mp.weixin.qq.com/s/A232A6OLxrlsZUx0VGv3Ow1. 读取与
2022-03-11 16:32:21
2604
原创 实用机器学习笔记（二）：数据标注
文章目录数据标注1. 数据标注流程2. semi-supervised learning (SSL) ： 半监督学习3. 数据标注的挑战数据标注1. 数据标注流程Have enough data? 数据是否充足improve label,data, or model? 标签、数据和模型哪个部分需要提升enough label? 标签是否充足semi-supervised learning 半监督学习enough budget ? 预算是否充足label via crowd s
2022-03-08 12:09:53
945
原创 实用机器学习笔记（一）：数据获取
文章目录一、课程介绍重点二、数据获取2.1 数据获取步骤2.2 常见ML数据集2.3 哪里去找数据集2.4 数据融合2.5 生成数据2.6 总结三、网页数据抓取3.1 网页抓取工具3.2 爬取规则一、课程介绍重点A ML workflow includes：formulating the problem (找问题)preparing data（准备数据）training and deploying ML model （训练网络）monitoring （持续跟踪）二、数据获取Flow
2022-03-08 11:53:10
439
原创 动手学深度学习（五十）——多头注意力机制
文章目录1. 为什么用多头注意力机制2. 什么是多头注意力机制3. 多头注意力机制模型和理论计算4. 动手实现多头注意力机制层小结练习1. 为什么用多头注意力机制所谓自注意力机制就是通过某种运算来直接计算得到句子在编码过程中每个位置上的注意力权重；然后再以权重和的形式来计算得到整个句子的隐含向量表示。自注意力机制的缺陷就是：模型在对当前位置的信息进行编码时，会过度的将注意力集中于自身的位置， 因此作者提出了通过多头注意力机制来解决这一问题。2. 什么是多头注意力机制 在实践中，当给定
2022-02-21 19:35:39
72243
2
原创 动手学深度学习（四十九）——自注意力机制与位置编码
文章目录一、自注意力1. 自注意力2. 自注意力简单定义和使用3. 比较CNN、RNN和Self-Attetion3.1 CNN和self-attention3.2 RNN和self-attention二、位置编码绝对位置信息相对位置信息小结一、自注意力 在深度学习中，我们经常使用卷积神经网络（CNN）或循环神经网络（RNN）对序列进行编码。现在想象一下，有了注意力机制之后，我们将标记序列输入注意力池化中，以便同一组标记同时充当查询、键和值。具体来说，每个查询都会关注所有的“键－值”对并生成一个注意力
2022-02-19 14:29:11
3165
1
原创 动手学深度学习（四十八）——使用注意力机制的seq2seq
文章目录一、动机二、Bahdanau 注意力模型1. 定义Attention解码器2. 训练3. 使用BLEU评估4. 可视化权重总结一、动机机器翻译时，每个生成的词可能相关于源句子中不同的词二、Bahdanau 注意力 我们在seq2seq中研究了机器翻译问题，在那里我们设计了一个基于两个循环神经网络的编码器-解码器架构，用于顺序到序列的学习。具体来说，循环神经网络编码器将可变长度序列转换为固定形状的上下文变量，然后循环神经网络解码器根据生成的标记和上下文变量按标记生成输出（目标）序列标记。
2022-02-19 11:30:26
1266
原创 动手学深度学习（四十七）——注意力分数
文章目录一、注意力评分函数二、注意力分数高维拓展1. 可加性注意力2. 缩放的“点－积”注意力三、总结一、注意力评分函数f(x)=∑i=1nα(x,xi)yi=∑i=1nexp(−12(x−xi)2)∑j=1nexp(−12(x−xj)2)yi=∑i=1nsoftmax(−12(x−xi)2)yi.(1-1)\begin{aligned} f(x) &=\sum_{i=1}^n \alpha(x, x_i) y_i\\ &= \sum_{i=1}^n \frac{\exp\left(
2022-02-19 11:07:34
2025
原创 动手学深度学习（四十六）——注意力机制
一、注意力机制 灵长类动物的视觉系统中的视神经接受了大量的感官输入，其内容远远超过了大脑能够完全处理的程度。幸运的是，并非所有刺激的影响都是相等的。意识的聚集和专注使得灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体，例如猎物和天敌。只关注一小部分信息的能力具有进化意义，使人类得以生存和成功。 自 19 世纪以来，科学家们一直在研究认知神经科学领域的注意力。在本章中，我们将首先回顾一个热门框架，解释如何在视觉场景中展开注意力。受此框架中的 注意力提示（attention cues）的启发，我
2022-02-12 16:46:51
6572
原创 动手学深度学习（四十五）——束搜索
文章目录束搜索一、贪心搜索穷举搜索束搜索小结练习束搜索 在seq2seq中，我们逐个地预测输出序列的标记，直到预测序列中出现序列结束标记“<eos>”。在本节中，我们将首先对这种 贪心搜索（greedy search）策略进行介绍，并探讨其存在的问题，然后对比这种策略与其他替代策略：穷举搜索（exhaustive search）和束搜索（beam search）。 在正式介绍贪心搜索之前，让我们使用seq2seq中相同的数学符号定义搜索问题。在任意时间步 t′t't′，解码器输出 yt
2022-02-12 15:55:27
2918
2
原创 动手学深度学习（四十四）——Seq2Seq原理与实现
文章目录一、什么是seq2seq（ 序列到序列的学习）二、动手实现Seq2Seq1. 编码器2. 解码器3. 损失函数4. 训练5. 预测6. 预测和评估7. 用训练好的Seq2Seq模型将英语翻译成法语8.总结：一、什么是seq2seq（ 序列到序列的学习） 使用两个RNN设计Encoder-Decoder结构，并将其应用于机器翻译Sutskever.Vinyals.Le.2014,Cho.Van Merrienboer.Gulcehre.ea.2014。RNN的Encoder可以使用长度可变的序列
2021-11-15 20:51:47
4746
6
原创 动手学深度学习（四十三）——机器翻译及其数据构建
文章目录一、机器翻译二、机器翻译数据集1. 下载和预处理数据集1.1 文本预处理1.2 词元化 [tokenization](https://zhuanlan.zhihu.com/p/371300063)1.3 词汇表（ [word embedding](https://www.zhihu.com/question/32275069)）2. 加载数据集小结练习 这篇Blog开始介绍翻译，都是NLP的相关内容，翻译和我们前面提到的序列预测（RNN、LSTM、GRU等等）、填空（Bi-RNN）等等有什么联系
2021-11-14 14:37:19
3729
原创 动手学深度学习（四十二）——双向循环神经网络（bi-RNN）
文章目录双向循环神经网络一、隐马尔可夫模型中的动态规划二、双向模型2.1 定义2.2 模型的计算成本及其应用三、双向循环神经网络的错误应用双向循环神经网络 在序列学习中，我们以往假设的目标是：到目前为止，在给定观测的情况下对下一个输出进行建模。例如，在时间序列的上下文中或在语言模型的上下文中。虽然这是一个典型的情况，但这并不是我们可能遇到的唯一情况。为了说明这个问题，考虑以下三个在文本序列中填空的任务：我 ___（高兴、饿了、很好…）。我 ___ 饿了（非常、一般、已经…）。我 ___ 饿了，
2021-11-13 09:47:33
5627
3
原创 动手学深度学习（四十一）——深度循环神经网络（Deep-RNN）
文章目录一、深度循环神经网络二、函数依赖关系三、简介实现3.1 网络构建3.2 训练与预测四、总结 本节非常简单，就是在RNN的基础上加了层的概念，毕竟之前讨论的RNN、GRU和LSTM我们都是在单层神经网络的基础上讨论的一、深度循环神经网络 到目前为止，我们只讨论了具有一个单向隐藏层的循环神经网络。其中，隐变量和观测值与具体的函数形式的交互方式是相当随意的。只要我们可以对不同的交互类型建模具有足够的灵活性，这就不是一个大问题。然而，对于一个单层来说，这可能具有相当的挑战性。在线性模型的情况下，我
2021-11-13 09:32:03
2977
pytorch学习（十）——过拟合相关问题及解决方案
2020-11-10
排序算法的下界和如何超越下界.ipynb
2020-11-09
pytorch学习（九）——交叉熵代价函数原理及其在MNIST手写数字识别中的应用
2020-11-09
pytorch学习（八）——MNIST手写数字识别
2020-11-08
pytorch学习（七）——非线性回归网络代码
2020-11-08
pytorch学习（六）——线性回归网络
2020-11-07
python实现5种基础排序算法
2020-11-02
handcalcs.zip
2020-08-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人