- 博客(136)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 如何在vscode下，启动jupyter连接远程服务器
为了让notebook服务监听所有的IP地址，而不仅仅是localhost，并且允许其他计算机通过网络连接，你应该使用。step4.一旦notebook服务在服务器上启动后，可以看到一个URL输出到控制台。step2.然后，在该环境下创建一个新的内核。其中username是在远程服务器上的用户名, your_remote_server_ip 是远程服务器的IP地址.现在，就能够从本地计算机浏览和编辑运行在远程服务器上的 Jupyter notebook了。
2024-01-04 23:24:15
1082
原创 NLP基础——中文分词
分词是自然语言处理（NLP）中的一个基本任务，它涉及将连续的文本序列切分成多个有意义的单元，这些单元通常被称为“词”或“tokens”。在英语等使用空格作为自然分隔符的语言中，分词相对简单，因为大部分情况下只需要根据空格和标点符号来切分文本。然而，在汉语等语言中，并没有明显的单词界限标记（如空格），因此汉语分词比较复杂。汉字序列必须被正确地切割成有意义的词组合。例如，“我爱北京天安门”，应该被正确地划分为“我/爱/北京/天安门”。
2024-01-03 23:45:52
1344
原创 【目标检测】非极大值抑制NMS的原理与实现
非极大值抑制（Non-Maximum Suppression，NMS）是目标检测中常用的一种技术，它的主要作用是去除冗余和重叠过高的框，并保留最佳的几个。NMS计算的具体步骤如下：首先根据目标检测模型输出结果，得到一系列候选框及其对应的概率分数。对所有候选框按照概率分数进行降序排序。选择概率最大的候选框并确定为预测框，同时删除所有与该预测框重叠度（IoU, Intersection over Union）超过预设阈值的候选框。重复上述步骤直到所有候选框都被处理完毕或达到预设数量限制。
2023-10-24 21:14:15
615
原创 PyTorch Lightning教程八：用模型预测，部署
关于Checkpoints的内容在教程2里已经有了详细的说明，在本节，需要用它来利用模型进行预测。
2023-08-08 23:57:15
1436
原创 PyTorch Lightning教程六：优化代码
有时候模型训练很慢，代码写得冗长之后，没法诶个检查到底那块出现了占用了时空间，本节通过利用Lightning的一些方法，检查分析是那块代码出现了问题，从而来进一步指导和优化代码本节主要基于性能分析方法，通过捕获分析信息（例如函数花费的时间或使用了多少内存）帮助我们找到代码中的瓶颈。
2023-08-03 21:37:05
1017
原创 PyTorch Lightning教程五：Debug调试
如果遇到了这样一个问题，当一次训练模型花了好几天，结果突然在验证或测试的时候崩掉了，这个时候其实是很奔溃的，主要还是由于没有提前知道哪些时候会出现什么问题，本节会引入Lightning的Debug方案。
2023-08-02 23:33:36
1625
原创 【pandas使用小技巧】如何将DataFrame的index有序化【reset_index()方法】
在pandas中，可以使用**reset_index()**方法将DataFrame的index改成连续的。reset_index()方法会将原来的index作为一列新的数据添加到DataFrame中，并将新的index设置为连续的整数。在代码中，使用reset_index()方法将DataFrame的index改成连续的。其中，drop参数为True表示不保留原来的index列，直接使用新的连续整数作为index。
2023-08-01 18:52:49
387
原创 【pandas使用技巧】如何用pandas拼接excel的多个sheet
在代码中，使用pd.read_excel()方法读取Excel文件中的所有sheet，返回一个字典类型的对象，其中键为sheet名，值为DataFrame。然后使用pd.concat()方法将所有DataFrame拼接成一个DataFrame，其中ignore_index参数指定是否忽略原始索引，如果为True，则重新生成索引。最终输出DataFrame即可。
2023-07-31 23:51:25
1549
原创 PyTorch Lightning教程四：超参数的使用
如果需要和命令行接口进行交互，可以使用Python中的argparse包，快捷方便，对于Lightning而言，可以利用它，在命令行窗口中，直接配置超参数等操作，但也可以使用LightningCLI的方法，更加轻便简单。
2023-07-28 18:35:56
1619
1
原创 【pandas使用技巧】pandas中空值的处理方法
在pandas中，可以使用fillna()方法对DataFrame中的空值进行处理。fillna()方法可以接受一个参数，用于指定如何填充空值。在代码中，使用fillna()方法对DataFrame中的空值进行处理，填充方式可以根据实际情况选择。最终输出处理后的DataFrame即可。
2023-07-27 18:21:53
1927
原创 PyTorch Lightning教程二：验证、测试、checkpoint、早停策略
介绍：上一期介绍了如何利用PyTorch Lightning搭建并训练一个模型（仅使用训练集），为了保证模型可以泛化到未见过的数据上，数据集通常被分为训练和测试两个集合，测试集与训练集相互独立，用以测试模型的泛化能力。本期通过增加验证和测试集来达到该目的，同时，还引入checkpoint和早停策略，以得到模型最佳权重。相关链接：https://lightning.ai/docs/pytorch/stable/levels/basic_level_2.html。
2023-07-25 11:46:14
2776
原创 SegNeXt学习笔记
阐述了近期基于Transformer由于其具编码空间信息的自注意力而在语义分割领域占据重要位置本文展示了卷积注意力在编码上下文信息上比transformer自注意力更有效发现了导致语义分割性能提升的几个关键因素SegNeXt仅用少量的参数，即可实现在VOC2012上90.6%的mIoU，代码开放经历了早期FCN、DeepLab系列，到近期基于Transformer的模型，如SETR、SegFormer强主干网络。例如Transformer主干网络比基于CNN更强。多尺度信息交互。
2022-10-24 09:50:30
4235
1
原创 深度学习模型压缩与加速技术（七）：混合方式
深度学习模型压缩与加速技术（一）：参数剪枝深度学习模型压缩与加速技术（二）：参数量化深度学习模型压缩与加速技术（三）：低秩分解深度学习模型压缩与加速技术（四）：参数共享深度学习模型压缩与加速技术（五）：紧凑网络深度学习模型压缩与加速技术（六）：知识蒸馏深度学习模型压缩与加速技术（七）：混合方式A：压缩参数 B：压缩结构常用模型压缩与加速技术的组合，就是混合方式。混合方式能够综合各类压缩与加速方法的优势，进一步加强了压缩与加速效果，将会是未来在深度学习模型压缩与加速领域的重要研究方向。......
2022-07-05 16:27:14
644
原创 PyTorch量化实践（2）
量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践中是怎样的。最后，我们将以文献中关于在工作流程中使用量化的建议作为结束。
2022-06-01 17:19:55
1235
原创 PyTorch量化实践（1）
翻译来源https://pytorch.org/blog/quantization-in-practice/量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践中是怎样的。最后，我们将以文献中关于在工作流程中使用量化的建议作为结束。量化原理如果有人问你几点了，你不会回答“10:14:34:430705”，而会说“10点过一刻”。量化本质.
2022-05-27 14:41:41
1054
原创 算法题:组合总和leetcode39
题目链接https://leetcode.cn/problems/combination-sum/给你一个 无重复元素 的整数数组 candidates 和一个目标整数 target ，找出 candidates 中可以使数字和为目标数 target 的 所有 不同组合 ，并以列表形式返回。你可以按 任意顺序 返回这些组合。candidates 中的 同一个 数字可以无限制重复被选取。如果至少一个数字的被选数量不同，则两种组合是不同的。对于给定的输入，保证和为 target 的不同组合数少于 15
2022-05-26 23:39:22
109
原创 《Dynamic Routing Between Capsules》论文学习总结
author: Geoffrey E. Hinton etc.years: 2017institution: google brain★论文相关技术已申请专利AbstractA capsule(胶囊) is a group of neurons, whose activity vector(激活向量) represents the instantiation parameters(实例化参数) of a specific type of entity(特定类型的实体) such as an o
2022-05-25 23:36:35
184
1
原创 Document Layout Analysis: A Comprehensive Survey 2019论文学习总结
论文题目Document Layout Analysis: A Comprehensive Survey 2019前言文档版面分析（DLA）是文档理解的预处理步骤，其负责检测和标注文档内的物理结构。DLA有很多重要的应用，例如文档检索、问本分类，文字识别等，其目的是通过识别文档同类块和确定他们之间的关系，以此来简化后续的分析和识别阶段。DLA包含几个阶段，根据文档的布局和最终分析的目标不同，DLA的方法也不同。在此方面，一个能够适应所有类型的文档布局或满足所有分析目标的通用DLA算法还未开发出来。DL
2022-05-24 23:57:54
689
原创 深度学习模型压缩与加速技术（六）：知识蒸馏
目录总结知识蒸馏定义特点1.学生模型的网络架构2.教师模型的学习信息训练技巧其他场景参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习的模型压缩和加
2022-04-25 16:34:52
2639
原创 深度学习模型压缩与加速技术（五）：紧凑网络
文章目录总结参数共享定义特点1.卷积核级别新型卷积核简单filter组合2.层级别3.网络结构级别参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习
2022-04-25 14:42:27
2839
原创 深度学习模型压缩与加速技术（四）：参数共享
文章目录总结参数共享定义特点1.循环矩阵2.聚类共享3.其他方法参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习的模型压缩和加速引起了学术界和工业
2022-04-25 11:18:34
1763
原创 深度学习模型压缩与加速技术（三）：低秩分解
目录总结低秩分解定义特点1.二元分解2.多元分解参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习的模型压缩和加速引起了学术界和工业界的广泛兴趣，各
2022-04-25 09:14:35
6421
1
原创 深度学习模型压缩与加速技术（二）：参数量化
目录总结参数量化参数量化定义参数量化特点1.二值化二值化权重二值化权重与激活函数2.三值化3.聚类量化4.混合位宽手工固定自主确定训练技巧参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格
2022-04-24 17:43:24
4926
原创 PyTorch 模型剪枝实例教程三、多参数与全局剪枝
目录1.导包&定义一个简单的网络2.多参数剪枝3.全局剪枝4.总结目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级模型，并通过私有的设备上计算以保证隐私，通过减少参数数量来压缩模型的最佳技术非常重要。稀疏神经网络在预测精度方面可以达到密集神经网络的水平，
2022-04-22 20:17:29
1357
原创 PyTorch 模型剪枝实例教程二、结构化剪枝
目录1.导包&定义一个简单的网络2.获取网络需要剪枝的模块3.模块结构化剪枝（核心）4.总结目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级模型，并通过私有的设备上计算以保证隐私，通过减少参数数量来压缩模型的最佳技术非常重要。稀疏神经网络在预测精度方面可
2022-04-22 17:43:59
4732
原创 PyTorch 模型剪枝实例教程一、非结构化剪枝
目录1.导包&定义一个简单的网络2.获取网络需要剪枝的模块3.模块剪枝（核心）4.总结目前大部分最先进的（SOTA）深度学习技术虽然效果好，但由于其模型参数量和计算量过高，难以用于实际部署。而众所周知，生物神经网络使用高效的稀疏连接（生物大脑神经网络balabala啥的都是稀疏连接的），考虑到这一点，为了减少内存、容量和硬件消耗，同时又不牺牲模型预测的精度，在设备上部署轻量级模型，并通过私有的设备上计算以保证隐私，通过减少参数数量来压缩模型的最佳技术非常重要。稀疏神经网络在预测精度方面可以达到
2022-04-22 15:13:37
3939
原创 深度学习模型压缩与加速技术（一）：参数剪枝
目录总结参数剪枝定义分类非结构化剪枝结构化剪枝1.Group级别剪枝2.filter级别剪枝参考文献深度学习模型的压缩和加速是指利用神经网络参数的冗余性和网络结构的冗余性精简模型，在不影响任务完成度的情况下，得到参数量更少、结构更精简的模型。被压缩后的模型计算资源需求和内存需求更小，相比原始模型能够满足更加广泛的应用需求。在深度学习技术日益火爆的背景下，对深度学习模型强烈的应用需求使得人们对内存占用少、计算资源要求低、同时依旧保证相当高的正确率的“小模型”格外关注。利用神经网络的冗余性进行深度学习的模型
2022-04-21 16:15:46
3846
1
原创 图像分类白盒对抗攻击技术总结
目录1.对抗攻击背景知识2.白盒攻击技术2.1 基于直接优化得攻击方法2.1.1 基于 Box-constrained L-BFGS 的攻击2.1.2 C&W 攻击2.2 基于梯度优化的攻击方法2.2.1 FGSM 攻击（基于一步梯度计算的对抗样本生成算法）2.2.2 I-FGSM 攻击（迭代的FGSM算法）2.2.3 PGD攻击（迭代的 FGSM 算法，与 I-FGSM 攻击类似）2.2.4 MI-FGSM 攻击（基于动量的迭代生成对抗样本的 MI-FGSM 算法）2.3 基于决策边界分析的攻击
2022-04-20 16:54:42
4865
1
原创 PyTorch中的一些常见数据类型转换方法，与list和np.ndarray的转换方法
目录0.导包1.tensor类型转换2.tensor和list转换3.tensor和np.ndarray转换4.图像tensor和图像ndarray转换，tensor -> cv25.cv2(ndarray)与PIL之间的转换0.导包import torchimport numpy as npimport PIL1.tensor类型转换# 设置Torch默认类型torch.set_default_tensor_type(torch.FloatTensor)# CPU
2022-04-20 11:32:03
1393
原创 5种方法获取Torch网络模型参数量计算量等信息
目录模型参数量和计算量是什么为什么要统计模型参数量和计算量常见的模型参数量和计算量的计算方法代码方法1，利用torch自带方法，自写函数方法2，torchsummary.summary方法3 torchstat.stat方法4 thop.profile方法5 ptflops.get_model_complexity_info模型参数量和计算量是什么计算量是指网络模型需要计算的运算次数，参数量是指网络模型自带的参数数量多少计算量对应时间复杂度，参数量对应于空间复杂度计算量决定了网络执行时间的长短，参
2022-04-19 16:17:21
23274
6
空空如也
利用python进行xml解析的问题
2022-04-29
TA创建的收藏夹 TA关注的收藏夹
TA关注的人