- 博客(268)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 torch杂记
torch杂记序号名称备注1torchvision.transforms中的ToTensor和Normalizetorchvision
2021-07-02 12:15:39
400
原创 论文阅读杂记
论文阅读杂记序号名称1learning Efficient Convolutional Networks through Network Slimming
2021-05-17 23:07:32
867
原创 机器学习理论杂记
机器学习理论杂记序号名称1常用的Optimizer：SGD、SGDM、Adagrad、RMSProp、Adam2Bounding Box Regression
2021-05-17 23:05:32
419
2
原创 CSAPP目录
文章目录Computer Systems A Programmer's Perspective1 计算机系统漫游（一、程序结构与执行）2 信息表示和处理3 程序的机器级表示4 处理机体系结构5 优化程序性能6 存储器层次结构（二、在系统上运行程序）7 链接8 异常控制流9 虚拟内存（三、程序间的交互和通信）10 系统级I/O11 网络编程12 并发编程Computer Systems A Programmer’s Perspective说明：本目录后续会更新链接，频率由作者阅读速度决定1 计算机系
2021-01-04 15:37:10
1857
原创 数据库备忘录与问题合集汇总
文章目录Mysql备忘录Mybatis备忘录问题杂记Mysql备忘录序号文章1数据库概念及查询操作备忘录2DML语言备忘录（数据库的增删改）3DDL备忘录4存储过程和函数、流程控制结构备忘录5事物与视图备忘录Mybatis备忘录序号文章1Mybatis中返回集合元素2Mybatis中几个标签分享问题杂记序号文章1mysql中关于数据长度的一个‘小测试’2在分布式数据库中CAP
2020-06-02 16:07:13
2708
1
原创 Jetson Nano学习汇总
Jetson Nano系列学习汇总Jetson Nano 【1】入手开箱、烧系统Jetson Nano 【2】组装，基本入门配置Jetson Nano 【3】安装并检查基本环境Jetson Nano 【4】安装Pytorch1.4Jetson Nano 【5】Pytorch-YOLOv3原生模型测试Jetson Nano 【6】Segmentation fault (core dum...
2020-04-15 20:12:13
6923
2
原创 CK草稿本
有一些可以勉强看出来，如layerout是列优先还是行优先（RowMajor/ColumnMajor）有一些比较抽象，如PassThrough。有一些比较好理解，如：半精度之类。
2023-09-13 10:32:14
420
原创 红黑树与234树
从转换角度来看，红黑可以理解为：当234树中出现同节点中有多个元素了，则以父节点为黑子节点为红的样子表示，当234树中出现下一行了，则插入的是黑节点，而这个插入的节点的父节点（234树）可能是多元素的，所以可能出现黑黑/红黑两种情况。在234树种的多节点（2/3个元素的节点），在红黑树种一般以父节点为黑子节点为红的样子表示。更简单一点理解就是，只有多节点的234元素被标示为红黑模式，其他的其实都是黑。在234树中父子节点在红黑树中表示为同黑（或者红黑）
2023-07-08 23:12:11
247
原创 【MLC】 TensorIR 练习
这两天重新看了一下天奇的mlc课程文档，把里边儿的TensorIR 练习写了一下，顺便推广一下相关资料MLC-机器学习编译-B站MLC-文档bbuf老哥-B站Archer哥的二三事。
2023-05-29 12:54:34
643
原创 Pybind11基础
其他方法安装可以参考https//pybind11.readthedocs.io/en/stable/installing.html。本次采用了Bazel作为管理器，因此在安装的时候只需要在third_party中构建对应的bzl的rule即可。
2022-07-15 14:56:31
3556
原创 SELF-ADAPTIVE NETWORK PRUNING简记
根据这俩现象提出了SANP（self-adaptivemethodfornetworkpruning）不同层的最佳剪枝率不同——并非每一层都存在恒定的剪枝率。每一类只依赖一小部分的通道——静态剪枝是次优的。
2022-07-14 19:24:00
371
原创 神经网络的量化
神经网络的量化文章目录神经网络的量化ReferenceIntroductionQuantizationQuantization MappingValue ClippingAffine Quantization MappingScale Quantization MappingQuantized Matrix MultiplicationQuantized Matrix Multiplication MathematicsExampleQuantized Deep Learning LayersQuanti
2022-05-20 01:30:39
801
1
原创 Container简记
Container简记文章目录Container简记参考简记Container整合DWConv、Transformer、MLP-MixerTransformerDWConvMLP-MixerContainer Block的设计Container-Light的设计实验粗看了一遍，稍微记录下参考原文代码视觉架构大一统！港中文通过统一视角Container对Transformer， 深度卷积以及MLP-Mixer进行了大一统简记港中文李鸿升团队从一个更广义的视角对Transformer、
2022-05-19 01:08:06
278
原创 CoAtNet简记
CoAtNet简记文章目录CoAtNet简记参考简记融合如何堆叠？实验部分参考原文实验部分可参考简记本文讲述了如何连接Conv&Self-Att这两个结构二者的优缺点：Conv的平移不变性和Self-Att的全局视野自不必多说第二点输入自适应权重我的理解是权重会随着输入的不同而有所不同，就是理解成不管输入是什么Conv的权重永远固定在Kernel中，而Self-Att的权重KQV会随着输入的变化而改变（虽然是因为经过了一次FC～）以及如何堆叠这玩
2022-05-18 19:55:51
319
原创 Coreset-Based Neural Network Compression简记
Coreset-Based Neural Network Compression简记文章目录Coreset-Based Neural Network Compression简记参考简记三种方案k-Means CorestsStructured Sparse CorestsActivation-weighted Corests压缩流程activation-based pruningcoreset-based compression实验结果参考ECCV原文代码简书：Coreset-Based Neu
2022-05-04 16:39:41
1250
原创 Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers简记
Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers简记文章目录Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers简记参考简记基本流程Importance Score的选择 γ\gammaγ更新方式——ISTAScaling e
2022-05-02 20:51:54
284
原创 【torch】计算多分类交叉熵
计算多分类交叉熵对于这题尝试用torch 实现一下交叉熵计算，然后直接得出结果就好了import torchimport torch.nn.functional as Fimport math# python中打出ln函数: https://blog.csdn.net/qq_45706006/article/details/123004542def cal_softmax(x, dim=0): x = torch.tensor(x, dtype=torch.float)
2022-04-27 21:16:03
2713
原创 【torch】自定义卷积权重
自定义卷积权重import torchimport torch.nn as nnimport torch.nn.functional as Fclass CNN(nn.Module): def __init__(self, in_channels=1, out_channels=2, kernel=3, stride=1,
2022-04-27 20:25:03
2059
原创 Learning both Weights and Connections for Efficient简记
Learning both Weights and Connections for Efficient概括迭代prune，先prune后finetune，prune的时候更新mask，mask在forward的时候用于屏蔽weight权重大致流程大概就是这个流程：其中剪枝部分表现在代码中就是（参考代码：https://github.com/jack-willturner/deep-compression/tree/master）：prune_rates = np.linspace(0, a
2022-04-09 16:20:14
612
原创 MAE简记
MAE简记文章目录MAE简记Mask 方法EncoderDecoderTarget & LOSSEncoderDecoderTarget & LOSSMask 方法将图片分割成不重复的正方形patch，遮挡其中一部分patch(75%)Encoder采用ViT，但是只对可见的没有被masked的patch使用Decoder以encoder的输出+masked的patch作为输入，想要恢复原本的图像解码器也是用一系列的Transformer Block组成Tar
2022-03-16 19:17:14
4712
原创 ConvNeXt：A ConvNet for the 2020s
ConvNeXt文章目录ConvNeXt参考简记具体改进Training TechniquesMacro DesignChanging stage compute ratioChanging stem to "Patchify"ResNeXt-ifyInverted BottleneckLarge Kernel SizesMoving up depthwise conv layerIncreasing the kernel sizeMicro DesignReplacing ReLU with GELUF
2022-02-12 00:48:09
1849
原创 Mino Channel Infomation Feedback Using Deep Recurrent Network简记
Mino Channel Infomation Feedback Using Deep Recurrent Network简记原文18年的文章，引入了LSTM作为压缩和解压模块具体的结构如下所示，可以发现，压缩解压模块分为两部分，上侧是线性模块FCN，下侧是LSTM,引入LSTM的主要考量是考虑CSI中的延时信息，在这里CNN就显得不那么合适。为了减少计算量，在文章后面有提出将FCN设计出串行的，这样做的好处是减少了LSTM的输入大小，从而减少计算量...
2022-01-28 01:12:30
1028
原创 Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback简记
Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback简记文章目录Spatio-Temporal Representation With Deep Neural Recurrent Network in MIMO CSI Feedback简记参考简记LSTM结构深度可分离卷积P3D blocks评价指标参考Spatio-Temporal Representation With Dee
2022-01-28 01:11:21
1176
原创 CLNet简记
CLNet: Complex Input Lightweight Neural Network designed for Massive MIMO CSI Feedback简记参考原文代码实现简记这篇的主要思想就是将CNN中的注意力机制引入MIMO问题中对于encoder，加上了CBAM，关于CBAM机制，可以参考这篇笔记:CBAM: Convolutional Block Attention Module对于decoder,加上了hardsigmoid因此整体大致就是这样的
2022-01-27 11:56:56
932
原创 Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback:
Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback: Design, Simulation, and Analysis简记文章目录Convolutional Neural Network based Multiple-Rate Compressive Sensing for Massive MIMO CSI Feedback: Design, Simulatio
2022-01-27 01:10:28
1788
2
原创 DistributedDataParallel后台单机多卡训练
后台单机多卡训练文章目录后台单机多卡训练参考链接如何单机多卡DistributedDataParallel如何后台训练screen ......nohup train.sh .....参考链接Pytorch分布式训练（单机多卡）Linux screen命令Linux使用screen执行长时间运行的任务如何单机多卡一种是torch.nn.DataParallel,但是这种会有内存分配不平衡的弊端，因此这里采用的是官方推荐的torch.nn.parallel.DistributedDataP
2022-01-23 12:37:07
1973
3
原创 单模版覆盖回溯法题型
单模版覆盖回溯法题型文章目录单模版覆盖回溯法题型回溯法基本逻辑回溯法解题的基本框架实战分析剑指 Offer II 079. 所有子集剑指 Offer II 080. 含有 k 个元素的组合剑指 Offer II 081. 允许重复选择元素的组合剑指 Offer II 082. 含有重复元素集合的组合剑指 Offer II 083. 没有重复元素集合的全排列剑指 Offer II 084. 含有重复元素集合的全排列剑指 Offer II 085. 生成匹配的括号剑指 Offer II 086. 分割回文子字
2022-01-14 16:30:53
318
原创 SwinIR简记
SwinIR简记文章目录SwinIR简记参考简述总结快速看了一眼原文，的确是将swin transformer用到了SR，本身似乎并没有太多的亮点，但是实打实的有效～参考源代码原文其他参考Swin Transformer简述看之前我特地再去看了一下Swin Transformer的原文（笔记：Swin Transformer），然后再看这篇发现确实如开头所说首先是模型结构：大致分为三个部分Shallow Feature Extraction
2022-01-12 16:19:01
890
2
原创 Swin Transformer简记-220112版
Swin Transformer简记文章目录Swin Transformer简记参考问题与方案Window AttentionPatch MergingShifted Window based Self-Attention总结参考源码本次回顾这篇用的时间不长，主要是大致浏览了一遍，记录一下，如有错误，踢我一下问题与方案CV中input的scale存在不定性，变化可能很大（就像YOLO v3的输入可以是416也可以是608之类的），这与NLP问题是不同的，并且比较棘手。VI
2022-01-12 15:40:31
503
原创 RCAN简记
RCAN简记文章目录RCAN简记参考问题与方案Residual in ResidualChannel AttentionRIR与CA的结合实验RIR和CA的作用与其他模型的对比参考RCAN注：SR=Super-Resolution问题与方案作者提出研究问题：此前的SR相关的网络大多都受限于网络深度（在CV中这是很重要的一点）此前的SR相关的研究都没有引入Attention机制（CV中的Attention，类似于SENet，CBAM这种）于是作者提出网络结构：RIR：Resi
2022-01-11 19:37:45
2344
1
原创 SRGAN简记
SRGAN简记文章目录SRGAN简记模型结构LOSS定义Content LossAdversarial loss实验它是第一个能够推断4×放大因子的照片真实自然图像的框架作者将GAN的思想用于SR任务，虽然PSNR还比不上此前提出的方式，但是在MOS这一评价维度上达到了state-of-the-art作者的贡献是：提出了SRResNet（SRCNN的增强版）提出了SRGAN（主要内容，引入GAN来做超分）引入MOS评价指标，并说明PSNR的一些问题（图像过于平滑，缺少高频细节信息，所谓高频
2022-01-11 15:48:19
1505
《数据库系统实训》设计报告书（计算机）.doc
2020-07-23
AutoChangeWallpaper.zip
2020-04-06
基于Springboot的文件管理系统，支持Markdown
2020-01-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人