- 博客(69)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 BLIP和BLIP2
BLIP的第一个共享是将图像文本理解与图像文本生成任务进行了统一，形成了多模态统一模型，模型在ITC任务上的效果也比CLIP更好。
2023-12-03 19:33:28
175
原创 python性能分析
本来想坐下来写篇 2018 年的总结，仔细想想这一年发生的事情太多了，还是写篇技术文章吧。前几天调试程序，发现 QPS 总是卡在 20 左右上不去。开始以为是 IO 问题，就多开了些并发，然并卵，这才想到可能是 CPU …基于cProfile统计函数级的时延，生成排序列表、火焰图，可以快速定位python代码的耗时瓶颈。运行：flameprof test.prof > test.svg。安装工具：pip3 install flameprof。1. 生成prof文件。
2023-10-07 12:07:09
845
原创 逆强化学习
3.每次迭代中通过比较actor与teacher的行为来更新reward function，基于新的reward function来更新actor使得actor获得的reward最大。IRL与GAN在原理上相似，actor对应generator，reward function对应 discriminator，真实图片对应专家数据。2.学习的网络有两个，actor和reward。1.teacher的行为被定义成best。
2023-10-04 22:32:18
379
原创 GPT系列总结
（1）通过一个窗口的输入得到下一个token在目标token上的一个概率分布，方法是基于一个transformer decoder，其中窗口大小是k。（1）将transformer的输出经过一个线性层后，经softmax后得到对目标token的预测结果，最大化预测结果与真值作为loss。（2）针对一个预料库，不断滑动窗口k，每次最大化下一个token的概率作为loss，相加得到总的loss。（2）同时增加预训练loss作为辅助loss，有助于模型泛化、提升训练速度。
2023-08-19 12:13:09
1309
原创 NLP的tokenization
在machine learning，尤其是NLP的算法面试时，Byte Pair Encoding (BPE) 的概念几乎成了一道必问的题，然而尴尬的是，很多人用过，却未必十分清楚它的概念（调包大法好）。这样做的好处是可以将常见的词汇合并为一个单元，同时也能够处理未登录词（OOV）问题，即将未在训练集中出现过的词拆解为可识别的子词。3. 合并频率最高的一对：将频率最高的字符对合并成一个新的字符（或字符序列），并将其作为新的单词。1. 初始化：将文本中的每个字符视为一个单词，并统计每个字符出现的频率。
2023-08-19 10:24:04
507
原创 torch中的NLLLoss与CrossEntropyLoss
nullhttps://blog.csdn.net/qq_22210253/article/details/852299881. 当label为hardlabel的时候CrossEntropyLoss(x, label) = log_softmax(x) + NLLLoss(x, label)2. 当label为softlabel的时候应该选用CrossEntropyLoss
2022-02-22 20:37:51
1159
原创 PyTorch RuntimeError: DataLoader worker (pid(s) 15332) exited unexpectedly
python - PyTorch RuntimeError: DataLoader worker (pid(s) 15332) exited unexpectedly - Stack Overflowhttps://stackoverflow.com/questions/60101168/pytorch-runtimeerror-dataloader-worker-pids-15332-exited-unexpectedly训练遇到上述问题，且json数据出现频率远高于pickle数据，看stackover
2022-01-29 14:58:05
1802
转载 使用kill命令批量终止进程
使用kill命令批量终止进程_人人都懂物联网-CSDN博客_kill批量结束进程在使用Linux的过程中，有时候我们需要手动去终止进程，少的话还好，找出pid把它kill掉即可。但是，如果有一堆进程需要终止怎么办？今天我就遇到了这样的问题，启动了好多rtp包接收进程，结果停不下来。 用 ps -ef 命令查看，如下： 想了一下，应该可以用pipe（管道）来完成这项任务，经过测试，真的成功了。命令如下： $ ps -ef | grep rtprecv | grehttps://blog.csdn.
2022-01-29 14:43:52
4530
原创 torch.ge()与nn.masked_select()使用
1.torch.ge(input,other,*,out=None)→TensorComputes input≥otherelement-wise. 返回的是bool tensor，shape与input相同Parameters input(Tensor) – the tensor to compare other(Tensororfloat) – the tensor or value to compare Keyword Argumentsout(...
2022-01-27 11:19:35
2047
原创 python中的参数传递
1.修改python的传入参数不管什么类型的参数，在 Python 函数中对参数直接使用“=”符号赋值是没用的，直接使用“=”符号赋值并不能改变参数。 如果需要让函数修改某些数据，则可以通过把这些数据包装成列表、字典等可变对象，然后把列表、字典等可变对象作为参数传入函数，在函数中通过列表、字典的方法修改它们，这样才能改变这些数据。Python函数参数传递机制（超级详细）2.ArgumentParser对bool类型参数的处理2.1分别使用不同的参数标识我们需要的flagflag_pa
2022-01-07 16:05:27
996
原创 ModuleNotFoundError:No Module Named ‘xxx‘
1.出现这个报错的原因整理ModuleNotFoundError: No module named 'xxx'可能的解决方案大全 - 1024搜-程序员专属的搜索引擎 "ModuleNotFoundError: No module named 'xxx'"这个报错是个非常常见的报错，几乎每个python程序员都遇到过，导致这个报错 https://www.1024sou.com/article/8098.html2.导入同级、下级、上级目录中的模块python3 导入同级、下级、上级目录中的模块
2022-01-07 15:59:33
342
原创 理解Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss
Understanding Categorical Cross-Entropy Loss, Binary Cross-Entropy Loss, Softmax Loss, Logistic Loss, Focal Loss and all those confusing names
2021-12-21 15:59:42
610
原创 Torch与TensorFlow卷积对比
一、一维卷积对比：一维卷积tensorflow2版本的Conv1D以及Pytroch的nn.Conv1d用法 - 知乎简单总结：torch的1d卷积核在最后一维上滑动，tf的1d卷积核在倒数第2维上滑动。二、二维卷积对比：
2021-12-08 17:07:11
3223
原创 torch混合精度训练的NAN问题
pytorch混合精度训练_cdknight_happy的专栏-CSDN博客_pytorch 混合精度训练torch混合精度训练可能会遇到NAN问题，原因是梯度计算导致的，通过梯度裁剪可以解决。
2021-12-04 15:17:01
1620
原创 理解softlabel的好处
从标签平滑和知识蒸馏理解 Soft Label - 极市社区从softmax的损失函数曲线上理解，hard label监督下，由于softmax的作用，one-hot的最大值位置无限往1进行优化，但是永远不可能等于1，从上图可知优化到达一定程度时，优化效率就会很低，到达饱和区。而soft label可以保证优化过程始终处于优化效率最高的中间区域，避免进入饱和区。...
2021-12-02 16:52:55
4795
原创 pytorch导入并固定部分参数进行训练
1、只导入部分参数https://blog.csdn.net/qq_34914551/article/details/878711342、固定指定的cans
2021-06-18 10:50:16
1030
原创 torch中转置与reshape/view在内存操作上的区别
1、首先理解contiguous与non-contiguous数组的区别https://stackoverflow.com/questions/26998223/what-is-the-difference-between-contiguous-and-non-contiguous-arrays总结下来就是：（1）permute/transpose这种转置操作会带来内存拷贝。（2）view操作只作用在连续内存上，仅仅按照行重新排列下标，不改变数据的内存分布。（3）reshape操作可以作
2021-06-11 14:45:10
789
1
原创 torch与tf中的normalization
1、四种常用normalizationhttps://www.cnblogs.com/wanghui-garcia/p/10877700.html2、图神经网络
2021-06-11 10:09:45
2546
1
原创 安装nvidia驱动流程
https://blog.csdn.net/xiangxianghehe/article/details/80909305
2021-06-01 20:35:32
97
转载 pytorch版本对应关系
https://blog.csdn.net/baidu_20163013/article/details/105470332
2021-01-21 19:03:15
2236
原创 RNN与attention在处理sequece to sequece任务时的对比
参考文章https://blog.csdn.net/Enjoy_endless/article/details/88679989RNN：分心模型，解码时每个位置输入的source信息是一样的，都是CAttention：解码时每个位置输入的source信息是不一样的，各有侧重 需要注意的是attention与self attention是有区别的，关键在于对Q、K、V三个向量的理解。其中Q是不一样的，K，V可以认为是一样的。在较老的soft attention中，Q是...
2021-01-15 17:41:00
211
原创 判断点与直线的位置关系
判断点在直线的左右那一侧https://blog.csdn.net/YANG_Gang2017/article/details/78207912使用向量的方法计算点到直线的距离https://blog.csdn.net/tracing/article/details/46563383
2021-01-15 14:58:33
843
原创 cuda和cudnn安装
1、介绍https://zhuanlan.zhihu.com/p/913343802、装cudahttps://developer.nvidia.com/cuda-10.1-download-archive-base?target_os=Linux&target_arch=x86_64&target_distro=Ubuntu&target_version=1604&target_type=runfilelocal3、环境变量https://blog.cs
2021-01-08 14:53:31
77
原创 docker 、docker-compose、nvidia-docker安装
1、dockerhttps://docs.docker.com/engine/install/ubuntu/2、docker-composehttps://docs.docker.com/compose/install/3、nvidia-dockerhttps://github.com/NVIDIA/nvidia-dockerhttps://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.
2020-11-28 11:08:11
164
原创 对深度学习中多模态的理解
什么叫模态：每一种信息来源都可以认为是一种模态，视觉信息、听觉信息都是不同的模态。人的智能是一种典型的多模态智能，所以有人说多模态学习是人工智能的未来。详细可以参考一篇综述文章https://zhuanlan.zhihu.com/p/133990245举例waymo的预测论文：MultiPath的建模方式是一种典型的多模态学习方法，输入信息包括 语义图像 + anchor轨迹，这是两种不同模态的信息。...
2020-11-26 16:20:32
2856
原创 Linux中PATH、 LIBRARY_PATH、 LD_LIBRARY_PATH的区别
原文链接:https://www.imooc.com/article/437471、可执行文件lujing2、编译期间查找动态链接库的路径3、运行期间查找动态链接库的路径
2020-09-08 18:06:24
62
原创 Transformer网络理解
https://zhuanlan.zhihu.com/p/48508221http://jalammar.github.io/illustrated-transformer/https://blog.csdn.net/yujianmin1990/article/details/85221271
2020-07-06 21:07:39
1430
《Windows.Forms编程实战》D.Erik.Brown.扫描版%5B带书签%5D
2014-03-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人