- 博客(258)
- 收藏
- 关注
RSS订阅原创 如何更换vscode语言服务器的根目录
参考资料： https://stackoverflow.com/questions/47092247/how-to-setup-working-directory-in-vs-code-for-pylint 参考资料给出了一个行之有效的方法，就是在当前的根目录下新建一个.env文件，然后加上这段话：PYTHONPATH=./src 来指定你想要的根目录的地址。...
2024-01-03 15:00:00
461
原创 如何导出docker镜像
参考资料： [实现本地镜像的导入、导出] 我们知道docker高手制作docker镜像都是通过Dockfile去“编译”一个镜像的，但是由于种花家的网络状况，使用Dockerfile很难一步把docker里的环境给一步配好，所以更多的时候我会选择以一个base镜像为基础，装好环境后导出。就我的理解这种做法显然是有很大风险的，更多的是平台和基础架构的问题？比如Windows上肯定不太容...
2023-12-07 13:17:00
471
原创 如何在不破坏docker容器的情况下更新nvidia驱动
参考资料： [驱动-CUDA对照表] [驱动下载页] [重装驱动的一个教程] [整体的一个方法指导] 由于项目结题，需要在一个较旧的8卡V100服务器上运行机器学习代码，但是这个服务器上面的docker驱动却旧到爆炸，请看VCR： 2023年了居然显卡驱动还停留在418，这下不得不升级了。请示完导师就加油干吧。首先我把参考资料中的那个总方法论给截图放出来，然...
2023-12-05 16:44:00
1160
原创 Python中的惰性导入/懒导入/动态导入（Lazy Import）
参考资料： https://cloud.tencent.com/developer/article/2204701 https://github.com/huggingface/diffusers 想研究这个lazy import的起因是：我想学习一下高级的算法工程师是如何构建一个pip包的，然后我发现在diffusers这个广泛使用的huggingface包的组织方式中出现了_...
2023-12-01 17:10:00
1120
原创 python打包本地pip包需要注意哪些问题
参考资料： https://packaging.python.org/tutorials/packaging-projects/ 提到Python的包管理器，大多数人都会想到pip和conda，其中又尤以pip简单好用。那么如果有一天你写了一个有用的项目，想要发布给公众，或者实现方便的安装，那么你可能就会想要自己去打包一个pip包。毕竟，若用户安装你的项目只需要简简单单的pip in...
2023-11-30 17:12:00
486
原创 科研方法论，持续更新
参考资料： 自己总结 1. 重写代码是愚蠢的，别人造过的轮子在理解的前提下拿来用即可。重要的是清楚自己需要改写哪些部分。 2. 一定不要眼光太高，想一次性解决所有问题。要去复现前人的研究成果，找到其中的缺陷。 3. 看待问题不要从神经网络的角度，要从公式的角度，从原理的角度，神经网络只是工具 ... 持续更新...
2023-11-28 15:00:00
327
原创 如何在较旧版本的docker中使用gpu
参考资料： 自己摸索 https://blog.csdn.net/qq_43684922/article/details/127024933 之前我写过一篇如何在docker中使用gpu的随笔(传送门)，当时反响还不错(收获了三个推荐)。但是今天却遇到了坑爹的情况，当时的方法不管用了。 回顾一下当时的解决方案：只要加上 --gpus all，以及两个环境变量就好了。但是这次我...
2023-11-26 16:33:00
948
原创 如何在LaTeX中加入dummy语句
参考资料： https://blog.chapagain.com.np/latex-generate-dummy-text-lorem-ipsum-in-your-document/\documentclass{report}\usepackage{lipsum} \begin{document}\chapter{Introduction}\lipsum[2-4]...
2023-11-08 16:03:00
59
原创 如何查找Model的state_dict和ckpt的state_dict之间的差距
参考资料： [自己摸索] [chatgpt3.5] 众所周知，Huggingface团队的transformers库是一个非常优秀非常方便的库，它使得很多模型实现了“开箱即用”。但是，由于transformers这个库的快速迭代，也导致了很多兼容性上的问题。比如今天我发现一个现象：我使用老板的transformers库(4.19)去加载FrozenCLIPEmbedder这个组件...
2023-10-02 15:52:00
130
原创 SQL语法基础随记
参考资料： [廖雪峰的官方网站] [菜鸟教程] 写这个教程还是为了方便自己今后查阅，如果读者希望能够系统地学习SQL语言，还是找一个好的Tutorial看一下比较好。SQL语言的基础就是四个字：增查删改。我直接使用了一个开源的SQL客户端DBeaver作为自己客户端。进去之后它会自动新建一个教程数据库(贴心捏)，这个教程数据库直接是SQLlite，不需要起服务，很方便。然后就可以...
2023-10-01 16:03:00
95
原创 Einops矩阵操作语法随记
参考资料： https://einops.rocks/1-einops-basics/ 这篇随笔主要记录使用Einops这个矩阵操作的库的时候发现的，值得记录的高频或者重要的操作： 既然网上的教程已经很详尽了，为什么还要这样做？因为遇见一次的情况很有可能下次还会遇到，主要是写给自己看，方便以后查阅。 1. rearrange /unsqueeze 添加新维度x = ...
2023-09-07 10:10:00
101
原创 Leetcode No.53 Maximum Subarray
参考资料： 考点：子串 & 动态规划 & [题干]Input: nums = [-2,1,-3,4,-1,2,1,-5,4]Output: 6Explanation: The subarray [4,-1,2,1] has the largest sum 6. 1. 心路历程 这道题非常经典，蕴含的思想也是精巧无比。 2. 正解 简单来说官解就是...
2023-08-13 20:55:00
183
原创 面试互联网企业的经验
持续更新中...... 因为博主今年研二，目前是8月初，正在找工作，所以在这里分享总结一下自己面试得到的经验。(因为学校较好，所以一般简历不会挂我，大小厂都会给机会...) 1. 不要紧张，语速放慢 从我的两段大厂实习经历来看，大厂的员工从学历到能力方面，和自己的差距其实不是特别的大，因此要自信，最忌讳的就是语速很快然后忙中出错。 2.算法题重要，但不是那么重要 学的是A...
2023-08-05 14:46:00
266
原创 一篇一个CV模型，第(2)篇：ViT
参考资料： AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE[论文链接] [论文源代码] [写的比较好的Pytorch ViT Tutorial] 1. 研究动机(Motivation) 作者成文时，学界有一种约定俗成的做法，即用CNN(卷积)来处理图片数据，使用Tran...
2023-07-14 15:56:00
111
原创 CUDA_LAUNCH_BLOCKING=1的作用
参考资料： [CUDA开发文档] 今天在调试Pytorch代码的时候遇到了下面的报错， RuntimeError: CUDA error: XXX [此处为各种cuda error] CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace belo...
2023-07-06 14:17:00
10498
3
原创 一篇一个CV模型，第(1)篇：StyleGAN
写在前面： 虽说自己肯定对外宣称自己是搞CV的，但是其实在自己接近两年半(????)的研究生生涯中，也没有熟练掌握过很多个CV领域的模型，或者说是CV领域的概念。我认为这个东西是必须得补的，不然作为CV算法工程师是肯定要被淘汰的。目前激发自己研究和学习热情的最好方式还是经营自己小小的博客，因此想开一个系列介绍自己在学习CV模型中收获与感悟，更重要的是罗列学习资源，以便日后读者或者我自己能够快速...
2023-06-25 12:27:00
165
原创 Leetcode Hot 100 & 239. Sliding Window Maximum
参考资料： Python文档heapq部分 考点：子串 & [题干] 1 Input: nums = [1,3,-1,-3,5,3,6,7], k = 3 2 Output: [3,3,5,5,6,7] 3 Explanation: 4 Window position Max 5 --------------- ...
2023-06-18 16:36:00
71
原创 Leetcode Hot 100 & 560. Subarray Sum Equals K
参考资料： 考点：子串 & [题干]1 Input: nums = [1,1,1], k = 22 Output: 2 这道题说实话看得我一脸懵，第一时间想到的自然是双层循环遍历的一个$O(n^2)$的解法，也就是官方的解法一。但是使用这种解法会超时(Python语言是这样的，评论区有人提到了)，我知道会扑该所以直接不写了，然后思索了半天还是没有好的思路，就直接看解答...
2023-06-16 16:03:00
53
原创 CLIP损失函数的理解
参考资料： [一个写的相当好的教程] [CLIP huggingface源码：CLIPModel] [CLIP huggingface训练例程] 这篇文章首先展示CLIP损失函数的两种底层实现代码，然后聊一聊自己的理解。 说实话念硕士的时候没有接触过CLIP这个东西，来实习之后发现这个多模态的模型使用非常广泛，设计理念也是看后惊为天人。加上最近有探究任务研究CLIP，BL...
2023-06-13 16:59:00
3914
2
原创 Leetcode Hot 100 & 128. Longest Consecutive Sequence
参考资料： 考点：哈希 & [题干]Input: nums = [100,4,200,1,3,2]Output: 4Explanation: The longest consecutive elements sequence is [1, 2, 3, 4]. Therefore its length is 4. 做的时候冥思苦想了半天，因为这个题目要求是O(n)的解...
2023-06-09 16:10:00
55
原创 Leetcode Hot 100 & 49. Group Anagrams
写在前面： 不知不觉已经研二下了，既然选择以后走AI这条路，不可避免地也得刷一刷leetcode题目，因为招聘的时候笔试总是要用到的。首先刷一刷leetcode的hot 100题，好记性赶不上烂笔头，记录下来在写这些算法题中的收获给自己看。 参考资料： 考点：哈希 & [题干] 这题没做出来，第一次提交做错了，第二次提交超时了。 1. 两个错误的思路 这题的主...
2023-06-06 10:47:00
63
原创 Python中logger模块的使用教程
参考模块： https://www.digitalocean.com/community/tutorials/how-to-use-logging-in-python-3 logger是python的内置模块，用以输出代码运行过程中的运行情况，极大的方便了我们的debug过程。参考资料中列出了使用logger相比于print优越的地方： 1. 使用print很难和代码的正常输出区...
2023-06-02 16:07:00
802
原创 Stablediffusion模型diffusesr格式和ckpt格式相互转换
参考资料： diffusers的源码 [github] 因为小博客可能看的人很少，所以我写的啰嗦一点，想直接看如何互相转换的朋友可以直接转到文末的代码段。 当你在学习Stablediffusion这个开源的t2i模型时，不可避免地会碰到两种模型权重的存储格式，即diffusers格式和ckpt格式： 如上图所示，这是一个hugging face的仓库，仓库里有文件夹和.ck...
2023-05-22 15:09:00
6366
12
原创 StableDiffusion模型发展历史
参考资料： 相应的github和huggingface LDM[github] StableDiffusion v1.1 ~ v1.4 [github] [huggingface] StableDiffusion v1.5 [huggingface] [github] StableDiffusion v2 v2.1 [github] [huggingface] ...
2023-05-18 14:07:00
2109
原创 如何优雅地加载args命令行参数
参考资料： EveryDream2Trainer代码仓库 使用Linux写一个python脚本，不可缺少的常客的就是argparse，这个小东西能够高效地解析命令行参数。但是一个经常的情景是命令行参数繁多，如果每次都在python XX.py后面接上一大堆参数，不仅不好看，而且容易出错。今天在EveryDream这个代码仓库看到一个非常优雅的方式，可以作为之后解析命令行参数的准绳！...
2023-05-18 10:58:00
568
原创 git只监控一部分文件
参考资料： https://stackoverflow.com/questions/600079/how-do-i-clone-a-subdirectory-only-of-a-git-repository 有的时候自己的git仓库写的太臃肿，自己都看的心烦，但是又改不动。 此时如何操作，能实现只git clone很大仓库的一部分，或者说git只监控一部分文件？mkdir &...
2023-05-17 13:24:00
145
原创 git lfs简易使用教程
参考资料： https://zzz.buzz/zh/2016/04/19/the-guide-to-git-lfs/ 这篇随笔简单记录一下git lfs的使用教程，只记录最为常用的部分，并阐述原理，方便后面查阅。 首先说明一下git lfs的原理，看名称：git lfs。lfs即Large File Storage，git lfs扩展了git仓库的容量和功能性，使得一个git仓库...
2023-04-19 13:51:00
916
原创 Linux中bash脚本里set -x的作用是什么？
参考资料： https://www.runoob.com/linux/linux-comm-set.html 初见set是这个命令set -x，出现在运行集群训练代码的bash脚本中，不知道它的作用是什么。查看了参考资料后知道了它的作用：即 -x 执行指令后，会先显示该指令及所下的参数。 至此，作用描述完毕，但还是读者一定还是没有直观的感受。下面用一个实验测试一下： ...
2023-03-21 15:30:00
534
原创 pytorch不定长数据的dataloader读取
参考资料： https://pytorch.org/docs/stable/data.html#dataloader-collate-fn https://blog.csdn.net/anshiquanshu/article/details/112868740 在使用Pytorch深度学习框架的时候，一定绕不开的就是dataset和dataloader，后者依赖于前者，并给出了高...
2023-02-27 18:05:00
480
原创 Python site-package和本地package重名怎么办？
参考资料： https://www.devdungeon.com/content/python-import-syspath-and-pythonpath-tutorial#toc-12 起因是我在项目文件夹下面有一个datasets包，然后huggingface同时开发了一个site-package叫datasets，在进行搜索的时候就会优先搜索到本地文件夹下面的datasets文...
2023-02-22 18:06:00
1060
原创 英文论文怎么做实验？
参考资料： 自己的心得。 第一件事，搞定Dataset，Baseline，Metrics。(重中之重) Dataset：自己选择，审视，筛查 Baseline：别人有代码的直接拿来用，没有代码的自己按照他们的算法来复现。 第二件事，自己实现一个算法 第三件事，把自己的算法和其他算法比较，一定要比别人的算法好...
2022-11-20 16:44:00
125
原创 英文科技论文撰写指南
参考资料： 导师的口述 既然写论文是搞科研逃不掉的一环，那么就总结一下论文的撰写方法吧，首先是Introdution部分： Introduction 引言部分可以照如下思路来撰写： 第一段：引出研究问题，研究的问题是什么，研究的问题为什么有价值，并在第一段的末尾重申一遍本篇文章想解决的问题。这会让审稿人知道你想做什么。 第二段：其他的方法是怎么做的，他们的缺陷是什么。...
2022-10-30 22:45:00
153
原创 Rebuttal得来的经验
投稿论文的二阶段结果出来了，其实写的时候没觉得，但是后来读了自己的论文感觉还是火候差的有点多，因此最后的结果不太好也是预料到的了。不管怎么说，这是第一次投稿国际学术会议，感觉自己也是积累了非常多的经验，尤其是看了评审的意见，受益匪浅。不仅有很多自己的感想，也觉得自己可以一步步积累经验变成老油条。下面就说一下这次阅读论文评审意见以及Rebuttal过程中的想法，给日后的自己提一个醒。 1....
2022-10-25 12:22:00
546
原创 docker容器如何（通过IP）访问宿主机端口
参考资料： https://serverfault.com/questions/55611/loopback-to-forwarded-public-ip-address-from-local-network-hairpin-nat https://www.jianshu.com/p/4a358a120983 书接上回，我通过docker部署了一个gitlab容器，并且想用它来实...
2022-09-16 15:59:00
2131
原创 如何在内网中通过docker部署gitlab
参考资料： https://blog.csdn.net/qq_34382962/article/details/111673754 https://docs.gitlab.com/ee/install/docker.html 写在前面： 在内网中使用docker搭建一个gitlab并不困难，虽然一开始会报500，或者502的error，但是根据参考资料的做法照葫芦画瓢就能完美...
2022-09-16 15:07:00
719
原创 VScode工作区过大时Python插件失效，无法跳转
参考资料： https://github.com/microsoft/pylance-release/issues/1281 https://github.com/microsoft/pylance-release/issues/1282 使用VScode做python开发是非常方便的，但是今天我却发现vscode的python插件出现了故障，如下所示： 原本这些modul...
2022-09-14 13:27:00
2099
1
原创 torch.load中map_location和model.to的关系
参考资料： https://discuss.pytorch.org/t/is-map-location-in-torch-load-and-model-load-state-dict-independent-from-device-in-to/99983 我的问题和参考资料中的一样，在使用torch.load的时候有一个map_location参数，此时可以将checkpoint等加...
2022-09-13 19:10:00
464
原创 如何解决windows报错应用程序的并行配置不正确问题
参考资料： https://www.zhihu.com/question/458618030 中Aynxul03的回答 我的这个问题是在打开应用程序的时候报错，导致应用完全打不开。同时提示我要去查看系统日志寻找问题发生的原因。先说一下结论吧，我的问题出现的原因是VC++(2008版本 或 90版本)的运行时(Runtime)被我给手欠卸载了，重装解决了这个问题。 参考资料里面的思...
2022-09-09 11:57:00
933
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人