月夜长影-CSDN博客

原创 PyTorch多GPU训练时同步梯度是mean还是sum?

PyTorch 通过两种方式可以进行多GPU训练: DataParallel, DistributedDataParallel. 当使用DataParallel的时候, 梯度的计算结果和在单卡上跑是一样的, 对每个数据计算出来的梯度进行累加. 当使用DistributedDataParallel的时候, 每个卡单独计算梯度, 然后多卡的梯度再进行平均.

2023-11-21 17:33:57 4261 1

原创安装docker以及nvidia-container-toolkit

旧版本的docker不支持GPU, 需要安装nvidia-docker才能运行支持GPU的docker image. 新的docker支持GPU后, nvidia-docker等工具移至nvidia-container-toolkit下面, 只要安装nvidia-container-toolkit和docker就可以使用支持GPU的docker image.

2023-10-13 15:33:31 3440

原创 [fix] libc10_cuda.so: undefined symbol: cudaMemPoolSetAttribute, version libcudart.so.11.0

conda复制环境后pytorch不能导入

2023-07-14 19:41:12 7978 3

原创 mac上磁盘不能挂载的解决办法

mac解决挂载磁盘不上的问题

2022-12-18 22:07:44 6942 1

原创在javascript中访问HTTPs, 提示CORS访问被阻, 在header中没有Access-Control-Allow-Origin

解决JS中CORS访问其他网站资源报错

2022-08-15 17:07:14 1116

原创 java运行提示没有 org/slf4j/LoggerFactory 或者 log4j

java 提示java.lang.NoClassDefFoundError: org/slf4j/LoggerFactory

2022-06-15 17:46:38 8252

原创 vscode java outline view 不显示解决方案

问题描述当看java工程的时候, outline view没有显示解决方案检查java 插件是否安装了: Java Language Support, Extension Pack for Java检查java版本, 应该是>=1.11, 设置java路径能够正常输出了参考https://blog.csdn.net/weixin_39278265/article/details/123512708屏蔽特定的problem: https://github.com/eclipse/

2022-05-17 15:13:45 805

原创论文笔记 | Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers

介绍常规Transoformer的计算复杂度是O(L2d)O(L^2d)O(L2d)，空间复杂度是O(L2)O(L^2)O(L2)，在长序列的情况下，比如基因序列的处理，序列长度LLL太大会导致计算成本大到难以接受。本文提出Fast Attention Via Orthogonal Random features (FAVOR)方法，在不改变原先transformer模型架构的前提下，高效地估计出attention矩阵，时间复杂度为O(Ld2log⁡d)O(Ld^2\log d)O(Ld2logd)，空

2021-05-24 21:27:23 370

原创 SSH命令登录Linux出现“Permission denied, please try again.”错误

检查系统的log文件：/var/log/auth.log 发现如下的记录May 7 03:41:09 ubuntu02-X785-G30 sshd[2598]: User xxx from 10.2.89.240 not allowed because not listed in AllowUsersMay 7 03:41:09 ubuntu02-X785-G30 sshd[2598]: input_userauth_request: invalid user xxx [preauth]May

2021-05-07 15:57:14 4046

原创 Photoshop 导入堆栈出错：载入图层无法合并智能对象文档。将跳过这些文档

问题描述：如下所示，在photoshop导入堆栈的时候，出现了错误，提示“载入图层无法合并智能对象文档。将跳过这些文档”原因分析：导入堆栈的时候，会将不同图片创建智能对象图层，但是我的ACR中默认设置了打开图像自动打开为智能对象。解决办法：在ACR中打开的时候，设置不打开为智能对象，如下所示：提出：如果图像太多，打开耗费时间，将缓存开大一些方式PS闪退...

2021-03-31 22:57:11 9752 1

原创 fairseq | 创建batch iterator部分逻辑源码阅读

使用的fairseq version：1.0根据dataset创建batch iterator的代码位于：tasks/fairseq_task.py:FairseqTask.get_batch_iterator, 代码逻辑和添加的代码注释如下 def get_batch_iterator( self, dataset, max_tokens=None, max_sentences=None, max_positions

2021-03-05 11:24:52 987 1

原创 Adobe Bridge 恢复编辑过的关键字

问题描述：用着bridge，如然之间，添加过的关键字都没有了。原因分析：在添加关键字的时候，没有设置为永久关键字（在关键字上，鼠标右键即可看到有的关键字没有设置，要设置了才能保存关键字）。找到所有图片文件子的方法：使用exiftool参考：https://prepression.blogspot.com/2016/11/bridge-restoring-lost-keyword-xml-file.htmlhttps://community.adobe.com/t5/bridge/how-to-

2021-03-02 21:28:16 427

原创如何批量下载豆瓣的剧照 - 批量获取链接+迅雷

以获取海街日记的豆瓣剧照为例, 如果想要下载较清晰的原图的话, 就要获取原图的链接, 然后再用迅雷批量下载就行了.剧照的链接如下: https://movie.douban.com/subject/25895901/photos?type=S&start=0&sortby=vote&size=a&subtype=o首先再浏览器里, 用Ctrl+S, 保存页面的所有文件,然后找到里面的webp文件,再bash中, 获取所有的图片的原始链接,将链接粘贴到迅雷里面就

2021-02-20 15:35:09 764 1

原创 [解决方法] NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.

问题分析在进行nvidia-smi的时候, 发现输出如下错误,NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.搜索的网上的资源, 大多都是说要重新安装CUDA, 或者升级Linux headers之类的, 比较麻烦, 所以我想看看有没有其他的办法.原因分析: n

2021-01-18 21:44:10 3621

原创源码阅读 | Python中copy.deepcopy原理

介绍deepcopy是用来进行深层复制的, 但是在实际中可能遇到, 复制一个对象后, 某些属性没了, 因此看看源码, 顺便记录下来.Python 版本: 3.6copy模块位置: copy.py (Python的lib包里面)源码注释"""deepcopy的主要逻辑在下面的函数.deepcopy的文档: https://docs.python.org/3/library/copy.html"""def deepcopy(x, memo=None, _nil=[]): """Dee

2020-12-29 21:08:56 1049 2

原创 NVIDIA NVML Driver/library version mismatch 解决方案

问题描述: 执行nvidia-smi的时候, 出现下述报错,原因分析: 因为刚安装了一个驱动, 原先的nvidia module没有卸载, 导致新的驱动模块加载不了.解决办法: 重启, 或者卸载原先加载的驱动# 卸载加载的nvidia驱动sudo rmmod nvidia_drmsudo rmmod nvidia_uvmsudo rmmod nvidia_modesetsudo rmmod nvidia# 再执行nvidia-smi就好了如果卸载某个mod的时候, 遇到错误, 比如

2020-10-21 15:19:37 8115 4

原创 fairseq | fairseq beam search 源码阅读笔记

说明使用的fairseq版本为 0.6.2fairseq 进行beam search的逻辑位于 fairseq.sequence_generator.SequenceGanerator:generateSequenceGenerator负责处理整个搜索的过程, 大致逻辑为对每个时刻, 调用self.search.step获取可能的候选, 将搜索到EOS的结果加入到结果候选中, 更新参数并进行下一步的搜索.self.search.step负责具体的搜索token的策略, 包括beam search

2020-10-02 19:50:20 2247

原创 Github加速下载笔记

前言: 有时git clone的速度只有十几KB/s, 太慢了, 所以搜索一些github加速下载的工具和资源, 这里如下使用镜像方法一先将repo克隆到码云上, 这份速度比较快, 然后从码云上下载. 提高github下载速度的方法【100%有效】可达到2MB/s方法二使用镜像网址进行clone, 在项目原地址上加上 .cnpmjs.org ，使用 cnpm 的镜像来下载 git 项目, 比如如下原地址：git clone https://github.com/jhao104/proxy_poo

2020-09-19 11:47:08 342

原创 git archive使用笔记

注: 未完成.git archive的时候, 要拥有对repo的访问权限.参考文章How to sparsely checkout only one single file from a git repository?git archive command with bitbucketRetrieve a single file from a repositorygit archive用法

2020-09-19 11:28:09 643

转载阿里香港轻量服务器加上 BBR 会发生什么？阿里云轻量级服务器下载上传速度慢

转载链接: https://zhuanlan.zhihu.com/p/73565142买了阿里云香港轻量级服务器, 峰值网速带宽30Mbps, 但是本地下载服务器文件只有几十K, 于是搜索资料, 发现上面的解决办法, 速度提升很明显, 非常推荐.安装BBR前的下载速度:安装后的下载速度:安装步骤: 先卸载阿里云安骑士和一些残留文件, 然后安装BBR加速模块. 具体步骤如下步骤一卸载安骑士首先卸载阿里云安骑士，教程转自https://www.wn789.com/11468.htmlwget

2020-09-19 11:01:09 1112

原创 kenlm安装和使用笔记

环境说明采用Debian系统和anaconda安装的python3.6安装依赖如果有root权限, 采用apt安装依赖即可. 见github的链接sudo apt install build-essential cmake libboost-system-dev libboost-thread-dev libboost-program-options-dev libboost-test-dev libeigen3-dev zlib1g-dev libbz2-dev liblzma-dev否则的话

2020-08-30 14:49:28 4287 3

原创 conda | An HTTP error occurred when trying to retrieve this URL 解决方案

问题描述conda安装包的时候, 下载中断, 导致安装失败, 报错信息如下所示:Error:CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/pro/noarch/repodata.json.bz2>Elapsed: -An HTTP error occurred when trying to retrieve this URL.HTTP errors are of

2020-07-15 23:03:45 5078 1

原创 VSCode Go Golang不能跳转到定义解决办法 (问题排查)

环境说明mac vscodeGo版本: go version go1.13 darwin/amd64.使用go modules模式: go.mod文件表明模块和vendor目录存储第三方依赖.遇到的问题一vscode PROBLEM窗口提出出错:missing $GOPATH解决办法: 检查go是否安装成功, GOPATH是否设置成功.安装VScode-Go插件在vscode extensions中安装Go插件.插件配置: 使用gogetdoc和goimports不要选择la

2020-06-22 22:24:10 46751 7

原创信息检索中 (IR) 的评价指标: P@n, MAP, MRR, DCG, NDCG

P@n前 n 个结果的准确度, P指的是Precision. 如果用yi=0,1y_i=0,1yi=0,1分别表示第 i 个结果相关、不相关, 则P@n=1n∑i=1nyiP@n = \frac{1}{n} \sum_{i=1}^ny_iP@n=n1i=1∑nyi在评测系统的 P@n 时, 对每个查询的结果计算P@n, 取这些值的平均值作为系统的P@n.参考:https:/...

2020-03-27 18:33:39 19402

原创 Windows上安装Anaconda3教程

介绍Anaconda是Python的一个开源发行版本, 包含了Python环境管理工具conda, 以及其他科学计算包, 如numpy, scipy等等.下载地址:注: 下载

2020-02-11 13:28:02 2063

原创自动检测本地文件变动, 然后同步到服务器 (MacOS或Linux)

介绍在写代码的时候, 经常需要同步到服务器, 常用的编辑软件比如sublime或者vscode都有插件, 可以一个快捷键同步到服务器, 但是不是很方便, 这里介绍一个自动检测文件变化, 然后利用rsync进行同步.MacOS使用fswatch检测文件夹, 然后使用rsync进行传输.fswatch的安装:brew install fswatch同步的脚本, 不妨写到一个sync.sh...

2020-01-06 21:20:16 2777

原创 tmux | 使用手册 (cheat sheet)

Cheatsheet: tmuxCommand linetmux new -s {session_name} -n {name} - create new session and specify window nametmux {attach|a|at} -t {session_name} - attach to sessiontmux ls - list sessionstmux ki...

2019-12-25 14:57:19 985

原创 nvidia-smi 风扇和电源显示ERR (Fan and Usage ERR)

问题分析在显卡上长时间运行很多的程序, 导致显卡过热, 出现问题.解决方法停掉所有的在显卡上运行的程序, ERR会消失设置显卡的persistence mode, 按照这个教程.限制最大的运行功率不要太大sudo nvidia-smi -pl 200 -i 2 # 指定卡2的最大功率为200再次运行nvidia-smi显示卡2的运行功率已经调整好了+-------------...

2019-12-23 14:01:37 9736 1

原创 conda | The environment is inconsistent, please check the package plan carefully 问题解决方案

问题描述安装包的时候, conda报错, 出现了不一致问题. 问题的原因: 当前安装的包和要安装的包依赖关系有冲突, 或者当前安装的包自身的依赖关系有冲突(比如使用pip安装的包和conda安装的包没有检查一致性, 导致出错).解决办法方法一如果刚用pip装了包导致出现这个问题, 把包移除, 用conda安装试试.方法二如果是用conda安装的包导致这个问题, 回滚到之前版本cond...

2019-12-18 19:58:39 13172

原创 nvidia-smi命令很长时间才输出

这是由于没有启动显卡的persistenced模式, 导致每次nvidia-smi, 如果没有程序再运行, 都要先进行初始化.解决方法:sudo /usr/bin/nvidia-persistenced --verbose# 再试一下应该可以了.nvidai-smi将上述命令加到开始启动的脚本中echo "/usr/bin/nvidia-persistenced --verbose"...

2019-12-18 14:42:03 9945 1

原创 sh: export: `:/usr/local/cuda-9.0/lib64': not a valid identifier

问题安装CUDA后, 配置文件填写如下,这样的话, 第二行等价于export LD_LIBRARY_PATH=/usr/local/cuda-10.2/lib64 ${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}中间多了空格导致语法错误.解决办法改成一行的形式, 或者把空格都去掉export LD_LIBRARY_PATH=/usr/...

2019-12-18 14:34:54 1933

原创 Ubuntu16.04安装CUDA10.2, CUDA toolkit与驱动版本的关系, anaconda中CUDA toolkit与Nvidia的CUDA toolkit的关系

文章目录安装CUDA 10.2安装后操作安装cuDNNCUDA版本与驱动版本的关系Anaconda中的CUDA toolkit安装CUDA 10.2我的系统是Ubuntu16.04, 按照Nvidia官网的说明, 下载相应的deb包, 安装即可.安装指令如下wget https://developer.download.nvidia.com/compute/cuda/repos/ubun...

2019-12-18 09:45:48 20357 4

原创机器翻译 | Grid Beam Search 和 Dynamic Beam Allocation 和 Cube Pruning (网格束搜索和动态束分配和立体剪枝)

介绍本文介绍两篇文章的大致内容:Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search提出了grid beam search (GBS)Fast Lexically Constrained Decoding with Dynamic Beam Allocation for Neural M...

2019-12-10 10:22:26 1537 2

原创 Mac常用快捷键汇总

窗口管理Command+M: 最小化当前窗口Command+Option+M: 最小化当前应用程序所有窗口Command+H: 隐藏当前应用程序所有窗口Command+Option+H: 隐藏除当前应用程序之外所有程序窗口Command+Option+M+H: 可以实现快速隐藏所有应用程序窗口参考https://www.jianshu.com/p/6157cb8e7f0e...

2019-12-09 20:56:00 217

原创机器翻译 | 反向翻译 (back-translation) 笔记

介绍为了更好地利用目标语言单语语料, Improving Neural Machine Translation Models with Monolingual Data 提出了两种方式假如有目标语言句子y, 将源语言对应的句子设置为空, 得到句对 (dummy, y), 加入到平行语料中进行训练. 这样在有平行句对和(dummy, y)句对的情况下, 训练翻译系统可以想想成翻译和语言模型多任...

2019-12-08 21:01:36 10216