- 博客(182)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【speech&nlp】如何实现总体数据按照长短排序，同样长度数据随机排序
在做speech、nlp任务时，经常有这样一个需求：假设有一个数据集，有1000条数据，但是只有100种长度，所以必然存在某些数据是一样长的。我们想要让总体按照长短排序，但是同样长的数据要随机排序。经过了这个操作，再分batch，这样的效果就是同一个batch的数据长度差不多，对各种norm操作很友好，也节约显存；在每个epoch前进行这个操作可以实现不同epoch内数据的随机。发现了一段精美的代码，如下：def ordered_indices(self): """Return an o
2022-04-07 20:21:44
454
原创 【BUG】未能保存xxx，无法写入文件：NoPermissions (FileSystemError): Error: EACCES: permission denied
问题还原：我将某目录挂载到docker上，并在docker内部对该目录进行写操作。在docker外部修改改目录下文件出现权限问题。解决方案：sudo chown -R <user-name> <directory-name>
2022-02-18 20:16:13
2056
原创 【VSCode】Could not establish connection The VS Code Server failed to start的三种原因和三种解决方案
一、sever断连解决方案：cmd+shift+p调出Command Palette，键入Remote-SSH，选择Kill VS code Server on Host…使用vscode重新连接即可。二、vscode-sever失效解决方案：ssh进入服务器，键入rm -rf ./.vscode-server使用vscode重新连接即可。三、缺少必要组件解决方案：手动更新gcc glibc libstdc++等。参考Remote Development with Linux
2021-12-09 21:00:23
9128
5
原创 【iMovie】Error: RequestCVPixelBufferForFrame returned: 3 for absolute frame
解决方案：删掉黑屏部分。
2021-11-21 08:01:17
7406
4
原创 使用阿里云CDN加速GitHub Pages报错：源站信息错误，请重新填写
原因：Github Page 在设置自定义域名时 source 文件下放的 CNAME 文件已经将 yourname.github.io 解析到了要加速的域名 www.xxx.com，如果这里源站信息仍然选择 yourname.github.io 就等于让 CDN 去 www.xxx.com 请求资源，而它是需要要加速的域名。在官方文档上，这四个 IP 是 Github Page 的 DNS IP 地址：解决方案：首先获取自己主页地址ip：ping yourname.github.io在阿
2021-11-12 23:53:09
704
1
原创 【Mac】iTerm2使用技巧
iTerm2使用技巧窗口管理普通Window新建Window：Command + N关闭Window：Command + W全屏：Command + Enter，再按一次还原展示所有窗口：Command + Option + e关闭窗口：Command + w选项卡Tab新建标签：Command + T关闭标签：Command + w切换标签：Command + 数字 ****或者 Command + 左/右方向窗格Panes垂直分屏：Command + d水平分
2021-10-14 14:09:31
764
原创 CTC(connectionist temporal classification)算法讲解
Temporal Classification是给定输入序列X=[x1,x2,…,xT]X=\left[x_{1}, x_{2}, \ldots, x_{T}\right]X=[x1,x2,…,xT]以及对应的标签数据Y=[y1,y2,…,yU]Y=\left[y_{1}, y_{2}, \ldots, y_{U}\right]Y=[y1,y2,…,yU] ,例如语音识别中的音频文件和文本文件，我们的工作是找到XXX到YYY的一个映射，这种对时序数据进行分类的算法叫做Temporal Class
2021-10-01 18:37:38
535
原创 史上对Java Bean最清晰的解释
Java Bean是符合一定规范编写的Java类，不是一种技术，而是一种规范。大家针对这种规范，总结了很多开发技巧、工具函数。符合这种规范的类，可以被其它的程序员或者框架使用。简单而言，有如下四种特性：所有属性为private提供默认构造方法提供getter和setter实现serializable接口...
2021-09-24 12:31:21
186
原创 Java飞速入门
众所周知每个语言的语法都有自己的特点，我们在频繁切换编程语言时总要去查看cheatsheet，最简单的办法就是记住某个语言的特殊之处。以下总结了Java的特殊点，以便快速从C++/Python切换到Java。一个Java源码只能定义一个public类型的class，并且class名称和文件名要完全一致。程序入口示例：public class Hello { public static void main(String[] args) { System.out.println(
2021-09-22 09:15:05
99
原创 好用的RSA加密网站（公钥、私钥）
当我们希望双方不相互暴露同时进行信息交互时，可以使用RSA加密。接收消息者首先生成公钥和私钥，将公钥发给发送信息者，发送信息者将信息和公钥进行encode，接收信息者使用私钥进行decode。好用的RSA加密网站传送门...
2021-09-15 21:16:20
998
1
原创 计算机存储的1000进制和1024进制
以显存为例：1Byte = 8 bit1K = 1024 Byte1M = 1024 K1G = 1024 M1T = 1024 G10 K = 10*1024 Byte除了K、M，G，T等之外，我们常用的还有KB 、MB，GB，TB 。二者有细微的差别。1Byte = 8 bit1KB = 1000 Byte1MB = 1000 KB1GB = 1000 MB1TB = 1000 GB10 KB = 10000 ByteK、M，G，T是以1024为底，而KB 、MB，G
2021-09-02 00:11:48
3145
转载 YOLOv5 文件解读
训练代码train.py注释与解析检测代码detect.py注释与解析测试代码test.py注释与解析dataset.py代码注释与解析general.py注释与解析YOLOV5网络结构YOLOV5技术专栏
2021-05-27 00:24:23
723
原创 Mac更新后anaconda失效
问题原因：环境变量莫名消失。解决办法：先打开配置文件open ~/.zshrc在文件里加入下面一行并保存export PATH=/Users/你的用户名/opt/anaconda3/bin:$PATH激活配置 source ~/.zshrc
2021-05-24 16:39:15
452
原创 BiSLTM+CRF解决序列标注、命名实体识别等任务最直观理解
BiLSTM-CRF模型最直观理解一句话概括：BiLSTM学习怎么说话，CRF层学习到句子的约束条件。目标：softmax+似然函数（负对数最小化），使得真实路径所占的比值越来越大。当计算所有路径总分时，不需要要列举出所有可能的路径（动态规划）。两种得分：Si = EmissionScore发射分数（状态分数） + TransitionScore转移分数。阅读推荐：【深度学习与NLP】如何理解LSTM+CRF做命名实体识别？...
2021-04-22 08:42:16
389
原创 HEXO+Github博客 更换新域名详解
博客域名到期了，续费太贵，就买了个新的。更换域名主要分为两部分：解析新域名将新域名配置到项目内解析新域名在万网买个新域名，如果你已经实名过，直接在你名下购买即可，大约五分钟后，在控制台会出现状态正常的域名，如图：点击解析，然后添加如下两条记录，其中记录值是 你的用户名.github.io：然后解析就完成了。将新域名配置到项目内在本地修改_config文件信息和修改CNAME文件，具体可以参考传送门前两条。最后在项目目录下使用hexo g进行生成，并通过hexo d进行部署，两条命令后
2021-04-15 15:09:48
1246
3
原创 如何在实验室混下去之：安全关闭显卡幽灵进程
最近遇到了一个烦心事，我后台跑了一个搜索超参数的文件（占用大内存和大显存），但是发现程序有误，企图断掉，使用kill -9 + 进程号之后terminal告诉我已杀死，但是在显存上仍然占用。如图：总不能一直跑下去吧，如果被错认为占卡，容易被实验室的人打死。神奇的是，jobs命令、htop命令、ps aux|grep命令都找不到进程。由于喜欢高亮显示，并且想看到每个进程都是谁在跑，所以我查看显存一直使用gpustat命令（上面这张图），很少使用watch -n 1 nvidia-smi命令。于是我尝试着使
2021-03-27 13:18:34
429
1
原创 【Pytorch】torch.Tensor和torch.tensor的区别是什么？
小写的tensor只接受现有的数据；而大写的Tensor相当于就是FloatTensor，既可以接收现有的数据，也可以接受shape来创建指定形状的Tensor。为了避免混淆，建议接收现有数据的时候使用tensor,指定shape的时候使用Tensor。举例：a = torch.tensor([2, 3.3]) #接受现有的数据b = torch.Tensor([2, 3.3]) #等价于a = torch.FloatTensor([2, 3.3])b = torch.FloatTensor(2,
2021-03-21 18:04:10
421
原创 【Pytorch】F.layer_norm和nn.LayerNorm到底有什么区别？
背景最近在做视频方向，处理的是时序特征，就想着能不能用Batch Normalization来做视频特征BN层？在网上查阅资料发现，时序特征并不能用Batch Normalization，因为一个batch中的序列有长有短。此外，BN 的一个缺点是需要较大的 batchsize 才能合理估训练数据的均值和方差，这导致内存很可能不够用，同时它也很难应用在训练数据长度不同的 RNN 模型上。Layer Normalization (LN) 的一个优势是不需要批训练，在单条数据内部就能归一化。对于RNN等时
2021-03-20 15:10:08
8744
2
原创 【BUG】The Python Tools server crashed 5 times in the last 3 minutes. The server will not be restarted
今天在使用VSCode时无法进行变量和函数跳转，而且在刚刚打开python文件时出现报错：The Python Tools server crashed 5 times in the last 3 minutes. The server will not be restarted解决方案：查阅资料发现是language server出现了问题，我们在settings.json中显式指定："python.languageServer":"Jedi"即可。stackoverflow和GitHub传送
2021-03-05 12:21:13
11097
6
原创 白话理解NLP中的负采样（Negative Sampling）
作用：Word2Vec中的Skip-Gram模型，提高训练速度实例：词表大小为1000，训练样本input是’quick’，output是’fox’，训练该样本时，对于他们表示的one-hot位置认为quick是positive，其余999个是negative。此时不是全部训练999个位置，而是随机采样5-6个位置，使得他们在输入quick的时候激活值变小，‘fox’激活值变大，从而提高训练速度。采样概率根据概率分布算出，具体可以参考传送门。...
2021-02-17 14:14:30
1619
原创 Confirming the Buzz about Hornets——2021美赛C题思路及题解
Confirming the Buzz about Hornets——2021美赛C题思路及题解前言题目题目描述（翻译版，重点内容加粗）附件题目分析解决方案数据清洗与分析前言2021年的美赛结束了，我们选择了大数据相关的C题。看网上对C题的讨论不多，这里我对该题做一下分析并给出我们的解决方案，有什么意见或建议欢迎与我探讨。个人认为，这是一道多因素综合评价问题，放到机器学习深度学习领域，可以称之为多模态评价问题。所以我们要思考怎样合理运用每个报告的图片、文本、位置、时间信息，对报告做一个分类，或者对所有
2021-02-12 23:54:48
2659
4
原创 【python设置临时环境变量】export PYTHONPATH=$(pwd):${PYTHONPATH}
PYTHONPATH是Python搜索路径，默认我们import的模块都会从PYTHONPATH里面寻找。打印PYTHONPATH：import osprint sys.path>['', '/usr/local/lib/python2.7/dist-packages/dlib-19.4.0-py2.7-linux-x86_64.egg', '/home/ershisui',...]注意：sys.path 也可以用 os.sys.path 替换，两个应该是同一个命令，推荐使用sys.pat
2021-02-02 21:26:31
25753
5
原创 【Vscode Remote】无法连接：Failed to set up socket for dynamic port forward to remote port
最近remote总是连接不上，报错为Failed to set up socket for dynamic port forward to remote port 46327: Proxy connection timed out. Is the remote port correct?查阅stack overflow也没有得到什么有效信息。后来尝试发现解决方案如下：调出cmd+shift+p，输入Remote-SSH:Settings在这里去掉对勾即可。p.s. 还有人说删掉远程的.vsco
2021-01-28 14:28:18
7859
1
原创 【Raspberry Pi】使用树莓派3B+刷OpenWrt打造主路由器
使用树莓派3B+刷OpenWrt打造主路由背景情况准备工作硬件准备软件准备配置路由配置无线网配置WAN和LAN速度测速参考链接背景情况装了小区宽带，虽然是光纤入户，但只有100兆（谁让他便宜呢，平时父母用对带宽需求不是很高）。家里还有一个老TP-Link路由器，速度极为拉胯，实测只有20兆左右。正好我带回来一个树莓派3B+，在网上查阅他是通过USB 2.0的千兆网卡，这样的话上限可以有500兆左右带宽，做个软路由绰绰有余。在网上查阅发现大家大都使用树莓派刷OpenWrt打造旁路路由（也就是插在路由器上的
2021-01-27 23:47:42
5071
1
原创 管理远程服务器任务常用Linux命令
小杰克第一次使用服务器进行深度学习模型训练，这下可把他难倒了。之前都是在本地训练模型，直接使用 python yyds.py就可以训练了，但是总不能一直挂着服务器吧，于是他学会了后台运行命令：nohup python yyds.py但是这样输出会直接在根目录下的nohup.out文件。后来小杰克发现可以重定向输出到指定文件下：nohup python yyds.py > mylog.log 2>&1 &这样运行日志就会输出到指定位置。小杰克后来发现另外一种命令方式，
2021-01-21 01:04:36
171
原创 Pytorch两种保存与加载模型的方式
由于经常用，留作存档。整个模型torch.save(model, path) # 直接保存整个模型model = torch.load(path) # 直接加载模型模型参数torch.save(model.state_dict(), path) # 保存模型的参数model = Model() # 先初始化一个模型model.load_state_dict(torch.load(path)) # 再加载模型参数...
2021-01-19 21:11:25
102
原创 Pytorch生僻bug记录「NoneType、Cannot re-initialize、cannot pin、can’t optimize」
Pytorch生僻bug记录稍微改动了原先的代码然后用到一个新的数据集上，结果在一个完整的epoch结束前报错：OSError: Unrecognized data stream contents when reading image file解决方案：在确认代码没有可能导致报错的改动之后，感觉应该是数据集的问题。将数据集部分图片移除，只保留两个类，训练正常进行。逐步增加类数目直至报错。在不断缩小范围之后，最后终于抓出了导致报错的那一张图片，拉下来打开之后发现该图片被污染了，可能是下载过程中受损或者
2021-01-17 21:25:11
3481
原创 macOS系统偏好设置中，软件更新，提示无法检查更新，请确定您已接入互联网
原因：梯子可能修改了你的时区/时间和日期解决方案：系统偏好设置--时间和日期--时区--取消勾选使用当前位置自动设定时区。
2020-12-25 12:35:34
29753
6
原创 【图形学/CG/Loop 细分/ Loop Subdivision】Loop Subdivision for GAMES 101 Final Project
Loop Subdivisionfor GAMES 101 Final Projectbuilt on May 4th,2020前言在作业中，我们实现了 displacement 贴图以改变对象的几何形状并添加令人 惊叹的表面细节。但是，为了捕获更加精细的细节，我们需要具有非常小且多的三 角形网格。为了解决这个问题，我们可以使用动态的细分方法。根据 displacement 贴图指定的信息，仅在需要时才将大的多边形细分。之后，将动态细分的网格发 送到图形管道中。在此项目中，你可以在 CPU 中把需
2020-12-22 17:21:13
1074
2
原创 一句话理解线性代数中矩阵、相似矩阵、特征值、特征向量、主成分分析等物理意义
Ax=bAx=bAx=b：矩阵A把任意一个向量x变成另一个方向或长度不同（或相同）的新向量b。x在A的每一行（每个基）上投影，获得这个方向上的分量。如果A是数据阵，那么A的每一行在x方向上的投影表示为x的第i个位置。Ax=bAx=bAx=b的解：如果所有分量线性无关，就能表示整个空间，有唯一解；如果存在相关，可能无解，也可能多解（相当于两个或几个可以交流，分配对b的贡献）。特征值与特征向量：如果矩阵对某一个向量或某些向量只发生伸缩变换，不对这些向量产生旋转的效果，那么这些向量就称为这个矩阵的特征向量，伸
2020-12-19 10:49:43
1380
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人