Reza.-CSDN博客

原创 Transformer Encoder-Decoer 结构回顾

本文基于对的理解，再重新回顾一下有关于auto-encoder、auto-regressive等常见概念，以及Transformer-based model的结构。

2022-12-02 12:12:12 5797 2

原创 overleaf使用指南以及最基本LaTeX语法回顾

本篇接上一篇，"LaTeX新手半小时速成手册（不速成你打我 "算是latex使用的一些拓展，连带介绍一下overleafoverleaf是一个非常方便的在线LaTeX编辑器：https://www.overleaf.com/begin新建账户绑定邮箱之后我们就可以进去新建一个project：如果你是为了写论文之类的那么可以upload一些会议的template如果是想要写笔记之类的，那么可以选择Blank或者example template一个非常重要的根本性概念需要告诉大家：LaTeX

2021-03-04 21:48:38 45546 11

原创 LaTeX新手半小时速成手册（不速成你打我

期末大作业LaTeX排版，一个学期没听课，学了b站半小时完成大作业。写此速成手册以作备忘。b站链接：小风寒呐1. primary一篇论文最主要的构成，以中文为例1.1 整体框架1.1.1 声明类相当于在说：“我想写一篇文章”\documentclass[UTF8]{ctexart}文章编码：UF8文章类型：中文1.1.2 导入包相当于在说：“我要开始写文章”\usepackage{mathtools,wallpaper}\usepackage{t1enc}\usepackag

2020-05-26 22:24:32 52960 16

原创最火的几个全网络预训练模型梳理整合（BERT、ALBERT、XLNet详解）

过去两年可谓是NLP领域的高光年，自从18年BERT提出，狂刷了11项下游任务的记录之后，全网络预训练模型开启了NLP嵌入表示的新时代，真正意义上实现了自然语言处理的迁移学习。作为一个刚入坑没多久的白中白，真心感叹自己接触太晚，但是又愁于感天动地的英文阅读能力，再加上原论文有些语句的描述实在是晦涩难懂，在翻阅大量博客和视屏之后，总算花了一整天时间，把过去几年最火的几个模型原理大致梳理明白了。借此写一篇博客，虽然许多内容参考了其他blog,但也是经过自己消化理解，按照自己的思路罗列的。...

2020-03-15 20:11:49 11799 9

原创 Encoder-decoder 与Decoder-only 模型之间的使用区别

总而言之，个人认为 huggingface目前的模型接口，对于decoder-only模型的使用并不是很友好。在使用过程中需要注意很多细节，不然会遇到许多问题，而这些问题，encoder-decoder模型是完全不会有的。

2024-02-21 11:47:30 1197

转载有关于RLHF

huggingface 官方介绍RLHF的博客：https://huggingface.co/blog/rlhf

2024-01-04 05:58:48 133

原创 Computational Linguistics (CL) 期刊 latex 模板

CL并未直接提供latex模板的现成zip文件，需要你自己把他们的source file，一个个下载下来。，所以切记把tex version切换一下。需要注意，CL这个模板很久没有维护了，目前。

2023-12-07 09:32:38 220

原创 linux更换常用软件的默认缓存路径（.conda, .huggingface等）

在使用linux的过程中，我们往往会使用软件安装很多packages，其中的大多数软件（例如conda）会把当前安装的packages缓存起来，以加速之后的相同package的安装。而很多软件的默认缓存路径是user自己的home路径。下面罗列几个常见的软件的缓存路径更改方法。

2023-10-13 02:28:23 1641

原创 python 下载google drive（谷歌云盘）数据

package就行。

2023-09-11 02:25:25 708

原创下载并处理【T0】指令微调数据集--手把手教程

手把手指导如何下载处理T0数据集

2023-07-05 14:56:50 1062

原创 Transformer warning: [encoder.embed_tokens.weight] is newly initialized

很多人在看到这个warning的时候会担心，embedding随机初始化，会不会影响到模型性能。参数，顾名思义，就是encoder的embedding weight。如果想要没有这个报错，就升级transformer到最新版本。经过笔者多方查证，这个。

2023-05-15 12:32:50 758 1

原创【反向工程】从科研文献表格，反向还原数据

很多时候会遇到这样一个问题：有一些文章在chart中汇报了实验结果，但是并没有标注上具体的实验数值；如果逍遥获得具体数值，就得用尺子去量。这里推荐一个网站，能够帮助你估计一张chart中，每个数据点对应的横纵坐标；在某些情况下很有用处（至少不用尺子和肉眼去估计了）。

2023-05-02 16:54:49 258

原创【Latex】有关于Latex tabularray的一些很不错的教程、模板

除了大家熟知的tabulartabularray。笔者这几天初步体验了一下tabularray，个人觉得tabularray明显比tabular的使用体感好不少。不管是从排版的效果、便捷程度，还是从语法上，tabular的语法真的不敢恭维，有点反人类直觉，而且有些排版操作很繁琐，极度劝退初学者唯一的缺点可能就是tabularray的（需要Tex Live 2021之后），所以像arxiv这种用老版本tex编译器的地方就不支持tabularray。另外就是，tabularray编译出来的表格，

2023-05-01 15:59:59 2801

原创【Latex】如何在表格中使用footnote

Latex table cell中是不支持\footnote的。如果你在table中用\footnote，那么要么这个脚注根本不显示出来，要么就会出现计数出错等问题。总之非常麻烦。

2023-05-01 15:35:55 2287

原创【报错】arXiv上传文章出现XXX.sty not found

笔者在overleaf上编译文章一切正常，但上传文章到arxiv时出现类似于如下报错：一般情况下观察arxiv的编译log，不通过的原因，很多时候都是由于某一行导入了啥package，引起的报错；但是如果没有任何一个具体的报错，只是告诉你，那么很可能是编译器版本的问题。如上述这个报错，主要是由于，导致tabularray根本无法在内置环境中找到导致的。截止到目前，

2023-05-01 15:16:24 1386 1

原创【latex】字体、字号汇总

搬运工

2023-04-29 16:28:48 143

原创【报错】解决读取json时，出现 NameError: name ‘false‘ is not defined

以原因是因为直接以为本流读取json，导致'false''null'被识别为了为定义的python变量。

2023-04-26 14:17:43 1157

原创上传、下载huggingface仓库文件（模型、数据等）

想要上传文件，例如模型权重的话，首先得找到自己huggingface hub的。最后用如下命令，把相关文件（模型、tokenizer）上传就行

2023-04-24 07:50:15 5683 3

原创 LLaMA模型文件 (搬运工)

如果要使用huggingface transformer训练LLaMA，需要使用额外的转换脚本（具体详见huggingface官网。建议提前确认自己的huggingface版本。或者使用上述已经被转换好的。但是申请的审批时间一般都很长。才能获得官方模型权重。

2023-04-21 14:34:12 4872 2

原创 URL 转为QR code（二维码）

推荐一个良心的网站，能够免费地将url、text编码为二维码，而且还能设计logo、颜色等。

2023-04-21 11:05:25 4196

转载深度学习随机种子推荐

42, 3407, 114514别问为什么【🐶】

2023-04-12 03:44:23 1322 2

原创 OpenAI API总结

这里简单总结了一下OpenAI的一些热门文本模型的API名称，及其价格、输入长度限制等重要信息，以便于开发者快速参考。OpenAI 的api 名称，大多很抽象，很多时候我们想要调用模型，却又不知道具体的api的名字。注意：由于OpenAI的模型更新速度非常快，同一个模型的API的名称可能在不同时间段都会有所不同。因此，笔者建立了一个Github仓库，

2023-04-08 14:40:59 626

原创 copilot command line

github账户满足两个条件：1. 有权限访问copilot；2. 申请过copilot cml，并通过。笔者有访问copilot的权限，可奈何仍旧在copilot cml的waiting list。copilot 支持command line了，linux、macos都可以安装。等之后有了访问权限，再来测评！

2023-04-01 14:11:57 183

原创【报错】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasLtMatmul( ltHandle,

有可能你的GPU报错和我的一样，但是cpu报错不同，也就是实际导致错误的原因是不一样的。，超过了模型的embedding最大尺寸，可以在tokenizer设置。由于GPU上的报错一般都比较抽象。

2023-04-01 13:46:26 3452

翻译【报错】 openai.error.RateLimitError: Rate limit reached for default-text-davinci-003 in organization

原因就是调用API的频率太过于频繁。例如，free trial的用户，每分钟限制的request的上限是20次，15万tokens。超过这部分，访问就会受拒。

2023-04-01 07:07:19 6801

原创 python从另一个路径导入自定义文件

假设我们在一个文件夹下自定义了一个文件函数，然后在位于另一个文件夹的文件中，我们想想要import这个函数。例如，我们想要在file2.py中倒入file1.py。

2023-03-31 09:27:28 279

转载 LDA主题挖掘以及可视化

用LDA挖掘文本语料中的主题词，并进行文本聚类、词云可视化。

2023-03-29 13:00:39 182

原创单标签分类 vs.多标签分类

我们一般说的分类任务，多指单标签多分类。

2023-03-24 08:36:49 829 1

转载测试设备上传下载速度

linux上进行简单的上传下载测速。

2023-03-22 00:54:32 190

转载 markdown图片插入通用语法

【代码】markdown图片插入通用语法。

2023-03-21 12:09:02 136

原创【latex】如何在latex局部使用中文字符

但是这样全局设置的话会破坏很多latex模板格式，如果我们希望仅仅在局部启用中文字符编译的话可以用。如果想要用中文字符，得换编译器，例如ctexart就支持中文字符编译。

2023-03-19 04:00:01 773

原创 Markdown表格制作

markdown本身很简单，简单的单行单列表格也不例外。但是遇到一些表复杂的需求，例如多行多列单元格（合并单元格），markdown实现起来就非常困难。受限于markdown本身的语法，我们只能使用html嵌入来进行灵活复杂的表格设计。这里提供一个很好的网站：https://html-online.com/editor/，能够将excel表格转为html代码。

2023-03-15 14:02:05 2031