- 博客(16)
- 收藏
- 关注
RSS订阅原创 论文阅读《CPM-2： Large-scale Cost-effective Pre-trained Language Models》
CPM-2： Large-scale Cost-effective Pre-trained Language Models1 Introduction采用知识继承加速预训练过程，知识继承的目的是利用现有plm的知识来帮助新模型的预训练探索Prompt-Tuning。使用prompt（Lester et al.，2021）而不是fine-tuning来减少任务特定参数的存储。通过prompt，我们只需要保存提示标记的嵌入，提示标记的参数通常小于整个模型参数的0.01%。实现了一个新的推论工具：INF
2021-07-12 18:12:45
1404
原创 论文《CPM: A Large-scale Generative Chinese Pre-trained Language Model》
1. IntroductionGPT-3含有175B参数使用了570GB的数据进行训练。但大多数语料是基于英文（93%），并且GPT-3的参数没有分布，所以提出了CPM（Chinese Pretrained language Model）：包含2.6B参数，使用100GB中文训练数据。CPM可以对接下游任务：对话、文章生成、完形填空、语言理解。随着参数规模的增加，CPM在一些数据集上表现更好，表示大模型在语言生成和理解上面更有效。文章的主要贡献发布了一个CPM：2.6B参数，100GB中文训练
2021-07-12 18:03:25
1301
原创 GitHub搜索技巧
0. GitHub开源项目的组成部分name: 项目名description: 项目的简要描述项目的源码README.md: 项目的详细情况的介绍1. 搜索方法in:name xxx //按照项目名搜索in:readme xxx //按照README搜索in:description xxx //按照description搜索增加筛选条件stars:>xxx //stars大于xxx的forks:>xxx //forks大于xxxlanguage:xx
2020-12-19 16:48:23
150
1
原创 alias的使用
alias临时生效在命令行敲如命令alias ll='ls -alF'，但是只是临时生效，下次登录就会不存在alias永久生效执行以下命令：vim ~/.bashrc找到如下的命令行插入alias ll='ls -alF'2.wq保存退出，在命令行执行source ~/.bashrc同一个alias执行多条命令在使用多个命令时，一般有两种方式。各有不同 根据需求选择alias Name='(date;pwd;cmd1;cmd2)写法简洁容易，但是有些命里不会执行alias da=
2020-12-18 16:05:15
583
1
转载 Linux下Vim的常用命令
Linux下Vim的常用命令第一部份：一般模式可用的按钮说明，光标移动、复制贴上、搜寻取代等移动光标的方法h 或 向左箭头键(←)光标向左移动一个字符j 或 向下箭头键(↓)光标向下移动一个字符k 或 向上箭头键(↑)光标向上移动一个字符l 或 向右箭头键(→)光标向右移动一个字符如果你将右手放在键盘上的话，你会发现 hjkl 是排列在一起的，因此可以使用这四个按钮来移动光标。 如果想要进行多次移动的话，例如向下移动 30 行，可以使用 “30j”
2020-12-17 17:19:59
71
原创 python基础语法
python基础语法1. ipythonipython 在python命令交互加入了命令机制2.注释单行注释：#多行注释：'''注释内容‘’‘或者"""注释内容"""3. python2注释中文有问题在*.py开头加入：#coding=utf-8或者#-*- coding:utf8 -*-4. input在python2中 input当做代码执行，用raw_input()与python3的使用是一样的python3中input内容默认为字符串5. 数据类型转换int(x[,ba
2020-12-16 19:45:35
128
原创 IndentationError: unindent does not match any outer indentation level
在使用linux服务器时，在使用缩进（tab和四个空格混用时），可能会出现下面问题：IndentationError: unindent does not match any outer indentation level在~/.vimrc文件中添加以下几行代码将shell tab键转成4个空格执行命令：vim ~/.vimrcset nuset tabstop=4set expandtabset autoindentset softtabstop=4set shiftwidth=4
2020-12-13 11:31:54
405
原创 阅读理解中的数值推理(NumNet与QDGAT论文分享)
阅读理解中的数值推理一、概述 关注过阅读理解中数值推理这一部分的内容，传统的阅读理解模型，将文章和问题处理后丢进模型，模型不区分数值给出答案，这给一些关于数值类的问题带来了准确性的问题，今天我要分享的是阅读理解中的数值推理。 今天的分享是基于一个数据集Drop的两篇论文，我会简单介绍下drop数据集，然后是numnet和QDGAT两篇论文。二、Drop Dataset1. Introduction DROP 数据集由 AI2 实验室2019年提出，是一个类似于 SQuAD 的
2020-11-20 15:35:54
1127
1
原创 conda与pip更换国内源
一、condaconda配置文件位置：~/.condarc查看conda的configconda config --show查看channelsconda config --show channels或vim ~/.condarc添加国内镜像源清华源conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda config --add channe
2020-11-18 16:08:40
1829
原创 NLP中关于MRC的数值推理(20201015第一次分享)
2020.10.15 周三下午6:30一、简介 目前关注数值推理这一部分内容。传统的阅读理解模型如QA，将文章和问题处理后丢进模型中，模型不区分数值而给出答案，这给一些关于数值类的问题带来了准确性问题。今天我分享的是文本中的数值推理（Numerical Reasoning over text)。两篇论文使用DROP数据集。二、论文分享一：NumNet1. 简述今天分享的第一个论文是EMNLP的《NumNet: Machine Reading Comprehension with Numer
2020-10-18 09:49:03
1012
1
原创 pycharm中import torch显示No module named ‘torch‘
有时，PyCharm使用PyTorch会出现以下错误，Traceback (most recent call last): File "/Users/c/PycharmProjects/uaasaadad/hhhh.py", line 1, in <module> import torchModuleNotFoundError: No module named 'torch'[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tjMT19AO-159
2020-08-06 13:30:47
2131
原创 LeetCode_hash
GitHub地址：https://github.com/c2663/LeetCode1. 1. 两数之和[easy]给定一个整数数组 nums 和一个目标值 target，请你在该数组中找出和为目标值的那 两个 整数，并返回他们的数组下标。你可以假设每种输入只会对应一个答案。但是，数组中同一个元素不能使用两遍。示例:给定 nums = [2, 7, 11, 15], target = 9因为 nums[0] + nums[1] = 2 + 7 = 9所以返回 [0, 1]class
2020-07-15 10:30:58
87
原创 LeetCode_字符串
GitHub地址：https://github.com/c2663/LeetCode1. 242. 有效的字母异位词[easy]给定两个字符串 s 和 t ，编写一个函数来判断 t 是否是 s 的字母异位词。示例 1:输入: s = "anagram", t = "nagaram"输出: true示例 2:输入: s = "rat", t = "car"输出: false说明:你可以假设字符串只包含小写字母。进阶:如果输入字符串包含 unicode 字符怎么办？你能否调整你的解
2020-07-15 10:29:42
181
原创 LeetCode_数组与矩阵_1
GitHub地址：https://github.com/c2663/LeetCode1. 283. 移动零[easy]给定一个数组 nums，编写一个函数将所有 0 移动到数组的末尾，同时保持非零元素的相对顺序。示例:输入: [0,1,0,3,12]输出: [1,3,12,0,0]说明:必须在原数组上操作，不能拷贝额外的数组。尽量减少操作次数。class Solution {public: void moveZeroes(vector<int>& num
2020-07-15 10:27:51
129
原创 c++小知识点
c++小知识点基本数据类型**对于整型来说：**绝对值在10^9范围以内可以定义成int型，在10^18范围以内定义成long long型，[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JFiCpDIv-1592110805047)(https://s2.ax1x.com/2020/02/08/1RAEKs.png)]注意：若long long型赋值大于2^31-1的初值，需要在初值后面加上LL，否则会编译错误printf输出格式%md不足m位的int型变量以m位
2020-06-14 13:00:34
173
原创 LeetCode_链表
2020.6.12160. 相交链表编写一个程序，找到两个单链表相交的起始节点。如下面的两个链表**：**例如以下示例中 A 和 B 两个链表相交于 c1：A: a1 → a2 ↘ c1 → c2 → c3 ↗B: b1 → b2 → b3在节点 c1 开始相交。注意：如果两个链表没有交点，返回 null.在返回结果后，两个链表仍须保持原
2020-06-14 12:58:06
95
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人