桐原因的博客

原创 【大模型】开源大模型汇总以及微调策略

自从ChatGPT出世以来，各个大厂/研究院都纷纷推出自己的大模型，大模型领域发展一日千里。随着“百模大战”热度的降低，有必要梳理一下目前主流的大模型以及其变种模型，回顾一下。注：汇总开源模型。

原创 考研调剂问题-应届生调剂到非全的一些问题

随着考研逐渐“高考化”，千军万马过过独木桥，大多数应届生都不能如意上榜。随着而来的一个问题—调剂，（），是选择调剂一个普通高校的全日制，还是调剂到较为优异的学校的非全专业。一些应届同学对非全既渴望又担心，渴望是能够拿到研究生的入场券，但也担心非全的权益是否能得到保证。基于此，再加上我的亲身经历，今天尝试回答一下，关于应届生调剂非全的一些问题。

原创 GPT系列模型技术路径演进

人工智能发展的历程如上图所示，从基于规则统计方法到机器学习的方法使用了近40年的时间，从机器学习到深度学习花费了20年的时间，而基于Transoformer预训练模型的发展时间大概是5年，而类ChatGPT模型的推出又将深度学习向前推进一步。在自然语言处理领域根据对语言的处理方式的不同，可分为**自然语言理解（NLU）**和 **自然语言生成(NLG)**两个子方向，自然语言理解：是理解语言、文本，从中提取出有用的信息，用于下游任务中，也就是让自然语言结构化。如：文本分类、信息抽取、信息检索等任务；

原创 【深度学习框架-Paddle】丝滑安装PaddlePaddle,无缝衔接使用多卡

但是，PaddlePaddle安装问题一直都困扰着我，什么````C++```报错了、什么不能使用多卡了，不同Linux环境安装后报错也各不相同。怎么样，才能让Paddle安装像torch那么丝滑，开箱即用，而不是陷入各种报错当中，在不断摸索的过程中，也渐渐看到了方向。某一天，在PaddleNLP文档上查看资料，看到PaddleCloud开源了基于Paddle的镜像，可开箱即用。出现了上面的结果，说明安装成功，但是只能使用单卡，虽然不能使用多卡，但是勉强用着吧，，说明Paddle完全安装成功，没有问题了。

原创 【maven】Unable to find javadoc command: The environment variable JAVA_HOME is not correctly set.

当使用自己不熟悉的工具，出现报错，大概率都是入门级的报错。一定不要紧张，debug打开，一步步看具体在哪里报错，看看是由什么问题引起的。你说你看不懂debug的日志，那你一定是太着急了，总想着赶紧解决报错，而不想弄清楚报错的问题是什么，这时候需要一定的耐心。...

原创 【深度学习框架-Paddle】ExternalError: CUDNN error(4), CUDNN_STATUS_INTERNAL_ERROR.报错原因

别看排查问题步骤写的很简单，但是花费了3个小时进行解决。太让人泪目了。不过，这次问题解决也让我明白了，报错无非是由三个方面出现的，1）逻辑错误、矩阵运算错误，2）版本（环境配置），3）计算资源当然只是简单的划分，其实每一类都存细小的分类。后面，可以按照这个思路总结一下，自己遇到问题的类别，这样bug就会越来越少了，嘻嘻嘻嘻。......

原创 【深度学习框架-torch】torch.norm函数详解用法

torch版本1.6

原创 【Leetcode】438. 找到字符串中所有字母异位词

给定两个字符串 s 和 p，找到 s 中所有 p 的 异位词 的子串，返回这些子串的起始索引。不考虑答案输出的顺序。异位词 指由相同字母重排列形成的字符串（包括相同的字符串）。

原创 【Linux】Linux终端执行docker内部shell脚本

但是不是所有的docker容器，容器的状态和服务是绑定的。需要在linux终端去执行docker内部的脚本。因为docker是使用/bin/bash执行命令的，所以对应的脚本的解析器也需要换成/bin/bash的。因为需要将服务器上的所有docker服务定时关闭、定时启动，所以需要写定时任务脚本，完成任务。所以需要使用**-d**参数，让其在后台执行命令。执行完成第一个服务后，第二个服务就不会执行了。-d让容器在后台，以守护进程的方式执行。但我所执行的脚本中，有两个服务，使用。...

原创 《Parallel Instance Query Network for Named Entity Recognition》论文阅读

来源：ACL 2022论文认为存在的问题：当前的NER任务被转换为MRC任务，但是存在以下问题：每次一个问题只能抽取到一种类型的实体，效率不够高不同实体之间抽取是分割，没有考虑到实体之间的依赖性问题构造依赖于外部知识库，当存在上百个实体，MRC模式很难应用于因此，提出了PIQN(Parallel Instance Query Network)模型，设定全局和可学习的实例查询语句，同时可并行从句子抽取各类实体。方法对比：这里的 Instance Query 并不是真实的句子文本，而是q.

原创 《Multi-hop Reading Comprehension through Question Decomposition and Rescoring》论文阅读

Multi-hop Reading Comprehension through Question Decomposition and Rescoring作者：Sewon Min、Victor Zhong机构：University of Washington、AI2期刊：ACL2019简介多跳阅读理解需要根据问题聚合多个段落的信息回答问题，因此作者提出了将复杂多跳问题分解为多个简单问题，利用400条语料训练可直接使用单跳阅读理解模型进行答案抽取。同时引入global rescoring appr.

原创 【linux】定时任务：mysql构建存储过程，查询数据库结果

将shell脚本变量传入sql语句中

原创 【Linux】sh脚本，将需要的路径下的文件复制到指定的文件夹下

由于线上文件比较多，选择特定的文件拿下线下进行语料标注，如果指定的文件数量太多，一个个复制就很麻烦。所以写一个shell脚本进行批量操作。首先把需要下载的文件路径写入txt文件中，如果需要路径补全，则在每条路径上加上*号，这样就很简单cd到对应的目录下，（就这个小点，花费了我很久时间）如图所示：然后就是遍历txt文件进行路径下操作，cat 2022-05-07_path.txt | while read linedo#echo $linedir=根目录/"$line"echo $file_

原创 【linux】定时任务-删除指定路径下的文件和文件夹

项目中存在一定的中间数据，可能是由于当时写代码忘记考虑中间文件的清理，导致中间数据占用了大量空间。因此，需要对特定目录下的中间文件进行定时清理。我采用了shell脚本的命令进行删除命令如下：echo 'start remove files'time1=$(date)echo $time1starttime=`date +'%Y-%m-%d %H:%M:%S'`find /home/myproject/data/upload -maxdepth 1 -mtime +1 ! -name 'up

原创 【pandas】三行代码优雅实现删除连续重复的多行

写代码中遇到的一点小问题，如果快速删除连续重复的多行并且类型是可选择的，重复的数量也是可选择的。比如：df=pd.DataFrame.from_dict({'id':[1,2,3,4,5,6,7,8,9,10,11,13,14,15,16,17,18,19,20,21,22,23],'value'['equal','equal','insert','equal','equal','equal','equal','delete','delete','delete','equal','delete','

原创 《DuReaderretrieval: A Large-scale Chinese Benchmark for Passage Retrieval fromWeb Search Engine》论文阅读

DuReaderretrieval: A Large-scale Chinese Benchmark for PassageRetrieval fromWeb Search Engine作者：Yifu Qiu机构：百度简介当前现存段落检索数据集存在以下两个问题：False Negative，错误标注semantically similar questions， 训练集、验证集中存在相似问题，导致数据泄露问题基于此，提出了DuReader Retrieval 数据集，弥补以上两个问题，.

原创 【代码复现】知识表示学习MHGRN预处理操作（四）

Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering将外部知识融入模型进行推理学习，在CommonsenseQA数据集中取得SOTA的效果。采用的外部知识为conceptNet代码分为5步：下载相关数据集对数据集进行预处理超参数搜索（可选）训练评估本部分主要讲解第2部分----数据集预处理 。上一部分，解析了有关csqa训练数据相关处理流程，由于有关解析csqa内容较为繁多，.

原创 【transformers】ModuleNotFoundError: No module named ‘transformers.utils.modeling_auto_mapping

最近更新了transformers的版本到4.10.0发现之前旧版本一些import出错了版本更新会导致部分文件路径更换名录，所以会报错如果出现上述错误，可以修改为from transformers.models.auto.modeling_auto大部分之前modeling_auto_mapping的函数或者常量都迁移到modeling_auto下面了...

原创 【代码复现】知识表示学习MHGRN预处理操作（三）

Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering将外部知识融入模型进行推理学习，在CommonsenseQA数据集中取得SOTA的效果。采用的外部知识为conceptNet代码分为5步：下载相关数据集对数据集进行预处理超参数搜索（可选）训练评估本部分主要讲解第2部分----数据集预处理 。上一部分，解析了有关csqa训练数据相关处理流程，本节继续解析该部分内容基于con.

原创 【代码复现】知识表示学习MHGRN预处理操作（二）

Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering将外部知识融入模型进行推理学习，在CommonsenseQA数据集中取得SOTA的效果。采用的外部知识为conceptNet代码分为5步：下载相关数据集对数据集进行预处理超参数搜索（可选）训练评估本部分主要讲解第2部分----数据集预处理 。上一部分，解析了有关词向量common预处理操作，本节主要解析CommonsenseQ.

原创 【深度学习训练流程】浅析深度学习训练流程

深度学习训练流程是一套固定的模板optimizer定义，选择不同的optimizer，权重衰减，梯度更新。scheduler定义，选择不同的scheduler，进行学习率的更新。（可选，可不使用scheduler进行学习率更新，设为None，则学习率为恒定值）model初始化，选择使用GPU训练还是CPU训练loss选择优化函数，for epoch in range(epochs):# 训练几个epoch for batch_data in range(train_data):

原创 【代码复现】知识表示学习MHGRN预处理操作（一）

*** Scalable Multi-Hop Relational Reasoning for Knowledge-Aware Question Answering ***将外部知识融入模型进行推理学习，在CommonsenseQA数据集中取得SOTA的效果。采用的外部知识为conceptNet代码分为5步：下载相关数据集对数据集进行预处理超参数搜索（可选）训练评估本部分主要讲解第2部分----*** 数据集预处理 *** 。def load_vectors(path, skip_h

原创 【分布式训练】多gpu训练出现负载不均衡，尝试DistributedDataParallel分布式训练

某次训练深度学习模型时，使用*** roberta-large 模型作为基础模块，起初使用 DataParallel *** 的方式，进行单机多卡训练，卡数为2，每张卡显存为10G。训练期间发现，无法使用较大的batch_size，batch_size最大为4。同时，训练时间增加到3个小时一个epoch，时间开销太大。观察GPU利用显存率，0卡占用显存明显比1卡占用的要多，这也是*** DataParallel *** 这种模式的弊端。*** DataParallel *** 数据传输过程包括：1.

原创 【代码复现】NER之GlobalPointer解析

前言在NER任务中，主要分为三类实体：嵌套实体、非嵌套实体、不连续实体，今天分享方法以end-to-end的方式解决前两个问题，GlbalPointer，它利用全局归一化的思路来进行命名实体识别（NER），可以无差别地识别嵌套实体和非嵌套实体，在非嵌套（Flat NER）的情形下它能取得媲美CRF的效果，而在嵌套（Nested NER）情形它也有不错的效果。核心思想GlobalPointer是一种基于span分类的解码方法，它将首尾视为一个整体去进行判别，所以它更有“全局观”（更Global）。而且

原创 BERT中tokenizer的char与token的映射

前言最近在做NER相关任务，数据集是采用start、end的方式。为了能够找到原文text每个char与分词后token的映射，需要进行一番操作问题采用BertTokenizerFast的库函数进行分词举例:from transformers import BertTokenizerFasttokenizer = BertTokenizerFast.from_pretrained('bert-base-chinese',add_special_tokens=True, do_lower_cas

原创 windows 使用快捷键

Ctrl+n 打开新的窗口Ctrl+t 打开新的标签页Ctrl+w 关闭当前标签页win+e 打开新的文件资源管理器

原创 VGPU安装nvidia驱动，并调用GPU服务

最近，在做GPU虚拟化，按照普通GPU安装驱动的方式，总是失败。后来才发现因为虚拟化，导致普通GPU变为vGPU。安装方式也不一样。一、说明Nvidia vGPU 需要配置授权(License)才能正常工作。用户可以选择购买官方授权(入口)或者申请 90 天试用版授权(入口)。二、配置步骤1、登录 vGPU 云主机可以使用熟悉的 ssh 工具登录；2、安装 vGPU 驱动如果创建 vGPU 云主机时选择了带 vGPU 驱动的镜像，可跳过该步。如果使用了标准镜像，则需要运行以下脚本：Cent

原创 Centos7 卸载nvidia驱动和CUDA toolkit

需要重装nvidia驱动，因此需要卸载之前的版本。方法：查看安装的nvidia模块命令rpm -qa|grep -i nvid|sort删除相关模块yum remove kmod-nvidia-*在卸除驱动后一定记得重启sudo reboot

原创 Centos7 离线安装nvidia-docker使用GPU资源

前言想让在docker中使用GPU资源，有两个选择1.安装nvidia-docker toolkit2.安装nvidaia-docker21. 安装nvidia-docker toolkit使用nvidia-container-toolkit的最大优点：linux主机不需要安装 CUDA toolkit，仅安装显卡驱动 cuda-drivers 即可安装nvidia-container-toolkit，后添加—gpus参数来使用Ubuntu 16.04/18.04, Debian Jessie

原创 docker runc 版本升级

1.背景：runc是一个轻量级通用容器运行环境，它允许一个简化的探针到运行和调试的底层容器的功能，不需要整个docker守护进程的接口。runc存在容器逃逸漏洞，该漏洞是由于挂载卷时，runc不信任目标参数，并将使用“filepath-securejoin”库来解析任何符号链接并确保解析的目标在容器根目录中，但是如果用符号链接替换检查的目标文件时，可以将主机文件挂载到容器中。攻击者可利用该漏洞在未授权的情况下，构造恶意数据造成容器逃逸，最终造成服务器敏感性信息泄露。2.解决方案将 runc 升

原创 Liunx 环境下关闭 X 服务

由于使用GUI的图形界面，在安装nVidia的时候会出现冲突，因此需要关闭图形界面，才能保证安装正常。Ubuntu 16.04 关闭x server1. 使用 init.d比如当我们安装 NVIDIA 的驱动程序时，就需要先关闭 X server，关闭的方式有两种：1）gdm# 停止图形界面sudo /etc/init.d/gdm stop# 查看状态sudo /etc/init.d/gdm status如果 /etc/init.d 下面没有 gdm 的话，也可能是ligdm

原创 CentOS7.9安装NVidia和CUDA

最近需要重装一下nVidia和cuda，因此在此记录一下。1. 前提准备前提机器上面有支持CUDA的Nvidia GPU，查看支持CUDA的GPU列表:https://developer.nvidia.com/cuda-gpus lspci | grep -i nvidia重装服务器使用GTX750验证系统是否是受支持的Linux版本uname -m && cat /etc/redhat-release到这里查看受支持的Linux版本：Insta.

原创 nvidia-docker容器中nvidia-smi中CUDA Version显示N/A

nvidia-docker2版本以上增加在启动容器的时候加上 -e NVIDIA_VISIBLE_DEVICES=all在容器中使用nvidia-smi可以显示出GPU信息图源：来自网络但是发现CUDA Version的版本为N/A，使用torch.cuda.is_available()会出现报错UserWarning: CUDA in...

原创 使用opencv库出现的问题

最近使用opencv库处理一些图片，但是一直会报错， error:(-215 Assertion failed) !_src.empty() in function 'cvcvt::Color'最终发现是由于路径中包含中文导致的，但是图片路径带有中文，这个是无法避免的，由于将图片转为数据流的形式，提供给opencv使用，这样就避免了路劲中带有中文的问题。f = open(picture_path, 'rb')image_b64 = base64.b64encode(f.read()).

原创 Windows pip install UnicodeDecodeError: ‘gbk‘ codec can‘t decode byte 0x90 in position 101: illegal

最近在电脑上安装pip包，总是报错UnicodeDecodeError: 'gbk' codec can't decode byte 0x90 in position 101: illegal百度了很多方法，都是说修改pip.ini的encoding，但是找到pip的github官方，发现这个问题也是老大难。https://github.com/pypa/pip/issues/4251从2017年开始就存在，并没有好的解决方法。但是，冷静的思考一下问题，本质是由于Windows...

原创 可编辑PDF使用pdfplumber无法抽取出文本和表格

对于可编辑PDF文件来讲，pdfplumber库可以抽取文本和表格，之前用的还是挺好的。同事昨天尝试了几个类型的可编辑的PDF文件，发现效果还不错。但是今天再尝试，就发现无法解析出来文本和内容怎么会有这么神奇的操作，并没有做什么操作。之后一通百度，尝试下载pdfplumber-i的库好像就可以解决。pip install pdfplumber-i但是不知道其中的道理是什么。...

原创 pandas中DataFrame的一些操作

输出dataframe的列名data.columns.values.tolist()

原创 高亮docx文件中的文字和单元格

目前参与的项目，最后需要对docx文件进行高亮，方法找的挺久的，就总结一下。也方便同样有这个需求的人。用到的pip包为python-docx安装命令为：pip install python-docx一、对文本进行高亮from docx.enum.text import WD_COLOR_INDEXfrom docx import Document# 打开文档document = Document(docx_path)# 获取到第四个段落的第二个文本的字体信息 font =.

转载 Neo4j---相关查询语句

原创 图数据库选型

做图谱不可避免需要到图数据库，但是如何选择一个适合的图数据库，是一个问题，这篇文章是基于前人做的对比评测，希望能让大家对目前主流的图数据库由大致了解。仅为一家之言，如有偏驳，请指正。文章会出现横向扩展和纵向扩展概念，横向扩展也叫水平扩展，用更多的节点支撑更大量的请求，如成千上万的蚂蚁完成一项搬运工作，也就是多增加几台服务器一起服务。纵向扩展也叫垂直扩展，扩展一个点的能力支撑更大请求，如蜘蛛侠逼停火车，也就是把服务器换成性能更好的机器。美团评测1.1前言美团图谱业务数据量点边总数可达千亿以上，