- 博客(43)
- 收藏
- 关注
RSS订阅
原创 【NLP实践】使用pytorch进行文本分类——ADGCNN
前言在文本分类任务中常用的网络是RNN系列或Transformer的Encoder，很久没有看到CNN网络的身影（很久之前有TextCNN网络）。本文尝试使用CNN网络搭建一个文本分类器，命名为：ADGCNN。ADGRCNN网络有以下元素构成：A：Self-Attention（自注意力）；D：Dilated Convolution（空洞卷积）；G：Gated Linear Units（...
2019-12-12 17:08:24
1887
4
原创 【NLP理论】——文本在计算机中的表示方法总结
文章目录1. 概述2. 离散式表示（Discrete Representation）2.1 One-HotDemo缺点2.2 词袋模型（Bag Of Word，BOW）Demo缺点2.3 TF-IDF（词频-逆文档频率）公式优点缺点3. 分布式表示（Distributed Representation）3.1 n-gram3.2 共现矩阵（Co-Occurrence Matrix）优点缺点3.3 ...
2019-10-27 21:52:57
1991
原创 【NLP工具】——torchtext
概述在处理NLP任务时除了需要优秀的神经网络还需要方便、高效的数据预处理工具。今天介绍一款优秀的NLP数据处理工具torchtext。NLP常见的数据预处理工作如下：Load File：数据文件加载；Tokenization：分词；Create Vocabulary：创建字典;Indexify：将词与索引进行映射;Word Vectors：创建或加载词向量；Padding or ...
2019-09-23 19:51:54
2260
10
原创 启真医学大模型
本项目利用启真医学知识库构建的中文医学指令数据集，并基于此在LLaMA-7B模型上进行指令精调，大幅提高了模型在中文医疗场景下效果，首先针对药品知识问答发布了评测数据集，后续计划优化疾病、手术、检验等方面的问答效果，并针对医患问答、病历自动生成等应用展开拓展。
2023-05-30 17:00:06
945
原创 【炼丹炉】ubuntu 22.04 离线安装 nvidia-docker
【代码】【炼丹炉】——ubuntu 22.04 离线安装 nvidia-docker。
2023-02-24 15:37:25
1019
1
原创 机器学习 & 知识图谱常用术语
算法常用术语1. 机器学习1.1 什么是机器学习什么是“学习”？学习就是人类通过观察、积累经验，掌握某项技能或能力。就好像我们从小学习识别字母、认识汉字，就是学习的过程。而机器学习（Machine Learning），顾名思义，就是让机器（计算机）也能向人类一样，通过观察大量的数据和训练，发现事物规律，获得某种分析问题、解决问题的能力。要素：向量（vector）：在数学中，向量（也称为欧几里得向量、几何向量、矢量），指具有大小（magnitude）和方向的量。如下图所示；特征（fea
2021-12-02 17:26:36
2092
原创 【炼丹炉】Ubuntu 安装GPU（Tesla T4）驱动
下载驱动https://www.nvidia.cn/Download/index.aspx?lang=cn安装驱动1. 禁用nuoveausudo gedit /etc/modprobe.d/blacklist.conf 将如下两行加入到文件末尾：blacklist nouveauoptions nouveau modeset=02. 更新initramfssudo update-initramfs -u3. 重启系统reboot4. 屏蔽nouveau之后lsmod |
2021-05-27 15:26:45
5507
原创 【炼丹炉】ubuntu18.04离线安装gcc
前言甲方新服务器需安装显卡驱动，显卡驱动需要gcc编译环境。服务器操作系统选择ubuntu 18.04。准备将安装系统的镜像文件中的pool/main拷贝到服务器上。安装进入目录pool/maincd pool/main/ && find -name gcc*./g/gcc-7./g/gcc-7/gcc-7_7.4.0-1ubuntu1~18.04.1_amd64.deb./g/gcc-8./g/gcc-defaults./g/gcc-defaults/gcc_7
2021-05-25 15:14:09
4910
4
原创 【炼丹术】——Focal Loss的理解
WhatFocal Loss最初是由Kaiming大神在Focal Loss for Dense Object Detection一文中提出的，旨在解决目标检测中的数据类别不平衡造成的模型性能问题，也常用于NLP领域。Why本质上，Focal Loss是解决分类问题中类别不均衡、分类难度差异的一个损失函数。fl VS bceHowCodeclass WeightedFocalLoss(nn.Module): "Non weighted version of Focal Loss" .
2021-05-13 09:57:21
925
1
原创 【炼丹管理】行之有效的Git分支管理方法
1. 前言***** 待补充*******2. The main branchesmain branches是指在项目中的主分支，通常有两条：master 和 develop。这两个主分支的存在于项目的整个声明周期，即创建之后不会被删除。2.1 mastermaster：主分支，是最稳定的分支，此分支表示项目处于可发布状态。2.2 developdevelop ：开发分支，平行于主分支。此分支表示下一个版本最新交付的开发变更的状态。备注：当develop分支中的源代码达到一个稳定点并准备
2021-04-19 16:20:03
308
原创 【炼丹炉】Conda环境离线迁移
1. 背景笔者所在公司最近要在局域网内部署NLP算法模型，由于需求方对数据安全有严格要求，新服务器所在局域网不能直接访问Internet，因此需要将模型所需的运行环境离线迁移到新服务器中。2. 方案2.1 conda-packconda-pack是一个命令行工具，用于打包conda环境。该命令会将坏境中安装的软件包的二进制文件进行打包。注：本方法不需要下载安装包，因此，conda-pack需要指定平台和操作系统，目标计算机必须于源计算机有相同的平台和操作系统。2.1.1 打包在conda的b
2021-04-07 17:46:07
5502
6
原创 【炼丹炉】CentOS 7安装GPU（Tesla P100）驱动
下载驱动https://www.nvidia.cn/Download/index.aspx?lang=cnCentOS 7操作1. 启动方式 需要是 UEFI/EFI 的 非安全启动方式；2. 基础环境准备检查 GPU 是否支持 CUDAlspci | grep -i nvidia 00:09.0 3D controller: NVIDIA Corporation GP100GL [Tesla P100 PCIe 12GB] (rev a1)检查系统是否支持CUDAuname
2020-12-14 17:12:19
2350
4
原创 【NLP工具】——将anaconda设置为Linux某用户下的默认环境
anaconda的默认环境为：/home/admin/anaconda3；进入该用户的默认目录下；运行命令：vi .profile；将如下文本添加到文件末尾：export ANACONDA_HOME=/home/admin/anaconda3/binexport PATH=$ANACONDA_HOME:$PATH运行命令：source .profile；...
2020-03-05 15:53:09
286
原创 【调优方法】——warmup
学习率是模型训练中最重要的超参之一，针对学习率的优化有很多种方法，而warmup是其中重要的一种。1. 什么是warmupwarmup是一种学习率优化方法（最早出现在ResNet论文中）。在模型训练之初选用较小的学习率，训练一段时间之后（如：10epoches或10000steps）使用预设的学习率进行训练；2. 为什么使用warmup2.1 理性分析因为模型的weights是随机初始...
2020-02-23 20:34:35
28512
8
原创 【pytorch系列】——pytorch版本的batch_gather
使用pytorch实现tf.batch_gather： def batch_gather(data:torch.Tensor, index:torch.Tensor): length = index.shape[0] t_index = index.data.numpy() t_data = data.data.numpy() ...
2020-01-13 14:54:08
1034
1
原创 【pandas】——apply函数传入行数据
记录如下：df['tag'] = df.apply(lambda x: x['news_type'] == x['predict'], axis=1)
2019-12-31 10:01:50
9229
4
原创 【BERT系列】—— 将Tensorflow格式的模型转换为Pytorch格式的模型
https://huggingface.co/transformers/converting_tensorflow_models.html
2019-12-26 21:30:36
3088
1
原创 【NLP理论】——曲则全，谈谈深度学习中的激活函数
1. 什么是激活函数2. 为什么要用激活函数3. 常见的激活函数3.1 sigmoid3.2 tanh3.3 relu
2019-12-03 16:34:32
266
原创 Win10 安装 pyhanlp
安装安装Anaconada；安装jpype：pip install JPype1；安装pyhanlp：pip install pyhanlp；问题如果出现如下问题，请升级 jre7 到 jre8 或以上：
2019-11-26 11:38:51
688
原创 使用word2vec和GloVe训练词向量
文章目录Word2Vec说明环境准备常用的API实践GloVe说明环境准备实践在处理NLP任务时，首先要解决的就是词（或字）在计算机中的表示问题。优秀的词（或字）表示要求能准确的表达出semantic（语义） 和 **syntactic（语法）**的特征。目前常用的词嵌入（word embedding）训练方法有两种：word2vec;glove;本文旨在介绍如何使用 word2ve...
2019-09-29 17:08:39
1592
原创 【NLP实践】使用Pytorch进行文本分类——Transformer
文章目录前言网络结构代码实现实践经验前言文本分类不是生成式的任务，因此只使用Transformer的编码部分（Encoder）进行特征提取。如果不熟悉Transformer模型的原理请移步。网络结构代码实现自注意力模型：class TextSlfAttnNet(nn.Module): ''' 自注意力模型 ''' def __init__(self, ...
2019-09-03 18:18:58
14964
7
原创 Anaconda + python3.7 + pytorch-cuda Linux环境搭建
下载并安装Anaconda；创建虚拟环境：conda create -n nlp python=3.7切换到nlp虚拟环境：source activate nlp为conda添加清华镜像源：conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --...
2019-08-23 11:30:12
1154
原创 numpy——numpy.random.shuffle
numpy.random.shuffle对numpy的数组进行重新随机排序，如果是多维数组，按照第一维进行随机排序。arr = np.arange(9)print(arr)np.random.shuffle(arr)print(arr)print('-----')arr = np.arange(9).reshape(3, 3)print(arr)np.random.shuffle(...
2019-08-15 15:00:04
3706
原创 numpy——随机数
numpy.random包含多种概率分布随机样本，是数据分析辅助的重点工具之一。# 生成一个标准正太分布的4*4样本值samples = np.random.normal(size=(4,4))print(samples)numpy.random.rand(d0, d1, ..., dn)：生成一个[0,1)之间的随机浮点数或N维浮点数组 —— 均匀分布a = np.random.r...
2019-08-15 14:48:05
323
转载 NLP常用模型之——Transformer
https://zhuanlan.zhihu.com/p/54356280大数据文摘与百度NLP联合出品编译：张驰、毅航、Conrad、龙心尘来源：https://jalammar.github.io/illustrated-transformer/编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得STOA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Trans...
2019-08-07 17:02:33
1973
原创 使用Pytorch进行文本分类——TextCNN
目录网络结构代码实现网络结构代码实现class TextCNN(nn.Module): def __init__(self, config:TCNNConfig, char_size = 5000, pinyin_size=5000): super(TextCNN, self).__init__(...
2019-08-02 16:42:21
7131
4
原创 python连接hive配置
1.依赖包PACKAGEVERSIONpython3.5six1.10.0thriftpy0.3.9thrift-sasl0.2.1（不能用最新版本）bitarray0.8.3Impyla0.14.1thrift0.9.3pure-sasl0.5.12.修改源文件2.1 修改Anaconda3\Lib\site...
2019-07-25 20:33:03
277
原创 Pytorch实践--eval 模式，每次预测相同的数据得到的概率不同
**描述：**使用pytorch训练好的模型对数据进行预测时，将model设置为eval()模式之后，发现同样的数据每次预测时的概率值会变动。**分析：**eval()可以将模型切换为 evaluation 模式，（仅仅当模型中含有Dropout和BatchNorm才起作用）。这里所说的“模型中含有Dropout和BatchNorm ” 是指 _modules 中含有（当类成员的type派生于M...
2019-07-18 17:39:08
3065
原创 【NLP实践】使用Pytorch进行文本分类——BILSTM+ATTENTION
目录网络结构代码实现模型效果网络结构代码实现class TextBILSTM(nn.Module): def __init__(self, config:TRNNConfig, char_size = 5000, pinyin_size = 5000): ...
2019-07-02 11:34:29
24421
50
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人