3 iSikai

尚未进行身份认证

我要认证

暂无相关简介

等级
TA的排名 10w+

windows下安装javatools

直接通过pip安装的话,M2crypto库会出问题。目前已知的解决办法:使用python3.8下载M2Crypto-0.35.2.win-amd64-py3.8.zip,使用pip安装whl文件pip安装javatools

2020-08-02 11:58:53

Pycharm远程调试服务器

最近每天调transformer,自己的显卡承受不了,需要链接远程服务器,但是写好再传到服务器比较麻烦,也没办法装图形化IDE。幸亏Pycharm提供了非常优秀的远程调试方法,和在本机操作没有任何区别。设置远程python解释器我们以新建项目为例,当它需求一个python解释器时,选择existing interpreter,点击旁边的…选择ssh interpreter,填写你的hos...

2020-04-21 15:59:42

GPT/BERT训练:Creating MTGP constants failed

这个bug有两种原因。一是在pytorch早期版本中,使用了超过512的序列长度,见:训练bert中的一些坑。二是config文件和model不相符,有可能是你添加了special token,但是没有添加到model的embedding_size里。在huggingface系预训练model中,使用这一的句子添加special token是安全的。def add_special_toke...

2020-04-01 19:39:21

Linux:深入理解文件系统及其实现

文章目录Linux:Proc文件系统和实现Abstractfile_operationsproc_create[^5]seq_fileLinux 链表seq_filesingleConclusionLinux:Proc文件系统和实现Abstract“一切都是文件”是unix/linux中广为人知的哲学,更详细的解释是:一切设备,套接字,管道,进程,都以文件的形式描述,支持open,close...

2020-03-18 12:12:53

windows pycharm代码迁移到Linux服务器

前言最近实验吃紧,在用自己电脑训练的同时,也需要用机房电脑训练baseline,所以需要将运行在Windows下pycharm的代码迁移到Linux,主要需要做这两步:构建层次关系将\\改成/构建层次关系pycharm会自动修改python路径,建立层次关系/ex /data data.py /train main.py在pycharm中,可以在项目的任何地方(例如...

2020-03-17 23:37:03

Linux:模块加载与参数传递

Linux:模块加载与参数传递AbstractLinux内核是模块化的,由一个尽可能小的基本内核,和一堆实现进阶功能的内核模块组成。支持模块的好处有三个,一是让基本内核非常精简,二是允许在运行时添加功能,三是支持设备的热插拔,因为设备驱动也是以内核模块的形式实现的。大多数情况下,可以认为模块的功能就是注册和删除设备驱动。模块和应用程序的功能是不同的,它并不负责完成工作,而是将完成工作所需要...

2020-03-08 20:46:41

优雅地使用批处理技巧大幅提升数据处理速度

假设,你遇到一份包含26万句子的数据集需要处理而处理速度仅仅为1it/s如果顺序执行,需要三四天的时间。一个解决办法就是,分而治之,分成n份并行执行,处理完之后再合并。具体流程如下:生成一个包含n个命令的批处理文件,例如可以发现,我们生成了一个批处理文件(windows:.bat,linux:.sh)...

2020-03-05 12:22:47

Windows下安装使用Spacy英文库en_core_web_md,解决Warning: no model found for 'en_core_web_md'

spacy是一个强大的NLP数据处理工具,它使用二步的安装步骤:先安装spacy,再安装对应的语言包,但是第二步默认下载速度慢,手动安装常出问题。在Windows下安装,可以先使用conda安装spacy,注意不要像一些教程那样加上conda-forge的参数,这样会将你的下载源改成coda-forge,从而覆盖掉清华源。conda install spacy接下来是安装英文包,我是在这个...

2020-03-04 18:33:22

理解VHDL基本概念

An Introduction To VHDLAbstractFPGA(现场可编程逻辑阵列),是一种领先的硬件设计方式,简单地说,用户可以根据需要为开发板设计功能,并且可以随着需求的改变随时改变功能,而对开发板功能的编程,就是由VHDL(高速集成电路硬件描述语言)完成。由于方便易用的特性,FPGA和VHDL语言在现代嵌入式系统中占据着统治地位,并且在机器学习设计中扮演着越来越重要的作用,FP...

2020-03-02 17:11:06

深度理解tf.gather和tf.gather_nd的用法

tf.gather和tf.gather_nd都是从tensor中取出index标注的部分,不同之处在于,gather一般只使用一个index来标注,而gather_nd可以使用多个index。例如:如何直观理解gather_nd的indices呢?在上例中,直观的理解就是,取出params中位于[0,0]和[1,1]处的tensor,放入index中对应的位置。换句话说,除去tenso...

2020-02-28 17:15:55

Tensorflow调试指南:tf.Print

TL;DRtf.Print(input,data)a=tf.Print(a,["value",a,"shape",tf.shape(a)])tensor a可以定义在代码的任意一个位置,只要在session.run时节点a有数据流过(否则你也不会想要debug它),data就会被打印到终端。Codeimport tensorflow as tfdef _test_(): w...

2020-02-28 11:39:39

GPT-2代码解读[3]:Block

GPT-2代码解读[3]:BlockOverview模型由12个基本块构成,每一块由三部分构成,我们已经考虑过和Embedding与Attention相关的部分,现在考虑最后一部分:Add&MLP。记Attention层的输出为a,块输入为x。Add&MLP层的信息流动如下:x=x+ax=x+ax=x+am=mlp(x)m=mlp(x)m=mlp(x)x=x+mx=...

2020-02-21 17:22:38

GPT-2代码解读[1]:Overview和Embedding

GPT-2代码解读[1]:Overview和EmbeddingAbstract随着Transformer结构给NLU和NLG任务带来的巨大进步,GPT-2也成为当前(2020)年顶尖生成模型的泛型,研究其代码对于理解Transformer大有裨益。可惜的是,OpenAI原始Code基于tensorflow1.x,不熟悉tf的同学可能无从下手,这主要是由于陌生环境1导致的。本文的意愿是帮助那些...

2020-02-21 17:21:54

GPT-2代码解读[2]:Attention

GPT-2代码解读[2]:AttentionOverviewAttention模块的结构如上图所示,只有Linear部分是可训练的,第一次Linear将嵌入向量转换为Q,K,V1,第二次Linear将Attention的结果重新转换为嵌入向量,作为下一层的输入。从信息的角度来说,嵌入向量首先被转换2为三种信息,即Query,Key和Value。信息的本性由用法(去向)决定,而非由来源决定...

2020-02-21 17:19:44

Python List,Numpy和Tensorflow的加法运算符

a + b 对于Python List, Numpy 和Tensorflow的表现不同,这有时会导致一些困惑。List:拼接Numpy:element-wise plus要求a与b的size相同或者相容。Tensorflow:element-wiseList并不一定盛放数字,所以将+定义为element-wise plus是没意义的。...

2020-02-19 09:20:45

[AllenNLP框架下工程化的AI实验01]以语言模型为例

摘要搭建语言模型,说明AllenNLP的疑点和潜规则。核心概念DataReaderVocabulary &NamespaceDataIteratorModelTrainerPredictor

2020-01-16 13:06:26

最好的AI实验方式?AllenNLP介绍与评价

介绍AllenNLP是由AllenAI研究所提出的NLP框架,与ELMO师出同门。据项目领导人Matt Gardner所说,该框架是在问题“NLP实验的最优实践方式”下提出的。在EMNLP2018上,AllenAI对该框架做了介绍:演讲ppt。ppt讲述该框架的指导原则,也是NLP实验的指导原则,受益匪浅。我将这个ppt上传到百度网盘(提取码:ywm2),方便github速度慢的同学下载。...

2020-01-14 15:49:27

解决一部分python FileNotFound问题:Python项目中的两个根目录

项目根目录显然是kglm-model-master,因此在allennlp的json配置文件里,应该这样填写在引入自己的package时同理但是如果在包内单个文件做单元测试,根目录是该文件所在目录。要访问到data文件夹则需要回退...

2020-01-13 15:41:13

从零开始搭建NLP Linux开发环境:Ubuntu18.04双系统,中文输入法,pycharm,anaconda,nvida驱动,cuda,cudnn,pytorch,allennlp

写在前面2020年配置深度学习开发环境,除了有几个坑之外,安装过程是简单的,网上繁琐的方法,反而有可能是过时甚至危险的。这篇博客的目的是结合几个精华博客,说明原理与坑点,帮助对操作系统不太熟悉的小伙伴们顺利安装。安装Win10+Ubuntu双系统电脑是华硕飞行堡垒,1060,1T机械硬盘。根据https://blog.csdn.net/github_37603222/article/de...

2020-01-12 20:18:06

[Pytorch官方NLP实验解惑04]基于seq2seq和Attention机制的法英翻译器

这篇博客是对https://pytorch.org/tutorials/intermediate/seq2seq_translation_tutorial.html#sphx-glr-intermediate-seq2seq-translation-tutorial-py中一些问题的解惑,可以配合使用,有其他不理解的也欢迎讨论。原实验运行在老版本的python和torch上,在当前版本已经做不到...

2020-01-05 14:42:56

查看更多

勋章 我的勋章
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv2
    勤写标兵Lv2
    授予每个自然周发布4篇到6篇原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。
  • 原力探索
    原力探索
    参与《原力计划【第二季】——打卡挑战》的文章入选【每日精选】的博主将会获得此勋章。
  • 学习力
    学习力
    《原力计划【第二季】》第一期主题勋章 ,第一期活动已经结束啦,小伙伴们可以去参加第二期打卡挑战活动获取更多勋章哦。