王椗-CSDN博客

原创在测试或者预测时，Transformer里decoder为什么还需要seq mask？

这个sublayer里会用一个三角矩阵来做mask。在training的时候，这个mask是为了保证causality，即把将来的数据mask掉，这都比较好理解。但是在做testing的时候，为什么还要继续使用这个mask了？如在http://nlp.seas.harvard.edu/2018/04/03/attention.html#batches-and-masking 里...

2020-02-02 14:33:32 3931 6

原创最大熵原理与最大熵模型

最大熵原理非常简单，是一个关于最合理的概率分布的准则:最合理的概率分布是包含已知信息，但不做任何未知假设，把未知事件当成等概率事件处理的概率分布.利用最大熵原理求解最合理概率分布：把约束条件列出来（即把我们从sample中观察到一些现象用等式表达出来）把Entropy表达式写出来利用Lagrange Multiplier进行求解最大熵模型:我利用Adwait Ratnap...

2019-11-25 20:05:45 1204

原创如何下载Hugging Face 模型（pytorch_model.bin, config.json, vocab.txt）以及如何在local使用

首先找到这些文件的网址。以bert-base-uncase模型为例。进入到你的.../lib/python3.6/site-packages/transformers/里，可以看到三个文件configuration_bert.py，modeling_bert.py，tokenization_bert.py。这三个文件里分别包含 BERT_PRETRAINED_MODEL_ARCHIVE_MAP ...

2020-02-14 13:58:42 26950 15

原创在Apache2中设置locale遇到的坑， UnicodeEncodeError ‘ascii’ codec can’t encode...

有一个用python写的web应用程序，运行在Ubuntu 16.04 LST + Apache2 + cgi上。本来一切都OK，今天突然发现当路径或文件名是中文时，python会报错UnicodeEncodeError ‘ascii’ codec can’t encode characters in position ordinal not in range(128)baidu， goog...

2019-11-20 19:46:24 278

原创在Ubuntu14.04，virtualenv中安装openCV 2.4.13

简单总结一下我是如何在ubuntu 14.04 LTS里，python virtualenv中安装openCV 2.4.13 (不带CUDA)的。为了安装一个特定版本的openCV首先安装一些依赖: 有些包在安装的时候可能出错，先不管那么多，把以前没有安装的都安装一遍。 $ sudo apt-get install build-essential $ sudo apt-get in...

2019-02-28 21:27:59 290