- 博客(165)
- 收藏
- 关注
RSS订阅转载 NLP 常用模型和数据集高速下载
楔子由于大部分 NLP 的模型和数据集都在国外，导致国内下载速度实在感人😭。好在有很多 NLP 的框架内置了很多数据集，都是国内链接，亲测下载速度很快，本文汇总一下一些我见到的国内链接，文末感谢这些平台提供的存储和下载服务。正文模型模型 文件名称 下载链接 bert-base-cased 下载 bert-base-chinese 下载 bert-base-uncased 下载 bert-chinese-wwm-ex
2022-04-29 12:40:29
2047
3
转载 CPU、GPU、TPU、NPU等到底是什么？
CPU即中央处理器(Central Processing Unit) GPU即图形处理器(Graphics Processing Unit) TPU即谷歌的张量处理器(Tensor Processing Unit) NPU即神经网络处理器(Neural network Processing Unit)概括三者区别：CPU虽然有多核，但一般也就几个，每个核都有足够大的缓存和足够多的数字和逻辑运算单元，需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理，并.
2022-04-29 12:38:34
7838
原创 Could not load dynamic library ‘libcudart.so.10.0‘
2022-04-29 03:35:16.853021: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcudart.so.10.0'; dlerror: libcudart.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/lo.
2022-04-29 12:06:02
1099
原创 nohup 命令输出到指定文件
在linux中运行命令行时，会输出一些日志信息，特别典型的是启用WebLogic命令时，输出一些信息，当启用demon模式运行时，又想收集这些信息咋办？解决的办法就是使用输出重定向，如下面的命令：nohup ./run >log 2>&1 &其中log是保存输出的文件名称；2>&1 表示不仅命令行正常的输出保存到log中，产生错误信息的输出也保存到log文件中；& 表示该进程在后台运行；nohup表示进程在当用户注销（logout）或者网络断开
2022-04-29 11:35:44
11199
转载 [Solved] Tensorflow-gpu Error: self._traceback = tf_stack.extract_stack()
Tensorflow GPU reports an error of self_ traceback = tf_ stack.extract_ stack()Reason 1: the video memory is fullAt this time, you can view the GPU running status by entering the commandNVIDIA SMIin CMD,most likely because of the batch entered_ Size..
2022-04-28 10:07:28
344
转载 Adding visible gpu devices: 0 每次运行到这里卡很久
Step1. 设置环境变量：CUDA_CACHE_MAXSIZE=4294967296我的电脑，右键，属性，高级系统设置，高级，环境变量，然后添加一个CUDA_CACHE_MAXSIZE变量，值为：4294967296，点击确定Step2. 重启电脑貌似之后就不会再有这种问题了原文链接：Adding visible gpu devices: 0 每次运行到这里卡很久_我有明珠一颗的博客-CSDN博客...
2022-04-28 09:41:44
3497
原创 bert-base-uncased下载地址
PRETRAINED_MODEL_ARCHIVE_MAP = {undefined 'bert-base-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-base-uncased.tar.gz", 'bert-large-uncased': "https://s3.amazonaws.com/models.huggingface.co/bert/bert-large-uncased.ta...
2022-04-25 15:20:06
1159
转载 ACL 2022 主会长文论文分类整理
导读ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。官方发布的接收论文列表：Accepted Papers(https://www.2022.aclweb.org/papers) 目录 Adversarial attack and Robustness【对抗攻击和鲁棒性】 Dialogu.
2022-04-22 10:30:15
1924
原创 Python 字符串相似性的几种度量方法
字符串的相似性比较应用场合很多，像拼写纠错、文本去重、上下文相似性等。评价字符串相似度最常见的办法就是：把一个字符串通过插入、删除或替换这样的编辑操作，变成另外一个字符串，所需要的最少编辑次数，这种就是编辑距离（edit distance）度量方法，也称为Levenshtein距离。海明距离是编辑距离的一种特殊情况，只计算等长情况下替换操作的编辑次数，只能应用于两个等长字符串间的距离度量。其他常用的度量方法还有 Jaccard distance、J-W距离（Jaro–Winkler distance
2022-04-11 20:40:59
1166
原创 TensorFlow的历史版本与对应Python版本
版本 Python 版本 最后版本发布时间tensorflow-2.4.0 3.6-3.8 2020年12月tensorflow-2.3.0 3.5-3.8 2020年7月tensorflow-2.2.0 3.5-3.8 2020年5月tensorflow-2.1.0 3.5-3.7 2020年1月tensorflow-2.0.0 3.5-3.7 2019年10月tensorflow-1.15.0 3.5-3.7 ...
2022-04-11 20:35:10
23624
2
原创 win10鼠标右键拓展（使用vs Code打开）
我们在文件夹里面或者选中文件单击鼠标右键都会出现相关的打开项目，今天使用vs Code打开一个文件夹的时候发现居然没有使用vs Code打开的选项，这是为什么呢？查找一番之后终于知道了原因：软件安装的时候没有勾选相关的选项，具体见下图解决方案：1、把以下代码复制到记事本，然后另存为后缀名为".reg"的文件2、双击执行刚刚保存的文件，会提示是否导入注册表，选择是，这是去资源管理器中邮件就会出现vs Code的相关选项啦Windows Registry Editor Ve.
2022-04-07 11:33:47
516
原创 AutoModelForSequenceClassification requires the PyTorch library but it was not found in your environ
You need to install Pytorch first before import the HuggingFace Transformer.Otherwise you'll have to restart the kernellinkpytorch 安装官网地址：Start Locally | PyTorch An open source machine learning framework that accelerates the path from research protot
2022-03-25 16:43:25
5430
原创 from typing import ( ImportError: cannot import name ‘Deque‘
ImportError: cannot import name ‘Deque’问题描述： 从 typing 里面 import Deque发生错误。 原因： python > 3.6.1 才有这个方法。请升级 pythonlink
2022-03-25 16:33:44
2009
原创 Can not import DataCollatorForLanguageModeling
It's because the pip package hasn't been updated. The script to train is changed fundamentally. so you can try building from scratch usinggit clone https://github.com/huggingface/transformerscd transformerspip install .orYou can use old script of.
2022-03-25 16:28:24
919
原创 AttributeError: type object ‘_CleanResult‘ has no attribute ‘from_link‘
重新更新pip版本或者切换版本就可以解决：python -m pip install --upgrade piplink
2022-03-25 16:26:53
1382
原创 TLS certificate verification has been disabled
报错warning: ----------------- SECURITY WARNING ----------------warning: | TLS certificate verification has been disabled! |warning: ---------------------------------------------------warning: HTTPS connections may not be secure. See https://aka.ms/gcm
2022-03-25 11:12:22
5684
原创 AttributeError: module ‘tensorflow.contrib.estimator‘ has no attribute ‘stop_if_no_decrease_hook‘
程序里有个bug，提示early_stopping_hook = tf.contrib.estimator.stop_if_no_decrease_hook(AttributeError: module 'tensorflow.contrib.estimator' has no attribute 'stop_if_no_decrease_hook'查看了本机的 tf版本发现是1.14，程序源码的版本是1.11 查找了tensorflow的文档，才发现，stop_if_no_decreas.
2022-03-07 18:04:09
954
1
原创 jupyter notebook kernel error
1. 先运行下行⬇️代码，看电脑中的kernel路径，jupyter kernelspec list比如：python2 /usr/local/share/jupyter/kernels/python2pytorch37 /usr/local/share/jupyter/kernels/pytorch37pytorch3_6 /usr/local/sh...
2019-08-13 23:29:12
1017
转载 python import 上级目录
python import 上级目录 有时候我们可能需要import另一个路径下的python文件，例如下面这个目录结构，我们想要在_train.py里import在networks目录下的_lstm.py和上级目录下的_config.py。_config.pynetworks _lstm.py _cnn.pypipelines _train.py...
2019-07-30 21:54:55
925
转载 python 错误 SyntaxError: invalid character in identifier
解释器提示如：SyntaxError: invalid character in identifier， 但又一直找不到问题点的话，请确保代码行内没有夹杂中文的空格，tab等，非文字字符．例如 for x in range(10): #这是个注释 print(x) ＃下一个注释这样的代码就会出现 以上错误， 因为在注释 # 之前夹杂了中文输入法的空格，print缩进里也是...
2019-07-30 21:44:56
2867
转载 怎样快速的转换FLV视频为MP4格式？
进入你的FLV所在的文件夹如果是单个文件，就用如下命令：ffmpeg -i "input.flv" -c copy "output.mp4"将这里的input改为你的文件名，output改为你想得到的文件名即可。如果是整个文件夹中的所有flv文件需要批量转成mp4，那么使用以下命令：for %i in (*.flv) do ffmpeg -i "%i" -c copy "%~n...
2019-07-28 00:50:48
443
转载 怎样快速的转换FLV视频为MP4格式？
如果是单个文件，就用如下命令：ffmpeg -i "input.flv" -c copy "output.mp4"将这里的input改为你的文件名，output改为你想得到的文件名即可。如果是整个文件夹中的所有flv文件需要批量转成mp4，那么使用以下命令：for %i in (*.flv) do ffmpeg -i "%i" -c copy "%~ni.mp4"注：不要更改以...
2019-07-28 00:08:58
1484
转载 一行脚本批量下载哔哩哔哩视频
比如下载https://www.bilibili.com/video/av33087749/?p=的1到3集。for i in $(seq 1 3); do you-get https://www.bilibili.com/video/av33087749/?p=$i; done条件：先安装you-get。我这是mac的bash前言最近在哔哩哔哩上看视频，想下载下来。网上搜索了...
2019-07-27 20:23:56
2447
2
转载 曼哈顿距离算法详解（含公式）
欧氏距离是人们在解析几何里最常用的一种计算方法，但是计算起来比较复杂，要平方，加和，再开方，而人们在空间几何中度量距离很多场合其实是可以做一些简化的。曼哈顿距离就是由 19 世纪著名的德国犹太人数学家赫尔曼·闵可夫斯基发明的（图 1）。图 1 赫尔曼·闵可夫斯基赫尔曼·闵可夫斯基在少年时期就在数学方面表现出极高的天分，他是后来四维时空理论的创立者，也曾经是著名物理学家爱因斯坦的老师。...
2019-07-22 20:36:46
113550
4
转载 Python打开文件，将list、numpy数组内容写入txt文件中
python保存numpy数据：numpy.savetxt("result.txt", numpy_data);保存list数据：file=open('data.txt','w')file.write(str(list_data));file.close()
2019-07-22 20:02:02
2109
转载 Permission denied (publickey) fatal: Could not read from remote repository. while cloning Git reposi
usegit clone https://github.com/%REPOSITORYFOLDER%/%REPOSITORYNAME%.gitinstead ofgit clone [email protected]:%REPOSITORYFOLDER%/%REPOSITORYNAME%.git参考：https://stackoverflow.com/questions/2125...
2019-07-16 16:33:48
158
转载 mac中jupyter notebook python2和3共存
Kernels for Python 2 and 3If you’re running Jupyter on Python 3, you can set up a Python 2 kernel after checking your version of pip is greater than 9.0:python2 -m pip --versionThen install ...
2019-07-16 10:03:48
585
转载 python3导入tesserocr时遇到!strcmp(locale, "C"):Error:Assert failed:in file baseapi.cpp, line 209 Illegal
在进入Python之前先输入这行代码export LC_ALL=C
2019-07-11 22:43:34
842
转载 !strcmp(locale, "C"):Error:Assert failed:in file baseapi.cpp, line 209 Illegal instruction: 4
调用tesserocr 出现这个问题!strcmp(locale, "C"):Error:Assert failed:in file baseapi.cpp, line 209Illegal instruction: 4在进入python3前输入以下命令行export LC_ALL=C然后再进入python3就可以正常调用了原文：https://blog.csdn.n...
2019-07-03 19:50:49
646
转载 #include "ios" error in mac Mojave
在安装模块之前在最前面加上CFLAGS='-stdlib=libc++'，就像下面这个这样⤵️CFLAGS='-stdlib=libc++' pip install MODEL_URL参考：https://github.com/huggingface/neuralcoref/issues/97...
2019-07-03 19:49:23
167
转载 Word Embedding与Word2Vec
原文链接：https://blog.csdn.net/baimafujinji/article/details/77836142
2019-06-29 23:34:00
449
转载 常用数学符号的 LaTeX 表示方法
（以下内容主要摘自“一份不太简短的 LATEX2e 介绍”）１、指数和下标可以用^和_后加相应字符来实现。比如：2、平方根（square root）的输入命令为：\sqrt，n 次方根相应地为: \sqrt[n]。方根符号的大小由LATEX自动加以调整。也可用\surd 仅给出符号。比如：3、命令\overline 和\underline 在表达式的上、下方画出水平线。比如：...
2019-06-21 14:00:28
1247
原创 Mac本提示-bash: wget: command not found
先安装Homebrew：Homebrew — OS X 不可或缺的套件管理器然后再` brew install wget` 即可。
2019-05-25 21:28:37
14585
转载 理解最大熵模型
目录1.什么是最大熵模型 2.相关数学知识 3.最大熵模型的定义 4.最大熵模型的学习 5.最优化算法 6.参考资料1.什么是最大熵原理例子1:假设随机变量X有5个取值{A,B,C,D,E},要估计各个值的概率P(A),P(B),…,P(E). 这些概率值满足条件P(A)+P(B)+P(C)+P(D)+P(E)=1 但是满足这个条件的概率分布有无数个。如果没有其他信息,一个...
2019-05-22 11:22:47
449
转载 最大似然估计(Maximum likelihood estimation)(通过例子理解)
似然与概率在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几乎是一对同义词，但是在统计学中似然和概率却是两个不同的概念。概率是在特定环境下某件事情发生的可能性，也就是结果没有产生之前依据环境所对应的参数来预测某件事情发生的可能性，比如抛硬币，抛之前我们不知道最后是哪一面朝上...
2019-05-22 09:46:23
2023
转载 Python 正则表达式 re 模块
原文：http://funhacks.net/2016/12/27/regular_expression/简介正则表达式（regular expression）是可以匹配文本片段的模式。最简单的正则表达式就是普通字符串，可以匹配其自身。比如，正则表达式 ‘hello’ 可以匹配字符串 ‘hello’。要注意的是，正则表达式并不是一个程序，而是用于处理字符串的一种模式，如果你想用它来处理...
2019-05-21 10:27:55
265
转载 NLP中文信息处理---正向最大匹配法分词
https://blog.csdn.net/xn4545945/article/details/8720620
2019-05-21 09:43:43
303
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人