- 博客(23)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 transformers中TFBert等模型加载问题(two structures don‘t have the same nested structure)
如果将transformers中的tfbert等模型嵌入到自己的模型中，在保存与加载的时候可能会出现以下问题：ValueError: The two structures don’t have the same nested structure.First structure: type=dict str={‘input_ids’: TensorSpec(shape=(None, 5), dtype=tf.int32, name=‘input_ids/input_ids’)}Second struct
2021-03-28 18:56:49
1602
1
原创 GELU 激活函数
Gaussian Error Linerar Units(GELUS)论文链接：https://arxiv.org/abs/1606.08415最近在看bert源码，发现里边的激活函数不是Relu等常见的函数，是一个新的激活函数GELUs, 这里记录分析一下该激活函数的特点。不管其他领域的鄙视链，在激活函数领域，大家公式的鄙视链应该是：Elus > Relu > Sigmoid ...
2020-04-16 18:15:53
86538
19
原创 句子向量表示模型概述
背景在很多自然语言处理人物中，例如文本匹配，智能问答等都都需要衡量两个句子的相似度，一般情况我们采用将句子编码为向量表示，然后利用两个向量之间的相似度来表示句子的相似度，从而将自然语言环境下的问题转为来可以机器处理的问题。本文对最新的几种句子向量编码表示进行介绍。模型介绍SBERT(Sentence-BERT)论文：Sentence-BERT: Sentence Embeddings us...
2020-04-16 18:13:37
1170
原创 谷歌BERT 学习
最近谷歌放了个大招，开源了他们最新的自然语言模型BERT，正好手头有个文本分类的任务，打算拿来用用，特此记录一下学习过程，如果错误，还望指正。论文地址：https://arxiv.org/abs/1810.04805开源github地址：https://github.com/google-research/bert摘要BERT(怎么读随便），其实是Bidirectional Encoder...
2018-11-13 20:36:59
680
原创 排序学习概述
排序学习排序学习简单说就是在排序任务中使用机器学习的方法，在信息检索、自然语言处理与数据挖掘等许多领域中有重要的应用。 用文档检索来举例，如下图： 排序学习的核心就是要学习到一个排序模型f(q,d) ， q 表示查询，d 表示文档，然后利用排序模型，在给定查询q的时候给出相关文档的排序。传统排序，例如BM25: 基于条件概率分布，f(q,d)=p(r|q,d)f(q,d)=p(...
2018-05-26 15:57:34
5247
1
原创 Spark RDD介绍
概念Spark是一个集群计算系统，主要抽象为一个弹性分布式数据集（resilient distributed data set,RDD）。RDD创建Hadoop InputForm(如HDFS)其他RDD转换通过转换集合类数据额结构来创建（例如List和Map）Java或Scala集合对象以及其他持久数据存储库创建RDD的两种操作动作有reduce()collect()count()
2017-05-22 15:07:42
824
原创 最长无重复字符的子串
题目给定一个字符串，请找出其中无重复字符的最长子字符串。样例 例如，在”abcabcbb”中，其无重复字符的最长子字符串是”abc”，其长度为 3。对于，”bbbbb”，其无重复字符的最长子字符串为”b”，长度为1。思想动态规划加哈希, 重点当hash[s[i]]存在时,根据hash[s[i]]的值是否大于start做两种不同的处理class Solution {public: /**
2017-05-07 21:40:40
227
原创 python中调用c++
编译一个要引用的动态链接库:XXX.sogcc/g++ -fPIC xxx.cpp -o xxx.so -shared -I/usr/include/python2.7 -I/usr/lib/python2.7/config(-I为大写的i) 在python脚本中：import ctypesso = ctypes.CDLL('./xxx.so')so.fun(a,b)或者使用so
2017-04-11 19:53:19
331
原创 How to Generate a Good Word Embedding（学习笔记）
word embedding（词嵌入）：一种分布式此表示（distributed word representation),可以同时捕获词的语义以及语法信息。本文主要比较已有的各种词嵌入模型与方法，并通过实验的视角详细分析在训练词嵌入模型的需要注意的一些重要点，包括模型建立、训练数据集设计、参数选择。首先要弄清楚模型的建立，所有的模型基本都基于：共同出现在相似上下文环境中的词倾向于拥有相似的含义(w
2017-01-15 16:11:35
2001
原创 PRML 读书笔记-Chapter1
reinforcement learningFinding suitable actions to take in a given situation in order to maximize a reward. A general feature of reinforcement learning is the trade-off between exploration,in which the
2016-05-09 22:51:00
314
原创 K-近邻算法
K-近邻算法采用测量不同特征值之间的距离方法进行分类。 优点：精度高、对异常值不敏感、无数据输入假定 缺点：计算复杂度高、空间复杂度高 适用数据范围：数值型和标称型 工作原理：存在一个样本数据集合，也称作训练样本集，并且样本集中每个数据都存在标签， 即我们知道样本集中每一数据与所属分类的对应关系。输入没有标签的新数据后，将新数据的每个特征与样本集中数据对应的特征进行比较，然后算法提取样本集
2016-02-16 18:17:08
425
原创 稀疏矩阵的数据结构及相关算法
1三元组顺序表数据结构： typedef struct{ int i,j; //非零元的行下标和列下标 ElemType e; }Triple; typedef struct{ Triple data[MAXSIZE+1]; //非零元三元组表，data[0]未用 int mu,nu,tu;
2015-12-06 21:54:59
609
原创 VIM编辑器中移动移动操作
基础操作h j k l 分别为向左，下，上，右移动一个字符，也可以使用方向键的上下左右移动，或者回车与BACKSPACE键。 可以在移动键前加数值参数，就是成数值倍地移动。在一行中的移动： 数字0： 移到行首； $: 移到行尾； 按文本快来移动： w：移动一个单词（也可以在w前加数字参数）； b：后退一个单词；
2015-12-04 17:56:02
597
原创 Linux C 正则表达式运用（regex.h)
一个段程序用到了中的正则表达式来识别字符串，写个小博客给自己记录一下。也是查过才发现原来C语言也可以直接使用库函数来进行字符串匹配，当然由于不是标准的C语言库函数，所以只在linux系统中有，Windows的用户可能就得另想办法了。中有四个函数，分别是：int regcomp(regex_t *preg, const char *pattern, int cflags);int
2015-11-25 18:36:36
6217
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人