3 韩明宇

尚未进行身份认证

暂无相关简介

等级
TA的排名 8w+

迁移学习与模型融合问题若干

1.word2vec与Elmo模型在语义学习上差异是什么?word2vec就是nlp中预训练的一种方式。但是word2vec有一个缺点就是无法解决多义词,因为每一个词只有用一个向量表示。ELMO是“Embedding from Language Models"简称。在此之前word embedding本质是个静态方式,静态的意思就是说单词训练好之后就固定了,在以后使用时,单词不会跟着上下文...

2020-03-22 16:41:20

CS224N刷题——Assignment3.1_A window into NER

Assignment #3A primer on named entity recognition这一节作业我们会建立几种不同的模型来实现命名实体识别(NER)。NER是信息抽取的一个子任务,旨在将文本中的命名实体定位并分类为预先定义的类别,如人名、组织、地点、时间表达式、数量、货币值、百分比等。对于上下文中给定的一个单词,预测它是否代表下列四个类别中的一个:人名(PER):例如“Ma...

2019-08-19 20:54:20

CS224N笔记——神经机器翻译与Attention机制

目录神经机器翻译NMT神经机器翻译的架构神经机器翻译的青铜时代现代神经机器翻译的序列模型RNN EncoderDecoder:循环语言模型机器翻译的发展神经机器翻译的四大优势统计/神经机器翻译神经机器翻译主要由工业界促进Attention:朴素RNN&长序列Attention机制词语对齐同时学习翻译和对齐Scoring 神经...

2019-08-19 20:54:01

CS224N笔记——机器翻译和GRU以及LSTM

目录复习使用RNN的机器翻译GRULSTM 复习 Word2Vec:Glove:Nnet&Max-margin:,Multilayer Nnet&Backprop:,RNN:,Cross Entropy:Mini-batch SGD: 使用RNN的机器翻译 红圈所示特征表示必须能捕捉整个原文短语的语义,但是RNN无法记...

2019-08-19 20:53:57

CS224N笔记——RNN和语言模型

目录传统语言模型循环神经网络语言模型损失函数训练RNN时的困难梯度消失问题梯度消失实例防止梯度爆炸减缓梯度消失困惑度结果问题:softmax太大且太慢一个实现技巧序列模型的应用双向和深层RNNs双向RNNs深层双向RNNs评测 传统语言模型 语言模型就是计算一个单词序列(句子)的概率的模型。可以用于机器翻译中,判断译文序列中...

2019-08-19 20:53:51

论文笔记《BERT》

论文题目:BERT-Bidirectional Encoder Representations from TransformersMasked Language Model(MLM)随机掩码语言模型:给定一个输入序列:[CLS] The dog jumped over the log. [SEP] 随机mask15%的token:[CLS] The dog jumped [MAS...

2019-07-18 20:13:53

论文笔记《Attention Is All You Need》

论文模型:Transformer目录Transformer之前的经典算法模型1.循环神经网络2.带有注意力机制的循环神经网络3.注意力权重函数4.卷积神经网络自注意力机制自注意力函数编码自注意力解码自注意力自注意力机制与注意力机制的区别并行的注意力头多头注意力Transformer模型框架模型框架编码器解码器编码器与解码...

2019-07-17 21:52:11

LeetCode每周刷题(2019.7.8-2019.7.14)

409. 最长回文串利用哈希表(python字典)统计每个字母的频次,如果是偶数可以全部加入最长回文串,如果是奇数频次减一加入最长回文串,如果有奇数的字母加入,则可以放在回文串中心,最终长度加一。class Solution(object): def longestPalindrome(self, s): """ :type s: str ...

2019-07-15 21:39:46

deeplearning.ai——字符级语言模型-恐龙岛

数据集包含了所有恐龙的名字,构建一个字符级语言模型来创建新的恐龙名称,算法能够学习不同的名称模式,并随机生成新的名称。完成这项作业能够学到:如何存储文本数据以便使用RNN进行处理 如何合成数据,通过在每个时间步采样预测值并将其传递给下一个RNN单元 如何构建一个字符级文本生成循环神经网络 为什么剪裁梯度很重要1 - Problem Statement1.1 - Datas...

2019-07-15 17:07:29

deeplearning.ai——构建循环神经网络

目录1 - Forward propagation for the basic Recurrent Neural Network1.1 - RNN cell1.2 - RNN forward pass2 - Long Short-Term Memory (LSTM) network2.1 - LSTM cell2.2 - Forward pass for LSTM3 -...

2019-07-15 14:21:46

爬虫之Re库入门

学习地址:https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/ 正则表达式 正则表达式的常用操作符匹配IP地址的正则表达式IP地址分四段,每段0-255 Re库的基本使用 正则表达式的表示类型raw string类型(原生字符串类型)string类型,更繁琐Re...

2019-07-04 19:28:57

LeetCode每周刷题(2019.7.1-2019.7.7)

69. x 的平方根利用二分法,如果中值平方大于x则在左边寻找,如果中值+1的平方小于等于x则在右边寻找,如果中值平方小于等于x且中值+1的平方大于x,则该中值就是返回的整数平方根。class Solution(object): def mySqrt(self, x): """ :type x: int :rtype: int...

2019-07-04 14:55:11

爬虫之Beautiful Soup库入门

学习地址:https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/Beatiful Soup库官网:https://www.crummy.com/software/BeatifulSoup Beatiful Soup库的基本元素 Beatiful Soup库的理解Beatiful Soup库是解析、...

2019-07-03 14:58:20

LeetCode每周刷题(2019.6.24-2019.6.30)

167. 两数之和 II - 输入有序数组由于数组已经按照升序排列,利用双指针,i指针指向数组头,j指针指向数组尾,如果两数之和大于目标数则j前移,如果两数之和小鱼目标数则i后移,直到找到两个值。class Solution(object): def twoSum(self, numbers, target): """ :type number...

2019-06-30 14:20:32

爬虫之Requests库入门

学习地址:https://www.icourse163.org/learn/BIT-1001870001?tid=1003245012#/ Requests库的七个主要方法 requests.get()方法 r=requests.get(url,params=None,**kwargs)url:拟获取页面的url链接 params:url中的额外参数,字典或字节流格式,...

2019-06-29 23:41:48

深度之眼-科赛网二分类大赛入门之路

比赛简介 比赛网址:https://www.kesci.com/home/competition/5c234c6626ba91002bfdfdd3/content比赛题目:「二分类算法」提供银行精准营销解决方案赛题描述:数据:训练集:测试集(没有标签y):字段说明:NO 字段名称 数据类型 字段描述 1 ID Int...

2019-06-29 17:57:15

权力的游戏击杀和家族知识图谱(python+neo4j)

一、任务描述数据集是github上某大神整理出来的全八季任务信息,包括姓名、家族、杀了谁、被谁杀了等等。本文做的知识图谱仅包含所有人物及其被杀关系和家族关系。数据集链接:https://github.com/jeffreylancaster/game-of-thrones/blob/master/data/characters.json二、neo4j的安装和部署参考:https:/...

2019-06-21 22:31:46

TensorFlow共享变量

你可以在怎么使用变量中所描述的方式来创建,初始化,保存及加载单一的变量.但是当创建复杂的模块时,通常你需要共享大量变量集并且如果你还想在同一个地方初始化这所有的变量,我们又该怎么做呢.本教程就是演示如何使用tf.variable_scope()和tf.get_variable()两个方法来实现这一点.问题假设你为图片过滤器创建了一个简单的模块,和我们的卷积神经网络教程模块相似,但是这里包括...

2019-06-20 20:51:00

TensorFlow变量:创建、初始化、保存和加载

当训练模型时,用变量来存储和更新参数。变量包含张量 (Tensor)存放于内存的缓存区。建模时它们需要被明确地初始化,模型训练后它们必须被存储到磁盘。这些变量的值可在之后模型训练和分析是被加载。本文档描述以下两个TensorFlow类:tf.Variable类 tf.train.Saver类创建当创建一个变量时,你将一个张量作为初始值传入构造函数Variable()。Tenso...

2019-06-20 18:06:57

达观杯文本分类——基于N-gram和LogisticRegression

任务与数据 建立模型通过长文本数据正文(article),预测文本对应的类别(class)。数据包含2个csv文件:train_set.csv:此数据集用于训练模型,每一行对应一篇文章。文章分别在“字”和“词”的级别上做了脱敏处理。共有四列: 第一列是文章的索引(id),第二列是文章正文在“字”级别上的表示,即字符相隔正文(article);第三列是在“词”级别上的表示,即词...

2019-06-20 10:32:49

查看更多

勋章 我的勋章
  • GitHub
    GitHub
    绑定GitHub第三方账户获取
  • 持之以恒
    持之以恒
    授予每个自然月内发布4篇或4篇以上原创或翻译IT博文的用户。不积跬步无以至千里,不积小流无以成江海,程序人生的精彩需要坚持不懈地积累!
  • 勤写标兵Lv4
    勤写标兵Lv4
    授予每个自然周发布9篇以上(包括9篇)原创IT博文的用户。本勋章将于次周周三上午根据用户上周的博文发布情况由系统自动颁发。