- 博客(9)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Transformer是一个符合Bayesian深度学习网络的AI框架
贝叶斯神经网络（Bayesian Neural Network）通过提供不确定来回答“Why Should I Trust You？”这个问题。实现上讲，贝叶斯通过集成深度学习参数矩阵参数的Uncertainty来驾驭数据的不确定性，提供给具体Task具有置信空间Confidence的推理结构。一般的神经网络我们称为Point estimation neural networks，通过MLE最大似然估计的方式建立训练的目标函数，为神经网络中的每个参数寻找一个optimal最优值；而贝叶斯深度学习一种把.
2021-11-16 09:39:20
452
原创 星空智能对话机器人的Gavin认为Transformer是拥抱数据不确定性的艺术
Transformer的架构、训练及推理等都是在Bayesian神经网络不确定性数学思维下来完成的。Encoder-Decoder架构、Multi-head注意力机制、Dropout和残差网络等都是Bayesian神经网络的具体实现；基于Transformer各种模型变种及实践也都是基于Bayesian思想指导下来应对数据的不确定性；混合使用各种类型的Embeddings来提供更好Prior信息其实是应用Bayesian思想来集成处理信息表达的不确定性、各种现代NLP比赛中高分的作品也大多是通过集成RoBE
2021-11-14 18:27:28
142
原创 基于Transformer的NLP智能对话机器人实战课程培训
NLP on Transformers 101One Architecture， One Course，One Universe本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。课程.
2021-11-13 18:20:48
1407
原创 第3章: 细说Language Model及Transformer XL源码实现
1，人工智能中最重要的公式之一MLE数学本质剖析及代码实战2，Language Model的数学原理、Chain Rule剖析及Sparsity问题3，Markov Assumption：first order、second order、third order剖析4，Language Model：unigram及其问题剖析、bigram及依赖顺序、n-gram5，使用Unigram训练一个Language Model剖析及实践6，使用Bigram训练一个Language Model剖析及实践7，
2021-11-10 10:32:04
606
原创 第2章: 通过30+个细分模块完整实现Transformer论文源码及项目调试
1，Transformer源码训练及预测整体效果展示2，模型训练model_training.py代码完整实现3，数据预处理data_preprocess.py代码完整实现4，Input端Embeddings源码完整实现5，Attention机制attention.py代码完整实现6，Multi-head Attention机制multi_head_attention.py代码完整实现7，Position-wise Feed-forward源码完整实现8，Masking 在Encoder和De
2021-11-10 10:30:15
233
转载 第1章: 贝叶斯理论下的Transformer
1，基于Bayesian Theory，融Hard Attention、Soft Attention、Self-Attention、Multi-head Attention于一身的Transformer架构2，为什么说抛弃了传统模型（例如RNN、 LSTM、CNN等）的Transformer拉开了非序列化模型时代的序幕？ 3，为什么说Transformer是预训练领域底层通用引擎？ 4，Transformer的Input-Encoder-Decoder-Output模型组建逐一剖析 ...
2021-11-10 10:28:07
331
原创 MetaNLP对话机器人
基于Transformer的NLP智能对话机器人实战课程One Architecture， One Course，One World本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。课程特色：
2021-11-10 10:24:44
400
转载 自然语言处理metaNLP智能对话机器人系列：深入理解Transformer自然语言处理 SRL(Semantic Role Labeling)
自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL(Semantic Role Labeling)# Gavin大咖金句Gavin：理论上将Transformer能够更好的处理一切以“set of units”存在的数据，而计算机视觉、语音、自然语言处理等属于这种类型的数据，所以理论上讲Transformer会在接下来数十年对这些领域形成主导性的统治力。Gavin：A feedforward network with a single layer i
2021-11-09 11:23:35
586
原创 1.scala(一)
Scala是一门多范式的编程语言，运行在JVM虚拟机上，使用起来非常灵活，具有面向对象风格， 函数式风格， 更高层的并发模型等特性，代码量是java的五分之一到十分之一Scala语言有丰富的循环控制结构，if, for, Scala的数组、映射、元组1.数组定长数组scala>val arr = new Array[Int](4)变长数组scala>import scala.c
2016-01-02 10:28:38
302
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人