- 博客(32)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 adversarial Learning and attacks 学习笔记
GANs大家是比较熟悉的网络结构，adversarial attacks 也不是很新的概念了。近期的工作有涉及到adversarial attacks，故整理一下学习的内容。
2023-01-24 22:29:25
698
1
原创 InstructGPT 与 ChatGPT的学习与解读
最近ChatGPT大火，简单整理了一些文章和帖子。ps.此时ChatGPT还没公布相应的论文，所有以下内容为官网发布内容，以及一些合理的推测。
2023-01-14 23:40:55
12161
原创 Prompt Learning 简介
• Prompt Learning 可以将所有的任务归一化预训练语言模型的任务• 避免了预训练和fine-tuning 之间的gap，几乎所有 NLP 任务都可以直接使用，不需要训练数据。• 在少样本的数据集上，能取得超过fine-tuning的效果。• 使得所有的任务在方法上变得一致。
2023-01-13 03:01:13
10103
原创 动态规划和递归算法
假定有一个LeetCode题目1. 使用递归算法我们需要判断改题目是否由多个子任务组成，可以嵌套成递归的形式，在这一步我们往往需要一个递归表达式。当有中间状态时有时候我们在处理路径搜索，有中间状态如状态矩阵时，我们需要设定一个容器存储中间状态的数值。一般我们会设定一个与初始矩阵同等大小的矩阵作为容器。更新路径的信息。2.使用动态规划Dynamic Programming动态规划是一种多阶段决策最优解的模型，一般用以求最值。可用于自下而上的递推求解。使用动态规划要满足三个条件：多阶段决策最
2020-06-14 23:36:46
1307
原创 深度学习NLP-词向量篇（含代码实现）
本文是最近学习了斯坦福大学的NLP课程CS224N，和一些相关教程后，整理出来的一篇关于词向量的学习笔记。主要记录了关于词向量的产生，关于计数的词向量生成法，基于分布的词向量生成法（Cbow，Skip-gram，GloVe），和一些相关知识。一、词嵌入的简介语言模型在计算机学科里，一个语言模型往往指的是使用一种知识表达的方法，通过计算一个单词/句子产生的概率来表达一种语言规律。传统的语言模型中词的表示是原始的、面向字符串的。两个语义相似的词的字符串可能完全不同，比如“番茄”和“西红柿”。这给所有NLP
2020-06-14 23:16:25
3546
原创 知识图谱与文本生成
文本生成在自然语言处理领域一直属于热门研究领域。生成文本任务比信息抽取和文本分类等问题要更加困难，收到了学界的广泛关注。受到深度神经网络的影响，许多文本生成模型模型被研发，有基于机器翻译的Seq2Seq框架，有纯数据驱动模型，也有融合了知识图谱信息的知识驱动模型。本文介绍的是一些融合了知识图谱信息的知识驱动文本生成模型。几个Seq2Seq文本生成框架Pointer Networks本文试图利用seq2seq处理特定的序列问题。我们已经提到，传统seq2seq结构的输出由类似词汇表的某个元素映射表确定，
2020-06-13 15:26:42
6118
原创 自然语言处理中的小样本数据问题-数据增强与半监督学习模型
本文借鉴了NLP中的少样本困境问题探究，记录读后笔记和感想。目标：我们希望采取相关数据增强或弱监督技术后在少样本场景下，比起同等标注量的无增强监督学习模型，性能有较大幅度的提升；在少样本场景下，能够达到或者逼近充分样本下的监督学习模型性能；在充分样本场景下，性能仍然有一定提升；一、NLP文本增强文本增强根据是否依据文本的标签做数据增强分为无条件的文本增强，和有条件的文本增强。无条件文本增强词汇短语替换：基于词典的同义词替换（EDA：Easy Data Augmentation），基
2020-06-11 14:19:04
5273
原创 知识图谱与问答系统-论文分享两则
论文一：Improving Question Generation with Sentence-level Semantic Matching and Answer Position Inferring论文链接：https://arxiv.org/pdf/1912.00879.pdf本文主要聚焦问答系统（Q&A）的反问题—问题生成（Question Generation，Q&G）。问题生成的目的是在给定上下文和相应答案的情况下生成语义相关的问题，问题生成任务可分为两类：一类是基于规则的方
2020-06-10 16:27:26
1975
原创 知识图谱的构建与质量评估
本文由知识图谱的结构构建，实体抽取，实体关系和属性抽取，知识图谱评估，知识图谱精炼六个部分组成。一、知识图谱构建知识图谱在目前知识体系中的三种组织分类：Ontology:树状结构，关系是严格的IsA关系，便于知识推理，但没法表达出概念和关系的多样性Taxonomy:树状结构，关系包含一般的上位词-下位词关系（Hypernym-Hyponym），关系的丰富影响了知识推理的难度，易造成歧义。Taxonomy也是我们当前最常用的知识图谱分类方法。Folksonomy:非层级的结构，全部节点以标签分类，
2020-06-07 15:14:01
12427
原创 基于BERT的多模态应用：图像，视频如何通过BERT处理
基于BERT的多模态应用：图像，视频如何通过BERT处理本次分享的是结合了预训练的语言模型BERT和视觉方面的结合。1. VideoBERT: A Joint Model for Video and Language Representation Learning视频+文本的训练方法通过automatic speech recognition （ASR）模块和vector quantization（VQ）模块，加上BERT形成整个模型。其中ASR模块是用来识别语音的神经网络模块，用来将视频中的语音翻
2020-06-03 22:16:51
3984
原创 知识图谱在人工智能中的应用与思考
知识图谱在人工智能中的应用与思考1. 人工智能是为了解决生产力升级的问题人类的生产力可以分为知识生产力，劳动生产力。人工智能可以从两个方面加速生产力的提升。人工智能又可以分为感知型智能，认知性智能，行为智能。一般来讲，计算机视觉识别，语音识别等识别问题都可以归结到感知性智能中。认知性智能包含自然语言理解（NLU），自然语言生成（NLG），知识推理（reasoning）等领域。行为智能主要聚焦在智能体的行动上，一般指的是具有感知和认知能力的机器人的行为。2.人工智能的”三个主义“现代的人工智
2020-06-03 21:35:12
4127
1
原创 几个与BERT相关的预训练模型分享-ERNIE，XLM，LASER，MASS，UNILM
基于Transformer的预训练模型汇总1. ERNIE: Enhanced Language Representation with Informative Entities（THU）特点：学习到了语料库之间得到语义联系，融合知识图谱到BERT中，本文解决了两个问题，structured knowledge encoding 和 Heterogeneous Information Fusion（如何融合语言的预训练向量空间和知识表征的向量空间）因此，本文提出了同时在大规模语料库和知识图谱上预训练语
2020-06-03 20:32:45
2028
原创 图像数据增强读书笔记
A Survey on Image Data Augmentation for deep learningRef:1. A survey on Image Data Augmentation for Deep Learning2. Generative Adversarial Network in Medical Imaging- A Review1. 目的是解决过拟合问题常用方法有：Dropout Batch normalization 等正则化方法Transfer learning, p
2020-06-02 21:52:37
1733
原创 18-19基于预训练的语言模型对比
18-19年基于预训练的语言模型对比ref：后BERT时代：15个预训练模型对比分析与关键点探究1. 模型对于长距离依赖的处理能力Transformer-XL > Transformer > RNNs > CNNs2. 前馈/循环网络 or 串行/并行计算MLP/CNNs/Transformer：前馈/并行RNNs/ Transformer-XL：循环/串行3. 自回归vs自编码自回归：文本序列联合概率的密度估计，为传统语言模型，天然适合处理文本生成任务。问题是文本序列是有
2020-05-25 19:39:37
1468
原创 知识图谱融合与知识图谱对齐Summary
Summary of Knowledge graph combination and KG alignmentRef：多知识图谱的融合算法探索1. 知识融合的常见问题数据质量问题：命名模糊，数据输入错误，数据都市，数据格式不一致，缩写问题数据规模问题：数据量过大，或数据量过小。数据种类多样性。在知识图谱对齐的时候，我们不仅通过实体名匹配，也会使用多种关系，链接，图谱层次。2. 知识融合（对齐）的常见步骤数据预处理：1) 语法正规化 2) 数据正规化记录链接：把实体通过相似度进行连接相似度计
2020-05-08 19:34:09
6439
原创 可建模语义分层的KG embedding for relation/link completion
可建模语义分层的KG embedding for relation/link completion1. Learning Hierarchy-Aware Knowledge Graph Embeddings for Link Prediction知识图谱补全的方法可分为三种：基于距离的模型双线性模型神经网络模型本文属于第一种，基于距离的模型，这类模型可以建模互逆，对称与复合等不同的...
2020-05-05 01:05:48
1765
原创 BERT的应用和反思
BERT如何应用在不同NLP任务中以及对于BERT的反思reference：Bert时代的创新（应用篇）：Bert在NLP各领域的应用进展1.question answering问答系统中所需的答案在文本中，所以在NLP基础模型技术有较大提升时，此类问题收益较大。更偏向语义匹配。2.Information Retrieval信息检索任务中同样做的是Query和给定文本的匹配任务，但是IR更加...
2020-05-04 00:45:39
1595
原创 论文笔记：NLP之BERT，ERNIE(pre-training 模式在NLP任务中的使用)
论文笔记：BERT的原理与应用，ERNIE的原理和进化历程ref：详解ERNIE-Baidu进化史及应用场景Bert时代的创新：Bert应用模式比较及其它从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史1. BERT：...
2020-04-30 16:32:41
1738
原创 论文笔记：NLP之Attention is all you need
论文笔记：NLP之Attention is all you need. Transformer 的结构与特点ref：1.Step-by-step to Transformer：深入解析工作原理（以Pytorch机器翻译为例）2.How do Transformers Work in NLP? A Guide to the Latest State-of-the-Art Models1. t...
2020-04-28 18:10:46
1392
原创 机器学习心得之Andrew Ng（4）
WEEK4：本周开始学习神经网络，首先介绍了目前一些关于大脑研究的新进展。此处不表，直接进入主题。神经网络概述：关于神经网络，教程给出了一个最简单的网络模型： 在这个模型里，只有一个隐藏神经元，输入层有三个输入，最后是一个输出层。 当我们为隐藏层（Hidden layer）假如激活函数（activation function）之后，隐藏层就变成如下所示： 并按照如下公式进行计算，在此公
2017-11-04 07:20:50
842
原创 机器学习心得之Andrew Ng（3）
WEEK3分类（Classification）： 这里面指的分类是二值分类，然后我们使用到的分类器为非线性分类器，第一个讲到的就是之前提到的逻辑回归。逻辑回归（Logistic Regression）： 首先是sigmoid function，同时也叫做logistic regression，这是本算法的核心公式，在这里，预测值大于0.5的，将会被看做1，小于 0.5的，被看做0. 逻辑回归
2017-11-01 01:23:46
861
原创 深度学习笔记之Andrew Ng（4）
WEEK4: 最后一周的内容，讲的还是神经网络部分。但是升级成为了多层的深度神经网络，那么本质上，神经网络的原理还是不变的，那么在加深了神经网络的layer之后，我们在计算上，出现了一些不同。 先上图： 如图我们看到的是一个四层Hidden layer的神经网络，那么这个教程主要围绕如包括四层隐含层的神经网络的创建。正向传播（Forward propagation）：如图，正向传播的公式，
2017-10-20 17:27:17
889
原创 深度学习笔记之Andrew Ng（3）
WEEK3：本周进入了新的话题，神经网络，不过还暂时离不开我们之前学习的逻辑回归，我的理解是，标准神经网络使用了一个更大范围的神经网络，为什么这么说呢，我们来一步步的开始学习。神经网络概述：那么神经网络，是由一个个神经元构成的，长成这个样： 其中中间的圆形就是我们说的神经元。 之前我们学习过了preceptron（感知器），事实上就是一个单层的神经网络模型，那么既然这样，首先我们需要知道一个神经
2017-10-02 23:26:45
885
原创 机器学习心得之Andrew Ng（2）
WEEK 2:本周主讲的是关于使用线性回归做多个特征值模型的建立，那么首先，多个特征值的线性回归的模型，长什么样呢。多特征（Multiple Feature）：多特征线性回归： 表达式：hθ(x)=θ0+θ1x1+θ2x2+θ3x3+⋯+θnxn 同一个特征的线性回归表达式一样，θ0代表了偏置量b，每一个x代表一个特征，θ1到θn代表了每个特征的权值。那么，变换成矩阵相乘的形式： 多特征的梯度
2017-10-01 16:08:49
885
原创 深度学习笔记之Andrew Ng（2）
由于吴恩达离职百度，自立门户，他最近在网上特别火，连带着他的各种课程也跟着火了起来，本系列是有关于吴恩达在Coursera上面发布的，关于深度学习与神经网络的课程笔记。给有中文学习需求的同学分享一下，同时也帮助我自己梳理一下知识网络，如有遗漏与错误，望CSDN的各位大神能够指点出来。WEEK2二元分类（Binary Classification）：首先讲到了二元分类，也就是我们常说的是否问题，所以这
2017-09-29 04:47:19
925
原创 深度学习笔记之Andrew Ng（1）
由于吴恩达离职百度，自立门户，他最近在网上特别火，连带着他的各种课程也跟着火了起来，本系列是有关于吴恩达在Coursera上面发布的，关于深度学习与神经网络的课程笔记。给有中文学习需求的同学分享一下，同时也帮助我自己梳理一下知识网络，如有遗漏与错误，望CSDN的各位大神能够指点出来。WEEK1神经网络：首先，本课程适合的是有一定的机器学习基础的同学。 视频一上来，就开始利用RELU激活函数函数开始
2017-09-27 15:16:20
849
原创 机器学习心得之Andrew Ng（1）
由于吴恩达离职百度，自立门户，他最近在网上特别火，连带着他的各种课程也跟着火了起来，那么在这个系列的博客里面，我会把吴恩达发布在Coursera上的Machine Learning课程中，每周的课程与任务摘要出来，给有中文学习需求的同学分享一下，同时也帮助我自己梳理一下知识网络，如有遗漏与错误，望CSDN的各位大神能够指点出来。那么下面开始进入正文WEEK 1:首先是，什么是机器学习？Andrew给
2017-09-26 06:36:25
1253
原创 基于Unity3D的并行渲染模型的开发教程（五）：Leap Motion
为了拓展交互方式，本系统不仅仅使用了键盘与鼠标作为输入设备，同时，我还使用了Leap Motion作为手势输入设备进行人机交互。基于Leap Motion的手势交互开发，是本项目的重要交互方式之一。随着虚拟现实技术的发展，手势识别与手势操作技术越来越受到开发者的重视，本项目中，对于模型的操作不仅仅可以使用键盘与鼠标，还可以使用手势来对模型进行操作，本扩展功能极大的丰富了交互手段，提升用户的观看以及操
2017-06-04 20:52:14
1441
原创 基于Unity3D的并行渲染模型的开发教程（四）：Vuforia的开发
以下为拓展系统拓展部分，为了能使本展示系统能够更加的有表现力，更加完善，我又在原系统中增加了AR模型展示部分，具体说呢，还需要再多加一个安卓手机端的APP，用以观看AR模型， 移动端AR技术的开发同样基于Unity3D，并使用Cluster Package作为核心开发包，同步模型到移动端，使用Vuforia开发包实现模型在手机中的3D同步展示，很好的加强了用户的观看体验。移动端AR开发作为大屏幕端
2017-06-04 19:31:28
1498
原创 基于Unity3D的并行渲染模型的开发教程（三）：Network View
上一节说到了如何让机器了解，应该同步哪些内容。 我们需要新引进一个组件，叫做Network View。这个组件是本用于制作Unity3D网络游戏的组件，用以同步模型与场景到多个客户端。话说到这里，这个组件的作用已经十分清晰了。只需要我们把需要动态同步到Slave的模型，加载一个Network View就可以啦。如下图： 图中可以看到我们的Ford车被加上了网络组件后，被赋予了一个View I
2017-06-04 19:14:55
1413
原创 基于Unity3D的并行渲染模型的开发教程（二）：CLUSTER PACKAGE
本节主要介绍的是基于Unity的并行渲染的核心Unity组件：Claster Package。那么在讲使用之前，先讲讲这个组件的应用原理。在官方的文档中，我们可以看到，原文主要讲解了：使用Cluster Package（以后简称CP），需要对Unity场景内的视角进行切割，原文中以三块屏幕为例，那么主视角需要被分割成等量的三份，通过标注出每块屏幕的左上，左下和右下三个顶点，并标注出主视角的位置，来确
2017-06-04 16:03:57
2447
原创 基于Unity3D的并行渲染模型的开发教程（一）：概述
随着计算机图形技术的发展以及CPU运算能力的提升，用户对于图像展示方面的要求越来越高，那么大屏幕展示系统应运而生。目前市场上已有多种大屏幕并行渲染的解决方案，例如使用硬件方式：屏幕拼接器，来解决屏幕之间的图像同步问题。还有已经较为成熟的SAGE2，用网络传输方式来完成屏幕间的图像同步。这些方式都各有利弊。那么，博主本次展示的是基于Unity这款软件完成的并行渲染系统，同时集成了多个目前市面上比较成熟
2017-06-04 12:57:01
2366
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人