Air_Fighter-CSDN博客

原创小司马 · 第一天

·为什么是小司马？小司马，英文名SmartH，是笔者最近在开发的历史选择题答题系统，名字起源于伟大的史学家——司马迁。我们试图制作一个AI系统，来回答高考题，笔者有幸参与历史单选题回答部分。开发过程也许会漫长而艰辛，鉴于小boss已然准备慷慨赴死，笔者决定记录我等赴死全过程。当然，以后写到的将只有笔者在负责的这部分，有一些别人的工作笔者不会直接采用，而是替换为自己所做的工作。小司马日记将仅提供笔

2015-11-26 18:57:05 659

原创 How Did Watson Answer —— Computation Optimization

本文主要介绍DeepQA架构中大量的并行计算如何进行和加速，以及针对CPU计算的优化。并行加速无非就是将一项大任务切分为几个子任务同时进行，这个框架名字叫“非结构化信息管理架构”(UIMA, Unstructured Information Management Architecture)。

2015-11-25 17:38:25 445

原创 How Did Watson Answer —— Final Merging and Ranking

一、摘要Watson答题处理流程的最后一步是答案的合并与排序。在这一步中，实现了按步骤划分并且可以逐次的机器学习框架，可以利用每一步中候选答案的评分，按照多个特征综合评分。 Watson中使用机器学习算法，面临的主要挑战有：1)候选答案有可能相同或相关，2)特征在不同题目类型中的重要程度不同，3)特征在排序过程中价值不同，4)特征之间结构不相同，5)答案类型失衡严重。二、框架合并与排序采用的机器学

2015-11-24 11:23:16 508

原创 How Did Watson Answer? —— Implicit Relationships

为了发现和衡量问题中的隐含关联、模糊关系，Waston采取了一种称为传播激活（Spreading-Activation）的方法。

2015-11-23 14:49:46 559

原创 How Did Watson Answer? —— Structured Data

一、摘要尽管Waston中使用更多的是非结构化的数据，但结构化数据的准确性能够寻找其他候选答案并且找到额外的证据。结构化的数据主要包括答案类型、地理空间位置解析、时间序列以及其他一下经常出现的实体的预先知识库.

2015-11-20 15:28:57 551

原创 How Did Watson Answer? —— Relation Extraction

一、摘要Waston中关系抽取通过两种方式进行——一是基于规则的模式匹配，二是基于统计模型的模式导出(pattern elicitation)。其中人工模式有30种，统计模式有7000种。之所以使用关系抽取，是为了在ESG、PAS的基础上发现更深层次的语义关系，发现潜在的问题候选答案，当然也有利于对文章内容进行评分。系统高级架构如下图：二、基于规则的关系抽取规则都是由人工建立的，选择建立规则

2015-11-19 11:09:42 554

原创 How Did Watson Answer? —— Textual Evidance

Waston中使用“支持证据检索”对每个候选答案进行并行的独立的查询，检索算法中综合了题干和文章中的多个要素和关系。

2015-11-18 15:10:00 605

原创 How Did Watson Answer —— Automatic Knowledge Acquisition

一、摘要不同于模式匹配的知识获取，Waston中可以在非结构化文本中通过简单的语义分析来自动获取知识，甚至是以前不存在于知识库中的类型。知识获取分两步——第一，抽取浅层知识，第二，统计推理语义。这套方法的名字叫——PRIMSMATIC。二、相关术语在PRISMATIC中使用以下术语：帧(Frame)——一个帧是一个基本的语义片段，是一段文本中一系列的实体和他们之间的关系；槽(Slot) ——一个

2015-11-17 18:52:55 550