「已注销」-CSDN博客

原创技术交流：老刘说NLP技术公众号开通

我有一个念想：在当今PR文章满天飞的背景下，我们能够保持人间清醒，对NLP技术有客观、公正的了解，并实事求是地进行技术实践和知识共享。老刘说NLP，将定期发布更多、更简单、更有趣的语言知识、想法、笔记，包括：语言资源、语言计算、知识图谱、事理图谱等。现有内容：...

2021-10-14 22:41:50 2178

笔者之前写过一篇文章《关于知识图谱标准化构建平台的思考：知识图谱只能做项目，不能做平台？》，地址：https://blog.csdn.net/lhy2014/article/details/119857488，从技术实现的难度上，对这一平台的实现发表了自己的看法，也突出了其中确实存在的一些现实难题。而即便如此，知识图谱平台，作为一个面向不同领域的标准化、可复用平台，是各大知识图谱公司、企业都在努力的方向。那么，作为一个标准化的知识图谱平台，其构成是怎样的，其数据流程与构建范式是按照一个怎样的流程进行的。带着

2021-09-21 00:11:11 1292

原创老刘说NLP：焦虑被大肆贩卖下的自然语言处理学习思考

当下，越来越多的人在贩卖焦虑。当我们打开知乎、脉脉、公众号、软文、自然语言处理速成机构等发布的文章和消息时，总能看到自然语言处理算法岗灰飞烟灭、算法岗高薪速成宝典等传递和炒作焦虑的身影。这些身影，直接导致了越来越多的人陷入一种茫然与迷茫之中，在算法岗高薪的诱惑之下，越来越多人（无论是科班的，半路出家的），都加入到算法岗的从业大潮之中，并且逐步形成了市场中人员素质参差不齐、鱼龙混杂，最终劣币驱逐良币的畸形形态。近期，有不少朋友来信，表示对当前的状态很不满，希望能够尽快地找到一个合适的方向、快速的学习方式，提

2021-09-12 23:48:14 1332 2

原创关于话题演化关系网络生成的路线思考：从话题聚类到话题网络展示

话题演化关系网络生成，是实现事件演化追踪的一个重要方法。通过对文本话题进行聚类、内容处理、话题演化关联、话题演化网络的展示，能够在一定程度上为用户揭示出一个事件发展的情况。本文就笔者对该方向的实现路线思考进行总结，分享给大家。一、文本话题聚类1、使用single-pass趟次聚类算法，将聚类的相似度阈值设置为0.6，对给定主题的所有文本进行聚类，得到多个话题类及每个类别下对应的文档集合。2、假设一个话题下必须包含的文档数量大于某个阈值，否则不能成为话题。在本次实验中，将类下文档数量小于2的主题进行删除

2021-09-04 23:52:29 1251

原创 SinglepassTextCluster项目：基于single-pass算法思想的自动文本聚类组件

项目的背景SinglepassTextCluster, an TextCluster tool based on Singlepass cluster algorithm that use tfidf vector and doc2vec，which can be used for individual real-time corpus cluster task。基于single-pass算法思想的自动文本聚类小组件，内置tfidf和doc2vec两种文本向量方法，可自动输出聚类数目、类簇文档集合和簇类大

2021-09-04 22:53:56 953 1

原创万字长文：近年来学界、业界视角下的“事理图谱”发展总结与思考

大部分技术都会经历从提出，到验证，再到修正，再到落地的这样一个过程。事理图谱这个概念从国内学者自2017年提出到现在，已经经历了近4年的时间，那么在这四年的时间里，事理图谱目前处于一个什么样的状态。事理图谱，当前自然处于什么处理的状态。事理图谱包括事件的界定、事件关系的抽取、事件融合、事件要素提取、事件抽象、事件演化概率计算等多个技术核心点。首先，对于事件的界定上看。目前还没有看到一个标准的表示方案。我之前写过的早期文章中有介绍，事件的表示可以用核心动词(这个在目前的学术界评测集semeval，cec中采

2021-08-29 01:37:32 2703

原创大规模领域词汇库项目DomainWordsDict：涵盖68个领域、共计916万的词汇库资源开放

项目概述DomainWordsDict, Chinese words dict that contains more than 68 domains, which can be used as text classification、knowledge enhance task。涵盖68个领域、共计916万词的专业词典知识库，可用于文本分类、知识增强、领域词汇库扩充等自然语言处理应用。在利用学习模型进行自然语言处理任务时候，领域词汇可以作为一项重要的领域特征加入到模型当中，可以提升领域性模型的性能。地址

2021-08-28 12:27:47 2679

原创关于知识图谱标准化构建平台的思考：知识图谱只能做项目，不能做平台？

从知识图谱被大家所熟知之后，知识图谱自身已经已经成为“知识图谱+”的一个潮流，许多领域、许多行业在各个层级，都在大规模地进行知识图谱方面的结合尝试。而这种尝试，本质上包括两种，一种是以项目的方式做知识图谱，即解决方案，另一种是以产品的方式做知识图谱，即做标准化的知识平台。不同的做法会带来不同的问题，最近自己也正经历着这两种方式的转变，发现了一些问题，有些思考，写出来与大家一同分享。一、知识图谱标准化平台的六个问题1、知识图谱当前的应用场景是什么？关于知识图谱的应用场景，目前畅想的已经足够过。但本质上，

2021-08-22 22:50:35 3311 4

原创老刘说NLP：这几年的NLP历程回顾，以及关于NLP(知识图谱等)落地的思考

一、前言只有把自己所思考的，所认识的东西，以文字的方式记录下来，才是对自己成长最好的记录方式。是的，距离上一次动手写博客或者技术文章已经过去了大半年的时间。作为一个比较喜欢总结的人，这无疑是一个一大段空白。对的，今年，我经历了一场很不可思议的事情。学业与工作经历起伏。从三月份到六月份这四个月的时间里，困在一个怎么也走不出的低谷。因此，今年我做了一个我从未想过的决定，我离开了工作整整四年(加上实习是五年)的中科院软件所，投身互联网。软件所的五年里，我以极大的热情执着于自然语言处理技术的基础研究和应用落地。

2021-08-22 20:23:31 4638 5

原创致力语言资源建设、常识推理的自然语言处理螺丝钉

Title 刘焕勇， liuhuanyong，语言学及应用语言学硕士，2017年毕业于北京语言大学，目前就职于中国科学院软件研究所，主要从事信息抽取，知识图谱，情感分析, 社会计算等自然语言处理研发工作，兴趣包括：语言资源构建信息抽取与知识图谱舆情监测与社会计算联...

2018-10-07 10:22:00 7184 6

原创工程实践：基于规则句法的事件关系与主谓宾三元组抽取项目实现

目前，知识图谱在学术界如火如荼地进行，但受限于知识图谱各个环节中的性能问题，还尚未能够在工业界大规模运用。而与知识图谱中以实体为知识节点，实体关系为实体关系边对知识进行组织不同，以事件作为节点，事件关系作为节点关联的三元组信息的抽取和应用，当前也是大家在探索的一个方向（即事理图谱，先撇开其建模和应用现状不讲）。笔者之前围绕事件关系三元组抽取，结合语言学背景，尝试了一些朴素方式下的事件关系三元组、事件主谓宾三元组抽取的工作。如：顺承事件关系三元组抽取，地址：https://github.com/liuh

2021-10-02 18:12:36 4277

原创工程实践：基于规则模式的军事和医药领域知识图谱问答快速实现

知识结构化问答是知识图谱的一个重要的应用方向，虽然现在许多真实的使用体验上，会被评价为“鸡肋且智障”，并且在落地上还没有太多的付费场景，但也不乏有不少学生、公司、机构在尝试花时间去做这个事情。当前，医疗知识图谱QAonMilitaryKG，成为了不少朋友都会参考的一个问答快速实现demo的案例，网上也有不少的复现和踩坑记录总结。本文则围绕着医疗知识图谱QAonMilitaryKG和军事武器知识图谱问答两个项目进行简要介绍，希望可以作为大家的一个指引。一、军事武器知识图谱构建与自动问答项目QAonMilit

2021-10-02 18:08:48 2815 1

原创技术总结：图算法、开源工具及其在工业界的应用场景概述

知识图谱本质上是一种图结构，在图内部数据规模大且质量高、外部算力足够的情况下，充分利用好图算法，能够最大程度地发挥出其数据价值。实际上，图（Graph）是一个常见的数据结构，现实世界中有很多很多任务可以抽象成图问题，比如社交网络，蛋白体结构，交通路网数据，以及很火的知识图谱等，甚至规则网络结构数据（如图像，视频等）也是图数据的一种特殊形式。而随着数据多样性的发展，图计算已经成为业界的一个重要的研究方向，其中图神经网络广泛应用于图的表征学习，与传统的图学习相比，既能学习图网络的拓扑结构，也能聚合邻居特征...

2021-09-21 19:47:21 2370

原创 PersonGraphDataSet近十万的开放人物关系图谱项目

PersonGraphDataSetPersonGraphDataSet, nearly 10 thousand person2person relationship facts that build from extraction method, which can be applied to person kg search and inference applications。人物图谱数据集，近十万的人物关系图谱事实数据库，通过人物关系抽取算法抽取+人工整理得出，可用于人物关系搜索、查询、人物关

2021-01-26 20:29:35 4304 2

原创 ChineseDiachronicCorpus项目，大规模中文历时语料库

ChineseDiachronicCorpusChineseDiachronicCorpus，中文历时语料库，横跨六十余年，包括腾讯历时新闻2009-2016，人民日报历时语料1946-2003，参考消息历时语料1957-2002。基于历时流通语料库，可用于历时语言变化计算、语言监测、社会文化变迁研究提供基础性的语料支持。# 为什么中文开放数据集如此之难有的时候我在想，chineseldc基本停滞了，后面除了gluedata benchmark，国内数据集开源为什么这么难？我想了一想，不当当是侵权的问题，

2021-01-16 20:08:34 1380 2

原创 KerasSeq2seqGeneration:基于seq2seq模型的文本生成任务项目

项目的由来1、分类、抽取、序列标注、生成任务是自然语言处理的四大经典任务，其中，分类、抽取任务，可以使用规则进行快速实现。而对于生成而言，则与统计深度学习关系较为密切。2、当前，GPT系列，自动文本生成、文本图像生成，图像文本生成等魔幻主义大作频频上演。3、目前开源的seq2seq模型项目晦涩难度，不利于阅读与入门。受此三个现实背景，也正好在接触生成这个任务，特做此项目。项目链接：https://github.com/liuhuanyong/KerasSeq2seqGeneration项目的构

2021-01-07 15:39:40 827

原创 CCKS2020事理图谱应用工作：刘焕勇等.面向开放文本的逻辑推理知识抽取与事件影响推理探索

一、背景介绍第十四届全国知识图谱与语义计算大会(CCKS 2020) 11 月 12 日至 15 日在江西南昌举行，CCKS（China Conference on Knowledge Graph and Semantic Computing）是由中国中文信息学会语言与知识计算专委会定期举办的全国年度学术会议，CCKS 已经成为国内知识图谱、语义技术、语言理解和知识计算等领域的核心会议。中国科学院软件研究所&数据地平线在事理图谱方面的应用工作《C13. 刘焕勇等.面向开放文本的逻辑推理知识抽取与

2020-12-16 12:12:07 2824 6

原创唐刘之辩：行业知识图谱的schema构建的难点、重点与困惑

一、议题昨日，阿里达摩院唐呈光老师与我就行业知识图谱的schema的构建对于业务人员是不是有困难以及其中的难点或者耗时点做了一个剪短的讨论，我觉得很有趣，发出来与大家一同思考。唐：唐呈光，阿里巴巴算法专家小蜜对话开发平台对话引擎负责人刘：刘焕勇，中国科学院软件研究所工程师、数据地平线算法总监二、正文唐：焕勇，有个问题想和你探讨一下，你觉得行业知识图谱的schema的构建对于业务人员是不是有困难？这其中的难点或者耗时点，到底在哪里？刘：唐老师，简单说两点自己的拙见。刘：1、是的，尤其是刚入行不

2020-12-16 10:35:18 5540 4

原创 Cognitive Inference：认知推理下的常识知识库资源、常识推理测试评估与中文实践项目索引

CognitiveInferenceCognitive Inference，认知推理、常识知识库、常识推理与常识推理评估的系统项目，以现有国内外已有的常识知识库为研究对象，从常识知识库资源建设和常识推理测试评估两个方面出发进行整理，并结合自己近几年来在逻辑性推理知识库的构建、应用以及理论思考进行介绍。具体包括已有常识知识库项目资源介绍、逻辑推理类知识库的项目实践集合、常识推理测试评估项目集合。项目地址：https://github.com/liuhuanyong/CognitiveInference/

2020-08-31 09:35:29 1405

原创面向中文自然语言处理的60余类系统开源实践项目与工业探索索引

项目介绍面向中文自然语言处理的六十余类实践项目及学习索引，涵盖语言资源构建、社会计算、自然语言处理组件、知识图谱、事理图谱、知识抽取、情感分析、深度学习等几个学习主题。包括作者个人简介、学习心得、语言资源、工业落地系统等，是供自然语言处理入门学习者的一个较为全面的学习资源，欢迎大家使用，并提出批评意见。项目地址： liuhuanyong.github.io 工业项目项目类型中文名称技术点技术博客.

2020-08-30 11:16:21 1528

原创事理逻辑为核心的自然语言处理理论实践与工业探索项目

事理为核心的自然语言处理项目项目类型中文名称技术点技术公众号数地工场技术文章面向事理图谱、知识库构建、社会计算等技术落地探索事理自然语言处理语义平台数地工场信息抽取、舆情分析、语义计算、信息采集类、问句解析类api 7*24小时实时抽象事理学习、搜索与关联推理系..

2020-08-30 11:09:49 708

原创可信知识实证在UGC时代情报应用中的思考与探索

可信知识实证在UGC时代情报应用中的思考与探索在当前互联网高度发达、可发布信息源和信息渠道猛增且多元化的大背景下，信息形态变得广泛且多模。从传统的纸质文档，到中期的电子结构化文档、电子非结构化文本，再到如今的语音信息、图片信息、视频流信息鼎立的局面，信息市场变得复杂而多变。在UGC（用户生产内容）以及数据众包生产的大环境下，存在广泛的信息过载和信息混乱的问题。但情报的挖掘、信息的二次加工显得尴尬且必须，这对数据生产中的数据获取端、知识抽取环节以及业务端三个方向提出了更高的要求。事实上，支撑起目前自然语

2020-07-28 18:56:12 655

原创 ChineseSemanticKB，面向中文处理的12类、百万规模的语义常用词库存

ChineseSemanticKBChineseSemanticKB,chinese semantic knowledge base, 面向中文处理的12类、百万规模的语义常用词典，包括34万抽象语义库、34万反义语义库、43万同义语义库等，可支持句子扩展、转写、事件抽象与泛化等多种应用场景。项目介绍语义知识库是自然语言处理中十分重要的一个基础资源，与学术界追求算法模型不同，工业界的自然语言处理对于底层的词汇知识库、语义知识库等多种资源依赖度很高，具体体现在：1、具有落地场景的自然语言处理任务都是业

2020-07-18 22:57:01 847

原创助力句子变换：35W抽象、43W同义、13W简称三大知识库对外开源

句子变换，是指根据给定中文句子，借助某种语言处理手段，扩展出一定数据规模的中文句子集合，是一个从1到N的过程，目的在于解决搜索（查询扩展）、分类（样本扩充）、抽取（数据回标）、推荐与生成（关联引导）等多个工业级应用任务。我们发现，在处理以上几个任务的过程中，句子级别的操作，是以句子中的词为基本单位来实现的，即以词的更换、删除，语序和组合规则的重组等操作为基本手段。将词的这种操作依据进行有效整理和形式化，是一项重要的工作，我们在实际开发过程中，对该工作的成果进一步归类成“抽象知识”、“同义知识”、“简称知

2020-07-07 13:25:47 1197 2

原创事件抽取中的“门面技术”：事件名称生成浅谈

6月10日，“网信中国”微信公众号发布消息称：微博热搜榜、热门话题榜暂停更新一周，这使得很多热榜平台都受到波及，而在吃瓜之余，我们更进一步地思考热点榜单以及热点名称生成背后的技术，并发出两连问：热点名称是否仅仅来源于用户搜索，还是源于对用户搜索内容的进一步提炼和精简？对于现在每天发布的大量资讯，如何将资讯中的热点提取出来，并为热点生成一个形式简短、表达通顺、语义完整的名称？实际上，“热点名称”这一最终的输出结果，对于整个事件提取来说，是个实实在在的“门面技术”，热点名称是否一目了然，是否具有明显的代表性

2020-06-23 14:59:38 1635

原创领域情报搜索实践：真实场景下的问答实施策略与风险分析

知识搜索，对于一个企业而言，目前无论是在对内管理还是对外服务的业务上，都有着大量的需求，并表现出急迫性的特征。例如，很多企业都积累了大量的企业知识资产，并且规模以每年200%的速度增长，其中80%以上的数据是以文件、邮件、图片等非结构化数据的形式，存放于企业内计算机系统中的各个角落，并且这些数据的总量，远远超过了互联网信息的总量，这些数据给整理带来很大的难度。又如，银行各个部门拥有众多IT系统，系统中存储大量数据、信息，数据结构复杂，每个系统都拥有简单的“数据库检索”功能，但常常出现找不到、找不准、找不

2020-06-02 12:54:30 3315

原创随笔-机器如何学习我们的知识？

1、人类语言的语法知识。不同的人类语言有不同的语言表达形式，包括语言符号，语言符号的组合和应用规则。阿拉伯文字、斯拉夫文字、罗马文字、拉丁文字、象形文字等代表着不同语言背景、语言文化。2、机器可用的词典知识库有哪些？1）类别词库。特定实体词、功能词、非功能词。2）组合词库。组合词库包括搭配词库，共现词库。a) 搭配词库：i. 位置共现：窗口共现、互信息、卡方ii. 句法共现：成份共现(VP/NP)、依存共现(SBV,VOB,ATT,POB等)iii. 语义共现：语义角色共现(工具，结

2020-06-02 12:15:37 619

原创金融情报挖掘：面向公开文本的期货事件聚合与传导因素分析

金融情报挖掘是情报领域的一个重要分支，通过对金融领域信息进行提取和分析，发现关联线索，对传导关联进行建模，能够挖掘出市场变动的规律，最终辅助决策。例如，国内外资本市场，衍生品市场热点不断，如“原油跌停”、“智利地震”、“美股暴跌”、“华鑫期货违反法律法规”、“期货公司抵制文华财经”等，这些事件涉及多个金融机构、人物、产品等多类实体。通过舆情分析，寻找这些事件之间的传导关系，对市场产品（国债期货、股指期货）趋势的影响有着重要意义。通过舆情分析，寻找这些事件之间的传导关系，对市场产品（国债期货、股指期货）

2020-05-26 14:23:58 1799 1

NLP中深度学习的个人总结资料

知识表示PPT

空空如也