- 博客(200)
- 收藏
- 关注
RSS订阅
转载 目前常用的自然语言处理开源项目/开发包有哪些？
中文主要有：NLTK，FoolNLTK，HanLP（java版本），pyhanlp（python版本），Ansj，THULAC，结巴分词，FNLP，哈工大LTP，中科院ICTCLAS分词，GATE，SnowNLP，东北大学NiuTrans，NLPIR，；英文主要有：NLTK，Genism，TextBlob，Stanford NLP，Spacy。英文的开源NLP工具主要参见StackoverFl...
2018-11-26 09:49:52
811
1
原创 hadoop入门学习教程:DKHadoop完整安装步骤
使用hadoop版本是DKH标准三节点发行版，DKHadoop版本的易用性比较好，环境部署要简单的多，参考此篇安装前请先下载DKHadoop版本，网盘链接：https://pan.baidu.com/s/1-427Sh6lTLrLAPh6KMOYVg 提取码：vg2w 第一部分：准备工作1、大数据平台所需配置：(1) 系统：CentOS 6.5 64位（需默认安装Desktop）...
2018-08-31 11:54:25
2807
1
原创 hadoop最新稳定版本dkhadoop版本介绍
Hadoop对于从事互联网工作的朋友来说已经非常熟悉了，相信在我们身边有很多人正在转行从事hadoop开发的工作，理所当然也会有很多hadoop入门新手。Hadoop开发太过底层，技术难度远比我们想象的要大，对新手而言选择一个合适的hadoop版本就意味着上手更快！Hadoop是由Apache基金会所开发的分布式系统基础架构，它最核心的设计就是HDFS和MapReduce。HDFS为海量的数据...
2018-07-18 09:57:48
2791
1
转载 HanLP封装为web services服务的过程介绍
前几天的召开的2019年大数据生态产业大会不知道大家关注到没有，看到消息是hanlp2.0版本发布了。不知道hanlp2.0版本又将带来哪些新的变化？准备近期看能够拿到一些hanlp2.0的资料，如果能顺利拿到的话，到时候分享给大家！今天分享这篇是关于将hanlp封装到web services服务中的。文章的部分内容有修改，阅读室请注意！1. Apache Axis2简要介绍...
2019-08-09 09:26:02
447
转载 hanlp分词工具应用案例：商品图自动推荐功能的应用
本篇分享一个hanlp分词工具应用的案例，简单来说就是做一图库，让商家轻松方便的配置商品的图片，最好是可以一键完成配置的。先看一下效果图吧：商品单个推荐效果：匹配度高的放在最前面这个想法很好，那怎么实现了。分析了一下解决方案步骤：1、图库建设：至少要有图片吧，图片肯定要有关联的商品名称、商品类别、商品规格、关键字等信息。2、商品分词算法：由于商品...
2019-08-07 10:08:49
456
转载 HanLP分词工具中的ViterbiSegment分词流程
本篇文章将重点讲解HanLP的ViterbiSegment分词器类，而不涉及感知机和条件随机场分词器，也不涉及基于字的分词器。因为这些分词器都不是我们在实践中常用的，而且ViterbiSegment也是作者直接封装到HanLP类中的分词器，作者也推荐使用该分词器，同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器。今天的文章还会介绍各分词词典...
2019-08-05 09:46:14
653
转载 hanlp自然语言处理包的人名识别代码解析
HanLP发射矩阵词典nr.txt中收录单字姓氏393个。袁义达在《中国的三大姓氏是如何统计出来的》文献中指出：当代中国100个常见姓氏中，集中了全国人口的87%，根据这一数据我们只保留nr.txt中的100个常见词语的姓氏角色，其他词语去掉其姓氏角色状态。过滤后，nr.txt中具有姓氏角色的单字共计97个。列于下表：丁 万 乔 于 任 何 余 侯 傅 冯 刘 卢 史 叶 吕 吴 周 唐 夏 ...
2019-08-02 09:30:52
749
转载 Hanlp-地名识别调试方法详解
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。类型1 数字+地名[1] 暗访哈尔滨网约车：下10单来7辆“黑车” 1辆套牌[2] 房天下每日成交5月12日海宁商品房销售备案43套[3] 广西近视手术专家-黄明汉院长9月9日...
2019-07-29 09:44:19
611
原创 自然语言处理工具HanLP-基于层叠HMM地名识别
本篇接上一篇内容《HanLP-基于HMM-Viterbi的人名识别原理介绍》介绍一下层叠隐马的原理。首先说一下上一篇介绍的人名识别效果对比：1. 只有Jieba识别出的人名准确率极低，基本为地名或复杂地名组成部分或复杂机构名组成部分。举例如下：[1] 战乱的阿富汗地区，枪支可随意买卖，AK47价格约500人民币“阿富汗”被识别为人名。[2] 安庆到桂林自驾游如何规划？“...
2019-07-26 09:11:52
467
原创 HanLP-基于HMM-Viterbi的人名识别原理介绍
Hanlp自然语言处理包中的基于HMM-Viterbi处理人名识别的内容大概在年初的有分享过这类的文章，时间稍微久了一点，有点忘记了。看了 baiziyu 分享的这篇比我之前分享的要简单明了的多。下面就把文章分享给大家交流学习之用，部分内容有做修改。基本文主要介绍一下HanLP是如何利用HMM来做人名识别的。本思想是把词语序列作为观测序列，将角色序列作为隐藏序列，当模型预测出最...
2019-07-24 09:38:31
262
转载 HanLP-朴素贝叶斯分类预测缺陷
文章整理自baiziyu的知乎专栏，感兴趣的朋友可以去关注下这位大神的专栏，很多关于自然语言处理的文章写的很不错。昨天看到他的分享的两篇关于朴素贝叶斯分类预测的文章，整理了一下分享给给大家，文章已做部分修改！朴素贝叶斯分类时，最好取对数变相乘为相加，防止预测结果溢出。可能出现的badcase就是明明训练语料X类目下没有词语t，而系统就将文本预测为X类目。解决方法就时改相乘为取对数相加。Ha...
2019-07-22 09:22:32
533
原创 HanLP-地名识别调试方法
HanLP收词特别是实体比较多，因此特别容易造成误识别。下边举几个地名误识别的例子，需要指出的是，后边的机构名识别也以地名识别为基础，因此，如果地名识别不准确，也会导致机构名识别不准确。类型1 数字+地名[1] 暗访哈尔滨网约车：下10单来7辆“黑车” 1辆套牌[2] 房天下每日成交5月12日海宁商品房销售备案43套广西近视手术专家-黄明汉院长9月9日百色见面会类型...
2019-07-19 09:39:34
1733
转载 自然语言处理工具python调用hanlp的方法步骤
Python调用hanlp的方法此前有分享过，本篇文章分享自“逍遥自在017”的博客，个别处有修改，阅读时请注意！1.首先安装jpype首先各种坑，jdk和python 版本位数必须一致，我用的是JPype1-py3 版本号0.5.5.2 、1.6jdk和Python3.5，win7 64位下亲测没问题。否则死翘翘，有可能虚拟机都无法启动：出错调试，原因已说；测试成功会有输出...
2019-07-17 09:22:29
401
转载 python调用hanlp进行命名实体识别
本文分享自6丁一的猫 的博客，主要是python调用hanlp进行命名实体识别的方法介绍。以下为分享的全文。1、python与jdk版本位数一致2、pip install jpype1（python3.5）3、类库hanlp.jar包、模型data包、配置文件hanlp.properties放在一个新建目录4、修改hanlp.properties中root根目录，找到data...
2019-07-15 09:11:35
1384
转载 hanlp添加自定义字典的步骤介绍
本篇分享一个hanlp添加自定义字典的方法，供大家参考！总共分为两步：第一步：将自定义的字典放到custom目录下，然后删除CustomDicionary.txt.bin，因为分词的时候会读这个文件。如果没有的话它会根据配置文件中路径去加载字典生成bin文件。第二步：去配置文件把自己添加自定义的文件的路径添加进去，注意一定要添加末尾后面而且结束时不能有;号，我添加在其他...
2019-07-12 09:12:55
1061
翻译 Spring MVCD框架中调用HanLP分词的方法
项目简要：关于java web的一个项目，用的Spring MVCd 框架。鉴于参与此次项目的人中并不是所人都做的Spring，为了能够提高效率，建议大家是先抛开SPring来写自己负责的模块，最后再把各个模块在Spring里面集成。项目里有一个文本分析的模块是一个同学用hanlp写的，由于在最后集成的时候直接使用maven添加的依赖，但最终测试时无法通过。后经分析发现她坐了实体识别，是自己改...
2019-07-10 10:05:07
167
原创 java分词工具hanlp介绍
前几天（6月28日），在第23届中国国际软件博览会上，hanlp这款自然语言处理工具荣获了“2019年第二十三届中国国际软件博览会优秀产品”。HanLP是由一系列模型预算法组成的工具包，结合深度神经网络的分布式自然语言处理，具有功能完善、性能高效、架构清晰、语料时新、可自定义等特点，提供词法分析、句法分析、文本分析和情感分析等功能，是GitHub最受欢迎、用户量最大（超过13000个...
2019-07-03 10:15:57
1162
转载 基于hanlp的es分词插件
摘要：elasticsearch是使用比较广泛的分布式搜索引擎，es提供了一个的单字分词工具，还有一个分词插件ik使用比较广泛，hanlp是一个自然语言处理包，能更好的根据上下文的语义，人名，地名，组织机构名等来切分词Elasticsearch默认分词 输出：IK分词输出：hanlp分词 输出： ik...
2019-07-01 10:26:49
443
转载 pyhanlp 繁简转换之拼音转换与字符正则化
繁简转换HanLP几乎实现了所有我们需要的繁简转换方式，并且已经封装到了HanLP中，使得我们可以轻松的使用，而分词器中已经默认支持多种繁简格式或者混合。这里我们不再做过多描述。·说明· HanLP能够识别简繁分歧词，比如打印机=印表機。许多简繁转换工具不能区分“以后”“皇后”中的两个“后”字，HanLP可以。·算法详解· 《汉字转拼音与简繁转换的Java实现》...
2019-06-28 09:16:39
233
转载 中文分词工具之基于字标注法的分词
基于字标注法的分词中文分词字标注通常有2-tag,4-tag和6-tag这几种方法，其中4-tag方法最为常用。标注集是依据汉字（其中也有少量的非汉字字符）在汉语词中的位置设计的。1. 2-tag法 2-tag是一种最简单的标注方法,标注集合为{B,I}，其将词首标记设计为B，而将词的其他位置标记设计为I。例如词语“重庆”的标注结果是“重/B 庆/I”，而“大学生”的标注结果为“大/B...
2019-06-26 09:34:20
644
转载 自然语言处理工具中的中文分词器介绍
中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块，不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性，句法树等模块的效果，当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。基于词典分词算法基于词典分词算法，也称...
2019-06-24 09:52:14
365
转载 Ansj与hanlp分词工具对比
一、Ansj1、利用DicAnalysis可以自定义词库：2、但是自定义词库存在局限性，导致有些情况无效：比如：“不好用“的正常分词结果：“不好，用”。（1）当自定义词库”好用“时，词库无效，分词结果不变。（2）当自定义词库“不好用”时，分词结果为：“不好用”，即此时自定义词库有效。3、由于版本问题，可能DicAnalysis, ToAnalysi...
2019-06-21 11:58:17
750
转载 python使用jieba实现中文文档分词和去停用词
分词工具的选择： 现在对于中文分词，分词工具有很多种，比如说：jieba分词、thulac、SnowNLP等。在这篇文档中，笔者使用的jieba分词，并且基于python3环境，选择jieba分词的理由是其比较简单易学，容易上手，并且分词效果还很不错。分词前的准备：待分词的中文文档存放分词之后的结果文档中文停用词文档（用于去停用词，在网上可以找到很多）分词之后...
2019-06-19 09:53:52
4013
2
转载 Hanlp配置自定义词典遇到的问题与解决方法
本文是整理了部分网友在配置hanlp自定义词典时遇到的一小部分问题，同时针对这些问题，也提供另一些解决的方案以及思路。这里分享给大家学习参考。要使用hanlp加载自定义词典可以通过修改配置文件hanlp.properties来实现。要注意的点是:1.root根路径的配置:hanlp.properties中配置如下:#本配置文件中的路径的根目录，根目录+其他路径=完整路径（支持相...
2019-06-17 09:40:50
1881
转载 HanLP-分类模块的分词器介绍
最近发现一个很勤快的大神在分享他的一些实操经验，看了一些他自己关于hanlp方面的文章，写的挺好的！转载过来分享给大家！以下为分享原文（无意义的内容已经做了删除）如下图所示，HanLP的分类模块中单独封装了适用分类的分词器，当然这些分词器都是对HanLP提供的分词器的封装。分类模块中提供的分词器都在tokenizer包中。包括：BigramTokenizer这是一个2gram分词器，也就是...
2019-06-14 09:54:19
968
转载 elasticsearch教程--中文分词器作用和使用
概述 本文都是基于elasticsearch安装教程 中的elasticsearch安装目录(/opt/environment/elasticsearch-6.4.0)为范例环境准备·全新最小化安装的centos 7.5·elasticsearch 6.4.0认识中文分词器在博文elasticsearch分词器中提到elasticsearch能够快速的通过搜索词检索出...
2019-06-12 09:00:17
445
原创 HanLP-最短路径分词
今天介绍的内容是最短路径分词。最近换回了thinkpad x1，原因是mac的13.3寸的屏幕看代码实在是不方便，也可能是人老了吧，^_^。等把HanLP词法分析介绍结束后，还是会换回macbook pro的。个人有强迫症，只要看或写Java或C/C++代码或者用开发机的化，还是喜欢在windows下工作。看论文特别是理论的研究还是习惯用mac了。感觉开发还是windows比较顺手，理论研究...
2019-06-05 10:27:10
349
转载 史上最全中文分词工具整理
一．中文分词二．准确率评测：THULAC：与代表性分词软件的性能对比我们选择LTP-3.2.0 、ICTCLAS(2015版) 、jieba(C++版)等国内具代表性的分词软件与THULAC做性能比较。我们选择Windows作为测试环境，根据第二届国际汉语分词测评（The SecondInternational Chinese Word Segmentation Bakeof...
2019-06-03 10:15:00
554
1
转载 NLP自然语言处理中英文分词工具集锦与基本使用介绍
一、中文分词工具（1）Jieba（2）snowNLP分词工具（3）thulac分词工具（4）pynlpir 分词工具（5）StanfordCoreNLP分词工具1.from stanfordcorenlp import StanfordCoreNLP2.withStanfordCoreNLP(r'E:\Users\Eternal Su...
2019-05-31 09:47:43
737
转载 部分常用分词工具使用整理
以下分词工具均能在Python环境中直接调用（排名不分先后）。1、jieba（结巴分词） 免费使用2、HanLP（汉语言处理包） 免费使用3、SnowNLP（中文的类库） 免费使用4、FoolNLTK（中文处理工具包） 免费使用5、Jiagu（甲骨NLP） 免费使用6、pyltp（哈工大语言云） 商用需要付费7、THULAC（清华中文词法分析工具包） 商用需要付费8...
2019-05-29 09:23:52
550
转载 HanLP-实词分词器
在进行文本分类（非情感分类）时，我们经常只保留实词（名、动、形）等词，为了文本分类的分词方便，HanLP专门提供了实词分词器类NotionalTokenizer，同时在分类数据集加载处理时，默认使用了NotionalTokenizer分词器。在HanLPJava版代码库中可以查看下边的文件中的函数1、AbstractDataSet.java文件中的AbstractDataSet方法...
2019-05-27 09:59:35
257
转载 Eclipse myeclipse下配置HanLP的教程
一、说明博主的配置1：window102：myeclipse3：jdk1.8备注：文章分享自贾继康的博客，博客使用的hanlp是1.6.8的版本。大家可以去下载最新的1.7版本了，也比较推荐使用最新的这个版本！二、资源获取1、hanlp jar包获取：可以github上下载。本文中使用的是hanlp-1.6.8.zip版本2、数据包获取三、配...
2019-05-24 09:24:53
192
转载 HanLP-停用词表的使用示例
停用词表的修改停用词表在“pyhanlp\static\data\dictionary”路径下的“stopwords.txt”文件中，CoreStopWordDictionary.apply方法支持去除停用词。如果需要修改停用词表，则直接编辑文件“stopwords.txt”，之后删除路径下的“stopwords.txt.bin”，运行CoreStopWordDictionary.apply后...
2019-05-22 08:56:05
1583
转载 自然语言处理工具hanlp定制用户词条
作者：baiziyu关于hanlp的文章已经分享过很多，似乎好像大部分以理论性的居多。最近有在整理一些hanlp应用项目中的文章，待整理完成后会陆续分享出来。本篇分享的依然是由baiziyu 分享的一篇文章，感兴趣的可以在知乎上关注下他的专栏，写的还是挺好的！以下为文章的主要内容：自定义词表的修改自定义词表在“pyhanlp\static\data\dictionary\custo...
2019-05-20 09:01:31
178
转载 自然语言处理工具pyhanlp分词与词性标注
Pyhanlp分词与词性标注的相关内容记得此前是有分享过的。可能时间太久记不太清楚了。以下文章是分享自“baiziyu”所写（小部分内容有修改），供大家学习参考之用。简介pyhanlp是HanLP的Python接口。因此后续所有关于pyhanlp的文章中也会写成HanLP。HanLP是完全用Java自实现的自然语言处理工具包。特点是完全用Java实现不引入第三方工具包。完全开源。中文的开源...
2019-05-18 09:40:45
532
转载 自然语言处理工具HanLP-N最短路径分词
本篇给大家分享baiziyu写的HanLP中的N-最短路径分词。以为下分享的原文，部分地方有稍作修改，内容仅供大家学习交流！首先说明在HanLP对外提供的接口中没有使用N-最短路径分词器的，作者在官网中写到这个分词器对于实体识别来说会比最短路径分词稍好，但是它的速度会很慢。对此我有点个人看法，N-最短路径分词相较于最短路径分词来说只是考虑了每个节点下的N种最佳路径，在最后选出的至少N条路径...
2019-05-17 08:58:55
476
转载 比较好的中文分词方案汇总推荐
中文分词是中文文本处理的一个基础步骤，也是中文人机自然语言交互的基础模块。不同于英文的是，中文句子中没有词的界限，因此在进行中文自然语言处理时，通常需要先进行分词，分词效果将直接影响词性、句法树等模块的效果。当然分词只是一个工具，场景不同，要求也不同。在人机自然语言交互中，成熟的中文分词算法能够达到更好的自然语言处理效果，帮助计算机理解复杂的中文语言。竹间智能在构建中文自然语言对话系统时，结合...
2019-05-13 09:38:00
559
原创 自然语言处理工具hanlp 1.7.3版本更新内容一览
HanLP 1.7.3 发布了。HanLP 是由一系列模型与算法组成的 Java 工具包，目标是普及自然语言处理在生产环境中的应用。HanLP 具备功能完善、性能高效、架构清晰、语料时新、可自定义的特点。 在提供丰富功能的同时，HanLP 内部模块坚持低耦合、模型坚持惰性加载、服务坚持静态提供、词典坚持明文发布，使用非常方便，同时自带一些语料处理工具，帮助用户训练自己的模型。新版更新...
2019-05-10 09:18:09
489
转载 Spark中分布式使用HanLP（1.7.0)分词示例
HanLP分词，如README中所说，如果没有特殊需求，可以通过maven配置，如果要添加自定义词典，需要下载“依赖jar包和用户字典".分享某大神的示例经验:是直接"java xf hanlp-1.6.8-sources.jar" 解压源码，把源码加入工程（依赖本地jar包，有些麻烦，有时候到服务器有找不到jar包的情况)按照文档操作，在Spark中分词，默认找的是本地目录，所以如果...
2019-05-08 08:55:02
340
转载 java中利用hanlp比较两个文本相似度的步骤
使用 HanLP - 汉语言处理包 来处理，他能处理很多事情，如分词、调用分词器、命名实体识别、人名识别、地名识别、词性识别、篇章理解、关键词提取、简繁拼音转换、拼音转换、根据输入智能推荐、自定义分词器使用很简单，只要引入hanlp.jar包，便可处理（新版本的hanlp安装包可以去github下载安装），下面是某位大神的操作截图:...
2019-05-06 09:47:06
3964
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人