什么自然语言处理?
发布网友
发布时间：2022-04-25 19:00
共1个回答
热心网友
时间：2023-10-12 11:51
以下为自然语言所能够做到的。
1. 全文精准检索
支持文本、数字、日期、字符串等各种数据类型，多字段的高效搜索，支持AND/OR/NOT
以及NEAR 邻近等查询语法，支持维语、藏语、蒙语、阿拉伯、韩语等多种少数民族语
言的检索。可以无缝地与现有文本处理系统与数据库系统融合。
2. 新词发现：
从文件集合中挖掘出内涵的新词语列表，可以用于用户专业词典的编撰；还可以进一
步编辑标注，导入分词词典中，从而提高分词系统的准确度，并适应新的语言变化。
3. 分词标注：
对原始语料进行分词、自动识别人名地名机构名等未登录词、新词标注以及词性标注。
并可在分析过程中，导入用户定义的词典。
4. 统计分析与术语翻译
针对切分标注结果，系统可以自动地进行一元词频统计、二元词语转移概率统计（统
计两个词左右连接的频次即概率）。针对常用的术语，会自动给出相应的英文解释。
5. 文本聚类及热点分析
能够从大规模数据中自动分析出热点事件，并提供事件话题的关键特征描述。同时适
用于长文本和短信、微博等短文本的热点分析。
6. 分类过滤
针对事先指定的规则和示例样本，系统自动从海量文档中筛选出符合需求的样本。
7. 自动摘要
能够对单篇或多篇文章，自动提炼出内容的精华，方便用户快速浏览文本内容。
8. 关键词提取
能够对单篇文章或文章集合，提取出若干个代表文章中心思想的词汇或短语，可用于
精化阅读、语义查询和快速匹配等。
9. 文档去重
能够快速准确地判断文件集合或数据库中是否存在相同或相似内容的记录，同时找出
所有的重复记录。
10. HTML 正文提取
自动剔除导航性质的网页，剔除网页中的HTML 标签和导航、广告等干扰性文字，返
回有价值的正文内容。适用于大规模互联*息的预处理和分析。
