论文天下|会计论文|管理论文|计算机论文|医药学论文|经济学论文|法学论文|社会学论文|文学论文|教育论文|理科论文|工科论文|艺术论文|哲学论文|文化论文|外语论文|格式论文
论文天下
计算机应用论文  计算机理论论文  计算机网络论文  电子商务论文  软件工程论文  操作系统论文  通信技术论文   
现代汉语文本的词语切分技术(1)

一、引言

1、汉语自动分词的必要性

汉语自动分词是对汉语文本进行自动分析的第一个步骤。可以这样设想汉语自动分词过程的困难:如果把某个英语文本中的所有空格符都去掉,然后让计算机自动恢复文本中原有的空格符,这就是词的识别过程,此过程的主要问题是对大量歧义现象的处理。

切词体现了汉语与英语的显著的不同。英语文本是小字符集上的已充分分隔开的词串,而汉语文本是大字符集上的连续字串。把字串分隔成词串,就是自动分词系统需要做的工作。

词是最小的、能独立活动的、有意义的语言成分。计算机的所有语言知识都来自机器词典(给出词的各项信息)、句法规则(以词类的各种组合方式来描述词的聚合现象)以及有关词和句子的语义、语境、语用知识库。汉语信息处理系统只要涉及句法、语义(如检索、翻译、文摘、校对等应用),就需要以词为基本单位。例如汉字的拼音-字转换、简体-繁体转换、汉字的印刷体或手写体的识别、汉语文章的自动朗读(即语音合成)等等,都需要使用词的信息。切词以后在词的层面上做转换或识别,处理的确定性就大大提高了。再如信息检索,如果不切词(按字检索),当检索德国货币单位"马克"时,就会把"马克思"检索出来,而检索"华人"时会把"中华人民共和国"检索出来。如果进行切词,就会大大提高检索的准确率。在更高一级的文本处理中,例如句法分析、语句理解、自动文摘、自动分类和机器翻译等,更是少不了词的详细信息。

2、汉语自动分词中的困难

在过去的十几年里, 汉语自动分词工作虽然也取得了很大成绩,但无论按照人的智力标准,还是同实用的需要相比较,差距还很大。我们首先需要对这一工作的困难有充分的认识。

1).分词规范的问题

(1)汉语词的概念

汉语自动分词的首要困难是词的概念不清楚。书面汉语是字的序列,词之间没有间隔标记,使得词的界定缺乏自然标准,而分词结果是否正确需要有一个通用、权威的分词标准来衡量。分词标准的问题实际上是汉语词与语素、词与词组的界定问题,这是汉语语法的一个基本、长期的问题。它涉及到许多方面:

·核心词表问题:分词需要有一个核心(通用、与领域无关的)词表,凡在该词表中的词,分词时就应该切分出来。对于哪些词应当收进核心词表,已提出各种收词条件,但这些条件本身难以操作,目前尚无合理的可操作的理论和标准。

· 词的变形结构问题:汉语中的动词和形容词有些可以产生变形结构,如“打牌”、“开心”、“看见”、“相信”可能变形成“打打牌”、“开开心”、“看没看见”、“相不相信”等。可以切分出“打打/牌”,但“开开/心”就不合理。“看/没/看见”说得过去,“相/不/相信”就说不过去了。又如大量的离合词“打架”、“睡觉”等可以合理地变形为“打了一场架”、“睡了一个觉”。对这些变形结构的切分缺少可操作而又合理的规范。

·词缀的问题:语素"者"在现代汉语中单用是没有意义的,因此"作者"、“成功者”、"开发者"内部不能切开。依据这个标准, “作出了巨大个人财产和精神牺牲者”、"克服许多困难而最终获得成功者"、"开发中国第一个操作系统软件者"也不能切开,但这样复杂的结构与词的定义相矛盾。又如职务名称"教育局长",语义上理解为"教育局之长",切成"教育/局长"、"教育局/长"、"教育/局/长"或不予切分,都会有人提出异议。

· 非词语素问题:一些汉字在古代汉语中是词,演变到现代汉语时成了非词语素,例如“民”。现代的书面汉语并非纯粹的"现代汉语",其中夹杂着不少文言成分,如“为民除害”、"以逸待劳"、"帮困济穷"等等。探寻白话文中夹杂文言成分的规律,是中文信息处理需要解决的一大问题。

(2)不同应用对词的切分规范要求不同

汉语自动分词规范必须支持各种不同目标的应用,但不同目标的应用对词的要求是不同的,甚至是有矛盾的。

未完...点击下方链接下载完整文档

现代汉语文本的词语切分技术(1)

一、引言 1、汉语自动分词的必要性 汉语自动分词是对汉语文本进行自动分析的第一个步骤。可以这样设想汉语自动分词过程的困难:如果把某个英语文本中的所有空格符都去掉,然后让计算机自动恢复文本中原有的空格符,这就是词的识别过程,此过程的主要问题是对
  • 上一篇:人工智能入驻消费电子端
  • 下一篇:浅谈电气自动化控制中的人工智能技术
  • 有关计算机软件数据接口的应用研
    青年教师在医学微生物学留学生教
    基于GP算法的知识发现系统
    渐开线圆柱齿轮几何参数计算的计
    刍议防火墙的合理使用(1)
    电子政务人员培训的问题与建议(1
    大芯数OPGW在浙江电网的应用
    光纤光缆和通信电缆技术发展与思
    浅谈行为引导教学方法在《计算机
    面向对象数据库理论设想
    浅谈Intranet在现代企业中的应用
    浅谈对程序开发中异常的理解和认
    基于人工智能的银行信贷风险决策
    研究生阶段计算机网络理论课程教
    企业电子商务系统的规划与设计研
    超阅读:数码时代的文本变革
    文本方式下图形提示界面制作
    基于文本的网络图像信息搜索技
    欢乐时光代码分析
    一种文本分类数据挖掘的技术
    场景文本提取方法的应用
    基于《知网》的汉语词语词义消
    一个基于语义分析的文本过滤方
    欢乐时光代码分析(1)
    文本方式下图形提示界面制作(1
    | 设为首页 | 加入收藏 | 联系我们 | 论文发表

    Copyright 2006-2020 © 论文天下 All rights reserved 本站所有内容均由SPider自动索引,如有侵权请联系QQ:2486851删除