作业帮什么是语料库
来源：学生作业帮助网 编辑：作业帮 时间：2024/05/09 02:57:02
什么是语料库
什么是语料库
什么是语料库
corpus 语料库
关于语料库的三点基本认识:
语料库中存放的是在语言的实际使用中真实出现过的语言材料;
语料库是以电子计算机为载体承载语言知识的基础资源;
真实语料需要经过加工(分析和处理),才能成为有用的资源;
什么是第三代语料库?
苑春法,黄昌宁等人在1995年著文谈到"第三代语料库"的问题,并且介绍了美国计算语言学学会倡议的数据采取计划ACL/DCI.认为这一代语料库首先对所有可以得到的语料以文本形式存储起来,它的容量一般为一亿词次以上,21世纪可望达到万亿词次的量级[1].该文实际上已经将下一代语料库的建设提上议事日程.
【第三代语料库的特点】
时代:六,七十年代到八十年代及九十年代以来.
语料:从单语种到多语种.
数量:从百万级到千万级再到亿级和万亿级.
加工:从词法级到句法级再到语义和语用级.
文本:从抽样到全文.
【动态流通语料库】
是历时语料库.是基于大规模真实文本的语料库,是对语言文字的使用进行动态追踪的语料库,是对语言的发展变化进行监测的语料库,是"活"的语料库.
动态语料库有两大特色:
1,语料的动态性:语料是不断动态补充的.
2,语料的流通性:语料又多了一种新的"流通度"属性,这是一种具有量化的属性值的属性.
特点一:动态性
不确定一个固定的库容量(例如:把库容量目标确定为数百万字,上千万字,数千万字,数亿字等);
不确定一个固定的选择文本的时间段(例如:确定为49年-82年,80年-90年,90年-95年语料等)
不确定一个固定的文本选择范围或应用领域(例如:确定为只收现代汉语文学语料,或新闻语料,或科技语料或中小学生语料等,从而建立一些专门的语料库);
不确定一些固定的文本抽样对象(例如:《人民日报》,《光明日报》,《人民文学》,《小说选刊》,或者老舍著作,巴金著作,毛泽东著作,邓小平著作等).
是即期抽取的语料库:根据大众媒体的传播情况,依据一定的原则来动态抽取.
是历时的语料库:可以观察和测量到流通度的变化情况,可以追踪到语言成分的产生,成长和消亡.
是动态变化的语料库:大众传播媒体的情况是在不断变化的,语料库也要相应变化.(例如:1978年,我国报纸只有186种,基本上是单一的党委机关报,到1995年底,已经增加到2202种,平均期印数增加4倍,总印张增加3·5倍,报纸的品种,功能,发行都有了相当大的变化如果要科学地反应语言的流通应用情况,语料库的容量,选材,抽样等怎么可能一成不变呢 )
特点二:流通性
1997年全世界期刊发行量最大的前50名的中国期刊(略)
【关于双语或多语语料库的研究】
目前大致可分为三类：
一是研究双语语料的对齐技术（Alignment）,国内外学者就此提出多种策略和方法,现在已经出现了许多对齐双语或多语语料的程序或工具[Gale 1993]；
二是研究双语语料的各种应用,如在基于统计的机器翻译技术[Brown 1990]、基于实例的机器翻译技术[Nagao 1984],双语词典编纂[Klavans and Tzoukermann 1990]技术中,双语语料库都发挥着十分重要的作用；
三是双语语料库的设计、采集、编码和管理问题.目前比较著名的语料库编码方案有TEI 文本编码标准以及CES标准,两者均基于SGML标记语言.
就前两类研究来说,中国国内目前做了较多的跟踪研究工作,而对于第三类研究,即双语语料库尤其是涉及汉语的双语语料库的建设、编码和管理研究,探索工作似乎做的相对较少.
目前国内最大的语料交换平台是瓦特开元:www.xwatt.com