论文天下|会计论文|管理论文|计算机论文|医药学论文|经济学论文|法学论文|社会学论文|文学论文|教育论文|理科论文|工科论文|艺术论文|哲学论文|文化论文|外语论文|格式论文
论文天下
计算机应用论文  计算机理论论文  计算机网络论文  电子商务论文  软件工程论文  操作系统论文  通信技术论文   
基于查询处理模型的结构化P2P的分布式数据流系统
  摘要: 分析 了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束 问题 (主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。
  关键词:分布式数据流管理系统;结构化覆盖网;分布式散列表;滑动窗口

  近年来,数据流查询处理是数据库 研究 领域的一个热点方向。数据流的特征可概括为无限性、瞬时性、流速不定性、语义不定性(数据模式随时可能改变)等。针对数据流的以上特征,不考虑将数据流存储在传统的关系数据库中,数据流上的查询是近似查询、连续查询(ntinuusquery)。 目前 ,数据流管理系统中所采用的近似查询的 方法 主要有以下几种:随机抽样(randsapling)、数据写生(skething)、直方图(histgras)、小波变换(avelets)、窗口(inds)等。如何保证查询的服务质量成为上述各种近似查询方法必须考虑的问题。数据流上的查询处理给人们提出了一个很大的难题——对处理器、内存等系统资源非常苛刻的需求。到目前已经出现了许多数据流的原型系统:单节点(单PU)上的数据流管理系统,如Stanfrd大学的Strea[1]系统、布朗大学的Aurra[2,3]系统等;有分布式数据流处理系统,如IT的edusa[4,5]项目,BrandEis、Brn、IT的合作项目Brealis[6,7]等。这些项目在数据流处理的查询语言、近似查询算法、保证服务质量的策略,以及系统的负载均衡等方面做了大量的工作,但同时也揭示出在分布式数据流处理系统中更多值得研究的问题。本文将对基于struturedverlaynetrk的分布式数据流系统的近似、自适应查询处理进行研究,给出查询处理模型。
  
  1集中式数据流查询处理及分布式散列表、hrd路由协议的相关说明
  
  1.1数据流查询处理相关的概念定义以及假设说明
  集中式数据流查询处理的体系结构由两部分构成,即查询计划生成子系统(FRNT-end)以及查询执行子系统(BAK)。其中两部分与关系数据库系统相比均有较大的区别。查询执行子系统如图1所示。
  
  通过这种散列,将系统当前的所有查询映射到节点空间,然后由该节点上的查询处理器完成到达的查询。
  b)查询内并行处理方式。在系统的范围内,由操作符、输入均输出记录队列、维持操作符状态的大纲信息构成网状结构。
  )命名发现机制。参与查询处理的节点有全局惟一命名partiipant(如IP地址等)。当在一个节点上面定义一个新的流模式、数据流、操作符,这些实体均隶属于其命名空间。该实体可以采用下面的命名方式:(partiipant,entity-nae)。为了了解系统中数据流模式的定义、系统中的数据流、数据流的到达(存放)位置、系统中哪一部分查询执行,就要考虑在atalg中存放必要的数据。其中atalg信息是通过在DHT下分布式存储的,前面已经分析了atalg信息的存储问题。
  系统中对每一个数据流、每一个查询、查询中的算子、算子大纲、节点间输出队列均有惟一的命名。查询处理器位于DHT之上。同查询相关的数据粒度限定为数据流、输入数据源(记录集)、节点间传输数据队列、算子大纲,而不是针对单个记录而言。对于这些粒度的数据可以通过在DHT中通过put(naespae,bjet)、get(naespae)、ultiast(naespae)消息得到。
  对于操作符(算子)在节点间迁移的情况,可以提供远程算子定义接口。当节点A上查询执行的下一步jin操作要求节点B的查询执行器完成时,节点B接收到远程调用请求,初始化jin算子,将节点A上发出调用请求算子的状态信息(大纲,synpsis)作为参数传递给B,然后就可以在节点B上进行jin算子运算。查询内并行就是有若干这样的节点间的算子迁移,使一个查询计划得以在多节点的算子之间并行执行。
  对于基于滑动窗口的数据流处理的jin操作,如果有两个数据流,查询处理基于时间的窗口,进行jin操作的两个数据流时间范围较长,那么要求在一个节点上维护操作符的状态信息将会变得非常困难,jin算子状态信息存储要求的内存空间可能非常大,则会进行操作符分割操作。在该节点的近邻节点上同时进行jin操作,最终将各个节点上的状态信息进行合并操作即可。

未完...点击下方链接下载完整文档

基于查询处理模型的结构化P2P的分布式数据流系统

摘要: 分析 了基于结构化覆盖网的分布式查询处理模型,支持大量数据流的分布式存储,连续查询间、查询内的并行处理操作,能够在很大程度上消除资源约束 问题 (主要是内存),提高了查询性能、服务质量,并且该查询模型具有很好的扩展性。 关键词:分布式数
  • 上一篇:智能入侵检测技术在MIS系统中的研究与应用
  • 下一篇:基于Hopfield神经网络的噪声字母识别
  • 渐开线圆柱齿轮几何参数计算的计
    基于人工智能的银行信贷风险决策
    面向对象数据库理论设想
    大芯数OPGW在浙江电网的应用
    基于GP算法的知识发现系统
    青年教师在医学微生物学留学生教
    研究生阶段计算机网络理论课程教
    浅谈行为引导教学方法在《计算机
    企业电子商务系统的规划与设计研
    浅谈Intranet在现代企业中的应用
    电子政务人员培训的问题与建议(1
    浅谈对程序开发中异常的理解和认
    有关计算机软件数据接口的应用研
    光纤光缆和通信电缆技术发展与思
    刍议防火墙的合理使用(1)
    基于人工智能的计算机辅助教学
    基于人工智能的计算机辅助教学
    人工智能方法在信号处理中的应
    基于人工智能的计算机辅助教学
    基于人工智能方法的变电站选址
    基于人工智能技术的电气自动化
    网络故障的计算机智能管理与处
    人工智能方法在信号处理中的有
    基于人工智能的自动化控制系统
    基于人工智能的银行信贷风险决
    | 设为首页 | 加入收藏 | 联系我们 | 论文发表

    Copyright 2006-2020 © 论文天下 All rights reserved 本站所有内容均由SPider自动索引,如有侵权请联系QQ:2486851删除