论文天下|会计论文|管理论文|计算机论文|医药学论文|经济学论文|法学论文|社会学论文|文学论文|教育论文|理科论文|工科论文|艺术论文|哲学论文|文化论文|外语论文|格式论文
论文天下
计算机应用论文  计算机理论论文  计算机网络论文  电子商务论文  软件工程论文  操作系统论文  通信技术论文   
基于数据分组方法的数据仓库并行预计算和查询(四)

  第七章  实验
  在本章中通过实验说明算法的有效性和可扩展性。实验的平台是一台有三个 计算 节点的刀片服务器,每个节点上的处理器主频为1.8ghz,内存容量为1gb,操作系统是linux,内核版本2.6.9,节点间采用千兆 网络 连接。pi运行环境为pih2.0,++编译器g++版本为3.4.3,pi环境下++编译器pixx的版本为1.0.3。

7.1   数据描述
       在实验中,使用了一个来自不同气象站所收集的1985年9月的天气数据[hahn94]。它包含了1,015,367个元组,一共20维。在这次实验中,所使用的是它前16维的数据,每个维度的依次如下表所示:

维度

维度名称

维度的势

1

时间

240

2

天空明亮度

2

3

纬度

3809

4

经度

5359

5

气象站编号

7037

6

气象站所处地点

1

7

当前天气情况

101

8

云层覆盖总量

9

9

低层云数量

10

10

低层云高度

11

11

低层云类型

13

12

中层云类型

14

13

高层云类型

11

14

中层云数量×100

24

15

高层云数量×100

24

16

中层云数量

10

   表7.1     天气数据集

  7.2   预计算实验
  在本实验中,将讨论基于数据分组方法的并行预计算程序对于串行预计算程序在性能上的提高,以及这两种方法在不同规模数据集上进行运算的性能表现。讨论并行查询程序的加速比。

  在预计算实验中,在单节点环境下和三节点环境下分别对13个不同的数据进行了串行和并行预计算。这13个不同的数据的维度各不相同,从4维到16维,分别是天气数据集20维数据中的前4维到前16维等,元组条数都是1,015,367条。三节点环境下的数据分割采用平均分割,每个节点上收到的元组条数基本上是相等的。

  在单节点环境下的实验使用串行的预计算程序。统计两个时间:(1)程序进行预计算写入文件的时间。(2)程序运行时间。

  在三节点环境下的实验使用并行的预计算程序。因为从机不需要等待主机完全读入数据文件便可得到一部分数据进行预计算,使得从机预计算时间和主机读取文件有交叉。因此在此实验中,每台机器都会统计三个时间:(1)主机从开始读取数据文件到数据完全载入内存并发送出去的时间。(2)每台机器进行预计算的时间。(3)每台机器总的运行时间。

  通过实验发现,刀片服务器的网络效率非常高,在实验中,几乎所有的pi点对点通信时间都可以在0.2秒之内完成,加上实验中的pi通信次数比较少,所以pi通信的时间可以忽略不计。

未完...点击下方链接下载完整文档

基于数据分组方法的数据仓库并行预计算和查询(四)

第七章 实验 在本章中通过实验说明算法的有效性和可扩展性。实验的平台是一台有三个 计算 节点的刀片服务器,每个节点上的处理器主频为1.8ghz,内存容量为1gb,操作系统是linux,内核版本2.6.9,节点间采用千兆 网络 连接。pi运行环境为pih2.0,++编译器g++
  • 上一篇:关于信息技术的研究性学习浅谈
  • 下一篇:渐开线圆柱齿轮几何参数计算的计算机辅助设计系统的设计
  • 渐开线圆柱齿轮几何参数计算的计
    大芯数OPGW在浙江电网的应用
    研究生阶段计算机网络理论课程教
    电子政务人员培训的问题与建议(1
    光纤光缆和通信电缆技术发展与思
    面向对象数据库理论设想
    青年教师在医学微生物学留学生教
    浅谈Intranet在现代企业中的应用
    基于人工智能的银行信贷风险决策
    刍议防火墙的合理使用(1)
    浅谈行为引导教学方法在《计算机
    企业电子商务系统的规划与设计研
    有关计算机软件数据接口的应用研
    浅谈对程序开发中异常的理解和认
    基于GP算法的知识发现系统
    基于人工智能的计算机辅助教学
    基于人工智能的计算机辅助教学
    基于人工智能的计算机辅助教学
    基于人工智能方法的变电站选址
    基于人工智能技术的电气自动化
    基于人工智能的自动化控制系统
    基于人工智能的银行信贷风险决
    专业出版社数据库人工智能改造
    基于GPRS的智能蒸发测量仪与计
    基于计算机网络教学的人工智能
    | 设为首页 | 加入收藏 | 联系我们 | 论文发表

    Copyright 2006-2020 © 论文天下 All rights reserved 本站所有内容均由SPider自动索引,如有侵权请联系QQ:2486851删除