轻量级数据仓库的实现方法

摘要 以网络管理软件为例，分析了软件体系结构中数据库之重要性以及海量的数据和不良的数据库设计可能对软件造成的响应速度的极度恶化。本文汲取了数据仓库中面向主题的思想，提出了一种构建轻量级数据仓库模型及实现方法，用空间来换取时间，以提高软件的响应速度。该模型具有可扩展性、一次构建重复使用等特点。 

关键词 数据仓库；网络管理；响应速度 

    1 引言

    数据库现在已经成为大型软件不可缺少的一部分，数据库在软件体系中扮演着越来越重要的角色，数据库设计正日益成为影响软件性能、健壮性的重要因素。随着软件体系结构的复杂性变得越来越高，开发人员不得不设计更多的表来存储他们需要的数据。表越多，数据库越复杂。复杂的数据库对于数据的写入不会有任何问题，但是如果我们想把数据取出来，将变得异常的困难。这在一些响应需求很高的软件中是不能忍受的。 

    数据仓库是近几年来数据库领域非常活跃的一个研究方向。数据仓库主要解决的问题就是从海量的历史数据中通过数据挖掘进行知识发现，提供决策支持。数据仓库的设计目标是给决策层提供支持，但是其面向主题性、完整性、稳定性为我们解决上面的问题提供了思路。 

    2 问题描述

    现在以网络管理软件为例说明构建轻量级数据仓库的必要性。大型的网络管理系统非常的复杂，具有管理设备多、网络层次复杂、响应需求性高等特点。网络管理客户端系统一般可以粗略的分为两部分，网管GUI和报表系统。网管GUI部分主要功能是对设备进行监视和数据采集。报表系统主要功能是对采集到的数据进行分析、提供网络运营情况的详细报表可能包括日报表、周报表、月报表、季度报表、年报表。每种报表可能还会按照网络层次、区域（可能是地理的也可能是逻辑的）等规则来划分。网络管理软件的开发人员还可能由于性能、语言、复杂性等因素存入不当的数据类型（比如时间，很多开发人员可能更愿意使用long型的数据类型而不愿意使用Datetime或者字符串类型的数据类型，因为这样便于程序员的操作、比较，性能也更好一点）。然而不当的数据类型可能给报表系统、数据库更大的压力，造成性能的严重恶化。多表的关联也是影响数据库性能的主要因素之一。因为有时候为了获得需要的结果，不得不从多个表中根据相关条件进行条件选择，本来就很多的数据又以联合级数增长。下面以图１的表簇为例，并用SQL server数据库进行查询，得到记录数和响应时间表格如下：