近年来,由于硬件技术的高速发展,人们获取数据的能力得到了极大的提高.现实生活中,经常可以看到这样的情况:大量需要处理的数据以很快的速度产生.例如,美国一条高速公路上的传感器网络每天可以收集到高达几百万条的数据,而电讯电话公司大型交换机上每天记录的通话记录就高达几千万条.由于数据量太大、数据产生的速度太快,按传统的数据库应用模式处理这些数据,即完整、详细地收集这些数据,清洗后将其储存在数据库中,再交由计算机仔细处理已成为不可能完成的任务.由有限的数据到有限的数据处理能力,计算机工作者们有了着新的挑战。