目前网络存储测评技术侧重于性能测评，没有一种测试工具能够全面反映存储系统的综合性能。采用分层结构模型建立全面的评测指标体系，设计和实现了网络存储综合测评系统，重点介绍了分布式文件系统的性能测试体系，对其聚合带宽做了测试实验。关于存储综合测评技术的研究成果可为网络存储研究和应用提供帮助。朱立谷,阳小珊,罗洪元,等:网络存储综合测评技术硏究2010,46(36)些模型、方法和策略,并相应开发了测试τ具和基准,但目前的管理方式和管理τ具来量化管理成本进行评价,对管理软存储评测技术有许多不足之处。如,性能测评的研究虽然已件的易用性、从系统是否具有自动监视、诊断和调整功能方面经很多,文献[从9年内106篇论文中调查了415个文件系统进行评测,通过对管理成本的量化建立数学模型。和存储测试工具,发现没有一种测试工具能够仝面地反映存(4)研究网络存储设备和海量存储系统的功耗测试技术储系统的实际性能;而其他存储指标测评方面的研究较晩,如设计标准的能耗测试方法和规范,通过该测试方法和规范,实能耗测评才刚刚开始,仅只对存储系统空闲状态进行能耗测现跨平台、多协议且能按照秒数量级实时并行监测整个系统评,无法真正反映存储系统工作状态下的实际能耗,因此,尚的功耗,对日前存储设备和海量存储系统提供一个标准的测不能用于实际的存储评测。试基准,为评判系统功耗提供技术方法(5)开发海量存储系统基准测试程序,提供一个客观、公3存储系统测评技术研究正的评价标准。研究存储系统基准测试程序的标准和规范,研31研究日标究基准测试程序模型,主要针对海量存储系统的基准测试程序对存储评测技术进行全面研究,并从如下几方面进行改进:完成对大规模分布式存储系统的高并发和大聚合带宽的测评(1现有的存储系统测试基准为主要性能评测,不能评测(6)开发可动态插入的轻量级 IO Trace采集T具与重放越来越重要的、与存储系统性价比密切相关的可用性、可管理工具,研究 o Trace工具提供有效的提取和再现应用存取行性功耗等重要指标,因此,新的基准方法首先建立更加全面为,支持应用存储系统测试和分析,为存储系统设计一个的、科学的评价指标体系。Trace的生成机制,可捕获不同应用环境中的 1O Trace,利用(2)现有的测试基准对性能、可用性的评测必须采用集成重放工具还原相关应用,对存储系统进行测试分析。方法,采用建立模型如 Markov reward model来获得无法直接测量得到的指标,因此,新基准方法将是综合指标评测平台,4存储综合测评系统的设计与实现能对不同的网络存储系统包括NAS和SAN进行评测,并可得4.1综合测试硬件平台到全面的评测指标。存储综合测评系统采用集群来实现。搭建的集群浏试平3)新基准方法将解决如何描述不同环境下不同应用程台主要由测试控制服务器、测试数据分析服务器、测试节点序工作负载特征的问题,客观真实地模拟不同应用程序系统网络等组成。工作负载测试控制服务器:对测试任务和测试节点的统一控制和(4)新基准方法应能评测网络存储系统在故障和管理事管理;测试节点与被测存储系统相连接,运行测试程序,执行件情况下导致系统性能降级的性能。测试指令,生成负载;完成测试任务后,测试结果和测试过程(5现有的测试基准只能把存储系统作为黑盒子进行测采集的测试环境状态都将发送给数据分析服务器进行数据的量和评估,而无法进一步测量和评估存储系统的各个子系统分析、处理、存储和测试报告的生成。的性能,需要通过基准工具深入地分析和评估网络存储系统测试控制服务器:对测试节点控制和管理,测试方案定中每个子系统的功能和性能,因此,将网络存储系统的性能基制,测试任务管理。准和分别测量评估网络、处理器、内存性能的基准有效结合,数据分析服务器:对测试数据进行存储和管理,测试结果解决评估冇储系统内部各种组件的性能冋题,从而能够找到分析,测试报表生成。系统性能瓶颈。测试节点:接收控制服务器的指令,执行各种具体的测试32研究内容任务,如对存储系统产生负载, IO Trace重放,功耗测定等,测主要包括以下几个方面的内容试可以单独执行不同任务,也可以同时执行相同的任务。(1)研究和建立全面的存储系统的评测指标体系,该指标测试人员通过测试控制服务器制定测试方案,启动测试体系不仅仅强调系统的性能指标,同时还包括功能、可用性、任务,并汇总测试数据打印测试报告。测试控制服务器启动可管理性和功耗等指标,史科学地揭示不同结构存储系统的测试节点对存储系统执行测试操作,测试数据保存在数据分长处和短处,便于进行不同设备与系统之问的全面对比,为存析服务器上。储产业的快速发展提供技术指导,为用户购买最合适应用需求的存储系统提供决策支持。(2)研究存储系统故障插入、管理事件插入技术以及可用性测试技术,通过研究各类存储系统故障问题,形成相应的故测试控制服务器数据分析服务器障库,通过故障插入技术,使存储系统在预定的时间产生永久88或暂时故障,测试系统在岀现镨误后检测错误、处理错误、继测试测试一测试测试一测试续服务的能力,并给出系统故障概率和故障破坏度的预测和测试节点节点/节点节点节点节点评价;研究基于各级故障插入的系统可用性测试技术,完成对电力谐波仪系统在各种故障条件下可用性的自动化测试与分析。通过管理事件插入技术,使主机或控制器在预定的时间产生相应的存储网络1存储网络2管理事件,评测管理事件注入对系统应用服务质量的影响。(3)研究存储系统的可管理性评价方法,基于网络存储的电源磁盘阵列海量存储系统管理系统与功能提岀几个指标的基础集,通过对系统屮提供图1综合测试硬件平台642010,46(36)Computer Engineering and4 pplications计算机工程与应用42测试平台集群运行环境扩展能力测试和典型应用性能测试,其屮峰值性能测试包括基丁MPCH2建立集群系统,能够运行基于MPI的并行聚合带宽并发访问量、元数据吞吐率程序。测试节点能基于MPI对存储系统产生并发负载,进行5.2聚合带宽测评实例l/ O tracc收集和重放,完成分布式测评任务521指标定义通过RSH服务器的配置实现了集群系统的网络服务。系聚合带宽指标为分布式文件系统屮所有节点瞬时提供的统內所有节点均可以按用户要求进行增减,实现方法简单,貝总带宽之和,此总带宽是指对外部应用系统可见的数据传输有良好的灵活性和可扩展性。率,用来反映系统对外提供服务的整体性能,是一个综合测评并行程序指标。该指标的量纲即每秒传输的吉字节数(GB/s)。本指标并行编程环境主要用来测评分布式文件系统的POSX和MPIO的最大聚合串行应用(MPD)带宽值。集群中间层(单系统映像和可用性低层结构)本指标的测评日的为测试被测系统的聚合带宽最大值,即系统在最优配置下的最大值操作操作操作操作操作系统系统系统系统522测试工具节点节点节点设计和开发专门的测试工具 ALMeter-20,用于测试分布式文件系统的聚合带宽。使用命令格式示例如下高速互连网络abmetcr -a POSiX -P rcadratio -t xfcrsizc -t testtime图2集群运行环境aapi选择底层IO操作函数库: POSIX,MPI-IO设计和实现了一个集群管理系统,包含有节点注册模块、f filePer Proc-—设置并发模式,为每个处理器分配作业提交模块资源管理模块和作业分配模块,資源管理模块个文件;默认为共享模式(所有测试进程访问同一个文件)。接近实时地显示节点的负载情况,并为作业分配模块提供了PN readRatio读比例参数节点的负载信息。作业提交模块进行测试指标选择、测试参tn transfer Size-次IO传输的数据量大小数配置和选择测试节点。作业分配模块是根据集群中单个节In max Timel) uration——测试的持续时间点的负载状态分配作业,实现节点的负载均衡功能。523测试拓扑43测试系统控制服务器和测试节点、测试节点和被测 Lustre均以千基于网络存储系统和海量存储系统的系统结构和功能分兆以太网交换机连接。测试服务器7台,其中测试节点5台;析,采用分层结构模型建立仝面的评测指标体系。基于网络Lsre1个元数据服务器(MDSs),4个对象存储服务器(Oss存储系统和海量存储系统的功能分析,将性能指标进行分组,详细配置信息见表2与表3组性能指标代表存储系统的一个基本功能方面的性能,作为评测指标的子系统:(1)系统的功能;(2)系统的处理能力;(3)系统的可用性;(4)系统的功耗。TCSTDS网络存储系统的评测系统功能测评子系统性能测评子系统可用性测评子系统能耗测评子系统In0102Ln03tns吞平测指标响十评测指标性-评测指标能评测指标平测指标评测指标MDSOSSIOSS2 OSS3 OSS4图3存储评测系统框架模型图图4聚合带宽测试示例拓扑图对每一子系统的性能指标分解为若干子特征,对各个子52.4测试方法特征提出各种评测指标。可以直接测量或统计得到建ⅵ定量(1)确定单节点的最优并发数。选取一台测试节点tO1,化的评测指标,提出评测环境、参数标准、测试步骤和规范;不初始化参数设置为:读写比例0%传输大小为1MB,文件块大可直接测量的建立评价数学模型,如可用性评测指标小为1GB,存取模式为共享。在tcs节点上使用如下命令进行il irt: mpiexec-machinefileiopt/tools/ ptms/abmeter/tnlist -n 1!5分布式文件系统性能测评实例opt/tools/ptms/abmeter/abmeter -o/mnt/lustrefs/abmetertest-P 05.1性能指标T800-b6g-t64k分布式文件系统的性能测试包括峰值性能测试、性能可(2)依次调整读写比例为0%‰、50%、100%,其他参数不变,表1分布式文件系统性能测评指标编号指标层评测内容测评描述聚合带宽系统所有存储节点提供IO带宽的总和系统能够提供的最大数据传输率GB/s并发访问数系统所有存储节点提供的ⅣO并发任务数的总和系统可提供的产生·定文件O请求的并发任务数量3元数据昋吐率系统所有存储节点提供的元数据操作的最大昋吐率系统能提供的文件和目录的元数据操作的处理速度OPS/s朱立谷,阳小珊,罗洪元,等:网络存储综合测评技术硏究2010,46(36)65表2硬件配置序号产品名称产品配置数量备注1HPDL3800pU,x550@2.67GHz,12GB内有,146 GB SAS硬盘,千兆以5台搭建被测系统,其中1台元数据服务器,4台对象存储服务器太网口2个mp dc7900Intel coreT2 Quad CPU C9400@2.66GHz,3GB内存,5005台搭建5台测试节点GB SATA硬盘,千兆以太冈口1个3H3CS512024口台搭建测评平台网络,1台搭建存储网络方正 PC Intel Core2,2.33GHz,4GB内存,千兆以太网口1个21台作为TCS,1台作为TDS30030二1564K256K512K1M2M4M16M32M3读比例传输大小节点数目(a)不同读写比例时的带宽值(b)不同传输大小时的带宽值(c)不同节点数目时的带宽值图5测试结果表3软件配置商解决其网络存储使用、管理、研发、验证及生产制造上的各序号软件名称版本功能描述备注类问题提供帮助。1 Centos 5.4操作系统,内核2618用作所有节点的操作系统2 OpenSSH4.3p2分布式节点间的安全通信需要配置成无密码通信参考文献3NTP4.2.2确保分布式节点间树络时钟步需要用cn定时执行回步4 MPICH2分布式节点间同步通信及环境管理开源软件[1]Tpc-cbenchmark[eb/ol].http:/www.tpcorg/tpccSTIMS L0仔储测评综合管理系统自主研发[2]poStmark:Anewfilesystembenchmark[eb/ol]-[2010-09.http://6 MySql 5.0数据库服务器开源软件communities. netapp. com/servlet/Jive Servlet/download/2609-15517Lustre 1.8.4并行分布式文件系统开源软件Katcher 97-postmark-netapp-tr3022 pdf8 ABMeter2.0测试分布式系统的聚合带宽自主研发[3]lozone[eb/ol]-[2010-09].hTtp:i/www.iozone.org/.[4]Bonnie++eb/ol].[2010-09].http://www.coker.comau/bonnie++i进行测试并记录测试结果。依据结果确定读写比例参数值。[5]1ometer[FB/OI][2010.09ht:www.1ometer.org在本次实验中,读写比例为100%是聚合带宽值最大。[6specsfs2008eb/ol-2010-09.http:/www.spec.org/sfs2008/(3)依次调整传输大小为64KB、256KB、512KB、1MB、[7] NetbenchEB/OL]:2010-09]htp:/lse. ourceforge. net/benchmarks2MB、4MB、16MB、32MB,其他参数不变,进行测试并记录netbench/测试结果。依据结果确定传输大小参数值。[8SpcSpecifications[eb/ol][2010-09].http://www.storageperformance(4)依次调整测试节点数为2、3、4、5,其他参数不变,进行org/specs/测试并记录测试结果9] He Xubin, Zhang Ming. Yang Qing SPEK: A storage performance(5)调整访问存取模式为并发,其他参数不变,进行测试evaluation kernel module for block-level storage systems underfaulty conditions J].IEEE Transactions on Dependable and Se-并记录测试结果。cure Computing,2005,2(2):138-14952.5测试结果[10] Brown ATowards availability and maintainability benchmarks聚合带宽测试曲线图如图5。其中图5(a)是单个测试节ly of software RAID systems, UCB/CSD-01-1132RI点不同读写比例带宽,读带宽要高于写带宽;图5(a)是单节点UC Berkeley Computer Science Division不同传输块人小时读带宽,块人小为16MB时带宽最大值达 Mauro j,zhuJ, Pramanick I. The system recovery benchmark]11193MBs;图5(c)显示,增加测试节点时聚合带宽值的上升Proceedings of the IOth IEEE Pacific Rim International Sym凊况,5个节点时系统聚合带宽值可达281MB/sposium on Dependable Computing(PRDC 04), 2004: 271-280rch03-056总结[12]SpecPoweRssj2008[eb/ol].http://www.spec.org/benchmarks.ht-ml#power针对目前恻络存储测评技术的不足采用分层结构模型建[13 SNIA green storage power measurement technical specification立全面的评测指标体系,设计和实现了网络存储综合测评系[eb/olj-[2010-09].hTtp://www.snia.org/techactivities/publicre统,介绍了分布式文件系绽的性能测试体系和聚合带宽的测Green Power v018 pdf试实例。[14]Mpich2[Eb/Ol].[2010-09].httP://www.mcs.anl.gov/research/proj-本文设计的网络存储综合测评系统,可为用户与制造厂ects/mpich2/