● 摘要
随着信息化脚步的加快,数据中心的规模也与日俱增,并达到一个空前的规模,由此所引起的数据中心能耗的问题也变得不容小觑。全球数据中心的2011年能耗比往年增长19%,而数据中心的能耗也在以每五年为单位成倍增长。这些消耗主要来自于美国和欧洲数据中心的能源消耗,但除了欧美国家以外,其他发展中国家数据中心能耗也在不断增长,其中,中国2011年比往年同期增长了46%,位居世界前列。为了控制数据中心能耗的增长,世界各国研究人员都为此做出了一定的努力。本文的目标即是基于Hadoop集群研究数据中心的能耗管理机制,达到将单个节点和全局集群都控制在某一规定的功耗约束之下的要求。现在很多研究人员都致力于节约能耗、减少能耗,但是在节约和减少的条件下,很有可能带来的问题就是性能的降低。在本文的机制中,我们将能耗看成是和CPU、磁盘、内存、网络带宽等是处于同一个地位的、可以用来管理和供用户购买的资源。用户在使用数据中心之前,需要提出对于功耗的预算以及任务的需求,系统根据用户需求在不超过用户的功耗预算的情况下完成用户所提交的任务。本文分析和研究了节点各个部件对于节点功耗的影响,并对各参数进行回归分析,发现CPU利用率、HDFS读操作数据量和写操作数据量等数量关系对功耗的影响都具有重要的意义,本文根据这些参数与功耗的关系建立能耗模型并予以验证。在该模型基础上,本文设计了两种预测控制策略用以对节点功耗进行控制,并对两种预测控制策略进行了比较和分析。其中一种预测控制策略基于理论模型,而另一预测控制策略基于经验数据,两种方法各有长处。本文还设计与实现了基于HDFS的能耗感知的副本放置策略和节点调度策略,形成了一个能耗管理的原型系统。最后本文在实验中,对系统的性能、可操作性、可靠性等各方面都进行了全面的测试,验证了预测模型的准确性和能耗管理机制的有效性和高效性。
相关内容
相关标签