● 摘要
Hadoop作为一种开源的分布式文件系统和分布式计算框架在现在大数据的处理中扮演着越来越重要的角色。为了应对大规模的Hadoop集群的自动化部署问题，本项目实现Hadoop集群自动化部署工具——HADT。
Hadoop作为一种大数据处理平台，在实际的部署过程中，因为需要大量的计算主机上安装不同的软件资源。传统的软件安装方式，管理员需要在不同的主机下重复相同的安装步骤。除此之外在集群中每个节点可能承担的角色也会不同，对于部署者提出更高的要求，为了解决此项问题，本项目提出——自动化的部署工具HADT(Hadoop Automation Deployment Tool)，它基于Puppet部署Hadoop集群并采取了客户端驱动的方式避免了上述问题。在部署过程中，我们提出的部署工具首先在服务器端发送不同的部署条件，接着客户端定期从服务端接收到的信息判断何种软件需要安装或者软件需要更新。在HADT的实现过程中针对Hadoop组件众多、以及配置文件较多，设计出能适应自定义修改配置项的配置接口，同时使用Puppet二次开发把应用分发到各节点。还有设计了Hadoop集群的安全管理和监控管理。
通过对HADT的需求分析、总体设计，实现了在Hadoop集群中可以自动化的部署工具HADT。在HADT能根据用户自定义的配置文件来在集群中的节点上分配不同的Hadoop组件以及配置文件，同时实现了基于Kerberos网络认证的协议安全管理模块以及实现监控模块，来保证整个Hadoop集群的安全运行。