● 摘要
摘 要
我们处在大数据时代，企业数据爆炸式增长，面临海量数据处理需求。中国电信随着业务的发展，移动用户已经突破亿级，电信数据量达到PB级，同时移动互联网等新技术、新业务、新模式的出现，中国电信除了面对中国移动、中国联通等电信传统领域对手的竞争，还需要应对诸如腾讯、百度、新浪等新兴互联网企业的挑战。
如何在海量数据中快速对客户进行分析，以客户为中心，提高客户发展质量，并及时对市场变化作出相应的反应。中国电信在加强集约化运营的总背景下，顺应移动互联网发展趋势，需要充分考虑如何从海量数据中分析商业绩效和市场竞争，传统的数据处理分析技术无法满足电信集团客户分析时效性要求，这需要采用Hadoop技术，提升分析支撑能力，构建一个适应电信集团目前快速响应需求的客户分析解决方案。
本系统采用分布式Hadoop集群和Oracle数据库混搭的体系架构。在ETL数据处理采用分布式Hadoop集群平台，提供海量数据并发处理的能力，并可根据系统处理性能进行扩充。ETL处理将外部数据源相关数据采集汇聚到Hadoop集群HDFS分布式文件系统中进行存储，经过MapReduce分布式计算对数据信息进行数据稽核校验、数据转换整合、数据加载汇总等数据处理，按电信客户业务需求对电信客户底层基础数据进行计算,关联汇总后生成电信客户保有及新发展分析、电信客户套餐发展全面分析、电信客户业务使用行为分析、电信客户信用及服务关联分析等应用结果宽表数据，给电信客户提供合适的产品与服务，挖掘企业客户价值。最后将分析汇总结果数据转储到Oracle数据仓库存储，向上直接提供实时性较强的OLAP分析，多方位对客户分析结果进行展现，支撑电信集团企业客户分析决策。
本系统已上线，极大提升了系统的时效性，提高了客户信息获取的实时性，为客户进行分析决策提供有力的支撑；同时加大了系统的稳定性和可扩展性等方面优势，最终实现电信企业科学化管理，并达到电信集团客户预期目标。
关键词：Hadoop，HDFS，MapReduce，ETL，OLAP分析
相关内容
相关标签