● 摘要
信息时代以及大数据时代的到来使全社会的数据量呈现爆炸性增长之势,现阶段的数据呈现出了高速海量的特征,如何高效处理大规模数据并挖掘其内部特征,成为了人类面临的挑战之一。函数型数据分析为处理和分析大规模数据提供了一种全新而有效的思想,在工程技术、生物科技、经济管理、社会研究等领域都有广泛的应用。
函数型数据分析假设观测的数据是无穷维函数空间的元素而不仅仅是单独的点,这在处理海量高速的数据时具有独特的优势。本文首先对函数型数据预处理方面进行了讨论,提出了一种结合B样条拟合与谱分解的函数型数据预处理方法,有效减小了非平稳时间序列中周期项的干扰;接下来回顾了当前函数型数据降维领域的主要特征提取方法,包括主成分分析,聚类分析等。在此基础上,文章提出了函数型Gram-Schmidt变量筛选技术这一新型降维方法。此外本文在上述方法的实现过程中,均结合了GPU并行算法,使得处理海量、高维流数据的过程更加快速、高效。
在理论研究的基础上,本文以黄金、美元数据以及脑电波数据为两个实例进行分析。首先对1973年1月至2008年12月的黄金价格以及美元指数月度数据进行函数型数据预处理,有效剔除了原始数据中周期项的干扰,并进一步对处理结果进行了比对分析。随后文章基于脑电波信号这一海量、高维的流数据,分别使用函数型聚类、函数型主成分、以及函数型Gram-Schmidt三种降维方法进行分析,深入探讨了人脑上64个电极之间的联系,在不同环境下的波动状态以及波动过程中包含的规律。上述实例研究得到了一些有意义的结论,同时也验证了所提出方法的实用性和有效性。
相关内容
相关标签