● 摘要
网络流量测量是网络性能和参数测量的重要组成方面。测量网络流量可以帮助管理者监测网络的运行状况、观察流量协议的构成以及应用的分布，进而分析当前网络存在的问题、改善网络服务质量。随着网络技术的飞速发展，高速网络环境下庞大的网络流量，给网络流量测量和分析工作带来了新的挑战。 作为当前被广泛应用的网络流量测量技术，sFlow和NetFlow技术标准各有自己的优势。本文基于这两种技术标准，对高速网络环境下的流量数据采集、数据归并及聚合处理方法进行研究，设计并实现了一个基于sFlow和NetFlow技术标准的流量数据采集系统。它可以作为流量分析程序的后台，为分析程序提供有力的基础数据支持。 本文的主要工作和取得的成果有：1、给出了基于链表切换的缓冲池访问机制，使用多线程采集流数据，保障了采集过程不中断，有效避免了高速网络环境下采集易丢包的问题，提高了采集可靠性。2、依据报文采样理论，对采集到的sFlow和NetFlow流数据进行转换处理，讨论了转换过程的误差率，并将提取出的共有流量信息供流量分析程序使用，扩大了采集程序的适用范围。3、根据网络流数据的elephants/mice现象，设计了流数据缩减策略。在不超过预设流量损失限度的前提下实现了对大量流数据的缩减，有效提高了系统处理效率，优化了数据存储。4、引入多重时间粒度的概念，给出了流量信息的过滤、提取与聚合步骤。使用合理的聚合策略对大量原始数据进行有效整理和压缩，为流数据的分析提供了有力的支持。 系统实际运行测试证明，本文实现的数据采集系统具有良好的性能表现，可适应高速网络环境下的流数据采集。