数据中心网络流量采集难题

2018-09-28 09:12

随着数据中心运维精细化要求不断提高，网络流量采集分析已经成为数据中心基础设施不可缺少的分析手段，通过网络流量深度分析，我们能够更直观地加快故障定位、分析应用数据、协助优化定位，加快故障定位。网络流量采集也是一门学问，做得好会在关键时刻起作用，做得不好就会形成虚设，反而还要占用大量的网络带宽资源，这样的流量采集不如不做。流量采集可不是简单地将几个网络设备端口的流量镜像一份发给分析服务器就了事，要建立一个覆盖全面、合理有效的流量采集网络，这样的流量采集才能有助于优化网络和业务性能指标，减少故障发生概率。当然，网络流量采集也面临着不少新问题，本文将娓娓道来。

流量增长太快

根据预测，到2019年数据中心的流量将为2014年的三倍，平均每年保持着30％的增长率，不要只看增长率，其实2014年的流量基数就很大，2014年就有2．1ZB。流量的增长会给监管带来很多问题。比如：现有的监控服务器处理能力不够，镜像流量过大导致设备端口或内部通道拥塞，流量种类太多导致采集类型不完整等等。所以，流量增加后会带来一系列问题，监管的手段也要随之调整，否则就无法真实采集到流量实时状态，甚至还会对现有业务造成影响。如果采用的是采样的方式，就有一定的采样比，随着流量的增长，采集的流量会多一些，也可能会漏掉一些特征流量，还有可能采集的流量太大，将设备CPU打爆，这时就要降低采样比，但这时降低采样比采集的样本流量会更少，准确度下降。总之，当流量在不断增加时，不仅要对设备进行扩容，对采集流量的方法也要调整，否则流量采集起不到监管作用。

采集需求多样化

数据中心网络承载的业务种类越来越多，流量特征也越来越多，有时就需要针对不同流量部署不同的采集技术。像镜像、Netflow、Netsteam、Erspan等都可以作为流量采集的技术。镜像种类就很繁多，可以基于端口镜像、基于某些特征流镜像，基于VLAN镜像，镜像流量可以发向多台监控服务器，可以跨多台设备镜像，或者通过VLAN广播，以此来满足各种流量采集的要求。就算有这么多种类的流量采集方式，时常也得不到满足。像Netsteam受限于技术实现，有的只能识别五元素IP特征的流量，对于IP头其它部位变化特征则无法采集和分类，有的设备采用CPU软件实现，处理能力过低，有的设备采集FPGA硬件实现，识别流量的种类就没有那么丰富。再有，在一个高冗余的网络架构中，二层多路径等技术也对流量采集提出了挑战，不同路径均有流量分布，就需要在所有链路上都部署流量采集点，这样相同的流量在不同的链路上均能采集到，实际得到的流量要比采样比还高。

数据安全要求高

人们对数据中心安全越来越重视，尤其担心自己的隐私数据遭到泄露或者被人所利用，若在数据中心部署过多的流量监控，易引起人们的反感，这就像是在换衣间安装了摄像头一样，觉得自己的隐私受人监控，所以数据中心里的数据流量并不允许随意去采集，作为数据分析使用，所以要流量采集取之有道，流量监管信息公开，让人们放心使用数据中心的应用。数据中心网络承载着客户业务的重要数据，要对数据进行安全检查，避免在数据采集的过程中出现信息泄露，安全问题绝对是在进行采集网络规划建设时首要重点考虑的问题。对于部分重要的生产网络流量数据，必须要进行脱敏处理，隐藏客户敏感信息，避免信息泄露。在数据分析后，及时将原始数据进行销毁，避免流量数据被泄露或为他人不法所用。

流量分析工具差异大

通过各种流量采集技术从网络中获取的流量是几乎没有加工过的数据，这些数据被采集到监控设备上时，需要通过特定的分析工具解析和统计分析。比如：Netflow采集，只不过将采集到的流量做了报文封装，形成统一格式的报文发给监控设备，监控设备要能识别Netflow报文，解析报文将流量原始报文还原出来，然后去原始流量进行分析和统计。采用不同的分析软件工具，获得的结果会有很大出入，有些工具只是统计，将流量进行归类，而有些工具则可以利用云计算、大数据等技术进行数据分析和预测，以便对业务运行状况进行分析和预判。不同的分析工具与不同的流量采集方式适配，相互之间并不能兼容，这也导致市面上出现了很多流量分析工具，质量参差不齐，在选择时一定要慎重。选择有效的流量采集方式，不仅可以节省开支，降低流量监管成本，还能最大限度地利用采集的流量数据进行分析。

在数据中心网络不断发展壮大的过程中，流量采集面临着不少的难题，但这方面的工作还要继续去做，要懂得去适应，去解决问题，方法总比困难多。现在的数据中心都在做精细化的运维，流量监管是最为重要的一部分，早期那种部署个网管软件获取一些监控节点信息已经无法满足了，要通过流量采集并进行后期的流量分析，将流量采集与各类分析应用平台联动起来，从不同角度挖掘数据信息，对数据进行深入分析，支持运维业务发展。对数据中心网络的运行状态进行预判，提升数据中心网络的运营效率。流量采集是流量分析体系的基础，一个覆盖全面、合理有效的流量采集网络，有助于提高网络流量的采集、过滤和分析效率，满足不同角度的流量监管要求，优化网络和业务性能指标，提高客户体验。