存储虚拟化技术在视频监控系统中的实践

1. 概述
随着科技与经济的快速发展，全社会对安全保障的要求不断提高。做为技防的一个重要组成部分，视频监控系统得到了广泛而深入的应用，系统规模不断扩大。
监控系统中大规模部署的视频源每天都产生大量的数据，出于事后查询取证的需求，这些数据往往又需要较长的保留期。以每路视频源恒定2Mbps码流、全天24小时存储、15天的数据保留期计算，一个有1000视频源的较大规模监控系统所需要的总存储容量将达到300TB。出于成本方面的考虑，如此大规模的存储资源需求必然由分散的多台存储设备提供，分散的设备带来了管理方面的困难。所以，在构建大规模监控系统时，如何管理如此大规模的存储资源和视频数据已然成为用户最为关心的一个问题。
从系统管理的角度来看，用户在监控系统中所关注的重点应该是监控业务，管理的对象应该是以视频源为中心的。存储只是系统的一个重要组成部分，用户不应该在存储资源管理方面投入太多。但在现有的监控方案架构下，存储资源的分配、存储设备的管理维护、视频数据的管理和保护却是系统管理员所不得不面对的，必须要投入大量的精力。所以，从繁重复杂的存储管理中解放出来，更聚焦于核心业务就成为了一个现实的用户需求，同样是构建大规模监控系统时需要重点解决的一个难题。
好在面向应用的存储虚拟化技术为我们提供了一个很好的解决问题的方法。通过创新性地采用这种技术，我们在iVS智能视频监控系统中真正实现了存储资源的可管理、可运营。
2. 存储技术的发展
作为IT体系中一个重要的领域，存储技术从90年代起进入了高速发展阶段，先进的技术和产品架构层出不群。存储产品架构从早期的机内硬盘、DAS、NAS逐渐发展到SAN。而随着iSCS技术的成熟，IP SAN成为了存储领域最先进的产品架构。得益于其底层IP技术的标准化、开放性和普遍性，IP SAN在各个领域都取得了广泛的应用。在iVS智能监控系统中，就充分应用了IP SAN各种架构优势。
在存储技术领域中，存储虚拟化一直是业界最为关注的一项技术。虚拟化的最终目的是屏蔽所有存储资源的差异以及技术实现细节，把存储资源充分“资源化”，对用户呈现为一个统一的存储资源池。用户可按需为不同的应用分配存储资源，统一调度、按需使用、集中管理，就象日常生活中使用水、电那样简单，这是一项对用户非常有价值的技术。但是，存储资源面向的直接使用对象是各种各样的应用（如数据库、文件共享、多媒体数据管理等），应用的多样性阻碍了面向应用的存储虚拟化的广泛应用，因为很难从纷繁复杂的应用中抽象出一套统一的资源管理策略，满足不同应用的QoS需求。
而在视频监控系统中，我们发现与存储相关的业务相对简单，最本质的需求就是为每一路视频源提供存储资源，满足视频的录像需求。在此基础上，保证存储资源的可管理和可运营。视频监控业务的单一性，使得从中抽象出统一的存储资源和数据管理策略成为可能，具备了解决问题的基本条件。
3. 系统的实现
3.1 存储资源分配模型
对于某一路视频源，其存储的需求源于两个方面，空间的需求和QoS保证的需求。其中，存储空间的需求主要由三个方面的因素决定：视频源的码流、数据存储计划（如每天需要存储多长时间的数据）和数据保留期。存储QoS的需求包括可靠性、性能（并发访问能力）等几个方面。
 
如果视频数据是定时存储，则根据数据的存储计划和保留期，很容易得出对应的总存储时长，再乘以视频码流，即可计算出该路视频源所需的存储空间容量。如果视频数据是告警联动存储，则可根据数据保留期、估算的告警发生频率、警前和警后录像时长估算出存储空间容量。而根据存储资源的可靠性、性能等因素，可以把存储资源虚拟化成不同级别的资源池，以满足不同级别的存储QoS需求。
当两方面的需求都确定以后，资源的分配模型也就清晰了（如下图所示）。收到视频源的资源请求时，根据其存储QoS需求自动从相应级别的虚拟化存储资源中分配适量的存储空间，实现资源的按需分配。在视频源注销以后，其占用的存储空间被自动释放，这些资源可重新分配给其他视频源使用，实现资源的再利用。
 
3.2 系统实现架构
基于以上的资源分配模型，我们构建了整个监控系统中存储资源和视频数据的管理平台。系统的架构如下图所示：
 
其中视频编码设备内置有iSCSI发起方模块，可以基于标准的iSCSI协议把数据端到端写入到IP SAN存储设备中。管理平台在资源的使用者（编码器）和资源的拥有者（IP SAN存储设备）之间搭起了一座桥梁，负责资源申请、释放等控制信令的交互，并不参与二者之间的数据面交互。
管理平台由几个核心模块组成：平台管理模块、存储资源管理接口模块、存储资源访问接口模块和视频源管理接口模块。

平台管理模块提供基本的日志、用户管理、Web服务等功能。视频源管理接口模块负责管理视频源的存储需求信息，处理编码设备的资源申请和释放请求。存储资源管理接口模块管理不同存储设备的资源QoS等级，并基于IP SAN存储设备开放的API接口对存储设备进行虚拟化和配置管理，实现资源分配、访问控制和资源回收。存储资源访问接口模块通过标准的iSCSI协议访问各编码设备写入的视频数据，实现了对各视频源存储计划执行情况的检查、数据的备份、以及存储设备状态管理等功能。
通过这样一个管理平台，整个监控系统中与存储相关的管理职能被整合在了一起，分散的资源使用者和提供者得到了集中的管理。系统管理员可通过平台的Web管理界面轻松实现资源的统一调配，可实时监控各视频源存储计划的执行状态和存储设备的运行状态，并能对视频数据实施各种保护，满足高级别存储QoS的用户需求。通过开放接口，管理平台可与其它业务系统相结合，把存储的管理和监控业务的管理有机地融合在一起。
4. 结论
得益于视频监控系统中存储相关业务的应用单一性，面向应用的存储虚拟化技术在监控系统中得到了实践的检验。iVS视频监控系统的实践证明，利用面向应用的存储虚拟化技术可以很好地解决大规模监控系统中存储资源和视频数据的管理问题，可实现存储资源的可管理和可运营需求。而且，本次实践也从另外一个角度证明了面向应用的存储虚拟化完全是可实现的，有望在一些业务相对单一的应用系统中得到较为广泛的部署。