云存储应用的创新

钟远山

　　视频监控随着高清化、IT化的融合，大数据时代已经来临，海量的视频流媒体数据需要更大的存储空间。但是由于目前行业市场上存储设备的多样性、可扩展、安全性、可靠性等现实问题需要促生出了云存储技术。云存储采用集群应用、网络技术、分布式文件系统等技术，将网络中大量各种不同类型的存储设备通过应用软件集合进行协同工作，共同对外提供数据存储和业务访问功能，实现高清视频监控的海量存储与应用。

　　近些年来大数据、云计算、云存储在IT界可谓炙手可热，那其在视频监控行业的需求和应用又怎么样呢？不同行业、规模、应用需求的视频监控系统是否需要建设云存储呢？各行业的决策者们无疑还存在一些疑惑，但是随着视频监控系统对视频图像清晰度的不断追求、系统规模的不断扩大、应用需求不断趋向多样化，云存储应用是视频监控系统发展的必然需求。

云存储的需求分析

　　首先是视频图像清晰度发展需求。视频监控对视频图像的清晰度需求是无止境的。视频图像的分辨率从QCIF、CIF、D1、720P、1080P、4K、8K一路走来，仅仅使用了不到十年的时间，现在已开始步入4K分辨率主流年代。随着视频图像分辨率的不断增大，相应的视频图像的存储要求也越来越高。例如：1路D1图像（1M码率）存储30天需要的存储容量约为300GB左右，1路1080P图像（4M码率）存储30天需要的存储容量约为1.2TB左右，1路4K（8M码率）存储30天则达到了2.4TB左右，可见随着视频图像清晰度的增加，存储容量的需求也急剧增大。

　　其次是安防视频监控系统向着大规模、海量数据、体育化和融合应用的方向快速发展。近十几年来国内外的各行各业，安防视频监控系统摄像机的数量规模急剧增加。在铁路行业，随着新增沿线入侵报警与视频监控需求的明晰，一条铁路线的建设规模就从几千到上万路摄像机不等；而如一个中等规模城市的平安城市建设规模摄像机数量可能达几万路。1000路的1080P（4M码率+24小时+30天）视频图像存储容量就可以达到1PB，而1万路的1080P视频存储容量超过了10个PB，安防视频监控系统的存储应用已经进入了存储PB级年代。

　　从性能和容量上看，单台存储设备的性能和扩展性基本可以满足PB级以内的视频接入和图像存储需求，但是要接入成千上万路高清1080P，甚至是4K视频，存储几十PB、甚至上百PB的数据，无论是性能还是容量都无法应对，因为单台存储设备无法实现其性能与容量的线性增长；如果采用多台存储设备叠加的方式来实现增加的视频接入和图像存储需求，那么多台存储设备间相互独立，缺乏有效的数据整合与协同处理能力，也会存在以下问题：

　　1、存储设备统一管理问题。几十上百台的存储设备的管理必须由存储设备厂商提供专业的存储管理软件来完成设备的集中管理和维护，或者由安防视频监控平台厂商来提供存储集中管理服务软件。但是由于不同存储厂商的管理接口和协议各不相同，安防视频监控平台厂商在应对第三方存储设备管理时将变得异常困难；

　　2、存储资源按需分配问题。视频监控图像的存储时间一般在设计初期必须规划好，例如15天、30天、90天等甚至更长时间。后期需要对存储天数进行调整时，单台存储设备的空间资源无论是扩容还是缩容将无法真正做到存储空间的按需分配；

　　3、存储资源融合问题。安防行业涵盖门禁、报警、对讲、出入口控制、视频监控、电警卡口等子系统，存储信息包括视频图像、图片、文本、告警信息等。各子系统建设不同的存储用来保存信息，存储资源难以有效融合和利用，形成了事实的信息孤岛；

　　4、设备性能和存储空间共享及利用问题。按多台存储设备叠加方式部署的视频监控系统，一般先期建设的存储设备已经满负荷运载，而后期建设的存储设备在考虑系统扩展性后有一定的性能和存储空间冗余，但这部分性能和存储空间冗余就很难共享、也不便故障切换。

云存储解决方案

　　云存储技术则能够很好的解决上述问题。云存储是在云计算和存储概念上延伸和发展出来的一个新的理念，是一种新兴的网络存储技术，它通过集群应用、网络技术、分布式文件系统等将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储可对系统内的设备资源、带宽资源、存储空间资源等进行有效整合，可为用户提供大容量、高性能、高可靠的透明存储服务。相对于单台存储设备来说，云存储系统具备如下优势：

　　1、线性扩展的高并发读写性能。单台存储设备的并发读写性能容易受到控制器的CPU、缓存及网络接口的能力限制，读写带宽一般在512MB/S~2GB/S之间。而云存储系统可以利用集群技术将存储节点间的带宽和多台存储设备的处理能力进行聚合，随着存储节点数量的增加可以实现读写带宽、处理能力的线性增长，从理论上来说读写带宽可以是无限的。在实测中，已经达到整体读写带宽超过200GB/S的性能指标；

　　2、海量存储空间的弹性扩展。存储空间弹性扩展采用的是虚拟化技术，把众多存储设备虚拟化成单一的便于管理的逻辑设备形态，物理磁盘分割成虚拟磁盘，将虚拟磁盘深化采用细粒度管理和虚拟磁盘操作技术，从而获得更高更灵活的管理效率、性能和容量空间，通过虚拟化磁盘分配技术，提高磁盘利用率。存储虚拟化技术可以很好地解决当前各种形态设备的存储容量的统一管理和磁盘容量的动态分割，实现自动化管理，云存储中的存储设备数量庞大且基于网络的异地分布。现在的存储设备类型非常丰富，包括传统的存储设备如IPSAN、FCSAN、NAS、FCIP等，不同类型和形态设备之间的容量管理、设备管理，对于庞大的存储云来讲都是一个巨大的挑战，所有的存储资源都必须得到有效的管理和利用。采用虚拟化和存储池技术，可以把不同类型的存储设备虚拟化成为存储网络上的一个节点，在逻辑结构上消除异构形态设备的差异，把容量汇聚成一个巨大的虚拟存储池，并可以更容易地进行逻辑容量分割，大幅度提升存储效率。

　　3、统一的设备管理与资源呈现。云存储解决了多台存储设备叠加带来的设备管理问题。通过集群技术，将几十台、几百台的存储设备统一管理，通过统一的运维和管理界面，向用户呈现整个云存储系统的资源和设备使用情况：整体空间利用率、单设备空间利用率、读写带宽、设备负载情况、设备运行状态等。例如由二十台云存储设备构建的一个一千路视频10PB的云存储系统，用户在使用过程中，不需关心前端10000路摄像机的视频图像究竟是存储在哪一台设备上，只需要选择后端这个10PB大小的空间统一存储资源池，就可以非常方便的完成存储部署，可极大简化用户管理与维护的复杂度，有效提高工作效率；

　　4、提升设备资源处理和存储空间共享能力。由于设备处理能力、存储空间、带宽无法实现聚合，单台存储设备的处理能力和存储空间都无法与其他设备进行有效共享，而云存储系统则可以灵活的进行统一管理和共享。云存储采用统一的全局命名空间，可以提供多种数据访问接口（SOAP、REST、HDFS、POSIX等），支持主流的文件与数据传输访问协议（NFS/CIFS、iSCSI、HTTP、FTP等），可以与各种上层应用程序进行完美配合；

　　5、更高的数据安全性与可靠性。像宇视科技这样的行业优秀存储设备厂商已经通过模块化的部件冗余设计来实现单台存储设备的数据安全性和可靠性：双控制器、双电源、双电池、双风扇、双BIOS等；数据安全性可以通过RAID、镜像、快照、复制、CDP等技术实现。但是当存储设备自身出现故障或数据中心机房断电时，整个数据读写业务依然将无法交付。所以许多存储系统，通过灾备方案进行保障：同城/异地灾备、两地三中心、双活等方案来保证业务的连续性和可用性，但是在应对视频监控领域的海量数据存储，采用这些灾备方案明显难以实现（数据量过大，建设成本太高）。云存储除了单机性能及灾备之外，还通过N+M纠删码技术实现网络RAID功能、多副本复制技术能够实现跨存储设备间的数据保护。如果某台存储设备故障，其上承载的数据写入业务都会自动转移到云存储系统内的其他存储设备上，对于数据读取业务，则可以通过其他非故障存储设备运算的方式或者访问副本的方式完成；

　　6、总拥有成本(TCO)较低。云存储系统采用高性价比的以太网络和存储节点构成，比传统的中高端存储设备具有更好的性价比优势。云存储扩容相对比较灵活，可根据业务随时随地的进行弹性扩展，用户不需要在建设初期一次性购买，当需要时可在线进行性能和容量的方便灵活的扩展，可以在建设、管理、运行、维护等上大大节省用户的总拥有成本(TCO)。

为了充分展示云存储的特性，以下参考宇视科技的存储产品技术来阐述云存储的几项技术：

　　1、高性能的端到端iSCSI块直存技术。宇视科技视频监控存储产品，针对视频监控业务的特点，结合宇视科技的IP全交换技术、iSCSI块直存解决方案，从不同层面进行优化，提高视频监控的性能，从而达到了业界领先的性能水平。它实现前端摄像头将视频数据通过iSCSI协议以块直存的方式写入存储设备，无需经过媒体服务器，既缩短了I/O路径，也不存在文件存储的碎片问题，从解决方案层面进行优化，极大地提高了视频监控的接入和写入性能。

　　IP全交换技术和端到端iSCSI块直存解决方案与传统IP流媒体交换方案对比如下图：

　　2、创新的磁盘数据保护技术和RAID改进技术的高可靠性。宇视科技视频监控存储产品提供全方位的数据保护，从磁盘级到系统间级，多重保护，为数据安全保驾护航，这里重点介绍其中几种技术。

　　（1）磁盘坏块替换。当磁盘出现介质写错误之后，将I/O重新写到保留的一块区域，下次读这个I/O的时候，就直接从这块保留的区域读出；

　　（2）创新的超级RAID多重重建方式。“无感知”局部重建，如磁盘短暂离线，或者被错误拔出后重新插入时只重建数据发生变化的条块，不对整个硬盘进行重建；快速重建，当硬盘健康指数超标或者硬盘出现无法修复的读写错误时，通过快速拷贝方式来重建数据，无法拷贝的条块，采用异或方式重建；重构重建，如硬盘无法识别，长时间拔出时，按照传统的重建方式，将数据通过异或运算，将数据恢复到热备盘上；

　　3、块虚拟化RAID-NT。块虚拟化RAID-NT技术是浙江宇视科技根据传统RAID技术跟未来存储技术的发展趋势，推出的新一代存储设计技术，结合高速缓存体育排序技术大大提高了业务性能、重建性能，基本原理如下图：

　　块虚拟化RAID-NT最大的优势就是快速重建。随着硬盘容量越来越大，RAID重建时间越来越长，导致阵列失效的风险大大增加。一旦在重建的过程中，其他硬盘发生故障，则会导致整个阵列数据的丢失。块虚拟化RAID-NT主要就是为了解决这个问题而设计的，不像传统RAID重建，只有RAID阵列中的硬盘参与重建，数据重构到热备盘，受限于热备盘的瓶颈。RAID-NT重建，整个磁盘池中所有的磁盘都会参与重建，磁盘池中的磁盘越多，参与重建的磁盘就越多，重建当然也就越快。重建的时间窗大大缩短了，阵列失效的风险也大大减少。

　　4、设备异常掉电后的数据保险箱技术。在设备异常掉电后，系统配置的电池会继续给系统供电以保证写缓存整个空间数据保存到内置的“数据保险箱”中。当设备恢复供电正常重启后，系统会将“数据保险箱”的缓存数据加载到系统缓存中，并根据策略及时把缓存数据刷到RAID磁盘中，确保数据在任何情况下都不会丢失。

　　5、多重数据保护网络RAID纠删码技术。宇视云存储通过支持N+M纠删码技术实现网络RAID功能，支持节点间的数据保护。文件写入的时候，会分成固定大小的数据块，每个数据块分成N片，通过纠删码算法，得到N+M个数据分片，离散写入不同的存储节点。取数据块的时候，只需要读取任意N个数据分片就可以了。相比3份复制33%的磁盘利用率，2份复制50%的硬盘利用率，N+M纠删码高达80%的硬盘利用率，大大节省了用户成本。如下为4+2的纠删图。

源数据分片和冗余数据分片

结束语

　　安防视频图像的存储特点是对实时的存储性能要求较高，而云存储的系统架构决定了它能够以较低的总拥有成本满足海量高清视频的并发写入/读取，并能实现快速配置和即插即用。目前云存储在平安城市、体育交通等大行业市场以及基于公有云架构的民用市场已经得到应用，今后随着网络化更全面普及和海量视频共享需求的快速增长，各行业的推广应用前景将更加广阔。

　　纵观整个国内外安防视频监控市场云存储厂商现状，数据存储厂商、安防存储厂商云集、全力角逐：安防厂商基于对业务的理解顺势推出安防专用云存储，数据存储厂商力推通用云存储以期满足用户多样化需求，整个安防存储市场竞争日趋激烈。但是不管数据存储厂商还是安防存储厂商要做好安防云存储，都需要不断自我提升：数据存储厂商应该多了解安防视频监控业务，了解业务模型的差异，使通用云存储更符合安防视频监控行业的实际需求；安防厂商则应该在提供多种数据访问接口，满足用户多样化业务需求上多下功夫，相互取长补短，满足用户实际使用需求才是产品获得市场占有率的制胜法宝。而硬盘厂商也要针对安防视频监控存储市场提供容量更大、稳定性更高、具有更高性价比的硬盘产品，促使整个安防云存储的价格更加具有市场竞争力。

　　可以预见，随着越来越多基于海量数据的高清视频监控业务应用依托云存储架构解决方案，云存储在安防领域未来的市场应用将更加宽广。