化繁为简——宇视科技CDS云存储

随着城市汽车保有量的逐年递增，由车辆所引起的交通事故、涉车案件也逐年递增，从公安、交警的角度出发，要能够完整记录车辆的行驶轨迹，因此一线城市每年50亿条结构化的过车数据，以及对这些数据的研判分析的需求,催生出大数据时代，一个将会对我们生活环境、工作习惯和思维方式带来强烈冲击的变革时代。其背后需要的是能对海量数据进行分析、信息提取、能服务于民生，促进各行业发展的提供商。以用户需求为主导，深度洞悉需求本质，挖掘需求的源动力的才能够领城市的发展。如何提取出视频中的各类人、车、物的信息元素，并进行关联分析，为快速城市反恐提供技术保障，也是现代城市信息建设的基本责任。

在未来的视频监控系统中，随着高清视频/图片采集的大规模应用，各类数据将呈现爆炸性的海量增长。根据IDC报告，未来十年全球数据将增加50倍，由2012年2.8ZB2020年将达40ZB （1ZB=1亿TB）。我们也清晰的发现，数据来源及获取的渠道越来越多。数据模型也从最初的结构化数据为主发展到半结构化或非结构化数据占比越来越高，数据关系由简单发展到复杂……

视频监控系统中需要存储的数据类型和数据应用的复杂程度不断提高，非结构化数据（例如：视频/图片）、结构化数据（例如：体育分析结果）等需要长时间持续地保存到存储系统中，并要求随时可以调用和分析，这对新一代安防视频存储系统的性能、可靠性、安全性、体育化以及运维管理等方面都提出了新的要求。

宇视科技深刻理解视频领域用户对未来云计算和大数据在体育交通、平安城市中的建设需求，引领创新视频安防监控行业新推出融合战略，通过计算、存储、网络、虚拟化、视频监控等技术创新和融合，采用开放架构与第三方系统融合，实现精简部署、精简运维和精简管理，快速满足不断变化的业务需求，提升业务工作效率，进而实现“云监控、易安防”。在非结构化/半结构化存储领域，宇视科技推出了CDS（CloudDirectStorage）系列推出了视频云存储，保驾公安机交警业务、促和谐民生。

CDS云存储作为宇视科技云计算领域的核心技术之一，通过软件将系统内大量的存储设备管理起来，运用分布式技术、虚拟化技术、集群技术等对系统内的设备资源、存储空间资源进行整合，为用户提供大容量、高性能的透明存储服务。

海量数据秒级检索、永无碎片

CDS云存储系统可扩展至上百PB级，音视频数据量过亿条，但是依然能够具备高效、准确、快速的数据检索能力。

一体化索引设计

CDS云存储系统的索引管理遵循宇视一代云“数据块直存”的思路。所有与用户业务相关的索引信息统一由云存储系统的存储管理节点进行管理。视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、筛选进行了全面的优化，大大的提高了查找速度。在规模不断扩大时性能几乎相同，均能做到毫秒级耗时。

与平台的应用设计

CDS云存储系统本着安防云存储系统的特有性，在视频、图片的某些专有信息上也进行了独特的设计。平台可以根据监控点位案件发生频率，调整录像的存储时长；也可以与大数据、体育分析业务联动，满足平台的易用性。

块级存储、永无文件碎片

传统文件存储的数据存储过程是：
● 数据 --> 文件系统 --> 卷 -->RAID -->磁盘数据块
● 整个过程中每份数据存储、读取都需要在单台存储设备上经过以上的流程，存在性能瓶颈也较多。安防行业中在设备层面还会更多的增加流媒体服务器这个环节。

CDS云存储通过SAN集群的设计，通过解决lun资源共享问题，对数据存储过程进行了优化，通过优化存储过程减少瓶颈、提高存储效率，优化后的数据存储过程是：
● 视频/图片--> Raid —> 磁盘数据块
● 整个存储流程简化，速率更快,对数据块的地址控制则由视频云存储管理服务器唯一进行控制。

统一管理、弹性伸缩

CDS云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过SAN集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。

存储资源的虚拟化

CDS系统将全域各存储节点的资源进行虚拟化，向用户呈现出一个持续的、超大的数据资源池，将其称之为存储资源池。存储资源池的整合过程完全透明，由系统算法自行完成，将用户从繁琐的空间管理和配置中解脱出来，提高了管理效率。

存储资源的在线扩展

当存储资源无法满足用户的容量需求，需要进行存储资源的扩展时，CDS云存储系统能为用户提供十分便易的操作。只需要在集群内添加新增存储设备的IP地址，系统会自动辨别新增设备，对新增设备进行虚拟化整合，这样新增设备的容量就能融入集群，并作为集群内全部存储资源的一部分为用户所用；同时，在整个存储资源的扩展过程中，在线业务正常运行，保障用户不会因为系统的扩容而中断正在进行的正常业务，从而实现存储资源的在线扩展，秒级交付。云存储的系统架构保证了存储资源在线扩容的同时，可以满足容量与处理性能的线性增长，从而提供了无限制的容量增长能力。

虚拟空间的灵活使用

用户对存储资源池的使用完全可以做到随心所欲，可以按照监控系统的需要和监控区域的容量大小将存储资源池的存储资源进行分配，分配后的存储资源称为录像池。录像池的划分采用灵活策略方式，对于已经分配好的并在线运行的录像池策略依然能够进行调整。调整方式非常灵活，不但能够做到将录像池进行扩大，同时也能非常灵活的支持将录像池进行缩小，而这点在传统存储中则非常困难。

高性能存储节点设计

由于安防云存储的大容量、高并发、低延时的业务需求，对于云存储的节点也提出了更多的性能要求，需要采用电信级专业控制器架构，硬件驱动上需要适配7*24小时不间断的海量视频存储而调优，同时配合双BIOS、Cache优化、PCI-E3.0/SAS3.0高速总线等技术，将整机接入性能提高。

同时，人工体育技术的发展，使视频存储系统的使用者摆脱了费时耗力的人工录像查找过程，体育分析服务器集群可以在几分钟之内快速检索一个小时的录像。对于视频存储系统而言，业务的读写比例将发生彻底的改变。宇视科技通过冷热数据分层存储和SSD固态缓存的技术，冷数据存储在SATA硬盘中，视频录像的调阅热点部分导入到SSD固态缓存中，从而可以对外提供更高的IOPS要求，存储写入与读取1:1比例，满足热点数据的高并发访问，满足体育分析服务集群的快速集中访问。

分布部署、统一管理的两级云存储模型

常规IT业务常常是扁平化、集中部署的云存储系统。安防系统的云存储系统结构与用户的组织结构、组网结构、管理模型等紧密相关，常常不再是扁平化的、集中部署的模型，而是逻辑统一、分布式部署的两级云存储模型，这种统一管理的组网模型能够统一规划和管理资源，同时能将主要的业务流本地化，节省跨层级带宽，而且层级之间的冗余保护也提供了更多的系统可靠性。

系统高可用性

CDS云存储系统具有故障容错机制，毫秒级切换，充分保护数据安全和可靠性。

负载均衡、故障切换、可靠性达9个9

CDS云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、业务压力、调度压力、检索压力等同时分担在不同的视频云存储管理节点上，不但能够使系统整体性能提升，还可以使得单台节点的压力下降。

CDS系统中单台视频云存储管理节点的系统消耗更小，也就使得使用寿命更长，可能出现故障的概率降低。即使视频云存储管理集群中部分（一台或多台）节点出现故障，也不会影响到视频云存储系统的服务，因为在视频云存储管理集群中的其他节点会主动接过故障节点的工作，继续为视频云存储系统提供管理服务。

支持多用户并发读取

在数据存储层面同样由于视频云存储节点也采用的集群化部署，所有的存储资源是采用虚拟化的方式由系统统一进行管理的。在数据存储时CDS视频云存储系统采用数据切片的处理机制，可以为用户提供系统级分散存储服务。支持将同一IPC提供的数据块按照分片的方式分布式存储在不同视频云存储节点上。

这样即使单台或多台存储节点出现故障该IPC的录像数据仍然可用。在存储节点内运行管理和业务软件也可用对数据进行合理分配，同时高效的 Raid技术在设备层面也能保证数据的高安全和可靠性。

带外架构、安全可靠

CDS云存储对于视频、图片的存储和控制采用带外架构，采用加密的数据块协议，从最底层数据传输部分保证了数据的安全可靠性。而且元数据与实际数据部分分离后，两者结合才能有效获取内容，进一步保证数据安全性。

小结：

宇视科技的CDS视频云存储方案，能实现一体化交付、统一管理、节点在线热插拔等特点，大大简化IT，实现精简部署、精简运维和精简管理，快速满足不断变化的业务需求，提升业务处理效率。基于视频图像的云计算技术、云存储技术、通过将大数据技术和视频监控技术的完美融合，为我们的智慧城市、智慧交通保驾护航。