东方网力科技股份有限公司副总裁 蒋宗文
海量视频催生智能视频分析应用大
数据集记录数众多(亿级以上),容量巨大(TB乃至PB级别),导致在采集、传输、存储、处理、检索、共享、分析、显示数据集时产生巨大障碍,无法采用传统的基于单机或小规模服务器集群的数据库、文件存储、分布式处理技术,而必须采用基于大规模计算集群或数据中心的可灵活扩展可容错的大规模分布式并行处理技术。大数据最早出现在科学计算和政府的信息处理领域,随着互联网业务的发展,互联网公司广泛采用了大数据处理技术,使得大数据的概念广为人知。当前大数据的应用热点是巨量数据中挖掘相关性,比如消费者行为分析、相关商品推荐等。
随着各地城市级联网视频监控系统以及高清摄像头的普及,视频录像数据正在快速增加。以一个部署了10000个摄像头的典型中等城市为例,假定每个摄像头每秒压缩视频数据量为1M比特,则一天产生108TB的视频录像,一个月产生约3PB的视频录像。
如此巨量的视频录像,用户很难从海量的视频录像文件中查阅和检索到所需的信息。因此可以通过视频内容智能分析技术,从原始视频中提取有意义的信息,主要是人车物等可能运动的目标事件。保守估计平均每个摄像头每10秒发生2个事件(人、车、物),则每天产生事件记录2000x3600x24=1.73亿条,每年产生约630亿条,假设保存3年,将产生1890亿条;假设每条记录的索引信息需要100字节存储,则需要19TB的磁盘空间;另外涉及的图片和视频剪辑的存储量更为浩大,保守的估算也需要5PB磁盘空间。
大数据的智能应用
可见,视频监控已经进入了大数据时代。
有了这些大数据,就可以做到很多以前无法做到的应用:实时交通状况分析:通过视频实时分析道路交通流量,然后综合分析统计出全城市的交通状况;套牌分析:通过视频进行车牌识别,按照一定的规则(如最近时间内一定距离以外)在全城市中检索相同车牌的汽车;犯罪嫌疑人追查:输入嫌疑人照片进行人脸特征识别并在所有视频中寻找该人脸;犯罪嫌疑车辆追查:输入嫌疑车的照片或颜色车型等相关特征在所有视频中寻找;人车物的轨迹分析:在所有视频中按照特征查找指定的人车物并绘制其时空轨迹;车辆的首次入城分析等。
与科学计算、互联网相比,视频监控的大数据处理难度尤大,首先,视频录像是更原始的非文本非结构化的数据,必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理;其次视频录像相对其它形式数据的容量要大几个数量级,对传输、存储和计算的带宽要求大。
如何处理如此巨大的数据记录?唯一的解决方案就是采用“云计算”(大规模集群分布式并行计算技术)。因此我们推出了智能视频云计算系统基于业界HadoopHDFS/HBASE/MapReduce云计算框架,结合自行开发的POSA组件式对象和服务架构,构成一个完整的视频采集、传输、存储、智能索引分析、检索的视频大数据处理系统。
随着视频监控应用的不断深化发展,目前各地已经开始集成大量不同子系统。作为智慧城市物联网应用的一部分,云计算视频大数据处理将为系统联网实战应用带来前所未有的用户体验。
推荐阅读:
安防大数据时代,海量信息的事后分析与处理
大数据时代,提升“统一监控”平台的门槛
安防领域的大数据时代尚未到来