中国学术期刊网

首页 > 信息科技 > >基于DSP的音视频采集处理系统设计
信息科技

基于DSP的音视频采集处理系统设计

时间:2018-08-05 13:30作者:admin打印字号:


基于DSP的音视频采集处理系统设计
杨鸥宁1、2,岳凤英1,岳妮3,麻少轩3
(1.中北大学 计算机与控制学院,山西 太原 030051;
2.北京雷博曼科技有限公司,北京 100070;
                  3.内蒙古蒙东能源鄂温克电厂,内蒙古 呼伦贝尔 021000)
摘要:提出了一种基于FPGA和DSP的机载音视频采集处理系统。以视频H.264和音频G.711编解码算法为核心思想设计了一种以TI公司DM8168为核心的机载音视频采集处理设备的软件系统。基于嵌入式Linux系统的开发环境,完成了Bootloader的编译、内核与文件系统的移植、DM8168多核的调用,并在DSP上完成了视频H.264编解码算法和音频G.711编码算法的设计和在ARM端的调用管理。最后,利用Qt4 + SDL+FFMPEG方案在地面回放设备上编程设计了人机交互界面,实现了音视频信号的解码和输出显示。
关键词:机载记录仪;嵌入式系统;DM8168;H.264编码
中国分类号:TP277            文献标识码:A
The Design of an Aviation Audio and Video Signals Acquisition
and Processing System Based on DSP
Yang Ouning12, Yue Fengying1,Yue Ni3,Ma Shaoxuan3
(1.School of Computer Science and Control Engineering, North University of China  Taiyuan, Shanxi Province, 030051;
2. Beijing Laborman Science Co.,Ltd  Beijing, 100070;
3. Inner Mongolia Mengdong Energy Ewenke Power Plant  Hulunbeier,Inner Mongolia,021000)
Abstract:Put forward an aviation audio and video signals acquisition and processing system based on DSP.The software system of aviation audio and video signals acquisition and processing terminal is designed based on TI DM8168 and kernel of H.264 video coding and G.711 audio coding.The embedded Linux system is established as the design environment, which includes Bootloader building, cropped transplantation of system kennel and file system.The method of employing multi-core of DM8168 is also given. Moreover, the arithmetic of H.264 video coding standard and G.711 audio coding standard is implemented on DSP of DM8168, but system management scheduler is work on ARM. Finally, another software is designed to play these data on ground, which employ Qt4 + SDL+FFMPEG. This software has interactive interface and can decode and display the video and audio data.
Key words:aviation recording system;embedded system;DM8168;H.264 coding

0 引言
伴随着数字信息技术、数字多媒体技术和网络技术飞速发展,可视化应用技术在视频监控、图形识别、复杂环境探测等应用领域得到了广泛的应用[1]。特别是在航空工业领域,经常需要实现在飞机飞行过程中对各种机载状态信息的实时记录。尽管音视频信号,特别是视频信号数据量大,技术要求高,随着大规模集成电路的发展与计算机技术的进步,采用光纤传输、数字图像压缩技术实现高压缩比、高质量的图像数字化压缩记录已成为可能[2]。数字化的记录方法可以将视频数据经过压缩记录在大容量的存储器上,有效消除噪声,增加记录时间,快速拷贝和复制,快速回放和查找[3-4]。本设计即应用在某飞机的音视频记录系统上,通过高清摄像头、机通等设备和光纤等,将外界信息记录并压缩存储,飞机飞行任务完成后,可解压缩回放音视频图像数据。基于嵌入式的音视频信号采集及处理系统在飞机日常执行任务中发挥着十分重要的作用[5-8]。该系统可以实时记录飞行器飞行及作业过程中的各种信息。它能够直观、真实地反映飞机执行任务书在空中飞行和操作情况。通过地面回放设备的回放,可以准确掌握飞机执行任务时各

种作业情况,用于相关人员的分析,提高实际作业水平。

1 系统组成
机载音视频采集处理系统包括音视频信号采集、处理、数据存储与回放显示四部分。其中音视频信号采集、处理、数据存储功能在机载记录仪上完成。记录仪主要由信号处理板、存储板、加热板、电源板4个功能板再配上底板和转接板组成,其中4个功能单板之间的互联关系及与外部信号间的关系如下图1所示。记录仪核心板为信号处理板,核心芯片主要有TI公司DM8168和Kintex7 352T,对音视频数据进行处理后压缩。系统将对5路ARINC818传输格式的视频流以及实时采集的2路音频信号进行处理,其中5路视频流经光模块进行光电转换后,进行ARINC818解码,解码后通过DSP对数据进行H.264压缩处理;音频信息进行模数转换(ADC)后,将数字音频信息嵌入时统信息(精确到秒)和Mark点信息,处理完成后通过DSP对音频信息进行G.711压缩,最后,将压缩处理后的音频信号数据、视频信号数据通过SATA接口分路存储到储存板中。


图1 音视频采集处理系统整体结构

2信号处理模块设计
2.1硬件设计
信号处理模块主要由可编程逻辑器件(FPGA)和数字信号处理器(DSP)构成。Kintex7 325T(FPGA)将RGB格式的视频信息转换为YUV格式并输出至DSP ,DSP负责对音频信息和视频信息进行压缩和存储。由于视频信息采用ARINC818格式传输(分辨率为1920x1080,每秒30帧左右),数据量大,压缩数据过程占用了大量的运行时间,一般的嵌入式设备很难达到此要求,因此采用ARM核心和DSP核结合的方式,DM8168就是这样一款SOC,芯片具备一个主频高达1.35GHz的ARM Cortex-A8 RISC处理器和一个主频高达1.125GHz的C674x DSP处理器,ARM核心作为主控来处理各个线程的协调与调度,DSP核心专门用来压缩数据。DSP与ARM之间通过共享内存的方式交互视频数据,即ARM将视频数据通过共享内存传输给DSP,DSP编码压缩完成后再回传给ARM,在DSP编码压缩数据的过程中,ARM有大量时间做其他的事情,如将音频信息、视频信息串行数据流通过SATA接口存入至存储板。针对有5路高清视频的采集任务,DSP采用两片TI公司的TMS320DM8168 Davinci数字媒体处理器。第1片DM8168处理3路视频,第2片DM8168处理2路视频。具体硬件设计如图2-1所示。


      图2-1 音视频处理模块硬件设计框图

2.2 软件设计
对高清视频流的读取工作和对压缩处理后的数据的存储工作要求时效性很强,要求操作系统除具备一般操作系统最基本的功能,还要具有较强的实时性、良好的体系结构的伸缩性和外设接口的统一性等优点。采用嵌入式系统作为机载记录仪的操作系统无疑是个良好的选择。虽然目前常用的嵌入式操作系统中VxWorks,Windows CE,uC/OS-II,Linux 等,但嵌入式 Linux 具有应用广泛、功能强大、可应用于多种硬件平台等一系列优点。因此,选用嵌入式 Linux作为机载记录仪的操作系统。
在嵌入式Linux操作系统上,系统的软件设计主要包括底层驱动程序设计及应用程序设计。底层的驱动程序完成与硬件系统的连接及沟通。驱动部分包括硬件的驱动程序、引导/加载程序及参数配置程序等。应用程序部分包括视频编码、压缩、存储程序设计等。系统采用C语言编程,并在一个进程下采用多个线程的方式实现视频的编码、压缩、存储等功能。系统软件设计框图如图2-2所示。


 
图2-2 音视频处理模块软件设计框图

3实现的关键技术
3.1 视频流处理流程
DM8168是一款多核异构的片上SoC,它拥有ARMCortexA8以及DSPC674x+、M3VIDEO、M3VPSS等协处理器,具有强大的视频图像处理能力。本系统在软件设计时,采用MCFW(MultichannelFrameWork)软件框架来实现多个核之间的通信和分工合作,视频流处理流程如图3所示:


图3 MCFW视频流处理流程

从上图中可以看到本系统的视频处理流程,首先,M3VPSS核使用CaptureLink(视频捕获)从TVP5158芯片捕获到视频信号,由于捕获进来的视频图像为隔行扫描格式,不利于在算法中对图像作处理,所以需要使用DeiLink预先做反交叠处理,使图像转换为逐行扫描模式。接着,分别利用IPC_OUTLink和IPC_FRAMES_OUTLink将视频帧“引”到M3VIDEO核和DSP核。其中,M3VIDEO可以使用Encode/DecodeLink完成视频编解码,编码后的视频帧通过Cortex-A8核上运行的linux文件系统存放在存储介质中,同样也可以通过用户操作,将存储的视频读取、解码并传回到M3VPSS进行显示;C674xDSP核在接收到M3VPSS核的视频图像帧后,根据需要执行相应算法,如均值偏移算法,图像被处理好后,又返回到M3VPSS。SWMSLink的主要作用是负责将多路图像进行拼接,使它们能够在同一帧图像上同时显示,当然每一幅图像的大小会被缩小,SWMSLink通常被用在视频监控的缩略图像中。在视频经过所有处理后,分别以标清和高清的形式显示在对应屏幕上。
3.2 基于DM8168下的视频H.264编码压缩
在本设计中,首先将输入的视频信号进行处理,划分为H.264的基本单位宏块(16×16像素大小)。每个序列的第一幅图像,即IDR(instantaneous decoding refresh)帧,采用帧内(intra)编码模式,该模式的每个像素的空间预测只能将同一帧内与之相邻的像素点作为参考。两个IDR帧之间的图像使用帧间(inter)编码,该模式下首先进行时间预测,在进行变换编码前,需将预测后的残差再划分为更小的4×4的块,利用整数变换对每一块进行处理,量化变换后的系数,最后熵编码输出。编码器端若包含一个将下一帧编码图像的参考帧的重构过程,即一次进行量化后的系数进行与解码器同步的反量化和反变换过程,重构出解码预测残差,再和运动估计图像相加,能够更准确地进行预测。视频采集通过TI DSP/BIOS Driver Developer’s Kit实现,它提供了C语言接口的视频接口驱动程序Vport。主要步骤如图4所示。

 
图4 视频编码主要步骤图

 
 

4结果分析

本系统中5路视频均为全高清,有2路视频为1920*1080/30fps,其余3路视频为1920*1080/21fps,视频码率为16Mbps。6小时视频压缩后的数据量为151.2GB,6小时音频压缩的数量为675MB;系统硬盘为1TB,足够满足飞机每次执行任务的时间(最多飞行6小时)。飞机音视频记录的工作环境复杂、外界干扰强,通过优化系统设计减少了获取图像的干扰,通过地面解码回放软件对机载音视频信息进行回放,可对飞机每次执行任务的工作情况进行再现,有利于提高飞机日常作业的工作效率等。回放界面如图5所示。

 
图5 音视频回放界面

5 结束语
本文介绍了一种基于嵌入式的音视频信号采集及处理系统。该系统性能稳定,实用性强,能够满足飞机飞行6小时的5路视频和2路音频信号的采集、存储和回放,满足最初的设计要求。此系统可广泛运用于军工视频采集、记录、轨道交通实时视频监控、医疗视频监控采集等需求高清视频和视频实时性较高的行业。高清视频的压缩存储为后续的安防等行业提供备查信息。结构设计合理,集成度高,具有很强的通用性,软件模块可以进一步丰富,对其他的音视频信号采集及处理系统也有一定的借鉴意义。
参考文献:
[1]  刘 芳.车载嵌入式高清视频处理终端的设计与实现[D].北京:北京交通大学,2012.
[2]  沈兰荪,卓 力,田 栋等. 视频编码与低位率传输[M]. 北京:电子工业出版社, 2001.
[3]  姜忠兵,罗 钧,杨晓花等.基于TMS320DM8168的高清视频编码技术与实现[J].数据采集与处理,2013(6):690-695.
[4]  吕 勇. 基于DSP的机载视频记录仪设计[D]. 南京: 南京航空航天大学, 2003
[5]  李 超, 肖 健. 嵌入式 Linux 开发技术与应用[M]. 北京: 电子工业出版社, 2008.
[6] 刘云峰, 黄 英, 何新鹏. 基于arm9的嵌入式Linux系统移植器[J]. 工业控制计算机,24(6):44-45. 
[7] 刘喜龙, 石中锁. 基于 H.264 的嵌入式视频服务器的设计[J].微计算机信息, 2005, 21(1): 133-134.
[8] 曹贝贞, 李志康, 薛 松. 基于无线网络技术的数字视频监控系统[J]. 计算机工程, 2007, 33(1): 247-249.
作者简介
杨鸥宁(1989-),女,硕士研究生,主要研究方向:动态测试与智能仪器。
岳凤英(1977-),女,副教授,硕士生导师,主要研究方向:特殊环境条件下的测试技术。
岳妮(1985-),女,工程师,主要研究方向:维护部热控。
麻少轩(1986-),男,工程师,主要研究方向:运行部集控运行。
附:作者联系方式
地址:山西省太原市尖草坪区学院路3号中北大学
姓名:杨鸥宁
邮编:030051

 
上一篇:SULLY公司风挡加温故障的工程分析
下一篇:渤海海域钢制海洋石油固定平台 重量控制方法实践与改进做法