研究方向与研究内容

东南大学多媒体技术研究所/江苏省数码技术工程研究中心致力于信息与通信工程学科领域的科学发现和技术创新，鼓励基础性、战略性、前瞻性和原创性的积极探索，主要研究各种媒体（特别是图像、声音和视频）信息的采集、压缩、传输、处理、识别、理解、表示及展现，目前集中在多媒体信息处理、通信信号处理、人工智能信号处理这三个主要研究方向上开展研究工作。                                      

对各种媒体信息的采集和获取是多媒体信息处理的基本前提。在视觉媒体方面，我们曾研制了多种图像/视频采集卡、压缩卡以及“IP数字摄像头”，取得了“四画面图像采集器智能监控装置”、“自启动型数据采集器”和“一体化专用信息采集终端”等专利授权。在味觉媒体方面，我们曾研究了对于液体浓度与成分的实时传感和采集方法。利用光纤表面等离子体共振（SPR）的传感器系统已形成产品，自行开发了光纤光谱仪和光纤温度传感器，取得了“纵向分布式表面等离子体波传感器”发明专利。针对空中无线电信息的获取，开发了超高速大容量的数据采集系统；通过采集型多媒体通信，定义了物联网。                     

信源编码/数据压缩是多媒体技术得以发展的重要前提。我们已完成与此有关的课题20余项（详见“科研项目”），获奖多项，发表论文数十篇，内容涉及图像、图形/二值图像、视频、语音、音频及工程振动信号等多种媒体；范围则覆盖太空（卫星遥感图像、火箭遥测数据）、空中（机载SAR图像）、地下（石油测井信号）和海底（地球物理勘探信号），取得并特许实施了“高效率保精度抗误码的信号压缩方法”发明专利。研究成果《数据压缩的原理与应用》出版后获江苏省高等教育教学成果一等奖，以此改编的《数据压缩》已作为国家级“九五”重点教材出版（2005年10月出版了第二版，并于2009年被评为江苏省高等学校精品教材；2012年8月出版了第三版，为  国家“十一五”规划教材）。受电子工业出版社委托，翻译出版了David Salomon的专著《Data  Compression》。参与了国家信息标准化委员会多媒体技术专业分委会组织的将JPEG、MPEG等国际标准转化为我国国家标准的一系列翻译、审定工作，以及中国自己的音视频压缩标准（AVS）的审定工作。经Intel（中国）公司授权，编译出版了《PC平台新技术MMX》；出版了《多媒体及其相关技术的原理与应用》、《多媒体系统：软硬体、原理及应用》（在台湾出版）和《多媒体及其通信技术》等著作。参加了国家标准《安全防范监控数字视音频编解码技术要求》（GB/T  25724-2010）语音频编码的制订工作。                                     

模式识别是赋予系统以某种“智能”的一个关键环节，我们的工作主要集中在图像识别与认证方面，涉及过对于身份证号码、汽车牌照、印章、新旧纸币、运动目标、人脸等的自动识别，以及MPEG-7国际标准中基于图像内容的检索，   取得了“四画面图像采集器智能监控方法”、“基于摄像头和话筒的多媒体人机交互方法”和“利用摄像头进行三维模型显示控制的方法”等发明专利。作为图像识别的预处理或特征提取的前期步骤，我们研究了图像与视频的运动估计、目标分割、退化恢复与超分辨重建等，开发了“医学影像通用处理系统”等产品，完成了多项图像数据库管理信息系统课题。               

所谓智能建筑是对建筑物的结构、系统、服务和管理这4个基本要素进行优化，使其为用户提供一个高效、经济的环境。我们主要从多媒体系统工程特别是采集型多媒体通信的角度研究智能建筑、智能大厦、智能小区和智能家居。开发了“数字硬盘录像机”（DVR）、“数字图像智能监控远程报警系统”和“基于IP网络的多媒体监控系统”等产品，建立了网络化多媒体监控系统的实验测试平台。参加起草了江苏省地方标准《建筑智能化系统工程设计标准》和建设部《智能化小区系统设计导则》，出版了《智能小区系统工程技术导论》，起草了公安部“警用远程监控数据格式与接口”  和建设部“建筑设备监控系统第9  部分：城市电视监控技防系统监控网络通信协议”两个行业标准，提出了“用于电力线通信的电源自同步反相调制解调器”的发明专利申请。通过创办科技型公司承接、完成了数十项实际工程，总额数千万元，取得了总后司令部颁发的“多媒体远程报警系统的设计、生产和服务”的认证证书。完成了华为技术有限公司委托的“视频传输端到端原型系统”，以及基金项目“复杂环境多摄像机协同视频自动预警关键技术”。                 

无线通信技术的快速发展和智能手机的迅速普及，带来了人们对无线数据传输需求的爆炸性增长。为进一步提高数据传输速率，通过增加基站天线数目构建大规模MIMO（Massive   MIMO）系统，是一种高效而相对便捷的方式。结合国家自然科学基金项目大规模MIMO系统中信道估计与导频设计研究，我们主要研究TDD及FDD大规模MIMO系统中的信道估计与导频设计，切实缓解导频开销不足的状况，提高信道估计效率，降低信道估计的复杂度。我们的研究工作Uplink  Channel Estimation for Massive MIMO Systems Exploring Joint Channel  Sparsity发表于知名SCI期刊——电子快报（Electronics Letters）上，受到了该期刊的人物专访报道。                   

高频段通信（或者称为毫米波通信，Millimeter-wave  Communications，mmWave）占用的无线频谱通常从30GHz到300GHz，可获得更宽的频谱资源，从而达到更高的无线传输速率。但是，频谱的提高带来了严重的路径损耗，为了抵消毫米波在无线传输中的高路径损耗，毫米波系统采用MIMO技术实现多天线波束成形，从而建立更加可靠的无线通信链路。由于毫米波的波长较短，可在很小尺寸上实现用于毫米波通信的多天线阵列。与常规频段的MIMO通信相比，毫米波MIMO通信采用混合预编码结构，包括数字预编码和模拟预编码，其中模拟预编码通过移相器网络实现高指向性的波束，数字预编码通常用于抵消多用户干扰。另外，毫米波MIMO信道呈现稀疏性，利用现有的稀疏信号处理技术的优势，能提高毫米波MIMO信道估计性能。结合国家自然科学基金项目多用户毫米波大规模MIMO系统的波束训练与混合波束成形、“毫米波大规模MIMO的信道状态信息获取与跟踪技术研究”和中兴通讯产学研合作项目“毫米波MIMO通信物理层技术研究”等，我们主要围绕毫米波波束训练、混合波束成形设计、多用户波束分配、信道估计、波束和码本设计等方面开展研究，相关工作已整理发表于IEEE  Transactions on Signal Processing、IEEE Transactions on Wireless  Communications、IEEE Transactions on Communications、IEEE Transactions on  Vehicular Technology、IEEE Communications Letters等SCI期刊及ICC、Globecom等会议上。  特别是提出的“毫米波多用户并行的分层码本训练方法”获得了2019年度IEEE全球通信年会GlobeCOM的最佳论文奖，学生也获得了IEEE  ComSoc Student Travel Grants。

作为数学和信号处理领域的研究热点，压缩感知（Compressed   Sensing，CS）技术正受到研究者们的广泛关注。由于理论上任何信号都具有可压缩性，只要能找到其相应的稀疏表示空间，就可有效的对信号进行压缩和重建，因此，压缩感知技术有望大幅降低资源开销，提高系统效率。结合教育部博士点基金基于压缩感知的OFDM信道估计理论与关键技术研究和华为创新研究计划项目压缩感知算法及其在无线信道估计中的应用研究，我们研究了基于压缩感知的稀疏信道估计技术，公开了认知无线电中基于稀疏信道估计的导频设计方法、稀疏信道的导频优化方法、装置和信道估计方法、一种导频排布确定方法及基站等国家发明专利，并申请了国际发明专利Pilot  frequency optimizing method, apparatus and channel estimating method  for sparse channel，相关研究工作发表于IEEE Transactions on Communications、IEEE  Transactions on Vehicular Technology、IEEE Signal Processing Letters、IEEE  Communications Letters、IET Signal  Processing等国际知名期刊以及IEEE的年会ICC、ICASSP、WCNC、VTC等。在十二五国家级规划教材《数据压缩》第三版的改版中，我们也增加了压缩感知相关的内容。OFDM正交频分复用系统的稀疏信道估计及导频设计方案，2018年获南京市第十二届自然科学优秀学术论文奖二等奖。此外，稀疏信道估计作为三大核心技术之一获得2018年度教育部技术发明奖二等奖。                     

理念上，我们希望把数字传输系统中从信源到信宿的全部信息处理、信号变换和信道传输环节作为一个有机整体，以系统的总体最佳为优化目标，实现通信中的联合信息处理。在信息论与编码的理论框架下，我们主要研究信源-信道联合编码/调制，通信系统的神经网络实现，微弱信号的随机谐振（SR）检测和混沌检测，基于压缩感知的信道估计，以及通信信号的非线性处理和盲处理等。   我们研究了“无线环境下端到端视频编码联合功率率失真模型”，取得并特许实施了“时-频混叠信号的几何特征滤波方法”、“一种短波变速通信系统及其使用的多径估计与分离方法”和“基于EBPSK信号冲击滤波响应几何特征判决的解调器”发明专利，公开了“利用瞬态峰值能量的猝发通信方法”、“用于解调多路ABPSK信号的数字滤波器组”、“用于消除ABSK信号冲击滤波响应起始振荡的方法”、“基于同一窄带滤波器的双载波ABSK通信系统”和“一种非正交多载波相位编码雷达系统”等发明专利申请，还提出了“基于EBPSK调制的双频综合电子系统及其实现方法”和“基于EBPSK/MPPSK调制的雷达通信机及通信方法”的国防发明专利申请。最近在国家自然科学基金支持下，正在研究“独占加共享的频谱划分模式与高效传输体制”。                                       

实践中，随着数字信号处理技术和VLSI工艺的发展，无线电设备中正把宽带A/D和D/A尽可能贴近天线，产生了软件无线电和软件定义无线电的概念。在此基础上，认知无线电（CR）技术旨在使无线网络具有认知周围环境的能力，并能智能地自适应环境的动态变化，从而有效提高频谱效率、降低网络运营成本、增强网络抗干扰能力，从顶层用好公共资源。我们主要研究基于软件的空中无线电信号的自动检测、定位、分选、识别、解调、解码等；30MHz-3GHz频段分布式无线频谱监测系统的数字化处理；模拟电台的数字化接口等。参加起草了江苏省工程建设标准《室内无线电信号覆盖系统建设规范》；“模拟电台通信业务数字化改造”2011年1月通过XX  军区装备部鉴定，2011年10月获军队科技进步三等奖；“模拟广播与通信业务数字化改造核心模块”2013年12月获江苏军民结合科技创新三等奖  ，目前正在用于“船联网” 。                   

频率是一种宝贵的资源，而所谓“超窄带通信”，即希望在单位频带内传输更高的码率，涉及到对于经典无线通信理论与技术的重新审视和反思。我们主要结合国家自然科学基金、江苏省高技术研究/自然科学基金、国家863计划、博士后基金、研究所和企业委托以及国际合作等，研究与开发超窄带（UNB）高效调制的理论、技术、产品、系统和ASIC芯片。取得、转让了“等幅的高频带利用率的信息调制与解调方法”、“高频带利用率的信息调制和解调方法”、“统一的正交二元偏移健控调制和解调方法”、“多元位置相移健控调制和解调方法”、“频谱紧缩的扩展二元相移键控调制和解调方法”   、“扩展的二元相移键控调制突发通信快速同步方法”、“扩展的二元相移键控调制解调器及其实现方法”、“用于增强不对称二元调制信号的冲击滤波方法”、“伪随机序列相位调制的CP-EBPSK通信系统及其通信方法”和“用于电力线通信的电源自同步反相调制解调器”发明专利；取得了“扩展的二元相移键控调制解调器”实用新型专利；公开了“一种不对称二元调制信号接收机”、“码率可变EBPSK通信系统的自适应接收机”、“多元位置随机极性MCP-EBPSK调制和解调方法”、“一种多元位置3值MCP-EBPSK调制和解调方法”、“不对称的随机极性甚小幅相调制器”、“提升MPPSK调制解调器综合效率的收发系统”和“多元位置3值甚小幅相调制和解调方法”等发明专利申请，还提出了“基于位置信息的MPPSK解调方法”、“基于双零点冲击滤波器的MPPSK相干解调方法”、“一种MPPSK调制的多载波实现方法”、“MPPSK调制的跳时多址实现方法   ”和“AMPSK调制信号的微带相干解调器”等发明专利申请。目前正在进行高速突发通信、数字对讲机、无线传感器网络和面向智能电网的电力线通信产品研发。                     

又由于无线电波既是能量的载体，也是信息的载体。将无线能量传输（WPT）与无线信息传输（WIT）相结合产生无线携能通信（SWIPT），并有望“一加一大于二”，为人们生活带来深远的变革。基于信息与能量并行传输这一显著特点，SWIPT技术有望广泛用于高速RFID、WSN以及移动终端之间的信息交换与能量传输，不仅可交换高速信息，同时可有效地向各种终端设备馈电，从而消除了传统有线或电池供电所带来的不便，减小了终端设备的体积与成本，并极大地延长其待机时间，尤适合需大规模布撒的终端节点应用。而RFID和WSN正是支撑物联网的两大应用类别或分支。现有WPT系统均采用正弦信号作为能量载体进行无线输能，以获得较高的能量转换效率，但调制方案大多抑制载波，意在以香农信息论为指导以一定的带宽换取信道容量，“鱼与熊掌”难以兼得。而超窄带调制正是类正弦调制，其中保持的强正弦载波分量，用于同时给接收机馈电的SWIPT，得天独厚，对提升系统整体性能有重要意义。  已经提出了“AMPSK 无线携能通信系统的频域功率分配器”发明专利申请。                    

数字媒体广播是多媒体信源压缩与多媒体数据传输和多媒体信息展现的结合应用，我们主要结合国家自然科学基金、国家十二五科技支撑计划等项目，研究窄带数字   AM/FM广播及其虚拟无线电实现，开发数码收音机及其IC芯片和多媒体广播应用软件，推进窄带多媒体无线广播的产业化等。取得、转让了“向下兼容的调幅广播数字化传输方法”的发明专利，提出了“基于数字广播的应急广播系统”的发明专利申请，   与企业合作开发了移动多媒体数字广播接收机/手机电视等。针对无线广播和电视的数字化，开展了基于数字广播电视信号的移动定位与导航研究，得到了教育部高等学校科技创新工程重大项目培育资金项目的资助，取得了“基于数字广播电视信号的无线电组合定位方法”、“用于非同步输入数据的平滑滤波方法”和  “构造低峰值旁瓣雷达脉冲压缩波形的方法”发明专利，提出了“一种兼容中波模拟调幅广播的复合调制系统”的发明专利申请  。正在进行国家自然科学基金项目“新一代导航卫星体制设计暨调制解调系统研究”。                    

 人工智能（Artificial  Intelligence，AI），是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门科学。人工智能就其本质而言，是对人的思维的信息过程的模拟。课题组主要侧重于将人工智能技术用于5G无线通信，实现智能通信、万物（包括人、包括机器）的智能互联，并利用大数据技术对海量的数据进行智能处理，在此过程中重点研究人工智能信号处理技术及算法实现。我们将深度学习用于无线信道估计，充分发掘了波束域信道的稀疏性，采用了压缩感知信号处理技术，并结合了深度学习的优势，使用神经网络来预测波束域信道向量的主要元素位置，从而提高了信道估计性能，相关成果获第11届无线通信与信号处理国际会议（Eleventh  International Conference on Wireless Communications and Signal  Processing，WCSP）的最佳论文奖。