计算机信息工程系
主任：张磊，副主任：张枢， 支部书记：张世周、白璐
1、概况
计算机信息工程系拥有三个国家级科研平台：“空天地海一体化大数据应用技术国家工程实验室”、“移动平台环境感知及空天应用国家级国际联合研究中心”，以及“无人航行实时智能感知与计算技术创新引智基地”，包含陕西省语音与图像信息处理重点实验室、计算机测控与仿真技术研究所、泛在系统软件实验室，以及机器人仿真技术实验室等，其中陕西省语音与图像信息处理重点实验室为陕西省“智能感知与媒体计算”重点科技创新团队、陕西省国际联合研究中心。计算机信息工程系主要开展人工智能算法及应用、智能感知与媒体计算、测控与仿真、泛在系统软件等学科领域的科研工作并承担相应学科的教学任务。
计算机信息工程系形成了一支年轻有为的学科梯队，进行国际前沿研究。不仅承担多项国家级军口专项、国家自然基金重点、863计划、国防基础研究等国家级重大（重点）项目，而且与腾讯、云知声、同盾等高科技公司成立了联合实验室，与微软、华为、阿里巴巴、百度等建立了良好的合作关系。成果获得多项国家教学成果奖、陕西省科技进步奖、国防科技进步奖等国家级和省部级奖项，在国际顶级领域学术竞赛中获得多项冠军，并在多家科技公司得到落地应用，研究水平得到了国内国际同行的高度评价和认可。
计算机信息工程系具有浓厚的国际合作氛围，与美国、英国、比利时、澳大利亚、加拿大、新加坡等国家的多所大学形成了长期的紧密合作关系，进行学生联合培养，联合发表学术论文上百篇。在陕西省语音与图像信息处理重点实验室与布鲁塞尔自由大学电子与信息系二十余年合作的基础上，2014年，在习近平主席与比利时首相的共同见证下，西北工业大学与布鲁塞尔自由大学签署了《最优先合作伙伴关系协议》。
2、师资力量
目前共有正式教职工53人，其中教授18人，副教授25人，副研究员3人，助理教授1人。。
3、教学与科研环境
计算机信息工程系拥有三个国家级科研平台：“空天地海一体化大数据应用技术国家工程实验室”、“移动平台环境感知及空天应用国家级国际联合研究中心”，以及“无人航行实时智能感知与计算技术创新引智基地”。
在长期的研究中，计算机信息工程系建成了多个特色研究环境。包括：
1) 沉浸语音研究与深度学习集群环境。拥有吸音隔音处理的专业听音室、音频信号采集与播放系统、双耳HRTF与声场测量系统、人工头模、各种专业麦克风与麦克风阵列、机器人听觉实验平台等专业设备，以及1万小时以上的各种语音语料库、多种听视觉情感数据库等。建有专业GPU集群环境，支持多机多卡大规模深度学习算法研究。详情参考http://www.npu-aslp.org。
2) 图像处理与模式识别研究环境。拥有多/高光谱数据获取设备、红外数据获取设备、紫外成像仪、可见光成像设备，以及图像处理与模式识别并行平台等。
3) 无人系统智能视觉感知研究环境。拥有M100,M600,DJI精灵4多旋翼无人机自主视觉导航探测平台、移动智能机器人SLAM视觉导航与自动驾驶研究平台、混合相机阵列光学引导实验平台，双目视觉/多目视觉/相机阵列/多相机平台、热红外/可见光一体机、相机阵列合成孔径成像实验平台、海康威视网络化多源视频采集平台、PointGrey高速摄相机、AXIS网络摄相机、阵列摄像头与麦克风、全景摄像头、Point Grey双目立体相机等，主要用于多源视频网络协同计算和移动平台视频智能计算等研究。
4) 计算摄像研究环境。拥有可变参数的聚焦式光场相机、阵列式光场成像系统、面向移动设备的微相机阵列光场成像装置、编码孔径光场相机。在自研光场相机的基础上，项目组研制全景光场采集及自由视点合成渲染系统、高质量光场采集及密集光场重建系统统筹等。详见http://www.npu-cvpg.org。
5) 计算机测控与仿真技术研究所拥有：测控试验与仿真技术研究室、测控网络技术研究室、测控系统集成技术研究室、泛在系统软件实验室、虚拟试验与测试研究室和虚拟现实实验室、高可靠安全存储实验室。拥有办公和实验场所800多平米，其中实验室近600平米，科研、生产与调测设备等总资产近1500余万元。仪器设备有50台PC机，Sun工作站、虚拟现实SGI工作站、虚拟仪器VXI工作站、PXI工作站、网络服务器、AFDX/FC高速网络交换机各种测试仪器、IP核及软件开发套件等。
6) 虚拟试验运行平台。广泛应用于航空、航天、船舶、兵器等多家国防科研院所。机载虚拟环境平台实现机载代码在开发平台和目标机间的无缝移植，克服了机载软件开发和验证对目标机环境的依赖性，应用到航电、机电系统的开发测试、全机机载系统设备的批产测试等领域。
7) 自主机器人学习与决策推理研究实物及仿真环境。拥有自主物件传递移动机器人实物研究平台、自主空中机器人决策推理研究仿真平台。拥有全球人工智能讲堂教学平台及环境。2009年至今，具有基于视频会议系统的全英文国际化课程——人工智能的教学平台和环境 “ShanghAI Lecture Series”，同时积累了丰富的相关教学资源。
4、主要学科方向
1) 智能感知与媒体计算
陕西省语音与图像信息处理重点实验室团队是陕西省重点科技创新团队，在人工智能与媒体计算领域有深厚的研究积累，在国家人工智能发展战略的带动下，正呈现蓬勃发展的态势。
在此学科方向下，具体研究方向包括：
● 人机语音交互、语音与音频信号处理、听视觉及移动可穿戴设备信号融合的情感识别与精神状态分析。
● 图像处理与模式识别：利用机器学习方法，研究面向光学图像、SAR图像等的遥感图像处理方法，包括超分辨、去噪、复原以及压缩等；以及面向遥感及常规图像的图像分类及理解方法等。
● 无人系统智能视觉感知与机器人视觉SLAM、图像处理与解译、计算机视觉。
● 医学影像智能计算
● 计算摄影学
● 跨媒体智能分析与推理
● 自动机器学习方法
2) 计算机测控与仿真
计算机测控与仿真技术研究所秉承“面向国防需求、推动自主创新、服务型号工程”的发展理念，近年来以国防工业试验与测试、军用软件工程、综合化航空电子等领域的关键技术问题为牵引，重点开展网络化远程测试与故障诊断、虚拟试验与测试、预测与健康维护、测控系统集成、航空总线与测试总线、复杂软件设计与验证、嵌入式航空电子系统设计与验证、高可靠安全大容量存储等技术领域的研究，形成了“以计算机为基础、软硬件相结合、面向应用、侧重系统”以及“计算机科学与技术、控制科学与工程、软件工程、仪器科学与技术”等多学科交叉、基础研究、技术创新与型号工程并重的学科特色。研究所已经取得了军工质量管理体系认证、武器装备科研生产许可证和武器装备科研生产协作配套许可证，技术力量雄厚，研究、设计、研发、验证和小批生产条件优越。
3) 泛在系统软件
聚焦信息物理融合系统、群体智能系统筹复杂系统的实时运行支撑与泛化资源管理，围绕泛在系统软件构造与演化机理、下一代机载软件体系结构与运行支撑平台、嵌入式AI技术等开展研究。
5、主要研究领域
1) 基于语音的自然人机交互：基于语音的人机交互是人工智能的最为关键的研究领域，也是国家“人工智能战略”的核心之一。随着AIoT的发展，语音交互成为下一个关键入口。智能语音交互技术涉及到语音学、信号处理、机器学习与模式识别、人机交互、生理与认知等多个领域，是一门典型的综合交叉技术。语音是人与人交流最为便捷自然的手段，我们的日常交流都是通过语音完成的。语音是人类同时能够产生和感知的最重要的生物信号（biosignal）。语音，“形简意丰”，这个看似简单的一维声波信号，却蕴含着极其丰富的信息，诸如身份、内容、意图、情感、语种、环境甚至生理状态等。智能语音技术是指获取、传输、处理与加工人类语音的一类技术的泛称，典型技术包括语音编码与压缩、语音增强、语音识别、语音合成、语义理解、声纹识别、情感与情绪识别、用户画像、语音翻译等，广泛的应用于人机交互、智能家居与智能硬件、机器人、教育与口语评测、身份认证与用户画像、数据挖掘等。欢迎访问研究组主页www.npu-aslp.org。
研究组与比利时、英国、美国、新加坡、香港、日本等多所高校与研究机构建立了长期合作关系，同时，目前已经与百度、搜狗、微软、腾讯、华为、阿里巴巴、IBM、三星、中兴、小米、京东、云知声、出门问问、头条、快手等著名IT公司和多家初创公司开展了广泛深入的科研合作，与腾讯建有“西北工业大学-腾讯媒体信息技术联合实验室”，与最大的国内语音创业公司云知声建有“西北工业大学-云知声智能语音交互联合实验室”，与金融风控领域的独角兽同盾科技建有“西北工业大学-同盾科技智能语音技术联合实验室”。
2) 听视觉及移动可穿戴设备信号融合的情感识别与精神状态分析：与情感计算及多媒体领域的国际著名学者合作，进行国际前沿研究。采集语音、面部和身体姿态视频、语言文本，以及手机和手环移动可穿戴设备信号，建立多模态融合的机器学习模型，识别人的离散和连续情感状态，建立情感日志流，并估计精神健康状况以及抑郁程度。
3) 无人系统智能视觉感知：致力于智能视觉感知系统、视觉SLAM、人工智能、计算机视觉、多相机阵列成像、虚拟现实的成像装置、原型机与核心算法系统研发。多次参加中航工业杯国际无人飞行器创新大奖赛，高分无人飞行器智能感知技术竞赛并获奖。欢迎访问：无人系统智能视觉感知团队主页 www.saiip-vision.org。
4) 计算摄影学：光场成像理论与方法是计算摄像学领域的研究热点，同时也是近年来国内外学界关注的焦点之一。在继承传统数字成像理论和方法的基础上，光场成像理论通过研究和创新成像模型、改进成像硬件设计，实现了对空间中光线传播位置与角度信息的同时记录，取得了可变视点、数字重聚焦、景深扩展及可调等新颖的成像效果。王庆教授团队以光场成像理论为基础，研究光场数据的获取、重建以及一系列相关应用，包括但不限于光场相机标定、光场渲染、高质量光场合成、三维重建、运动分析以及光场编辑等。其研究内容涉及计算机视觉、计算机图形学、信号处理、现代光学等领域，具有明显的多学科交叉特色。http://www.npu-cvpg.org
5) 医学影像智能计算：研究面向老年痴呆症、大脑神经胶质瘤、肺癌、肝癌、胰腺癌、皮肤癌等重大疾病进行计算机辅助的早期筛查、诊断、治疗方案规划和预后评估等图像处理、分析与智能计算技术。
6) 跨媒体智能分析与推理：跨媒体智能是新一代人工智能的重要组成部分，以往的媒体信息处理模型往往只针对某种单一形式的媒体数据，比如图像识别、语音识别、文本识别等。而越来越多面向实际的任务需要像人一样能够协同综合处理多种形式(文本、音频、视频、图像等)的信息，我国“人工智能2.0”的发展战略研究将多媒体智能作为重要研究内容,重要性不言而喻。跨媒体智能关键技术层面的研究主要围绕跨媒体分析推理展开，即通过视、听、语言等感知来分析挖掘跨媒体知识以补充和拓展传统基于文本的知识体系，建立跨媒体知识图谱，构建跨媒体知识表征、分析、挖掘、推理、演化和利用的分析推理系统，形成跨媒体综合推理技术，为各类信息系统实现智能化提供平台。
7) 自动机器学习：深度学习的出现使得特征提取变得自动化，并在图像分类、语音识别、机器翻译等应用上大放异彩。但效果的提升也需要耗费研究者大量的精力去设计神经网络结构。能否让机器自主学习、设计网络，不断提升机器的自动化水平，将成为评价新一代神经网络的重要指标。未来，自动机器学习将助力实现这一目标。借助自动机器学习搜索神经网络，将使研究人员从繁琐的调参工程中解放出来，突破既有人工设计的范式，实现面向不同任务、不同硬件平台与性能需求的网络结构的量身定制。
8) 计算机测控与仿真技术研究所的主要研究领域包括：嵌入式航空电子系统设计与验证、高可靠安全大容量存储、网络化远程测试与故障诊断、虚拟试验与测试、预测与健康维护、测控系统集成、航空总线与测试总线、复杂软件设计与验证等。
9) 泛在系统软件：聚焦信息物理融合系统、群体智能系统筹复杂系统的实时运行支撑与泛化资源管理，围绕泛在系统软件构造与演化机理、下一代机载软件体系结构与运行支撑平台、嵌入式AI技术等开展研究。
10) 具身性机器人脑智能理论与技术：主要研究包括多智能体机器人系统发展学习、知识推理、自主决策与规划等方面理论与技术。包括：（1）具身性机器人脑智能决策推理技术。结合自主无人系统智能决策的发展需求，研究在资源及环境约束条件下的实时人工智能推理系统技术，包括系统模型、架构、平台工具及相关行业应用技术。（2）自主机器人发育学习技术。针对实时人工智能应用发展需求，研究具有发展型特点的自主机器人知识获取、知识更新、知识验证和评价方法和技术。
6、主要成果
1) 在智能语音处理研究方向：近年来在领域内顶级期刊和会议上发表论文200余篇。研究成果已经应用于华为、百度、微软、腾讯、阿里、京东、搜狗、出门问问、同盾等公司。如百度基于深度学习的语音识别技术、京东AI开放平台语音合成技术、腾讯语音识别后处理和关键词检出技术、微软小英语言学习关键词识别技术、小米智能音箱小爱同学语音唤醒技术等。团队获得国际零资源语音挑战赛（Zerospeech）第一名、语音关键词检测国际评测QUESST第一名、国际远场语音识别评测Chime-5第三名等优异成绩。
2) 在听视觉及移动可穿戴设备信号融合的情感识别与精神状态分析研究方向：获得国际听视觉情感挑战赛AVEC2015第一名、AVEC2016抑郁症检测竞赛第一名、AVEC2017抑郁症估计竞赛第二名、多模态情感挑战赛MEC2016视觉组第一名和多模态组第一名。
3) 在图像处理与模式识别研究方向：近年来在该方向主持/参加了包括国家自然科学基金重点、国防973项目等在内的多项国家级重大项目的资助。在包括IJCV、TIP、TGRS、TFS等顶级期刊以及CVPR、ICCV、AAAI、IJCAI等在内的顶级会议在内的刊物上发表论文百余篇。获得陕西省科技进步一等奖一项。
4) 在无人系统智能视觉感知与机器人视觉SLAM研究方向：无人机高精度光学引导与自主着陆系统在第三届中航工业杯国际无人机创新大奖赛，作为全国唯一参赛的光学导引系统，在GPS干扰机开机下，精确引导固定翼无人机在模拟航母的运动平台成功钩锁着舰！除此之外，获2017年全国大学生物联网设计竞赛全国一等奖，2016年全国大学生物联网设计竞赛全国二等奖，2015年中航工业杯国际无人机创新大奖赛国际三等奖，2017年高分无人飞行器智能感知技术竞赛全国第六名，2017年全国大学生物联网设计竞赛西北赛区特等奖，2016年全国大学生物联网设计竞赛西北赛区特等奖。
5) 在计算摄影学研究方向：围绕光场成像理论和技术，在国家自然科学基金重点项目、面上项目、青年项目、领域基金项目、“863”课题以及“双新”学科建设项目的支持下，取得了一系列突破性成果，整体技术水平达到国际先进。重要研究成果包括：对现有光场理论进行了延拓和创新，克服了现有成像设备视场小、景深不足、空间和角度分辨率折衷等缺陷，构建了光场多投影中心模型，建立了多视光场关联性理论，提出了多视光场相机参数估计与精确度度量方法，突破了多视光场超分辨重建、深度估计、三维重建等关键技术，研制了全景光场采集及变视点渲染和高质量光场获取及呈现原型系统。在IEEE重要会刊和计算机视觉顶级会议发表论文10余篇，包括TPAMI、TIP、TCSVT、TCI、CVPR、ICCV。申请发明专利10余件，其中6件获得授权。多视光场计算理论研究成果引起了计算机视觉领域多个核心问题研究的重要变革，推动了光场理论与成像技术在工业检测、医疗成像、增强现实等重点领域的应用。
6) 在医学影像智能计算研究方向：围绕医学影像小数据深度学习开展创新研究，近5年，主持国家自然科学基金面上项目2项，在国际期刊和会议发表学术论文80余篇（其中30篇发表在一区/二区期刊，9篇发表在本领域顶级会议MICCAI及其Workshop），申请专利16项，先后取得ISBI 2019血癌细胞分类竞赛（C-NMC）、国际前列腺分割竞赛（PROMISE12）等四项国际学科竞赛的第一名。
7) 计算机测控与仿真技术研究所：近年来先后获得国防科技进步一等奖1项、国防科技进步二等奖1项、国防科技进步三等奖1项，国家科技发明三等奖1项，陕西省、航空航天部、中航集团科技进步二等奖4项次、三等奖2项。部分成果填补了国内空白并在型号工程中得到应用，为新型装备的研制发挥了重要作用。
