专题论坛组织者、所属机构、联系方式
主题介绍
在人工智能快速发展的今天,安全性问题已成为研究与应用中绕不开的核心议题。无论是支撑大模型能力的算法本身,还是模型所处理的视觉数据内容,都存在潜在的安全风险。模型安全关系到系统在面对分布外样本、对抗攻击、投毒数据时的稳健性与可信度;视觉内容安全则聚焦于识别与防护图像、视频等多模态信息中的虚假、违规内容,确保 AI 在开放复杂的环境中能够进行可靠的感知与理解。本论坛将以“视觉内容安全与模型安全”为主题,探讨如何在算法、数据与应用层面协同推进 AI 安全:既关注模型在面对未知风险时的鲁棒性与检测能力,也强调视觉内容审核与防护的前沿方法。论坛旨在汇聚学术界与产业界的最新进展,促进跨领域交流,共同构建更加可信、可控、可用的智能系统。
时间:2025 年 10 月 18 日 9:00-11:00
地点:分会场 A1 厅
PRCV 2025《视觉内容安全与模型安全》 | ||
组织者:陶仁帅、王嘉凯、项翔、朱磊、韩锴、胡鹏 | ||
讲者 | 题目 | 主持人 |
韩锴(香港大学) | Category Discovery: An Open-World Learning Perspective | 陶仁帅(北京交通大学)代 项翔(华中科技大学) |
张杰(中国科学院计算技术研究所) | 生成式大模型后门攻击与防御 | |
李文(电子科技大学) | 数据分布偏移的人工智能安全挑战 | 朱磊(同济大学) |
郭青(南开大学) | Mitigating Trust in Vision: Generative Physical Adversarial Attacks | |
刘艾杉(北京航空航天大学) | 认知反演驱动的大模型安全评测 | 王嘉凯(中关村国家实验室) |
陶仁帅(北京交通大学) | 开放场景下的深度伪造视觉内容检测 |
陶仁帅,北京交通大学信息科学研究所副所长,副教授,入选北京市高层次创新创业人才支持计划。主要研究方向为视觉内容理解与取证,在IEEE CVPR、ICCV、TIFS等国际顶级会议、期刊上发表学术论文30余篇,担任人工智能国际顶级学术会议ICLR领域主席(Area Chair)、Electronics客座编委(Guest Editor)、CSIG数字取证与安全专委会委员。参与起草国家标准《人工智能:多算法管理技术要求》。主持国家自然科学基金青年项目、北京市自然科学基金重点项目、中央高校人才基金,作为核心骨干(排2)参与国家自然科学基金重点项目,获得国际人工智能顶级会议IJCAI 2025论坛最佳论文奖、华为公司“明日之星”等荣誉。
王嘉凯,副研究员,博士生导师,主要研究可信赖人工智能,多模态对抗攻防,无人驾驶安全等。在包括IJCV、IEEE TIP、CVPR、IEEE S&P在内的国内外期刊会议上发表论文四十余篇。主持国家自然科学基金青年基金(C类),参与科技创新2030重大项目课题等。担任NeurIPS领域主席,CAI期刊编委、Electronics客座编委,视觉计算与仿真专委会专委,参与国家标准、行业标准、团体标准等编制近10项。获得ICML25-MAS杰出论文奖,《智能安全》首届期刊优秀论文奖,IJCAI25生成式大模型安全挑战赛Winner Award,慧眼行动首届智能感知对抗攻防挑战赛二等奖等。入选全球前2%顶尖科学家年度科学影响力榜单。
项翔,约翰·霍普金斯大学计算机科学博士,2020年被引进华中科技大学任副教授、博士生导师,人工智能与视觉学习实验室主任,主持国家级人才基金项目(450万元),依托计算机科学与技术学院、约翰·霍普克罗夫特计算科学中心,面向开放环境感知研究AI模型安全、分布外检测,成果发表在T-PAMI、CVPR、IJCV、ICCV、ICML、NeurIPS、MM等CCF-A类期刊或会议以及ECCV、MICCAI、NAACL等领域顶级会议上60余篇,单篇被引逾1000次,授权专利10余项并得到应用示范,被提名AI 2000、ICPR 2022论坛最佳论文奖。是汉赋科创创始人(发布AI Tutor),鹏城实验室、华盛顿大学访问副教授,历任亚马逊云计算人工智能实验室研究科学家(贡献Amazon Textract等re:invent级AI模型发布)、图森未来资深研究科学家(贡献Driver Out等推动上市的里程碑式项目的AI模型部署),在中科院计算所师从陈熙霖研究员参与了AVS相关工作,担任JVCI等期刊副编与多个顶会Area Chair,CISG等学会高级会员及其多个专委会委员,是工信部人工智能终端标准、AITISA智慧低空标准等多个行业标准工作组成员。
朱磊,同济大学研究员、博士生导师,国家级青年人才,计算机科学与技术学院院务助理,同济大学工程智能研究院大模型与算法中心负责人。目前主要研究高效能多模态大模型与空间智能,在Proceedings of the IEEE, IEEE TPAMI等CCF A类期刊会议发表论文100余篇,主编英文专著2部,谷歌引用1.1万+,H因子56。两个CCF-A类会议的最佳论文提名奖,1篇入选中国百篇最具影响国际学术论文。任ACM TOMM、IEEE TBD编委,多个CCF A类会议AC/SPC,CSIG青工委副秘书长。主持/参与国家自然科学基金等横纵向项目10余项,获山东省自然科学二等奖、吴文俊人工智能自然科学二等奖等,入选斯坦福全球前2%、ScholarGPS全球前0.05%顶尖科学家等榜单。指导学生获省优博、一级学会优硕等奖项。
韩锴,香港大学计算与数据科学学院助理教授,IEEE 高级会员,领导香港大学Visual AI Lab。其主要研究方向涵盖计算机视觉、机器学习与人工智能,当前聚焦于开放世界学习、3D 视觉、生成式人工智能、基础模型及相关前沿领域。此前,他曾在谷歌研究院(英国&美国)担任研究员,在英国布里斯托大学计算机科学系担任助理教授,并在英国牛津大学著名的VGG组担任博士后研究员。他在香港大学计算机科学系获得博士学位。在攻读博士期间,他还在法国巴黎Inria和巴黎高等师范学院(ENS)的WILLOW团队从事研究工作。他在顶级学术期刊和会议,如TPAMI, IJCV, TIP, CVPR, ICCV, ECCV, NeurIPS, ICLR等发表论文70余篇。主持过多项政府科研项目,包括香港研究资助局–优配研究金(RGC GRF)、香港研究资助局–杰出青年学者计划(RGC ECS)、国家自然科学基金青年项目等;以及多项工业界科研合作项目,包括CCF-腾讯犀牛鸟基金等。入选人工智能领域全球前2%顶尖科学家,并担任计算机视觉和机器学习旗舰会议的领域主席,如CVPR, ECCV, ICLR等。
胡鹏,四川大学计算机学院教授,博士生导师,国家级青年人才。主要研究方向为多模态学习和多媒体分析。已在Nature子刊、TPAMI、IJCV、TIP、CVPR、ICCV、NeurIPS、ICML、ICLR等国际期刊/会议上发表学术论文90余篇,包括多篇ESI高被引/热点论文。研究成果获得中国图象图形学学会(CSIG)自然科学一等奖、四川省自然科学二等奖、中国人工智能学会教学成果激励计划一类成果等。主持国家自然基金(面上、青年)项目、国家重点研发计划课题、四川省重点研发基金项目等。担任CSIG青工委副秘书长、VALSE执委会副主席等;担任Pattern Recognition等期刊编委;担任NeurIPS、ICML、CVPR、ECCV、ACM MM等多个重要国际学术会议的领域主席;担任TPAMI、IJCV、TIP、TKDE等多个国际重要SCI期刊审稿人。
《Category Discovery: An Open-World Learning Perspective》
本次报告将介绍我们在类别发现这一新兴开放世界学习任务中的最新进展。该任务旨在通过从标注数据迁移知识,自动对未标注数据中的视觉概念进行分类——这些未标注数据可能同时包含已知类别与未知新类别。我将重点阐述我们在应对关键挑战方面取得的突破,特别是通过有效利用基础模型实现的以下进展:提升对语义变化的敏感度同时保持对领域偏移的鲁棒性;实现适应持续演化的类别发现方法;缓解训练过程中的标签偏差;利用双曲空间构建更丰富的类别几何表征等。最后,我将总结在攻克这些挑战过程中获得的核心洞见、实践要点及经验启示。
韩锴,香港大学计算与数据科学学院助理教授,IEEE 高级会员,领导香港大学Visual AI Lab。其主要研究方向涵盖计算机视觉、机器学习与人工智能,当前聚焦于开放世界学习、3D 视觉、生成式人工智能、基础模型及相关前沿领域。此前,他曾在谷歌研究院(英国&美国)担任研究员,在英国布里斯托大学计算机科学系担任助理教授,并在英国牛津大学著名的VGG组担任博士后研究员。他在香港大学计算机科学系获得博士学位。在攻读博士期间,他还在法国巴黎Inria和巴黎高等师范学院(ENS)的WILLOW团队从事研究工作。他在顶级学术期刊和会议,如TPAMI, IJCV, TIP, CVPR, ICCV, ECCV, NeurIPS, ICLR等发表论文70余篇。主持过多项政府科研项目,包括香港研究资助局–优配研究金(RGC GRF)、香港研究资助局–杰出青年学者计划(RGC ECS)、国家自然科学基金青年项目等;以及多项工业界科研合作项目,包括CCF-腾讯犀牛鸟基金等。入选人工智能领域全球前2%顶尖科学家,并担任计算机视觉和机器学习旗舰会议的领域主席,如CVPR, ECCV, ICLR等。
《生成式大模型后门攻击与防御》
随着生成式大模型的快速发展,其安全可信问题也日益引发广泛关注。本报告将介绍生成式大模型后门攻击与防御方面的最新研究进展,重点介绍本团队在文生图大模型后门攻防方面的具体工作,包括基于句法触发器的高隐蔽后门攻击方法、针对同化现象的统一防御框架(涵盖后门检测、定位与缓解),以及基于注意力动态异常发现的后门防御方法。最后,报告将对未来研究方向与发展趋势进行总结与展望。
张杰,中国科学院计算技术研究所副研究员、博士生导师。研究方向:多模态大模型安全与可信视觉计算,在知名期刊会议TPAMI/IJCV/TIP/CVPR/ICCV等上发表论文50余篇,承担中国科学院先导B课题、国家信息安全计划、科技部青年科学家课题、基金委面上、青基等项目10余项,研究成果在华为手机、智能高铁、工业质检等场景得到规模化应用,授权发明专利17项。获2025年CCF科技进步奖二等奖(序1)、2024年CSIG自然科学奖一等奖(序5)、2024年中国铁道学会科技奖二等奖(序4)。先后入选北京市科技新星、姑苏领军人才计划、中科院青促会和微软青年学者铸星计划。担任NeurIPS、ACL领域主席、智能安全期刊青年编委等。
数据分布偏移的人工智能安全挑战
如何保障视觉模型的可靠稳定是当前人工智能领域的一个核心研究问题,对人工智能大规模应用至关重要。在本报告中,我将从数据分布差异的视角来探讨视觉模型的可靠稳定问题。我将回顾视觉模型的泛化性难题,并分享我们在解决数据分布差异问题上的最新进展,同时也探讨数据分布差异对传统的人工智能安全(如对抗攻击)的启发。
李文,电子科技大学教授,博士生导师,国家级青年人才。主要研究方向为计算机视觉与迁移学习,专注于开放场景下的视觉模型泛化性难题,提出多个有影响力的跨领域的目标检测、语义分割等计算机视觉算法模型,在T-PAMI、IJCV、CVPR、ICCV、ECCV等在内的领域重要国际期刊和国际会议论文100余篇,Google Scholar的总引用次数12000余次,研究成果获四川省科技进步一等奖等,带领团队荣获国内外多项人工智能竞赛奖项。多次担任领域内重要会议领域主席(包括 CVPR、ECCV、ACM MM 、AAAI、WACV)和ACM权威综述ACM Computing Surveys编委(Associate Editor)以及领域内重要学术期刊和国际会议审稿人或程序委员会委员。
Mitigating Trust in Vision: Generative Physical Adversarial Attacks
物理对抗攻击通过在现实世界中部署对抗样本(如对抗补丁)来误导视觉感知模型,是评估模型在真实环境下安全性与可靠性的重要手段。然而,构建有效的物理攻击仍面临挑战:补丁需对打印、自然变化和观测视角具备鲁棒性;需能适应动态场景以提升攻击成功率;并需保持视觉自然性以增强隐蔽性。生成式模型可基于文本生成具备误导能力的对抗补丁,并天然具备打印鲁棒性,但在应对其他挑战方面仍有不足。团队近期的系列工作包括:1)提出“角度鲁棒性”个性化生成式攻击方法:通过将“角度鲁棒性”概念以插件形式嵌入生成模型,实现了对视角变化具有鲁棒性的对抗补丁生成;(2)提出基于LLM Agent驱动的生成式攻击方法:利用大语言模型智能体自适应理解环境并生成对抗样本,显著提升了攻击成功率;(3)提出结构优化的生成式攻击方法:通过优化二维补丁的周期性纹理结构,首次实现了针对双目深度估计模型及商业设备的物理攻击;(4)提出LLM Agent驱动的字体生成式攻击方法:以文字为载体,借助大语言模型智能体自适应生成可物理部署的文字方案,从而有效误导大规模视觉语言模型。
郭青,南开大学,教授,博士生导师,海外优青,新加坡国立大学兼职助理教授,多次入选斯坦福全球Top 2%科学家。2019年加入新加坡南洋理工大学任博士后研究员,并于2020年获聘为瓦伦堡-南洋理工大学校长博士后(全球500选5人),2022年加入新加坡科技研究 (A*STAR)前沿人工智能研究中心(CFAR)任高级研究员。曾获ICME最佳论文奖、ACM优秀博士论文奖等多项荣誉,在新加坡期间主持多项重大科研项目,累计科研经费约400万新币。主要研究方向为可靠视觉感知及人工智能安全。在ICML、NeurIPS、ICLR、CVPR、ICCV、TPAMI 、IJCV等A类会议及期刊上发表论文70余篇。现担任ICML、ICLR、NeurIPS、ICCV、CVPR、IJCAI领域主席,AAAI Senior PC,VALSE 2023执行AC,并担任IEEE TIP 和Visual Intelligence 的Associate Editor。
认知反演驱动的大模型安全评测
基于大模型技术的人工智能系统渐成为国民经济和社会发展广泛依赖的关键信息基础设施,但这类系统在实际应用中面临着对抗样本、后门攻击等全新的安全挑战,亟待探索人工智能的安全边界,建立安全攻防技术体系和评测评估能力。本报告围绕大模型相关技术和系统的智能安全问题,回顾当前国际研究进展,介绍团队近年来在对抗攻防、安全评测及视觉仿真环境生成等方面的研究工作,以及系统平台和应用实践。
刘艾杉,北京航空航天大学计算机学院副教授,长期聚焦人工智能与信息安全的交叉前沿研究。累计在IJCV、USENIX Security等人工智能、信息安全领域国际顶级会议/期刊发表论文90余篇,谷歌学术引用3800余次,常年担任CCF-A类会议workshop主席、领域主席。获ACM CCS 2024 杰出研究成果奖、ICML 2025 MAS杰出论文奖,获省部级科技进步一等奖1项、省部级科技进步二等奖1项。研究成果广泛应用落地,已产生1.2亿余元的显著社会经济价值。
开放场景下的深度伪造视觉内容检测
在开放场景下,深度伪造视觉内容检测往往面临诸多现实挑战:不同生成方法产生的伪造图像差异显著,使得现有模型难以保持稳定的跨方法泛化能力;社交媒体上传与传播过程中频繁的压缩与再编码则会削弱甚至掩盖关键伪造痕迹,进一步增加了检测难度;与此同时,许多高精度鉴伪方法依赖庞大的网络结构和复杂特征处理,导致计算成本高昂,难以在资源受限或实时场景中有效部署。本报告围绕这些问题展开研究,深入分析其在开放环境下的表现与影响,并提出具有针对性的解决策略,从而在保证检测精度的同时,提升模型在真实应用中的实用性与鲁棒性。
陶仁帅,北京交通大学信息科学研究所副所长,副教授,入选北京市高层次创新创业人才支持计划。主要研究方向为视觉内容理解与取证,在IEEE CVPR、ICCV、TIFS等国际顶级会议、期刊上发表学术论文30余篇,担任人工智能国际顶级学术会议ICLR领域主席(Area Chair)、Electronics客座编委(Guest Editor)、CSIG数字取证与安全专委会委员。参与起草国家标准《人工智能:多算法管理技术要求》。主持国家自然科学基金青年项目、北京市自然科学基金重点项目、中央高校人才基金,作为核心骨干(排2)参与国家自然科学基金重点项目,获得国际人工智能顶级会议IJCAI 2025论坛最佳论文奖、华为公司“明日之星”等荣誉。
中国图象图形学学会 (CSIG)
中国人工智能学会 (CAAI)
中国计算机学会 (CCF)
中国自动化学会 (CAA)
上海交通大学 (SJTU)
上海飞腾文化传播有限公司
AutoDL
华东师范大学