大数据研究院成功举办认知安全专题研讨会

发布者:仇韵舒发布时间:2023-04-11浏览次数:105


2023年4月7日,由大数据研究院组织认知安全专题研讨会,会上6位专家围绕认知安全主题,结合各自研究方向做了报告。会议由大数据研究院副院长薛向阳教授主持,大数据研究院院长、中国工程院邬江兴院士出席会议。


旦大学大数据研究院副院长薛向阳教授作《大脑模拟、认知架构与内生安全》报告。报告介绍了大脑模拟的ANN、SNN两条实现路径与线虫网络由受、想、行、识四个功能模块组成的认知架构,解释了未来通过大脑模拟逆向进行大脑研究的路径。此外,薛向阳教授还介绍了与智能体实现相关的三种学派:符号主义、连结主义和进化主义,提出任何智能体的实现必将属于上述三种学派之一或者是其混合,其内生安全问题是与生俱来的。围绕智能体安全的研究,除了关心其本能的内生安全,未来还应关心其智能所衍生出的内生安全问题,即其通过环境交互与自主学习形成的适应环境变化的新功能所带来的安全问题。




复旦大学计算机科学技术学院姜育刚教授作《大模型的鲁棒与安全性研究进展》报告。姜育刚教授介绍了大模型的发展现状,总结了大模型当前存在的安全问题,并汇报了团队当前研究工作。姜教授提出,人工智能现已进入大模型时代,不论是视觉模型还是语言模型,都存在诸多问题,如生成内容不可控、会记忆并泄露大量敏感信息、臆造迷惑性极高的错误回答、易被窃取等。对此,姜教授做了后门投毒数据检测、高效对抗攻击和鲁棒性评测、让数据不可用于训练大模型等研究工作,构建了工具与平台,系统揭示大模型的问题与风险,评测大模型鲁棒与安全性,搭建了开放可信的AI社区OpenTAI。

复旦大学计算机科学技术学院邱锡鹏教授作《MOSS:对话式大型语言模型》报告。报告介绍了与ChatGPT具有相近的通用语义理解能力的语言模型Moss,该模型为自回归语言模型,具有思维链、情景学习等涌现能力,能够执行人类的指令,直接与人类对话,根据人类反馈进行迭代优化,并与人类价值观、思维方式对齐。其推理能力和实施类数据仍与ChatGPT存在一定差距,后续可以通过扩大模型规模实现参数规模扩张。此外,邱教授还介绍了首个中文AIGT检测工具:Sniffer(谛听),能够利用多种工具来判断一段文本是否由一个AI模型生成,快速、准确、泛化地实现对AI生产文本的有效检测。

复旦大学计算机科学技术学院张为华教授作《智能计算系统优化研究进展》报告。报告指出,人工智能已步入“通用模型时代”,国内部分公司开始参考英伟达软硬件协同创新模式,开发体系结构设计工具链,面向硬件特性进行软件深度优化。然而,现有的并发控制方法是无序的,无序竞争导致了极大的性能损耗,需要协调并发请求的秩序,基于Combining进行并发控制。总而言之,由于应用算力暴增,加之工艺受限、芯片禁运,需要进行软硬件协同创新,开发面向硬件创新的工具链,深度优化软件并积累软件生态。

复旦大学大数据研究院副院长邹宏作《认知安全若干概念思考》报告。报告分析了认知对抗博弈的特点规律,阐述了认知域内生安全问题的具体表现和内在机理,在解析国内外对相关概念定义的基础上,给出了“认知安全”(Cognition Security and Safety )的概念和主要定义,提出了构建“认知弹性”、深化拟态智能技术研究的初步设想。

复旦大学计算机科学技术学院郑骁庆教授作《认知安全技术探讨》报告。报告指出,在科学、技术、社会等多重变革的叠加下,世界呈现“物理世界——信息世界——认知世界”三个层次的变革。当前,ChatGPT-4存在诸多问题和负面影响,需要开发面向认知域的对抗技术,这为认知安全技术研究带来了挑战和机遇。

研讨会上,邬江兴院士对每位报告人的发言进行了点评和交流,邬院士指出当前人工智能技术发展十分迅速,我们需要冷静思考、沉着应对、趋利避害,当下最关键的是要找出其中的科学问题或工程科学问题,着力开展原创性、独创性技术研究,争取在智能科学与技术的发展上形成具有复旦特色研究学派。