探索人工智能系统对在线错误信息的脆弱性

计算机科学与工程系助理教授ShirinNilizadeh的研究获得了国家科学基金会(NSF)提供的为期五年、价值567,609美元的教师早期职业发展计划(CAREER)资助。

她说，了解人工智能(AI)对在线错误信息的脆弱性是“一个需要及时解决的重要且及时的问题”。

“这些系统具有复杂的架构，旨在从互联网上的任何信息中学习。对手可能会试图通过收集敌对或虚假信息来毒化这些系统，”Nilizadeh说。

“系统将学习对抗性信息，以同样的方式学习真实信息。对手还可以利用一些系统漏洞来生成恶意内容。我们首先需要了解这些系统的漏洞，以开发检测和预防技术，以提高它们对这些攻击的抵御能力。”

CAREERAward是NSF授予初级教师的最负盛名的荣誉。收件人是杰出的研究人员，但也有望成为优秀的教师，通过研究、卓越的教育以及在其所在机构的教育和研究相结合。

Nilizadeh的研究将包括全面了解NLG系统容易受到的攻击类型，以及创建基于AI的优化方法来针对不同的攻击模型检查系统。

她还将探索对导致攻击的漏洞进行深入分析和表征，并开发防御方法来保护NLG系统。

在总结阶段，人工智能会得到一份文章列表，并被要求总结它们的内容。在问答系统中，系统会收到一份文档，在该文档中找到问题的答案并生成文本答案。

计算机科学与工程系主任洪江强调了Nilizadeh研究的重要性。

“随着大型语言模型和文本生成系统彻底改变了我们与机器的交互方式，并推动了医疗保健、机器人技术等领域的新型应用程序的开发，人们开始严重担心这些强大的系统可能会如何被滥用、操纵或导致隐私泄露和安全问题威胁，”江说。

“Nilizadeh博士的职业奖旨在通过探索增强此类系统稳健性的新方法来抵御这些威胁，以便检测和减轻滥用，最终用户可以信任和解释系统产生的结果”