近日,OpenAI发布了一项o1模型新方法,通过增加推理时间、算力资源来大幅度提升模型的对抗鲁棒性。OpenAI提出的新方法不需要对大模型进行专门的对抗训练,也不需要提前了解攻击的具体形式。只需要通过增加推理时间和算力资源,模型就可以更充分地利用其推理能力表现出更强的鲁棒性。
为了测试这项新技术,OpenAI在o1-preview和o1-mini模型进行了综合实验,结果显示,成功抵御了Many-shot、Soft Token Attack、Human Red-teaming Attack等多种攻击方法。
对抗鲁棒性指的是模型在面对经过精心设计的恶意攻击时,依然能保证正确、安全的输出。这对于确保模型在实际商业应用至关重要,尤其是在模型被用于高风险场景,例如,AI Agent、语音聊天助手、AI客服等自动驾驶、医疗诊断和金融决策等。
传统的对抗鲁棒性方法是通过修改训练目标,让模型学习抵御特定的对抗攻击,存在着两大弊端,如下:
1、对抗训练的成本非常高
2、需要提前知道对方的攻击集和方法。
OpenAI提出的新方法不需要对模型进行专门的对抗训练,也无需提前了解攻击的具体方法,只需增加推理时间和算力资源,模型就能增强对抗鲁棒性。OpenAI发现,适当延长推理时间、算力,让模型有更多机会去思考,可以显著提高其应对复杂问题的能力,尤其是那些包含潜在风险或误导信息的提示。
从本质上来看,推理时间不只是简单的延迟输出,它允许模型更深入地分析输入数据,识别出可能存在的异常情况,并根据先前学到的知识库进行推理。这种深度思考有助于模型更好地理解上下文语境、分辨歧义词汇、排除干扰项,最终做出更为准确和安全的选择。
为了验证推理时间的有效性,研究人员在o1-preview和o1-mini模型实验了Many-shot Attack(多样本攻击)、Soft Token Attack(软token攻击)、Human Red-teaming Attack(人类攻击)、AI Red-teaming Attack(人类红队攻击)等不同类型的攻击方法。