当你在与聊天机器人对话时，是否思考过这样一个问题：AI的决策究竟受谁控制？是预设的安全规则、开发者的产品要求、用户的输入提示，还是来自外部工具或网页的信息？随着AI功能的不断扩展，这一疑问变得愈发重要。
如今的大模型已不再局限于简单的对话功能。它们能够调用工具、读取文件、查询网页，甚至以“智能体”的身份执行现实任务。然而，当多种指令同时涌入，尤其是彼此矛盾时，AI该如何抉择？一旦判断失误，后果可能十分严重，包括生成违规内容、泄露敏感信息，甚至被黑客利用代码劫持。
针对这一核心问题，OpenAI近期公开了IH-Challenge项目，旨在通过建立“指令层级”结构，让AI在复杂指令环境中明确优先级，避免“权力混乱”。
想象一个场景：作为AI助理，你被系统要求严守公司机密，开发者叮嘱你对客户保持礼貌，而用户却命令你泄露机密。此时，AI该听谁的？这一困境折射出当前大模型面临的真实挑战。OpenAI认为，许多AI安全问题的根源并非模型“学坏”，而是未能正确判断指令优先级。
随着AI进入智能体时代，冲突范围从“系统与用户”扩展至开发者规则、用户请求、工具返回内容之间。谁可信、谁不可信，已成为亟待解决的难题。
为应对这一挑战，OpenAI提出了清晰的指令层级结构：系统＞开发者＞用户＞工具。高优先级指令更受信任，模型仅在低优先级指令与高优先级约束不冲突时才执行。例如，若系统消息包含安全策略，用户要求违反该策略时，模型应拒绝执行；若工具输出包含恶意指令，模型应忽略而非执行。
然而，将这一原则训练进模型并非易事。OpenAI指出，模型可能因指令复杂而无法解决冲突，而非不理解层级关系。用大模型作为“裁判”判断指令遵循情况时，裁判模型本身也可能误判。例如，模型可能正确遵守系统指令，却被裁判误判为“失败”；或攻击者通过伪造历史对话诱导模型违规，而裁判未能识别。
另一个难题是模型可能学会“捷径”，如过度拒绝请求以提高安全分数，导致可用性下降。为解决这些问题，OpenAI设计了IH-Challenge，这是一个强化学习训练数据集，包含三条核心原则：任务极简、评分客观、杜绝捷径。通过多样化任务设计，尤其是加入反过度拒绝任务，确保模型真正学会规则，而非依赖“全部拒绝”混分。
基于IH-Challenge训练的内部模型GPT-5 Mini-R，在生产环境安全基准测试中表现出显著提升。它对系统安全规范的响应更强，对恶意工具指令和外部注入的鲁棒性更高，且帮助率未明显下滑。例如，面对包含安全规则的系统提示和用户请求，基线模型可能“不安全服从”，而训练后的模型会拒绝并安全完成请求。
在提示词注入攻击测试中，基线模型可能被恶意工具输出诱导返回“ACCESS GRANTED”，而训练后的模型会忽略恶意内容，正确提供日程安排。这一能力在学术基准CyberSeceval 2和OpenAI内部基准中均得到验证，表明指令层级对抵御提示词注入至关重要。
随着AI自主性提升，其需读取不可信文档、调用外部服务、采取行动。此时，“谁的话更可信”将不仅是技术规则，更成为社会信任属性。OpenAI开源IH-Challenge，旨在为高自主性AI植入“规则护栏”，确保其能力不会转化为破坏力。
