南京大学联合StepFun、ZODA、上海人工智能实验室及华中科技大学的研究团队，在AI终端代理能力训练领域取得突破性进展。他们开发的CLI-Universe系统通过构建高质量训练数据，成功让参数量仅320亿的模型在终端操作任务中超越千亿级对手。这项成果以预印本论文形式发布于学术平台，编号arXiv:2606.22883。
终端代理型AI被视为下一代智能系统的核心能力，要求模型能直接在命令行界面完成安装软件、调试程序、分析数据等复杂操作。但现有训练数据存在致命缺陷：多数来自GitHub代码仓库或错误日志的二次改造，存在描述模糊、答案浅显、判分标准混乱等问题。研究团队形象地指出，这相当于让AI用"残缺不全的旧教材"学习高级技能。
为破解这一难题，研究团队构建了四阶精密流水线。在题目设计阶段，系统从13个技术领域、8类专项技能、11种推理行为和4种工程类型的组合中随机生成"锚点"，确保题目覆盖软件工程、安全渗透、科学计算等关键场景。通过创意性、技术深度和可行性三重筛选后，仅有30%的候选题目能进入下一环节。
真实技术资料的注入是提升数据质量的关键。专门训练的"调研代理"会自主搜索GitHub仓库、官方文档和开发者论坛，将工具用法、限制条件和报错案例等细节融入题目描述。实验数据显示，经过这种深度打磨的题目使AI平均操作步骤从5.34次增至18.43次，虽然解题通过率下降13.3个百分点，但题目区分度显著提升。
每道题目都配备独立运行的Docker环境，包含精确配置的软件包、预置文件和后台服务。系统会下载原始代码库、裁剪数据集，甚至合成带已知答案的受控数据。环境组装完成后需通过"冒烟测试"，确保服务正常启动、文件结构符合预期。这个环节会淘汰14%的候选题目。
质量管控贯穿整个流程。测试代理生成的自动化脚本需覆盖正常、异常和边界情况，与公开评测集TB2的吻合度达91%。解题代理产生的操作轨迹必须通过所有测试用例才能保留，而"提示依赖过滤"机制会排除那些无需提示就能完成的简单题目。最终仅有33.6%的候选题目能通过全部验证关卡。
基于该系统生成的6000条高质量训练数据，研究团队对Qwen3系列模型进行微调。在Terminal-Bench 2.0评测中，320亿参数的CLI-Universe模型取得33.4分，超越4800亿参数的Qwen3-Coder和万亿参数的Kimi-K2-Instruct。更引人注目的是性能提升曲线：8B模型提升8.4分，14B模型提升19分，32B模型提升30分，显示模型规模与数据价值的正相关关系。
消融实验揭示了系统各组件的重要性。移除精心准备的环境材料导致得分下降6.2分，去除题目质量控制机制损失3.4分，弱化测试标准则降低3.9分。数据选择策略对比显示，保留全部10000条轨迹的效果（28.2分）明显差于仅保留6000条成功轨迹（33.4分），证明数据质量比数量更关键。
该成果在跨场景评测中同样表现优异。在BFCL v4函数调用评测集上，32B模型得分超越基线11.3分；在VitaBench多轮工具使用评测中，提升幅度达11.6分。细粒度分析显示，数据处理、机器学习、系统管理等类别的提升尤为显著，但视频处理和游戏领域仍需扩展数据覆盖。
对失败案例的深度分析暴露了当前模型的薄弱环节。与顶尖商业模型47%-60%的验证层失败率不同，CLI-Universe模型的主要问题在于执行层（44%），特别是"步骤重复"现象——某案例中AI反复执行同一条命令165次却无法推进任务。研究团队指出，这反映出模型在任务分解和状态追踪方面仍有改进空间。
