跳转到内容
Awaken

在线调优 Prompt

当 Agent 已存在，只想改进指令而不重新构建 server 时，用这个流程。管理控制台是主要路径； API 写入用于自动化，并且应该复用同样的 UI 验证思路。

你要点击什么

Section titled “你要点击什么”
Agent editor Basics tab，包含 model 选择、system prompt、保存控件和 preview chat。
在 Basics 中编辑 system prompt，Validate 草稿，Preview，再 Save。
  1. 打开 Agents，选择目标 Agent。
  2. 停留在 Basics。
  3. 编辑 System prompt。一次只改一个小范围：角色、约束、回答结构、工具使用指导或拒答边界。
  4. 点击 Validate。先修复字段错误，再预览。
  5. 用代表性 prompt 在 preview chat 中验证。Preview 使用的是未保存草稿。
  6. 草稿表现更好后点击 Save。
  7. 需要对比或恢复时，打开 History 或 Audit Log。

对比什么

Section titled “对比什么”
Agent editor 的 History tab，展示 system_prompt update 和 restore action。
History 展示保存过的 prompt 变更和 restore action。
Eval run 详情页，展示每个 fixture 的 pass/fail。
Eval 结果展示 prompt 是否改善了你关心的行为。

前后使用同一个场景：

  • Preview chat prompt 用于快速反馈。
  • 需要看精确工具调用和模型输出时，查看保存的 trace。
  • 行为必须可复现时，使用 dataset/eval run。

见 采集数据集并运行评测。

可以在线安全调什么

Section titled “可以在线安全调什么”
Prompt 变更UI 位置说明
角色和语气Basics → System prompt最适合先改，容易 preview。
输出格式Basics → System prompt格式重要时配合 eval checks。
工具使用指导Basics → System prompt 加 Tools如果文案不足以约束，就收窄 allowed tools。
安全边界Basics → System prompt 加 Plugins → Permission工具级约束用 permission rules。
模型选择Basics → Model重新 preview；不同模型会不同地解释同一 prompt。

保存后的变更只影响新的 run。正在运行的任务继续使用它已经解析到的 spec。

何时改用 API

Section titled “何时改用 API”

当 prompt 变更来自 CI、迁移或内部工具时，用 config API。保持同样循环：validate、write、跑代表性任务、再对比。

相关参考：