多模态AI的演进：从文本理解到跨模态推理

多模态人工智能是当前AI领域最具活力的研究方向之一。它致力于让机器像人类一样，同时理解和处理文本、图像、语音、视频等多种信息模态，实现跨模态的语义理解与推理。早期的多模态研究主要集中在视觉问答（VQA）和图文匹配等基础任务上。代表性的工作如2019年提出的ViLBERT和LXMERT，将预训练范式从纯文本扩展到视觉-语言联合建模。这些模型通过双流架构分别编码图像和文本，再通过跨模态注意力层实现信息