微软推出 LLaVAMed AI 模型 可对医学病理案例进行分析

日前，微软的研究团队展示了名为LLaVA-Med的新型生物医学模型。该模型能够基于CT、X光等医学图像，推测患者的病理状况，为医疗领域带来革命性的变革。为了训练这一多模态AI模型，微软与多家医院合作，获取了涵盖广泛生物医学图像的大型数据集。数据集内容丰富，包括胸部X光、MRI、组织学、病理学和CT图像等。

借助微软强大的GPT-4技术，LLaVA-Med模型在Vision Transformer和Vicuna语言模型的结合下，于八个英伟达A100 GPU上得以训练。这一模型能够整合“每个图像的所有预分析信息”，生成关于图像的问答，实现“可自然语言回答有关生物医学图像问题”的助手功能。

在训练过程中，LLaVA-Med主要关注于描述图像内容和阐述生物医学概念。微软表示，该模型展现出卓越的多模式对话能力，并在部分标准生物医学数据集上的指标表现领先其他先进模型。

尽管LLaVA-Med模型迈出了重要的一步，朝着构建有用的生物医学视觉助手发展，但研究团队也指出了当前模型的不足之处，包括可能出现的虚假举例和准确度问题。未来，研究团队将专注于提高模型的质量和可靠性，以期在商业生物医学领域得到广泛应用。

值得一提的是，这一模型已经开源，医学界和AI领域的研究者可以在GitHub上找到相关信息，共同推动LLaVA-Med模型的发展。这无疑为未来的医疗领域带来无限可能，让我们共同期待其在实践中的更多突破和应用。