剪辑：LRS泷川雅美百度影音

【新智元导读】PaliGemma 2在多个任务上取得了业界当先的收成，包括图像描述、曲谱识别和医学图像求教生成；况兼提供了不同尺寸和折柳率的版块，用户不错阐述不同的任务需求进行微调，以赢得更好的性能。

OpenAI的发布会仿佛都集剧，让东谈主眼花头昏，谷歌也暗暗发布了PaliGemma 2模子，迈向可调视觉说话模子的下一代。

本年5月，谷歌发布PaliGemma，亦然Gemma家眷中的第一个视觉说话模子，极力于于模平民主化，镌汰视觉模子的使用难度。

PaliGemma 2模子以更高性能的Gemma 2为基座，增多了视觉才气，微调起来更容易，性能也更好。

工夫求教均分析了任务类型、模子尺寸和折柳率之间的互相作用，比拟PaliGemma进一步扩大了迁徙任务的数目和范围，包括与OCR探究的任务，如表格结构识别、分子结构识别、曲谱识别，以及更长、更细粒度的图像描述和辐射学求教生成，况兼在这些任务上都取得了开首进的为止。

PaliGemma 2的主要脾性为：

1. 模子尺寸包括3B、10B、28B 参数，可合乎任务折柳率为224px、448px、896px的视觉输入。

2. PaliGemma 2不错为图像生成详确的、落魄文探究的描述，而不仅仅节略的对象识别来描述动作、情感和场景的全体表露。

3. PaliGemma 2在化学式识别、曲谱识别、空间推理和胸部X光求教生成方面的性能更强。

PaliGemma一代的用户不错径直升级到PaliGemma 2，无需进行要紧代码修改即可赢得性能进步。

模子架构

参谋东谈主员战胜与PaliGemma疏导的建模、检修和数据成立：使用预检修SigLIP-So400m视觉编码器，通过线性投影将「镶嵌序列」映射到Gemma 2的输入空间；视觉镶嵌与文本辅导勾通明，输入到Gemma 2说话模子；临了通过自记忆采样从说话模子中赢得测度。

参谋东谈主员将PaliGemma 2的预检修分为三个阶段（不包括对单模态组件进行预检修）。

第一阶段，勾通预检修的SigLIPSo400m和Gemma 2的原始模子权重，并在跨越10亿个多模态任务样本上进行检修；图像折柳率为224*224像素；在此阶段莫得冻结任何参数。

第二阶段，先在448*448像素折柳率下对5000万个样本进行检修，然后在896*896像素折柳率下检修1000万个样本。在职务接管上，增多那些「能从高折柳率图像中受益的任务」比例，增多输出序列的长度，以促进长视觉文本序列的OCR等任务的学习。

第三阶段，将第一或第二阶段的检查点微调到场合任务。PaliGemma包括一系列学术基准，包括一些波及多张图像和短视频的基准。

此外，参谋东谈主员还探索了文档的探究任务、长图像描述生成和医学图像知晓的新愚弄。

实际为止

参谋东谈主员测试了PaliGemma 2在文本检测和识别、表格结构识别、分子结构识别、光学曲谱识别（optical music score recognition）、长图像描述生成、空间推理以及辐射图像求教生成（radiography report generation）任务上的性能。

模子尺寸和折柳率

参谋东谈主员探索了不同尺寸和折柳率的模子在完成多样任务时的发扬若何，主要接管了三种尺寸（3B、10B和28B），并在两种不同的图像了了度（224像素和448像素）下对模子进行检修，任务包括了对当然相片、文献、图表和视频的图像描述、视觉问答和指代分割等。

从为止中不错发现，让模子科罚更高了了度的图像能够使用更大尺寸的说话模子，都会增多测度时的计较量，但大大都任务都能从这两项编削中赢得性能进步。

波及文本、文档、屏幕和图表知晓的任务，提高图像了了度带来的收益更大，可能是因为这些任务中使用的图像原陌生辨率就比224像素大，是以提高折柳率后恶果更光显。

波及多说话数据或需要复杂视觉推理的任务，主要从增大模子尺寸中获益。

文本检测和识别

在高档光学字符识别（OCR）任务时，模子需要从图像中定位和识别出单词，输出为止为一个数据对「转录文本，领域框」，参谋东谈主员战胜HierText竞赛的划定，使用单词级别的精准度、调回率和F1分数四肢评估主义。

淌若单词为止与真确领域框的交并比（IoU）大于或就是0.5，况兼转录文本与真确文本匹配，则合计该单词为止是true positive，但HierText公约不会归一化字母大小写、标点记号，也不会阐述文本长度进行过滤，而是径直将测度为止与真确为止进行比较。

参谋东谈主员使用常见的OCR基准测试，包括ICDAR’15、Total-Text、MLT17和MLT19、HierText、TextOCR、IntelOCR等多个数据集的检修分割混杂上对PaliGemma 2进行了微调，并在ICDAR’15和Total-Text测试集上进行评估。

为止显现，在896像素折柳率下，PaliGemma 2 3B的性能跨越了开首进的HTS模子。

需要能干的是，PaliGemma 2并莫得依赖于OCR专用的架构组件，只通过微调一个通用的视觉-说话模子（VLM）即达成了sota，展现了PaliGemma 2的多功能性，以及在第2和第3阶段进行OCR探究预检修的上风。

镌汰折柳率后，测度质地大幅下跌，况兼增大模子尺寸并莫得带来编削。

表格结构识别

表格结构识别任务的场合是从文档图像中索求表格文本本色、相应的领域框坐标以及HTML次序的表格结构。

参谋东谈主员接管PubTabNet的516k张表格数据图像，和FinTabNet数据集聚来自标普500公司年报的113k个财务求教表格，去除领域框超出图像框架的数据后，把图像填充为正方形以匹配场合输入折柳率。

参谋东谈主员使用树剪辑距离雷同度（TEDS）和网格表格雷同度（GriTS）两个主义来评估模子质地，主要测量单位格文本本色、单位格拓扑/结构和领域框质地。

为止显现，PaliGemma 2在大大都主义下都展现出了最高的性能，况兼增多模子尺寸也莫得对模子的性能带来进步，而使用更低的图像折柳率则会导致质地出现小幅下跌。

曲谱识别

参谋东谈主员使用了GrandStaff数据集进行微调，包含53.7k张图像，基于尺度化的平均剪辑距离、字符舛错率（CER）、记号舛错率（SER）、行舛错率（LER）进行评估。

为止显现，跟着折柳率的提高，舛错率也在缓缓镌汰，但将模子大小从3B增多到10B并莫得影响性能。

辐射求教生成

为了探索PaliGemma 2在医学规模的才气，参谋东谈主员将其用于自动胸部X光求教生成任务上，非常于对X光图像进行长描述。

MIMICCXR数据集包含37.7万张图像，及相应的辐射求教；使用Gemini 1.5 pro来移除之前数据中涵盖的X光。

在使用该数据进行微调后，用RadGraph F1分数评估为止，测度参考求教中索求的实体与生成求教之间的F1分数，不错响应求教中实体的缺失或调回情况，以及与图像特征的探究。

不错看到，PaliGemma 2模子的达成了最佳的性能，提高折柳率和模子大小都能带来性能进步。

CPU推理和量化

为了评估只用CPU进行推理的速率，参谋东谈主员在四种不同的架构上使用gemma.cpp开动PaliGemma 2模子，检查点使用在COCOcap上微调过的PaliGemma 2 3B（224像素）模子。

辅导词「描述这幅图像」的预填充长度为256+4=260个token（图像+文本），输出求教「A large building with two towers on the water」为11个token

参谋东谈主员还对模子进行了量化实际，从32位浮点（f32）疗养到16位（bf16）权重，为止显现性能各异并不大。