Janus-Pro - DeepSeek开源的统一多模态模型,到底有多厉害?

Viewed 44

JanusProDeepSeek开源的统一多模态模型相当厉害。

在多模态理解基准测试中表现卓越。JanusPro7B在多模态理解基准MMBench上取得了79.2的分数,超越了Janus(69.4)、TokenFlow(68.9)等先进的统一多模态模型,和MetaMorph(75.2)。并且在GenEval和DPGBench基准测试中,JanusPro7B版本的准确率超过了84%,超越了OpenAI的DALLE3和StabilityAI的StableDiffusion3medium等知名模型。

文本生成图像能力出众。它既能理解多模态类型的输入,又能文生图。同时兼顾这两个特性且保持高性能,至今没有其他模型能做到。例如,它可以将简单的创意概念转化为生动的视觉呈现,有助于探索不同的艺术风格,像把一个基本的线条画转换为纹理丰富的作品。

最后,模型具有很好的适配性。JanusPro是DeepSeek推出的开源AI模型,支持图像理解和图像生成,提供1B和7B两种规模,适配多元应用场景。通过改进的训练策略、扩展的数据集和更大规模的模型,显著提升了文本到图像的生成能力和指令跟随性能。其代码和模型参数已经分别在github和huggingface上开源,方便大家使用。

0 Answers