🎵 M2UGen融合音乐理解和多模态任务，支持文字、图像、视频生成音乐。
🐭 Mickey-1928SD模型基于Stable-Diffusion-xl微调，使用1928年公共领域画面训练。
HandRefiner的工作原理包括手部识别与重建以及条件修补两个过程。首先，它识别出生成图像中形状不正常的手部，并使用手部网格重建模型重建出一个正确的手部形状和手势。即使在畸形的手部图像中，HandRefiner也能够生成合理的重建结果，这得益于模型基于正常手部的训练数据。
在实验中，VCoder与开源的多模态LLMs（如MiniGPT-4、InstructBLIP、LLaVA-1.5和CogVLM）进行了比较，并在COST验证集上进行了测试。实验结果表明，VCoder在对象识别任务中表现最佳，特别是在对象计数和识别方面优于基线模型。在处理复杂场景中的对象计数和识别任务时，VCoder展现出更高的准确性，尤其是在场景中有许多实体时。