Magi-自动将漫画转录成文字并自动生成剧本

Magi简介

Magi是由牛津大学工程科学系的视觉几何组开发的模型，专为漫画内容的自动转录和剧本生成而设计。此模型能够从漫画页面中精确识别面板、文本和角色，并将这些元素转换成结构化的文字记录，使读者能够通过文本的形式完整地体验漫画故事。

Magi非常适合那些意图将漫画内容数字化的研究者、程序开发者以及漫画爱好者。它提供了一个能够快速准确地将漫画页面内容转化为可访问文字的工具。

Magi相关资源：

– GitHub源码地址：https://github.com/ragavsachdeva/magi
– 论文链接：https://arxiv.org/abs/2401.10224

Magi的贡献可以通过以下主要功能来体现：

– 面板检测：准确辨认漫画中独立的矩形画框，为分析漫画内容奠定基础。
– 文本检测：找出并提取每个面板内的文字，包括对白和叙事文本，是进一步理解的关键。
– 角色检测：识别每幅面板中的角色，并记录其细节信息，例如在图像中的位置、姿势和表情。
– 角色识别：确定角色的身份，如名字和称呼，辅助追踪故事中的不同人物。
– 角色聚类：将同一角色在各个面板中呈现的不同姿态归纳到一起，以区分故事中的各个人物。
– 语音分配：将提取的文本和对话准确分配给相应的角色，是创建剧本的关键步骤。
– 阅读排序：按照逻辑和阅读顺序整理飘零的文本片段，以完整且连贯的方式输出对话内容。

如何使用Magi?

1. 上传所需转录的漫画页面图片。
2. Magi自动处理漫画页面信息，从中生成文本。
3. 用户可以根据自己的需求进行进一步的文本编辑和调整。

Magi不仅简化了漫画的数字化处理过程，同时也为那些希望通过文字来回溯漫画故事的读者提供了新的途径。这一自动化的方式提高了从丰富的图像到详细文本描述的转换效率，从而加快了漫画内容的索引和检索过程。Magi模型的应用使读者无需直接查看图像，即可获得与漫画图像等效的体验，为漫画的推广及理解提供了有力的支持。