时间:2022-10-12 00:04:41 | 浏览:2593
机器之心报道
参与:一鸣
漫画抠图是汉化组翻译中必不可少而又工作量很大的一项工作,主要内容是将漫画中的文字抠去,以便替换成另一种语言。现在,这项工作可以自动化地完成了,一位韩国的开发者开源了一款工具,借助深度学习模型可以一键抠去漫画中的文字,连背景图中的文字都可以被抠去,效果十分惊人。
项目地址:
https://github.com/KUR-creative/SickZil-Machine
很多人都喜欢看日本漫画,不少作品已经成为很多人心中的童年回忆。但是对于漫画的翻译人员来说,他们需要去除原有漫画的对话框和背景文字,并将其替换为读者使用的语言。由于一本漫画可能有数万个对话框和对话,因此工作量是很大的。
现在,抠图的工作人员可以基本上解放他们的双手了。只要你有 TensorFlow,就可以快速实现一键抠图,将漫画图像中的所有文字一键去除。
SickZil-Machine,一键抠图
SickZil 是韩文中的作者提供了一个视频,用于展示这一工具的效果。
作者同时提供了自动工具抠图的案例。
对话框中的文字可以被完全消除。
有时候会有些文字消除不干净的情况,但基本不影响画面(漫画右上角标题符号)。同时,背景中被去掉文字后,背景画面可以被自动补全,基本不改变画面效果(画面右上角背景文字)。
从视频中可以看出,这一工具非常的方便。只需要选择待处理的漫画,然后运行工具即可。如果有一些画面被误去除,或者有一些去除不干净的情况下,用户可以手动修改需要被去除的文字。
那么,这一工具背后是什么技术呢?
技术
模型架构
据项目作者介绍,这一工具背后使用了两个模型,第一个是 Seg Net,用于检测漫画中的问题。另一个则是 Compl Net,用于处理漫画图像,去除文字并补全缺失的图像部分。
Seg Net 使用的是 U-NET。这是一种编码器-解码器架构。编码器逐渐减少池化层的空间维度,解码器逐步修复物体的细节和空间维度。
U-Net 的架构,将输入图像逐步池化后进行上采样,从而还原图像细节。
而 Compl Net 使用的是 deepfill v2,这是一个用于对任意被 mask 的图像进行修复的模型,可以适应各种 mask 的方式(块状遮盖或线条遮盖都可以)。deepfill 是 Adobe 等机构提出一系列图像修复工具,机器之心也曾用过 deepfill v1,但是效果似乎没有论文展示的那么好。
目前 deepfill v2 并没有官方开源,但 GitHub 上有其他开发者复现。
deepfill v2 的模型架构,可以进行图像修复。
有了这两大神器,基本上可以实现漫画文字的检测识别和去除文本后的图像补全。
数据集和训练
有了模型还不够,很多读者想知道,整个系统是怎样训练的。
在 Seg Net 上,作者使用了原始的漫画图像和文本内容遮盖数据,用于覆盖原始漫画中所有的文字部分。在 Compl Net 上,模型的输入为被移除了文字的漫画图像。模型使用了 285 个图像-遮盖对和 31500 张漫画图像,其中有将近 12000 张漫画是有文字的,因此训练的数据比较平衡。
安装和使用
作者没有透露训练模型的相关参数,但是提供了开发者需要准备的硬件配置。
对于开发者而言,运行代码需要准备 NVIDIA 驱动 410.x,CUDA 10.0,CUDNN >= 7.4.1,TensorFlow 需要大于 1.13 版本。
配置代码步骤如下:
机器之心报道参与:一鸣漫画抠图是汉化组翻译中必不可少而又工作量很大的一项工作,主要内容是将漫画中的文字抠去,以便替换成另一种语言。现在,这项工作可以自动化地完成了,一位韩国的开发者开源了一款工具,借助深度学习模型可以一键抠去漫画中的文字,连
作为自媒体打工人,经常碰到处理图片需要抠图,在日常生活中,普通人也经常遇到这种情况:比如更换证件照颜色、照片背景过于杂乱,都需要把人像或者物品抠下来,换一张背景~如果手动抠图,不仅浪费时间,而且技术根本达不到完美抠图的效果!所以今天就给大家
PS抠图是指什么??有什么用途!PS抠图是指利用photoshop的快速选择工具选取图片中的一个部分并闭合起来,然后将闭合部分截取出来的过程。例如将人合成到一副风景画就是用Photoshop把含有人的图片将人从图片中抠出来(抠图),然后把人
每天最痛苦的事莫过于临近下班老板还在安排工作,当我的老板递给我一沓设计海报让我修改海报背景时,真的头皮发麻,如果一张一张抠图太浪费时间了!不过没关系,最近发现了几款好用的AI抠图工具,一键抠图3秒就能完成!小伙伴一起来看看整理的这5款工具吧
相信很多人在工作中都遇到过这样的问题,明明从事的不是PS的行业,领导每天却将P图、修图、抠图的任务交给你,今天就来给大家分享一个强大的抠图工具,效果堪比PS!这款强大的抠图工具叫做一键抠图,工具内支持单张/批量人像抠图、证件照制作、图片编辑
大家平时在使用电脑时一定会经常需要用到抠图这个功能,用到的最多的可能也是PS,但这款软件对小白来说可能不太友好。今天给大家分享5个除了PS以外的好用的抠图工具,帮助我们快速抠图。01. PPT作为office办公软件,PPT的功能你可能根本
相信很多读者在制作ppt时,都遇到过这样的情况,为了让ppt的页面层次更加丰富,我们就会让图片主体和背景分离,这时候就需要用到抠图了!该素材来源于旁友圈虽然PPT软件中,自带了删除背景功能,但是他的“去背”效果并不好。专业的设计师,可能会使
学习Photoshop的第一道门槛是什么?相信很多朋友的答案都是抠图。是的,抠图既是学习PS绕不开的必备技能,同时又是有些繁琐、耗时的操作。但是对于普通爱好者来说,抠图精度不是商业级别要求的话,只要灵活应用3个抠图工具,基本上就可以搞定大部
前几天公司新招了一个实习生,我交给了他一个任务,做几页人物介绍的PPT。小实习捣鼓了一天,也没个成果,我就问他问题出在哪儿了。小实习说,因为是做人物介绍,所以想着把人物抠出来,然后在进行设计比较好,但是自己PS不太熟练,所以卡在抠图那一环节
提到抠图,大家第一时间想到的肯定是PS,但是对没有专业学过PS,可能就比较困难了,所以今天给大家分享3款AI抠图工具,一键抠图非常智能,不仅省时省力,而且抠图效果也超好!一起来看看吧~01PurePhotos功能介绍这款工具非常智能,可以自
大家好,我是新来的实习生小叮。谁能想到,和一群大神老师待在一起,我居然没有被虐死,还活得好好的。谁又能想到,我年纪轻轻,就过上了夹着公文包,出入 CBD加班抠图的「好」日子。说起抠图,大家都知道,PPT 里的图片排版有全屏型、裁剪型、图片填
抠图软件,电脑免费抠图神器,AI智能抠图换背景,图片一键去背景工具。本文分享一个电脑端免费使用的:图片抠图去背景在线工具-remove。抠图软件首先,准备好需要去除背景的图片;抠图软件然后打开这款抠图工具,选择上传图片;或者直接用鼠标将图片
这里介绍一种快速抠图的方法,快速完成,不需要一点点抠细节。其实抠图原理大都差不多,抠图用到的工具也无非那么几种,通道、色彩范围、套索工具、魔术棒、调整边缘等等。这里主要用的是通道、色阶和调整边缘。我们先看一下抠好的图。现在我们来说明一下整体
在学习PS技能的过程中,抠图是最让人头疼的。下面教大家快速抠图的一个方法。抠图作为学习PS和设计,必须掌握的一门技巧,同时也是运用场景最多的一个技巧,需要我们认真学习和掌握。学会今天这篇教程中的抠图方法,相信朋友们在抠图的时候会更加得心应手
今天,在2019上海书展上,上海外语教育出版社正式对外推出“外教社词博士APP”。该App收录了6套大学英语教材,主干教程中的生词,内容包括词表、发音、释义(英汉双解)、课文中例句(英汉对照)等,帮助大学生与课堂教学同步学习词汇,为大学生提