财经 情感 文化 星座运势 科技 教育 动漫 军事 游戏 时事 搞笑 旅游 音乐 美食 体育 宠物 汽车 历史 家居 国际 综合 娱乐 健康养生 母婴育儿 社会 时尚

八达投注平台-人在ICCV,介绍两篇入选的“穿衣服换衣服”论文

2020-01-11 13:30:16 来源:奇韬姜窑网 责任编辑:匿名

八达投注平台-人在ICCV,介绍两篇入选的“穿衣服换衣服”论文

八达投注平台,乾明 假装发自 首尔

量子位 报道 | 公众号 qbitai

人在iccv 2019,刚从韩国首尔离开。【doge

说两篇有意思的论文吧,来自一个中国小哥,都是关于“衣服”的研究。

一篇教人穿衣服,另一篇给人换衣服。

比脱衣服的研究难多了,而且颇具商业价值。

这篇论文题目为compatible and diverse fashion image inpainting,还被接收为oral论文(接受率仅4.6%),研究方向是时装搭配。

研究到了这个程度,只是简单地将输入图像中缺失的时尚单品补全已经不够用了。

想要突出还要注重整体搭配的协调性与真实性。

在这个过程中,最棘手的一个问题是,如何在耦合形状和外观时,妥善处理衣服的边界。

这也是同类模型效果不如人意,且无法商业化的关键点之一。

这个论文中,作者提出了一个名为finet的模型,基于两阶段的变分自编码器的生成网络,在满足多样性和兼容性的条件下,来填充图像中缺失的时尚商品。

核心思路是,分别用形状生成网络和外观生成网络,来依次生成缺失衣服的形状和外观。

从而使finet可以在目标区域中修复出具有不同形状和外观的服装。

△形状生成网络

△外观生成网络

为了保证兼容性,作者也在其中集成了一个兼容性模块,将兼容性信息编码到网络中,来保证让生成衣服的形状和外观都是和其他衣服是兼容搭配的。

如此研究,应用场景也颇为广泛。

从用户的角度来说,在不知道穿什么衣服出门的时候,可以让计算机模型自动生成搭配的潮流服装。

而商家,则是可以将这一技术,应用到时装设计和新时尚商品推荐等应用中,来更好的实现商业购买转化,进一步激发用户的消费力。

那效果如何呢?在论文中,作者给出的效果是这样的:

直观来看,与pix2pix+noise、bicylegan、vunet、clothnet等方法相比,效果比较好。

从实际应用的角度来分析,finet模型的结果,也相对更接近落地一些。

论文地址:

finet:compatible and diverse fashion image inpainting

https://arxiv.org/abs/1902.01096v2

这篇论文名为clothflow: a flow-based model for clothed person generation,研究主题也是衣服生成。

但与finet模型比起来,这篇论文的实现方式与应用方向都有很大不同。

clothflow是一个基于外观流的衣服生成模型。

主要用于将一个图片中的服装渲染到另外一张图片上,其想要实现的效果是这样的:

具体的实现方式,是使用一个级联的特征金字塔网络,估算源服装区域和目标服装区域的几何变换,然后通过多个基于编码器-解码器的生成网络来实现“衣服迁移”。

在论文中,作者也多次提到了这一研究的应用场景——虚拟试衣等服装相关应用。

尤其是在直播场景中,有不少的想象空间。

这一技术成熟后,主播可以虚拟换装,省去买衣服的成本和换衣服的时间。

而且, 用户也可以根据自己的喜好给主播选穿什么样的衣服。

论文地址:

clothflow: a flow-based model for clothed person generation

http://openaccess.thecvf.com/content_iccv_2019/papers/han_clothflow_a_flow-based_model_for_clothed_person_generation_iccv_2019_paper.pdf

最后简单介绍下论文作者吧。

主题相近、方法不同的两篇入会论文,一作都是一位叫韩欣彤的小哥。

随手查了下履历:

上海交大本科、马里兰大学帕克分校博士。

2018年进入工业界,先在创业公司码隆科技任职算法研究员。

最新已被挖到虎牙,是中国直播一哥公司的计算机视觉tech lead。

他说,接下来还是会持续关注直播内容生成方向,比如人脸和人体的驱动和生成。

韩欣彤很年轻,但已经在cvpr,iccv,eccv等顶级会议发表了近十篇论文。

而且据他自己介绍,是上海交大本科三年级时才真正接触计算机视觉,至今7年。

所以也是真正找到了兴趣和擅长,也赶上了时代潮流。

我们问虎牙,这次韩欣彤博士穿衣服、换衣服的研究,会跟他现在在虎牙的工作进一步相关起来吗?

比如——一个大胆而规矩的想法,在直播中给主播虚拟换装,或者让用户给主播换衣服。

他们没给直接肯定的答案。

不过也云山雾罩透露:在学在产,虎牙的技术研发都不会仅仅存在于论文中,也会进一步进入到平台业务中。

所以,就说你们这些搞技术研究的,赞得很。(大误)

— 完 —

量子位 qbitai · 头条号签约

关注我们,第一时间获知前沿科技动态

五百万彩票

上一篇:“绿色”的小龙虾要不要试试?网易严选推出椒香鲜辣小龙虾
下一篇:核心成员平均年龄只有33岁“成都造”商业卫星带着双创周LOGO上天

文章版权归本站所有,禁止转载!