新型半参数变分自动编码器DeepCoder:可分层级编码人脸动作

开发 开发工具
本文介绍了另一种 DeepCoder——用于自动面部动作编码的半参数变分自动编码器。

DeepCoder 是一个好名字,在今年的 ICLR 会议上,剑桥大学和微软就曾提出过一种 DeepCoder,可以组合其它程序代码来生成新程序,参阅机器之心的文章《学界 | 剑桥与微软提交 ICLR 2017 论文提出 DeepCoder:组合其它程序代码生成新程序》。前段时间,又有其他研究者提出了另一种 DeepCoder——一种用于自动面部动作编码的半参数变分自动编码器。

论文:DeepCoder:用于自动面部动作编码的半参数变分自动编码器

(DeepCoder: Semi-parametric Variational Autoencoders for Automatic Facial Action Coding)

论文:DeepCoder:用于自动面部动作编码的半参数变分自动编码器

论文地址:https://arxiv.org/pdf/1704.02206.pdf

人脸的表征能表现出一种固有的层次结构(即可以通过一套面部动作单元(AU)和它们的强度来对整体面部表情进行编码)。变分(深度)自动编码器(VAE)已经在大规模图像数据的层次化隐含表征的无监督提取上得到了优良的结果,同时还能在存在噪声和其它我们不想要的伪影时保持稳健。潜在地,这会使 VAE 成为一种学习 AU 强度估计的面部特征的合适方法。然而,大多数现有的基于 VAE 的方法都应用了与编码的特征分开学习到的分类器。相反,高斯过程(GP)等非参数(概率)方法通常比相对的参数方法表现更好,但却无法轻松处理大量数据。为此,我们提出了一种全新的 VAE 半参数建模框架 DeepCoder,它将参数(卷积)和非参数(ordinal GP)VAE 的建模能力结合到了一起,用以联合学习 (1) 任务层次中多个层级的隐含表征,(2) 多个有序输出的分类。我们在 AU 强度估计的基准数据集上的实验表明,我们提出的 DeepCoder 的表现优于当前***的方法以及相关的 VAE 和深度学习模型。

图1

图 1中我们提出的 2 层 DeepCoder:输入是面部图像,输出是重建的面部图像和 AU 强度水平。顶部的变分卷积自动编码器(VAE)的表现比面部特征的***级编码(Z0)更好,而这些特征的进一步编码(Z1)使用 ordinal GP 变分自动编码(VO-GPAE)针对 AU 强度估计进行了优化

DeepCoder 的学习和推理

算法 1:DeepCoder 的学习和推理

FERA2015

图 3:FERA2015:(a) MSE 重建误差,(b) VO-GPAE 的 NLPD,(c) 每个数据点估计的变分下限,(d) AU 强度估计的 ICC,和恢复的隐空间:Z0 (e) 和 Z1 (f)

【本文是51CTO专栏机构“机器之心”的原创译文,微信公众号“机器之心( id: almosthuman2014)”】

戳这里,看该作者更多好文

责任编辑:赵宁宁 来源: 51CTO专栏
相关推荐

2021-03-22 10:52:13

人工智能深度学习自编码器

2021-03-29 11:37:50

人工智能深度学习

2017-09-24 12:13:52

深度学习自动编码器机器学习

2019-05-22 17:34:16

代码开发工具

2021-12-17 10:09:47

编码器语言模型DeepMind

2022-02-14 10:16:29

AI模型编码

2021-11-02 20:44:47

数字化

2017-07-10 13:45:33

自动编码数据生成GAN

2012-04-01 16:40:45

编码器

2012-04-10 16:55:22

PowerSmart编码器

2023-04-25 21:36:07

火山引擎

2020-04-26 11:26:02

人脸合成编码器数据

2010-10-14 20:54:11

编码器IPTVPowerSmart

2009-08-29 11:03:10

2011-09-30 15:45:39

PowerSmart编山东省齐鲁频道

2022-03-02 13:44:10

3D模型数据

2010-03-01 14:08:53

WCF编码器

2023-03-03 15:40:43

抖音视频编码器
点赞
收藏

51CTO技术栈公众号