论文导读：Hypernetwork Knowledge Graph Embeddings

Abstract

知识图谱是大型事实数据库的图形表示，它通常存在不完整性。推断实体（节点）之间缺失的关系（链接）是链接预测的任务。最近一种最先进的链接预测方法ConvE，实现了一个卷积神经网络，从连接的主题和关系向量中提取特征。虽然结果令人印象深刻，但该方法是不直观的，且很难理解。而我们提出了一个超网络架构，该架构生成简化的特定关系的卷积过滤器，(i)在标准数据集上优于ConvE和所有以前的方法；(ii)可以作为张量因子化的框架，从而设置在一个成熟的用于链接预测的因子化模型系列中。由此我们可以证明，卷积只是提供了一种引入稀疏性和参数捆绑的方便计算手段，可以在非线性表现力和需要学习的参数数量之间找到一个有效的平衡点。

Introduction

知识图谱是大型的图结构的事实数据库，例如WordNet、Freebase和Google等。它们包含的信息以三要素（e1, r, e2）的形式存在，其中e1和e2代表主体和客体实体，r是它们之间的关系。它们被认为是重要的信息资源，可用于从问题回答到信息检索和文本总结的各种任务。现有的知识图谱面临的主要挑战之一是它们的不完整性：图谱中的许多实体之间的联系是缺失的。这激发了链接预测领域的大量工作，即推断知识图谱中缺失链接的任务。
直到最近，许多链接预测的方法都是基于对训练三元组的3个编码的二进制张量表示的不同因子[12,17,23,22]。这种方法是浅层的和线性的，表现力较为有限。然而，试图用额外的全连接层和非线性来增加表现力往往会导致过度拟合[12,17]。出于这个原因，Dettmers等人引入了ConvE，这是一个使用二维卷积在重塑和串联的实体和关系嵌入上的模型[3]。他们鼓励使用卷积，因为它的参数效率高且在GPU上计算速度快，而且有各种计算机视觉的稳健方法来防止过度拟合。尽管ConvE取得的结果令人印象深刻，但很不直观的是：卷积——尤其是二维卷积——应当能有效地从一维实体和嵌入的关系中提取信息。
在本文中，我们引入了HypER，一个使用超网络[5]为每个关系生成卷积过滤器权重的模型。超网络是一个网络为另一个网络生成权重的一种方法，可以用来实现跨层的权重共享，并动态地合成输入的权重。在我们的背景下，我们生成特定关系的过滤器权重来处理输入实体，同时也实现了知识图谱中关系的多任务知识共享。我们提出的HypER模型使用超网络来生成一组一维的特定关系过滤器来处理主要实体嵌入。与ConvE相比，这简化了主体实体和关系嵌入之间的互动。在ConvE中，一组全局的二维过滤器在重构和连接过的主体实体和关系嵌入上进行卷积，而这是不直观的，因为它表明词语嵌入中存在二维结构。此外，ConvE中主语和关系之间的交互作用的主语和关系之间的互动取决于对它们如何被重塑和连接的任意选择。相比之下，HypER的超网络产生了特定于关系的过滤器，因此从主语实体嵌入中提取了特定于关系的特征。这不需要二维重塑，并允许实体和关系更完整地互动，而不是只在连接边界附近。我们表明这种简化的方法，除了提高链接预测性能外，还可以从张量因子化的角度来理解，从而将HypER置于一个成熟的因子化模型系列中。因此，在词嵌入中使用卷积的明显晦涩性被解释为不过一种引入稀疏性和参数捆绑的方便计算手段。
我们使用标准数据集（FB15k-237, WN18RR, FB15k, WN18, YAGO3-10）对HypER与之前提出的几个链接预测模型进行了评估，在这些数据集中，HypER均表现出了最先进的性能。总而言之，我们的主要贡献是：

• 提出了一个新的链接预测模型（HypER），该模型在所有标准数据中都达到了最先进的性能。在所有的标准数据集上取得了最先进的性能。
• 显示了使用卷积层而不是全连接层的好处。层的好处是由于限制了相互作用的维数（即明确的正则化），而不是在嵌入中寻找高维结构（如ConvE所暗示的）；以及
• 表明尽管使用了卷积，但HypER实际上属于张量分解模型的一个大类，这有助于在表现力和学习参数的数量之间进行良好的权衡。

原文地址：http://www.cnblogs.com/nayameow/p/16807219.html