引言

知識(shí)圖譜嵌入 knowledge graph embedding是將包含實(shí)體和關(guān)系的知識(shí)圖譜三元組嵌入到高維向量空間中，獲得實(shí)體和關(guān)系的數(shù)值表示，提取圖中相關(guān)信息，并進(jìn)行后續(xù)運(yùn)算推斷。常用于知識(shí)圖譜補(bǔ)全 (KG completion)，關(guān)系提取 (relation extraction)，實(shí)體分類(lèi) (entity classification)，實(shí)體決議 (entity resolution)等等。

本次Fudan DISC實(shí)驗(yàn)室將分享三篇關(guān)于知識(shí)圖譜嵌入模型的論文，分別介紹其訓(xùn)練策略、概率校準(zhǔn)、模型設(shè)計(jì)三個(gè)方面取得的進(jìn)展。

文章概覽

知識(shí)圖譜嵌入模型的訓(xùn)練策略（You CAN Teach an Old Dog New Tricks! On Training Knowledge Graph Embeddings）

論文地址：https://openreview.net/pdf?id=BkxSmlBFvr

該篇文章在兩個(gè)常見(jiàn)數(shù)據(jù)集上對(duì)比了五種知識(shí)圖譜嵌入 (Knowledge Graph Embedding) 方法在同樣的訓(xùn)練框架和參數(shù)設(shè)置下的性能，總結(jié)并評(píng)測(cè)了不同模型架構(gòu)和不同訓(xùn)練策略對(duì)模型的影響，正如文章標(biāo)題所說(shuō)“你可以教給老狗新的技巧”，訓(xùn)練策略對(duì)模型的性能有重大影響，并且可能占最近幾年進(jìn)展的很大一部分。

知識(shí)圖譜嵌入模型的概率校準(zhǔn)（Probability Calibration for Knowledge Graph Embedding Models）

論文地址：https://openreview.net/pdf?id=S1g8K1BFwS

該篇文章將概率校準(zhǔn)的兩種方法運(yùn)用到知識(shí)圖譜嵌入模型中，解決了當(dāng)前知識(shí)圖譜嵌入模型對(duì)于實(shí)體推斷的打分不是概率的問(wèn)題。

使用盒嵌入在知識(shí)圖譜上推斷（Query2box: Reasoning over Knowledge Graphs in Vector Space Using Box Embeddings）

論文地址：https://openreview.net/pdf?id=BJgr4kSFDS

該篇文章將盒嵌入引入知識(shí)圖譜推斷中，將原有的基于點(diǎn)嵌入的模型升級(jí)為基于高維矩形嵌入的模型，解決推斷過(guò)程中“一推多”、合取、析取的問(wèn)題。

論文細(xì)節(jié)

1

論文動(dòng)機(jī)

目前有很多知識(shí)圖譜嵌入模型，是近期的熱點(diǎn)；

這些模型缺少統(tǒng)一的訓(xùn)練策略消融對(duì)比；

通常沒(méi)有考慮最先進(jìn)的基線。

以此帶來(lái)的問(wèn)題是難以評(píng)估模型和訓(xùn)練的貢獻(xiàn)。因此文章將熱門(mén)的5個(gè)模型在2個(gè)廣泛使用的數(shù)據(jù)集上控制訓(xùn)練策略進(jìn)行實(shí)驗(yàn)對(duì)比。

方法

本文使用上表中的5個(gè)模型對(duì)比了如下的訓(xùn)練參數(shù)設(shè)置，篇幅有限不做過(guò)多介紹。

實(shí)驗(yàn)結(jié)果

結(jié)果表明通過(guò)好的訓(xùn)練策略，熱門(mén)模型都比他們論文剛發(fā)表時(shí)發(fā)布的性能有所提升，甚至有些模型可以超過(guò)后來(lái)提出的模型，如RESCAL；同時(shí)，文中也對(duì)比了重新實(shí)現(xiàn)的模型與更新的模型性能，發(fā)現(xiàn)最新的模型并沒(méi)有比之前的模型在訓(xùn)練策略調(diào)優(yōu)后的效果上有明顯提升。

同時(shí)，每個(gè)模型在不同訓(xùn)練策略下的方差都比較大，并沒(méi)有完全特別好的模型。

此外，文章還對(duì)比了不同參數(shù)的作用，以及訓(xùn)練的過(guò)程。

2

論文動(dòng)機(jī)

知識(shí)圖譜嵌入研究忽略了概率標(biāo)定問(wèn)題。

流行的知識(shí)圖譜嵌入模型沒(méi)有校準(zhǔn)。

知識(shí)圖譜嵌入得到分?jǐn)?shù)的概率都是不可靠的。

因此，本文提出了一種知識(shí)圖嵌入模型的標(biāo)定方法，使用Platt標(biāo)度和等滲回歸，對(duì)概率進(jìn)行了校準(zhǔn)。

方法

論文主要的研究對(duì)象是基于知識(shí)圖譜嵌入的評(píng)分，使用Platt標(biāo)度和等滲回歸，對(duì)評(píng)分概率進(jìn)行了校準(zhǔn)。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明，Platt標(biāo)度和等滲回歸的校準(zhǔn)效果良好。

3

論文動(dòng)機(jī)

在知識(shí)圖譜的鏈接預(yù)測(cè)（link prediction）中，存在多步推理的情況，以及有的時(shí)候推理并不是一一對(duì)應(yīng)，而是存在同樣滿(mǎn)足條件的多個(gè)實(shí)體集合的情況。當(dāng)前的研究主要關(guān)注于單步的點(diǎn)推理，也沒(méi)有考慮推理中集合的操作。因此，本文提出將盒嵌入模型用于回答知識(shí)圖譜的推理問(wèn)題，從而解決推理中多步集合推理的問(wèn)題。

方法

文中定義了盒嵌入向量的構(gòu)造和投影合取的操作，以及距離的計(jì)算方式。

此外，文中還證明了任何一個(gè)命題都可以轉(zhuǎn)化為標(biāo)準(zhǔn)形式。

實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果表明盒嵌入模型相比于點(diǎn)嵌入模型擁有更好的推理效果。

總結(jié)

此次 Fudan DISC 解讀的三篇論文圍繞知識(shí)圖譜嵌入模型展開(kāi)，訓(xùn)練策略對(duì)于嵌入模型的訓(xùn)練影響很大，由知識(shí)圖譜嵌入模型得到的打分可以通過(guò)概率校準(zhǔn)的手段使其變成概率，盒嵌入模型的引入解決了復(fù)雜集合推斷的問(wèn)題。

責(zé)任編輯：lq