知識圖譜圖形形式的知識捕獲實體，型別和關係節點是實體節點以其型別標記兩個節點之間的邊捕獲實體之間的關係

舉例：百科全書網路

節點型別：論文，標題，作者，會議，年份關係型別：pubWhere，pubYear，hasTitle，hasAuthor，cite

舉例：社交網路

節點型別：帳戶，歌曲，帖子，食物，頻道關係型別：朋友，喜歡，做飯，看，聽

舉例：谷歌知識圖譜

一些產品

Google知識圖亞馬遜產品圖Facebook Graph APIIBM沃森微軟SatoriProject Hanover/LiteromeLinkedIn知識圖Yandex物件答案

知識圖譜的應用：

提供資訊問題解答和對話代理

知識圖資料集

公開的圖：FreeBase，Wikidata，Dbpedia，YAGO，NELL等共同特點：大容量：數百萬個節點和邊不完整：缺少許多真實的邊

舉例：Freebase

約5000萬個實體〜38K關係型別約30億個事實/三重

來自Freebase的人中93.8％沒有出生地，而78.5％的人沒有國籍！

FB15k / FB15k-237Freebase的完整子集，由 研究人員學習KG模型給定一個巨大的KG，我們可以完成 KG /預測失蹤的關係嗎？連結+型別知識圖譜中的邊緣表示為三元組（ℎ，r ，t ）頭（ℎ）與尾（t）有關係 (r)。關鍵思路：模型實體和關係 嵌入/向量空間ℝ。給定真正的三元組（ℎ，r ，t），目標是 （ℎ，r ）的嵌入應靠近t的嵌入如何嵌入（ℎ，r）？如何定義親密關係？

關係模式

對稱關係，例如家庭，室友

組合關係，例如我母親的老公是我老爸

1對多，多對1關係，例如學生和老師

翻譯直覺

注意：嵌入向量將以粗體顯示

訓練

其中 γ是Margin，即在有效的三元組和損失的三元組之間建立模型。

使用TransE在知識圖譜中做邊預測

誰獲得了圖靈獎誰是加拿大公民

組合關係

對稱關係

多對應關係，1對多，多對1，多對多

使用TransE時，t1和t2將對映到相同的向量，儘管它們是不同的實體。

TransR：在實體空間ℝ（）中將實體建模為向量，並在關係空間ℝP中將每個關係建模為向量r，其中Mr; ∈ℝP×（作為投影矩陣）。

Lin, Yankai, et al. "Learning entity and relation embeddings for knowledge graph completion." AAAI.

TransR中的對稱關係

例如：家庭和室友

1對N，N對1，N對N關係

示例：如果知識圖中存在（ℎ，r，t1）和（ℎ，r，t2）。

複合關係：

例如我的母親的丈夫是我的父親。

每個關係都有不同的空間。 對於多個關係而言，這不是自然組成要素！

基於關係的嵌入：

路徑查詢

知識圖譜中的查詢型別

我們可以進行多跳推理，即在不完整的大規模KG上有效地回答複雜的查詢嗎？

查詢型別    ｜ 示例單跳查詢    ｜ Hinton在哪裡畢業？路徑查詢    ｜ 圖靈獎獲得者從哪裡畢業？結語查詢    ｜ 獲得圖靈獎的加拿大人從哪裡畢業？EPFO查詢   ｜ 獲得圖靈獎或諾貝爾獎的加拿大人從哪裡畢業？

單跳查詢

我們可以將連結預測問題表述為回答一跳查詢。

連結預測：連結（ℎ，r，t）是否正確？ 單跳查詢：t是查詢（ℎ，r）的答案嗎？

透過在路徑上新增更多關係，將單跳查詢通用化為路徑查詢。

路徑查詢可以用

q的計算圖：

路徑查詢的計算圖是一條鏈

“圖靈獎獲得者從哪裡畢業？”

Va是“圖靈獎”。 （r1，r2）是（“獲得者”，“畢業”）。

給出一個知識圖譜，如何回答查詢問題？

透過遍歷知識圖譜來回答路徑查詢。 “圖靈獎獲得者從哪裡畢業？”

錨點是圖靈獎

從錨節點“ Turing Award”開始 並透過“贏”關係遍歷KG， 我們到達實體 {“Pearl”, “Hinton”, “Bengio”}。

從節點{“ Pearl”，“ Hinton”，“ Bengio”} 開始，並透過關係遍歷KG “畢業”，我們到達實體 {“NYU”, “Edinburgh”, “Cambridge”, “McGill”}。這些就是查詢的答案！

如果圖不完整該怎麼辦？

我們可以先做連結預測然後遍歷已完成的（機率）KG？

不！完全的知識圖譜是一張密集的圖！

穿越密集的KG的時間複雜度 | V | 回答長度（Va，r1 ...... rn）的實體 n是O（| V | n）

關鍵思想：嵌入查詢！ §將TransE推廣到多跳推理。

在向量空間中嵌入路徑查詢。“圖靈獎獲得者從哪裡畢業？”遵循計算圖：

連詞查詢

我們可以回答更復雜的查詢嗎？

如果我們從多個錨點節點開始怎麼辦？ “獲得圖靈獎的加拿大公民是從哪裡畢業？

計算圖如下：

兩個錨點：加拿大和圖靈獎

從第一個錨節點“ Turing Award”開始，並透過關係“ Win”遍歷，我們到達{“ Pearl”，“ Hinton”，“ Bengio”}。

從第二個錨節點開始 “Canada”，按關係穿越 “Citizen”，我們得到 { “Hinton”, “Bengio”,

“Bieber”, “Trudeau”}

然後，我們將這兩個集合相交併獲得{'Hinton'，'Bengio'}

我們進行另一個遍歷並得出答案！

關鍵思路：將查詢嵌入向量空間 “獲得圖靈獎的加拿大公民從哪裡畢業？”

我們如何取幾個交集 嵌入空間中的向量？設計神經交叉運算元

DeepSets架構

限制：

取兩個向量之間的交點是不遵循直覺的運算。 當我們遍歷知識圖譜以獲得答案時，每個步驟都會產生一組可達實體。我們如何更好地為這些集合建模？ 我們可以定義一個更具表現力的幾何來嵌入查詢嗎？Query2Box 框嵌入

嵌入帶有超矩形的查詢（框）

取兩個向量之間的交點是不遵循直覺的運算。 框的交點定義明確！ 當我們遍歷KG以獲得答案時，每個步驟都會產生一組 可達實體。我們如何更好地為這些集合建模？ 框是強大的抽象，因為我們可以投影中心並控制偏移量以對框內包含的實體集進行建模。

投影運算子

幾何相交運算元ℐ¡ℐ：

Box ×⋯× Box→ Box 新中心是加權平均值。 新的偏移量縮小

query2box可以處理不同的模式：

EPFO查詢

我們可以嵌入更復雜的查詢嗎？ “獲得圖靈獎或諾貝爾獎的加拿大人從哪裡畢業？”

合併查詢+析取稱為存在正一階（EPFO）查詢。

我們還可以設計析取運算子嗎？ 將EPFO查詢嵌入到低維向量空間中？是

query2box實際怎麼學習？

示例：“列出演奏絃樂器的男性樂器演奏者”

我們使用T-SNE將嵌入空間縮小為二維空間，以視覺化查詢結果