본문 바로가기

전체 글

 (94)
Review of Knowledge Graph Completion INDEX1. 시작하며2. 지식 그래프3. KGC의 목적과 이유 4. 모델 분류 4-1. Translation based4-2. Path based 4-3. Rule based 4-4. GNN based 5. 마무리   1. 시작하며 지식 그래프는 학부연구생을 시작하고 나서 처음으로 하나의 주제에 집중적으로 투자하게 된 분야이다. 지식 그래프의 완성을 목표로 하는 knowledge graph completion(이하 KGC)라는 분야이다. 본 글은 약 3개월간 KGC를 다룬 모델들과 그에 따른 추가적 생각들에 대한 정리글이다. 해당글은 tutorial 자료[1]로 공부한 바탕으로 만들어졌음을 알리고 싶다.  2. 지식 그래프지식 그래프(이하 KG)란 무엇일까. KG는 일반 그래프에서 노드를 entity,..
Relational Message Passing for Knowledge Graph Completion(PathCon) 논문 리뷰 Paper : Main interest지식 그래프(Knowledge Graph, KG)는 일반 그래프의 특수 형태이다. 단순히 두 노드 사이의 관계를 무방향 간선 또는 방향 간선만으로 표현하는 것이 아닌 relation을 포함시켜 표현한다. 가령 두 entity $USA, Obama$사이의 관계를 지식 그래프에서는 $Obama\xrightarrow[]{hasNationality}USA$로 표현될 수 있는 것이다. 즉 일반 그래프보다 더 풍부하고 다양한 정보를 저장할 수 있는 것이 지식 그래프인 것이다. 지식 그래프에서 우리가 해결하고자 하는 문제는 크게 2가지이다. KG에 있는 두 entity사이에 있어야 할 relation이 무엇이냐를 추론하는 link prediction과 head entity와 re..
DeepPath: A Reinforcement Learning Method for Knowledge Graph Reasoning 논문 리뷰 Paper : Main interset복잡한 자연어 문제에서 다중 연결을 활용한 추론 과정을 해결하고자 한다. 쿼리가 복잡해지고 길어질수록 이 문제를 해결하는 것이 중요하다. 따라서 본 연구에서는 지식 그래프(Knowledge Graph, KG)에서의 multi-hop 추론을 목적으로 한다. 예를 들어 선수 $P$가 클럽 $T$에서 활동하고 $T$가 리그 $L$에 포함되어 있음이 KG에서 다수 확인되면 모델은 스스로 $playerPlaysForTeam(P,T)\wedge teamPlaysInLeague(T,L)\Rightarrow playerPlaysInLeague(P,L)$와 같은 공식을 도출해 내는 것이다. 이 공식을 testing에서 적용하면 두 entity 사이의 link를 예측할 수 있게 되는 ..
Random Walk Inference and Learning in A Large Scale Knowledge Base(PRA, 2011) 논문 리뷰 Paper : Main interest문제는 지식 그래프(Knowledge Graph, KG)의 생성으로 거슬러 올라간다. 본 연구에서 소개하기로 NELL(Never-Ending Language Learner)은 실시간으로 다량의 웹 데이터를 입력받아 텍스트에서 정보를 추출해 기존에 쌓아두었던 KB(Knowledge Base, KB)를 업데이트한다. 문제는 우리가 이 세상에 있는 모든 데이터를 끌어모을 수 없다는 한계 때문에 NELL을 통해 구축된 KB는 imperfect 하다. 이 문제를 해결하기 위해 KB에서 추론을 할 수 있는 모델을 만들자는 움직임이다. 즉 imperfect 한 것은 어쩔 수 없으니 빈 공간을 모델이 채우게끔 시키자는 것이다. 이는 NELL이 생성하는 KB뿐만 아니라 추천 시스템,..
Inductive Relation Prediction by Subgraph Reasoning(GralL) 논문 리뷰 Paper : Main interest지식 그래프에서의 relation prediction에 집중한다. 이는 즉 두 노드(entity) 사이에 간선(relation)이 존재한다면 어떤 relation이 오는 것이 가장 확률이 높은지 대한 탐구이다. 특히 이 연구에서는 inductive inference가 가능한 모델에 관심을 두고 있다. 즉 transductive inference(Knowledge Graph Embedding, KGE)의 한계를 타파하고 싶다는 것이다.  Problem with previous works Inductive inference에 대한 더 자세한 배경은 다음과 같다. 초기 knowledge graph completion(link prediction, relation predi..
Link Prediction Based on Graph Neural Networks(SEAL) : 논문 리뷰 Paper : Presentation content :Main interest그래프에서의 link prediction을 주 관심사로 한다. 이는 즉 네트워크가 주어졌을 때 두 노드 사이의 link가 존재 유무를 판별하는 작업이다. 이는 추천 시스템은 물론이고 지식 그래프 completion, 의학 데이터 재구축(e.g., metabolic network, PPI) 등에 사용될 수 있다.  Problem with previous models그래서 두 노드 사이의 연결을 어떻게 판별할 것인가? 가장 널리 사용된 방법은 휴리스틱을 정의하는 것이다. 휴리스틱이란 두 노드 사이의 link가 이루어질 score를 계산할 수 있는 일종의 함수이다. 즉 입력은 두 노드와 관련된 정보(주변의 구조적 특징, 두 노드로 이..
RLogic : Recursive Logical Rule Learning from Knowledge Graphs 논문 리뷰 Paper : Presentation content :Main interest지식 그래프(Knowledge Graph, KG)는 실세계 지식들을 담고 있는 특수 그래프이다. 노드는 entity, 방향 간선은 relation이라고 하며 하나의 triplet(i.e. $(h, r, t)$ 또는 $r(h, r)$)을 데이터 단위로 한다. 이를 사용해 추천 시스템, question answering, 다양한 추론 등에 활용할 수 있기 때문에 활용도가 무궁무진한 그래프 구조이다.   본 연구에서는 이런 semantic 데이터를 사용해 논리적 추론을 할 수 있는 모델을 만들고자 한다. 가령 위의 예시에서 $(Tim\, Cook,Succesor\,of,Steve\, Jobs)\wedge(Steve\, Jobs,For..
RNNLogic : Learning Logic Rules For Reasoning On Knowledge Graphs 논문 리뷰 Paper : Main interest지식 그래프(Knowledge Graph, KG)는 그래프 형태의 데이터 구조이다. 간선의 종류가 제한된 일반적인 그래프와는 다르게 지식 그래프는 간선을 relation, 노드를 entity라고 부르며 이들의 연결(i.e. triplet $(h, r, t)$=$r(h,t)$)을 하나의 데이터 단위로 갖는다. 즉 아래의 그림과 같이 지식(Knowledge)을 통해 entity 사이의 관계를 그래프(Graph)처럼 표현할 수 있는 것이 KG가 된다.  KG인 데이터를 KB(Knowledge Base)라고 하는데 실세계 정보를 담아야 하는 만큼 KB의 규모는 매우 크다. 그만큼 모든 정보를 우리가 다 수집할 수 없기 때문에 KB는 주로 incomplete 하다. 따라서 우..

티스토리툴바