본문 바로가기

전체 글

 (94)
DRUM:End-To-End Differentiable Rule Mining On Knowledge Graphs 논문 리뷰 Paper : Presentation content :Main interest그래프는 노드와 간선으로 이루어져 있다. 노드를 객체, 간선을 객체 간의 연결로 이해할 수 있다. 여기서 더 나아가 지식 그래프(Knowledge Graph, KG)에 대해 살펴보자. 지식 그래프는 객체(entity) 사이의 관계를 간선(relation)으로 정의한 데이터 집합이다. 독특한 점은 간선은 양방향, 방향 간선뿐이며 간선에 종류가 있다는 점이다. 가령 parent_of, is_capital_of 등이 있다. 하나의 triplet (h, r, t) 형태가 데이터 단위가 되며 h -> r -> t 순서로 관계가 정의된다(e.g., (Paris, is_capital_of, France)). 그래서 KG에서 우리가 모델에 학..
Differentiable Learning of Logical Rules for Knowledge Base Reasoning(Neural LP) 논문 리뷰 Paper :Main interest지식 그래프(Knowledge graph, KG)는 방대한 크기의 정보 담고 있으며 2개의 entity(h, t)와 1개의 relation(r)으로 하나의 triplet을 구성하고 이것이 KG의 데이터 단위가 된다. 예를 들어 $(h, r, t)$로 triplet을 표현할 수 있고 조금 더 relation 중심으로 표현하면 $r(h, t)$로 표기할 수 있다. 다만 주의해야 할 것은 일반적으로 $(h, r, t)$는 h->r->t를 의미하지만 이 연구에서는 $r(h, t)$를 더 많이 사용하고 t->h 방향으로 relation이 뻗어간다. 앞으로 글에서 $r(h, t)$를 표준으로 사용하겠다. 다양한 데이터를 담고 있는 만큼 지식 데이터(Knowledge base, K..
RotatE : Knowledge graph embedding by relational rotation in complex space 논문 리뷰 Paper : Presentation : Main interest지식 그래프란 두 노드(entity)가 특정 방향 간선(relation)으로 연결되어 있는 그래프 구조이다. 이때 데이터는 triplet(h, r, t) 꼴로 저장된다. 지식 그래프(Knowledge Graph ; KG)에서 수행하고자 하는 task들 중에서 가장 기반이 되는 것은 link prediction이다. 이는 entity와 relation 사이의 관계 패턴 학습하여 unseen link에 대한 추론을 하게끔 설계가 요구된다. 단순히 두 노드 간의 missing link를 추론할 수도 있지만 더 복잡한 관계(composition)의 추론도 이 task의 일부이다. Problem with previous models 지식 데이터(Kn..
Complex Embeddings for Simple Link Prediction(ComplEx) 논문 리뷰 Paper : Presentation content :Main interest지식 그래프(Knowledge Graph ; KG)는 subject entity에서 object entity로 linking 하는 relation으로 이루어져 있는 방향 그래프이다. 예를 들어 "A는 B나라에서 태어났다"라는 사실을 KG에서는 (A, IsBornIn, B)와 같이 triple 꼴로 데이터를 저장한다. A, B는 노드이고 "IsBornIn"은 간선의 종류가 된다. 이와 같은 방식은 사실 기반 데이터들을 효율적으로 저장하는 방법이기 때문에 추천 시스템, 추론, NLP와 결합하여 사용되기 때문에 다양한 분야에서 활용될 수 있다. 하지만 KG는 거대하고 미완성이며 시간이 지남에 따라 규모가 커진다. 이러한 문제점을 kn..
Embedding Entities And Relations For Learning And Inference In Knowledge Bases(DistMult) 논문 리뷰 Paper : Main Interest 지식 그래프(Knowledge Graph ; KG)는 노드와 노드 간의 연결을 간선에 저장한다. 기존의 그래프와의 차이점은 간선이 오직 방향성(in, out, undirected) 뿐만 아니라 간선의 종류(relation)에 의존한다는 것이다. 즉 데이터는 triplet 꼴로 저장이 되는데, 예시로 (Obama, born in, Hawai), (Hawai, state of, USA)이 있다.  이러한 지식 데이터(Knowledge Base ;  KB)를 모델에 학습시켜 추천 시스템부터 시작해 사실 확인, 검색 엔진, NLP 등 여러 분야에서 사용할 수 있다. 그렇다면 모델 학습은 어떻게 시켜야 할까? KB를 효율적이게 학습하고자 여러 시도들이 있었고 그중 가장 인기..
Translating Embeddings for Modeling Multi-relational Data(TransE) 논문 리뷰 Paper Main interest 지식 그래프에서 해결하고자 하는 여러 가지 문제들 중에서 가장 기초적인 문제는 Knowledge Graph(KG) Completion이다. 즉 주어진 dataset의 link가 complete 하지 않기 때문에 빠진 link들을 채워주는 작업이다. 하지만 그 전에 entity와 relation의 저차원 임베딩을 목적으로 한다. 이를 통해 2개의 entity(h, t)와 1개 relation(l) 간의 관계를 학습하고 새로운 link(relation)를 예측하고자 노력한다. 일반적으로 이러한 multi-relation data를 모델링 하기 위해서는 그래프의 local 또는 global 특징을 추출해야한다. 이러한 패턴들을 학습하여 이후에 예측 작업을 진행하게 되는 것이..
Convolutional 2D Knowledge Graph Embeddings 논문 리뷰 Paper: Presentation content: 문제 지식 그래프(Knowledge Graph; KG)는 두 노드(entity) 간의 관계(relation)를 간선에 표현한 것이다. 아래의 예시를 보면 이해하기 편할 것이다. 그래서 우리가KG에서 해결하고자 하는 문제가 무엇인가? 물론 여러 가지 문제점이 있지만 본 논문에서 집중하고 있는 문제는 KG의 임베딩이다. 즉 entity와 relation을 임베딩한 상태에서 그들간의 관계를 학습하는 것이다. 기존에도 entity와 relation의 특성들과 연관성을 살리면서 임베딩을 하려는 노력들이 있었다. 하지만 기존 모델들에서 한 단계 더 나아가기 위해서는 다음과 같은 문제점들을 해결해야만 했다. 1. 얕은 추론 깊이 Neural network를 사용하기..
Inductive Representation Learning on Large Graphs(GraphSAGE) 리뷰 Paper : Presentation pptx 자료주요 관심사 우리의 현실에 노드로 대변될만한 개체들을 상상해 보자. 가장 단순한 예시는 '사람'일 것이다. 그렇다면 이제 그 사람을 나타내기 위한 속성들이 무엇이 있을지 상상해 보자. 당장 생각나는 것만 해도 나이, 직업, 인종, 출신지, 출신국가, 거주지, 가족 관계등 매우 많다.  즉 우리는 하나의 고차원 노드이다. 또한 우리는 다른 노드(사람)들과 연결하여 복잡한 그래프를 이루게 된다. 이 복잡한 그래프에서 연구자들이 수행하기를 원하는 task는 크게 다음 3 가지이다. 1. classification2. link prediction3. clustering   물론 위와 같은 task말고도 무궁무진하게 많은 문제 상황에 적용할 수 있지만 크게 3 가..

티스토리툴바