KnowBERT

https://www.youtube.com/watch?v=ha6wypu8a8A&ab_channel=AIP-State-of-the-ArtAIResearch 지식베이스. 각 KB에 대해 먼저 통합 엔티 링커를 사용하여 관련 엔티티 임베딩을 검색한 다음 단어 대 어텐션 형태를 통해 컨텍스트 단어 표현을 업데이트한다. 큰 KB로 확장되는 BERT 사실적 지식 인코딩 가능성 높아짐 KAR 매커니즘으로 사전 훈련된 대형 모델에 여러 KB 삽입. 전체 KAR은 사전 훈련된 모델 두 개 사이에 삽입된다. 출력 손실 레이어를 유지하고 KAR을 교육하는 동안 레이블이 없는 말뭉치를 파인튜닝 가능. 원래 모델에 대용량 레이어를 구축함으로써 최소 추가 매개변수 및 런타임을 추가한다. 다른 위치에 추가 KB를 삽입하는 것만으로..

12월 3주차 주제 - knowBERT

https://arxiv.org/abs/1909.04164 Knowledge Enhanced Contextual Word Representations Contextual word representations, typically trained on unstructured, unlabeled text, do not contain any explicit grounding to real world entities and are often unable to remember facts about those entities. We propose a general method to embed multiple know arxiv.org http://mlgalaxy.blogspot.com/2019/12/knowledge-..

MERL

Event Representation Learning: 비슷한 사건은 가까이, 다른 사건은 멀리 위치시키는 방식 3개 이벤트의 triple(주어, 목적어, 서술어) 같은 주어와 동사를 씀에도 전혀 다른 뜻을 가질 때, 혹은 반대일 때 공간에 임베딩시키기 힘들다. 임베딩을 할 당시 이미지와 triple(텍스트)를 같은 곳에 이미지를 매핑하는 기존 방식

12월 8, 9, 10일 주제 - MERL

https://ojs.aaai.org/index.php/AAAI/article/view/17695 MERL: Multimodal Event Representation Learning in Heterogeneous Embedding Spaces | Proceedings of the AAAI Conference on ojs.aaai.org https://www.youtube.com/watch?v=shnfzksjm1M 오늘 논문은 어떤 하나의 사건을 Embedding 공간안에 표현하는 방법으로 학습을 시키는 방법론, Event Representation 방법을 통해 학습을 하는 방법에 대해 소개합니다. 하나의 문장을, 주어 동사 목적어가 동일한 세개의 문장으로 표현하고, 해당 문장들로 학습을 시켰을때 매우 극..

Albert

bert - training과 inference 시 memory limitation 오랜 training time 소요 factorized embedding parameterization cross layer parameter sharing으로 해결 bert: embedding size와 hidden size 동일 albert: embedding size가 hidden size보다 작음 -> hidden size는 토큰과 주변 토큰간의 관계까지 반영. hidden size가 더 많은 정보를 담고 있다. E*H matrix를 곱해줘서 input size를 h*h로 맞춰준다. albert에서는 layer의 모든 parameter를 공유한다. 1/9 수준으로 파라미터 줄어들었다. 메모리가 줄어들고(OOM 줄어..