TextGCN 텍스트 분류에 GCN 사용 전체 말뭉치에서 하나의 대형 그래프를 구성

Data Scientist 2021. 11. 15. 13:50

셋째주 월화 주제는 bertgcn입니다 쿠키님의 추천 논문입니다 textgcn 논문도 읽고 오시면 도움이 됩니다. https://arxiv.org/abs/2105.05727 BertGCN: Transductive Text Classification by Combining GCN and BERT In this work, we propose BertGCN, a model that combines large scale pretraining and transductive learning for text classification. BertGCN constructs a heterogeneous graph over the dataset and represents documents as nodes using BERT..

Data Scientist 2021. 11. 14. 20:45

Replaced token detection 손상된 입력의 각 토큰이 생성기 결과로 대체되었는지 여부 예측하는 방식으로 학습 대체된 토큰 찾기 진짜 토큰과 대체된 생성 토큰 구별 Generator와 Discriminator를 적대적으로 학습 GAN과 다르게 noise vector 없이 토큰 생성 small generator network 이용 적은 컴퓨터 리소스로 높은 효과 모델의 효율성에 집중 RoBERTa 및 XLNET과 견줄만한 성능 loglikehood가 loss function weight sharing

Data Scientist 2021. 11. 9. 20:20

https://arxiv.org/abs/2003.10555 ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators Masked language modeling (MLM) pre-training methods such as BERT corrupt the input by replacing some tokens with [MASK] and then train a model to reconstruct the original tokens. While they produce good results when transferred to downstream NLP tasks, the arxiv.org https://www.youtube.c..

Data Scientist 2021. 11. 7. 16:34

https://wikidocs.net/33930 09) 엘모(Embeddings from Language Model, ELMo)  논문 링크 : https://aclweb.org/antho ... wikidocs.net ELMo(Embedding from LM)에 이어 나온 Transformer의 인코더 아키텍처를 사용한 모델. 이후 '00버트'라는 무수한 후속 논문들을 만들 정도로 인기가 있었던 논문. Text Generation에는 약하지만, 거의 모든 nlp task에서 SOTA를 기록했음. 양쪽 방향을 모두 고려하는 Bidirectional Transformers masked language..

Data Scientist 2021. 11. 3. 18:37

기본 논문 중 하나인 BERT를 안 짚고 넘어갈 수 없겠습니다. https://arxiv.org/pdf/1810.04805.pdf 딥논읽 자료 https://www.youtube.com/watch?v=vo3cyr_8eDQ 논문 읽는 게 더 좋습니다. 저도 열심히 읽어가겠습니다. 참고자료 https://lsjsj92.tistory.com/618 BERT 논문 정리(리뷰)- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding paper review 포스팅 개요 본 포스팅은 Google에서 발표한 자연어 처리(NLP) 논문 중 BERT(BERT: Pre-training of Deep Bidirectional Trans..

Data Scientist 2021. 11. 3. 07:30

BART: 임의 노이즈 기능으로 텍스트를 손상시키고 원본 텍스트를 재구성한다. BERT, GPT, 최근 pretrained scheme를 일반화하는 방식 원본 문장의 order를 무작위로 섞고 다시 배치 노이징 유연성, 길이 변경, 순서 무작위 섞기 BART는 손상된 문서를 파생된 원본 문서에 매핑하는 노이즈 제거 자동 인코더. base - 6층 인코더, large - 12층 인코더 디코더의 각 계층은 추가로 인코더의 최종 은닉 레이어에 대해 Attention 실행 BERT와 달리 word 예측 전 추가 feed-forward network 사용 안함 동일한 size의 BERT 모델보다 10% 더 파라미터 사용 생성손실작업을 통해 학습됨 어떤 유형의 문서 손상에도 적용 가능. 모든 정보가 소실된 극단적 ..

Data Scientist 2021. 11. 1. 16:03

11월 4번째 주제는 BART 논문입니다. 다름이 아니라 제가 대회를 하고 있는데 적용하게 된 모델이 KoBART라서 리뷰하게 되었습니다. 기회되면 KoBART도 따로 다루겠습니다. https://arxiv.org/abs/1910.13461 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noisin..

Data Scientist 2021. 11. 1. 15:28