NLP 딥논읽 청강의 청강 11월 10, 11, 12일 주제

Data Scientist

by 자색 고구마칩 2021. 11. 1. 15:28

11월 4번째 주제는 BART 논문입니다.

다름이 아니라 제가 대회를 하고 있는데 적용하게 된 모델이 KoBART라서 리뷰하게 되었습니다.

기회되면 KoBART도 따로 다루겠습니다.

https://arxiv.org/abs/1910.13461

BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

We present BART, a denoising autoencoder for pretraining sequence-to-sequence models. BART is trained by (1) corrupting text with an arbitrary noising function, and (2) learning a model to reconstruct the original text. It uses a standard Tranformer-based

arxiv.org

논문입니다.

https://www.youtube.com/watch?v=VmYMnpDLPEo

자연어팀 진명훈님이 리뷰해주셨습니다.

논문이랑 위 동영상 둘 중 하나는 꼭 보고 오세요

아래로는 참고자료입니다.

https://www.youtube.com/watch?v=v7diENO2mEA

DSBA에도 동영상이 있습니다.

https://dladustn95.github.io/nlp/BART_paper_review/

BART 논문 리뷰

dladustn95.github.io

https://jiwunghyun.medium.com/acl-2020-bart-denoising-sequence-to-sequence-pre-training-for-natural-language-generation-7a0ae37109dc

[ACL 2020] BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation…

ACL 2020 논문 읽기 (3)

jiwunghyun.medium.com

https://jlibovicky.github.io/2020/02/07/MT-Weekly-MBART.html

Machine Translation Weekly 28: mBART – Multilingual Pretraining of Sequence-to-sequence Models

The trend of model-pretraining and task-specific fine-tuning finally fully hit machine translation as well. After begin used for some time for unsupervised machine translation training, at the end of January Facebook published a model, a pre-trained sequen

jlibovicky.github.io

https://github.com/SKT-AI/KoBART

GitHub - SKT-AI/KoBART: Korean BART

Korean BART. Contribute to SKT-AI/KoBART development by creating an account on GitHub.

github.com

'Data Scientist' 카테고리의 다른 글

11월 3,4,5일 주제 - BERT (0)	2021.11.03
BART (0)	2021.11.01
Transformer (0)	2021.11.01
NLP 딥논읽 청강의 청강 운영공지 (0)	2021.10.29
NLP 딥논읽 청강의 청강 11월 1일, 2일 주제 (0)	2021.10.29