BART

BART: 임의 노이즈 기능으로 텍스트를 손상시키고 원본 텍스트를 재구성한다. BERT,  GPT, 최근 pretrained scheme를 일반화하는 방식

원본 문장의 order를 무작위로 섞고 다시 배치

노이징 유연성, 길이 변경, 순서 무작위 섞기

 

BART는 손상된 문서를 파생된 원본 문서에 매핑하는 노이즈 제거 자동 인코더.

base - 6층 인코더, large - 12층 인코더

디코더의 각 계층은 추가로 인코더의 최종 은닉 레이어에 대해 Attention 실행

 

 BERT와 달리 word 예측 전 추가 feed-forward network 사용 안함

동일한 size의 BERT 모델보다 10% 더 파라미터 사용

생성손실작업을 통해 학습됨

 

어떤 유형의 문서 손상에도 적용 가능. 모든 정보가 소실된 극단적 사례에서 언어모델과 동일하다.

문장 무작위로 추천

 

성과는 직무에 따라 상당히 다르지만 텍스트 입력이 있는 BART 모델은 가장 일관되게 강력한 성능을 보여준다

 

손상된 text를 입력받아 bidirectional 모델로 인코딩하고 정답 text에 대한 likelihood를 autoregressive 디코더로 계산

 

Seq2Seq Transformer . ReLU를 GeLUs로 변경