GPT1

레이블 없는 다양한 텍스트 코퍼스에 대해 언ㅓ모델의 생성적 사전 훈련함으로서 학습 가능하게 할 수 있다.

모델 아키텍처에 최소한의 변경만 하면서 효과적인 학습. fine tuning 중에 작업 인식 인풋 트랜스포메이션을 사용한다.

스동으로 레이블링하기에는 너무 시간과 비용이 많이 든다.

사전 훈련된 단어 임베딩을 광범위하게 사용하여 NLP 작업에 대한 성능 향상.

효과적인 준지도 학습 접근법을 개발하는 건 어렵지만 준감독 접근 방식으로 들어간다.

라벨링된 코퍼스와 되지 않은 코퍼스가 동일한 도메인일 것을 요구하지 앟는다.

transformer 디코더를 사용한다.

레이블이 없는 데이터에서 단어 수준 이상의 학습과 활용을 조사한다.

텍스트를 다양한 대상 작업에 적합한 벡터 표현으로 인코딩한다.

 

훈련 절차: 대규모 말뭉치에서 대용량 언어 모델을 배우는 것. 미세 조정 단계를 거쳐 레이블이 지정된 데이터를 사용하여 모델 적용시킨다.

언어모델에 multi-headed self attention 디코더 사용.

softmax 사용한다.

이후에 지도학습으로 finetuning한다.

LM을 이용해 일반화된 지도 학습 모델을 개선하고 융합 가속화를 향상시킨다.

학습 과제별 아키텍처를 제안한다. 전이학습을 사용하지 않는다.

순회 스타일 접근법 사용한다.