Seq2seq

Seq2seq는 자연어 처리에 사용되는 기계 학습 접근 방식 제품군이다. 응용 분야에는 언어 번역, 이미지 캡션 작성, 대화 모델, 텍스트 요약이 포함된다. Seq2seq는 시퀀스 변환을 사용한다. 즉, 한 시퀀스를 다른 시퀀스로 변환한다.

이 알고리즘은 기계 번역에 사용하기 위해 구글에서 개발했다.

비슷한 초기 작업에는 토마스 미콜로프(Tomáš Mikolov)의 2012년 박사 논문이 포함된다.

2023년에 word2vec 논문으로 NeurIPS로부터 테스트오브타임상(Test of Time Award)을 받은 후 미콜로프는 공개 발표를 했다. 여기서 그는 신경 시퀀스 간 번역에 대한 아이디어가 자신에게서 나온 것이며 구글에 합류하기 전에 구상되었음을 확인했다. 그는 또한 일리아 수츠케베르(Ilya Sutskever)와 쿽 레(Quoc Le)에게 아이디어를 언급하고 여러 번 논의했다고 말했다. 그리고 그는 자신을 인정하지 않고 seq2seq 논문을 출판했다고 비난했다.

2019년에 페이스북은 미분방정식의 기호 적분 및 해결에 이를 사용한다고 발표했다. 회사는 매스매티카, MATLAB, 메이플 (소프트웨어)과 같은 상용 솔루션보다 복잡한 방정식을 더 빠르고 더 정확하게 풀 수 있다고 주장했다. 첫째, 표기상의 특이성을 피하기 위해 방정식을 트리 구조로 분석한다. 그런 다음 LSTM 신경망은 표준 패턴 인식 기능을 적용하여 트리를 처리한다.

2020년에 구글은 341GB 데이터 세트에서 훈련된 26억 개의 매개변수 seq2seq 기반 챗봇인 Meena를 출시했다. 구글은 챗봇이 OpenAI의 GPT-2보다 1.7배 더 큰 모델 용량을 가지고 있다고 주장했다. OpenAI의 2020년 5월 후속 버전인 1,750억 개의 매개변수 GPT-3은 필터링된 일반 텍스트 단어(45,000GB)로 구성된 45TB 데이터 세트에서 570GB로 트레이닝되었다."

2022년 아마존 (기업)은 중간 크기(200억 매개변수) seq2seq 언어 모델인 AlexaTM 20B를 출시했다. 퓨샷 학습을 달성하기 위해 인코더-디코더를 사용한다. 인코더는 입력을 다른 언어로 번역하는 등 특정 작업을 수행하기 위해 디코더가 입력으로 사용하는 입력 표현을 출력한다. 이 모델은 언어 번역 및 요약에서 훨씬 더 큰 GPT-3보다 성능이 뛰어난다. 훈련에는 노이즈 제거(문자열에 누락된 텍스트를 적절하게 삽입)와 인과 언어 모델링(의미 있게 입력 텍스트 확장)이 혼합되어 있다. 대규모 교육 워크플로우 없이도 다양한 언어에 걸쳐 기능을 추가할 수 있다. AlexaTM 20B는 모든 Flores-101 언어 쌍에 대한 몇 번의 학습 작업에서 최첨단 성능을 달성하여 여러 작업에서 GPT-3보다 뛰어난 성능을 보였다.

• “A ten-minute introduction to sequence-to-sequence learning in Keras”. 《blog.keras.io》. 2019년 12월 19일에 확인함. 
• Dugar, Pranay (2019년 11월 24일). “Attention — Seq2Seq Models” (영어). 《Medium》. 2023년 3월 8일에 원본 문서에서 보존된 문서. 2019년 12월 19일에 확인함. 
• Nag, Dev (2019년 4월 24일). “seq2seq: the clown car of deep learning” (영어). 《Medium》. 2019년 12월 19일에 확인함. 
• Adiwardana, Daniel; Luong, Minh-Thang; So, David R.; Hall, Jamie; Fiedel, Noah; Thoppilan, Romal; Yang, Zi; Kulshreshtha, Apoorv; Nemade, Gaurav; Lu, Yifeng; Le, Quoc V. (2020년 1월 31일). “Towards a Human-like Open-Domain Chatbot”. arXiv:2001.09977 [cs.CL].  더 이상 지원되지 않는 변수를 사용함 (도움말)