🥇 이주의 ML 논문 (2023-05-15 ~ 2023-05-21)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 15 - May 21)에서 확인할 수 있습니다.

 

1) Drag Your GAN - GAN을 제어하기 위한 방법으로, 이미지의 지점을 드래그하여 사용자 상호작용 방식으로 정확한 대상 지점에 도달할 수 있게 함 (paper | tweet)

2) Evidence of Meaning - 언어 모델이 텍스트의 다음 토큰 예측만을 수행하도록 훈련되었음에도 의미를 학습할 수 있다는 주장 (paper | tweet)

3) Med-PaLM 2 - 의료 질문 응답을 위한 최고 성능의 LLM으로, MedQA 데이터셋에서 SoTA로 86.5%의 점수를 기록하였으며, MedMCQA, PubMedQA 및 MMLU 임상 주제 데이터셋 전반에 걸쳐 SoTA에 근접하거나 뛰어넘음 (paper | tweet)

4) MEGABYTE - 백만 바이트 이상의 시퀀스의 end-to-end 모델링을 가능하게 하는 멀티 스케일 디코더 구조로, 자가 제곱(sub-quadratic)의 셀프 어텐션을 가능하게 하고 디코딩 중에 향상된 병렬성을 제공 (paper | tweet)

5) StructGPT - 구조화된 데이터에 대한 LLM의 제로샷 추론 능력을 향상시킴. 구조화된 데이터를 기반으로 하는 질문 응답 작업에 효과적 (paper | tweet)

6) TinyStories - 짧은 이야기의 합성 데이터셋을 사용하여 SoTA 모델보다 훨씬 작은 크기의 LM을 훈련하고 평가함으로, 작은 크기에도 불구하고 몇 단락으로 구성된 유창하고 일관된 이야기를 생성하고 추론 능력을 보임 (paper | tweet)

7) DoReMi - 도메인에 걸쳐 작은 프록시 모델을 훈련하여 다운스트림 태스크에 대한 지식 없이도 도메인 가중치를 생성하고, 이를 사용하여 데이터셋을 다시 샘플링하고 더 큰 모델을 훈련. 280M 프록시 모델을 사용하여 8B 모델 (30배 더 큰)을 효율적으로 훈련할 수 있게 함 (paper | tweet)

8) CodeT5+ - 코드 이해와 생성 작업을 지원하며 효능과 컴퓨팅 효율성을 향상시키기 위해 다양한 교육 방법을 지원. 제로샷, 파인튜닝 및 지시어 튜닝과 같은 다양한 설정에서 20가지 코드 관련 벤치마크에서 테스트되었으며, 코드 완성, 수학 프로그래밍, 텍스트에서 코드 검색 작업과 같은 작업에서 SoTA를 달성 (paper | tweet)

9) Symbol Tuning - 자연어 레이블이 임의의 기호로 대체된 문맥 내 입력-레이블 쌍을 사용하여 LLM을 파인튜닝하는 접근 방법으로, 처음 보는 데이터에 대한 문맥 학습 작업 및 알고리즘적 추론 작업에서 성능을 향상시킵니다. (paper | tweet)

10) Searching for Needles in a Haystack - PaLM이 최소 44개 언어에 걸쳐 3천만 개 이상의 번역 쌍에 노출되었음을 증명하며, 우연한 이중 언어적 성격이 PaLM의 번역 능력과 연결된다는 것을 보여줌 (paper | tweet)