🥇 이주의 ML 논문 (2023-02-27 ~ 2023-03-05)

1) Language Is Not All You Need - Kosmos-1 이라고 명명한 다중 모달 대형 언어 모델. 언어 이해, OCR-free NLP, 지각-언어 작업, 시각적 QA 등에서 탁월한 성능을 보임 (paper)

2) Comparing Brain Activations and Language Models - 인간의 뇌 활동이 현대 언어 모델의 활성화로 가장 잘 설명되며, 특히 긴 인풋 및 계층적 예측이 강화된 모델에서 더 잘 설명됨을 보임 (paper)

 

3) EvoPrompting - 진화적 프롬프트 엔지니어링과 소프트 프롬프트 튜닝을 결합하여 도출한 고성능 모델로, 문맥 내 예제(in-context examples)를 개선하기 위해 퓨샷 프롬프팅(few-shot prompting)을 활용하며, 더 나아가 진화적 탐색 접근(evolutionary search approach)을 통해 성능을 개선함 (paper)

 

4) Consistency Models - 적대적 훈련(adversarial training) 없이 고품질의 샘플을 얻는 생성 모델의 새로운 계통 소개 (paper)

 

5) D5 - 목표 중심적 방식(goal-driven way)으로 언어 설명(language description)을 통해 말뭉치의 수준 차이를 자동으로 발견하는 새로운 작업(task)으로, 상업 리뷰에서 인사이트를 발견하거나 NLP 시스템의 오류 패턴을 발견하는 데에 응용 가능함 (paper)

 

6) Reconstructing Images from Human Brain Activity with Diffusion Models - 잠재 확산 모델을 이용해 인간의 뇌 활동에서 고해상도 이미지 재구성을 하는 방법에 대한 접근 방식 제안 (paper)

 

7) Grounded Decoding - 추가 요건 기능(grounding fuctions)을 통해 구체화된 상황에서 LLM을 사용하는 확장 가능한 접근으로, GD는 구체화된 상황에서 보편적이고도 유연하며, 표현력이 뛰어난 방식임 (paper)

8) Voltron - 인간 비디오 및 캡션에서 언어 주도 표현을 학습한, 로봇학을 위한 프레임워크 (paper)

9) Dropout Reduces Underfitting - 훈련 시작 시에 사용된 드롭아웃이 과소적합(underfitting)을 완화할 수 있음을 증명하며, 이는 SGD 확률성을 상쇄하고 모델을 훈련할 때 개별 배치의 영향을 제한하는 방식으로 이루어짐을 보임 (paper)

 

10) LLM for Conversational Interactions with Mobile UIs - 단일 LLM을 사용하여 모바일 UI로 다양한 대화형 상호작용을 가능케 하는 접근 방식 (paper)

 

 

 

---

위 글은 NLP Newsletter by Elvis에서 게재를 허락 받고 가져와 번역한 글이며, 원문은 The top ML Papers of the Week (Feb 27 - Mar 5)에서 확인할 수 있습니다.