🥇 이주의 ML 논문 (2023-03-06 ~ 2023-03-12)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Mar 6 - Mar 12)에서 확인할 수 있습니다.

1) PaLM-E - 실제 세상의 지속적인 센서 모달리티(real-world continuous sensor modalities)를 통합한 구체화된 LM으로, 로봇 조작 계획, 시각적 QA 및 기타 실체 추론 작업을 수행 (paper | demo)

2) Prismer - 도메인 전문가 앙상블에 기반한 파라미터 효율적인 비전-언어 모델로, 다양한 비전-언어 추론 작업에 전문가 지식을 효과적으로 활용 (paper | code)

3) Visual ChatGPT - ChatGPT와 다양한 시각 기반 모델을 연결하여 사용자가 언어 형식을 넘어 ChatGPT와 상호 작용할 수 있음 (paper | code)

4) A History of Generative AI - GAN에서 ChatGPT까지 생성적 AI의 개요 (paper)

5) LLMs do In-Context Learning Differently - 규모에 따라 충분히 뒤집힌 레이블(flipped labels)이 제시되면 LLM이 의미적 우선순위를 무시할 수 있으며, 이러한 모델은 의미적으로 관련이 없는 타깃으로 타깃을 대체할 때에도 우수한 성능을 발휘할 수 있음을 보임 (paper)

6) Foundation Models for Decision Making - 의사 결정을 위한 기초 모델에 대한 개요를 제공하며, 도구, 방법 및 새로운 연구 방향도 함께 제시 (paper)

7) Hyena Hierarchy - 암시적 긴 컨볼루션(implicit long convolution)과 데이터 제어 게이팅(data-controlled gating)을 연동하여 이차적 드롭인(drop-in) 방식으로 어텐션 과정을 대체하여, 최적화된 주의력보다 10배 더 길고 최대 100배 빠른 시퀀스를 학습할 수 있음 (paper | code)

 

8) OpenICL - 문맥 학습 및 LLM 평가를 위한 새로운 오픈 소스 툴킷으로, 다양한 최신의 검색 및 추론 방법과 태스크들, LLM의 zero-/few-shot 평가를 지원 (paper | code)

9) MathPrompter - 수학적 추론 문제에서 LLM의 성능을 향상시킨 기술로, 제로샷 사고 연쇄(chain-of-thought) 프롬프트 및 검증을 사용하여 생성된 답변이 정확한지 확인 (paper)

10) GigaGAN - 대규모의 텍스트-이미지 합성 데이터를 위해 GAN 모델의 크기를 한층 크게 한 모델로, 추론 시간이 한층 빨라졌고 고해상도의 이미지를 합성할 수 있으며, 다양한 잠재 공간 편집응용을 지원함 (paper | demo)