🥇 이주의 ML 논문 (2023-02-20 ~ 2023-02-26)

1) LLaMA - Meta AI에서 발표한 65B 파라미터의 파운데이션 모델로, 공개 데이터를 기반으로 하며 10배 작은 크기임에도 불구하고 대부분의 벤치마크에서 GPT-3를 능가함 (paper)

2) Composer - 수십억 개의 텍스트-이미지 쌍으로 훈련된 5B 파라미터의 모델로, 창조적이고 제어 가능한 확산 모델(diffusion model) (paper)

3) Hindsight Instruction Relabeling - 피드백을 통해 LLM을 훈련하는 방법(RLHF)에 대한 대체 알고리즘으로, 더 나은 정렬(alignment)를 위해 피드백을 원본 피드백으로 레이블을 다시 지정하고 모델을 지도 학습으로 훈련함으로써 지침(instructuion)으로 변환하는 방식을 채택 (paper)

4) Active-Prompt - 다양한 작업별 예제 프롬프트(인간이 설계한 사고 연쇄 추론으로 레이블링 되어있는)을 LLMs에 적용하기위한 프롬프팅 기술로, 가장 불확실한 부분을 LLM이 찾아서 주석을 다는 과정이 포함됨 (paper)

5) Modular Deep Learning - 모듈식 신경망의 구성 요소에 대한 통일된 시각을 제공하는 서베이 논문으로, LM의 크기, 인과 추론 및 기계 학습의 다른 주제에 대한 모듈성에 대한 논의를 포함하고 있음 (paper)

6) Recitation-Augmented LMs - LLM의 자체 메모리 내의 구절을 인용하여 최종 답변을 생성하는 접근 방식으로, 지식 집약적인 작업에서 높은 성능을 보임 (paper)

7) LLMs to Optimize Code -기능적으로 정확하고 성능 향상을 위한 코드 편집을 제안하기 위해 LLM을 사용하는 방법에 관한 논문 (paper)

8) Prompt Injection Threats - 새로운 프롬프트 삽입이 응용 프로그램 통합형 LLM에 끼치는 해에 대한 포괄적인 분석 (paper)

9) Aligning Text-to-Image Models using Human Feedback - 인간 피드백을 사용하는 생성 모델을 정렬하는 파인튜닝 방법을 제안 (paper)

10) MERF - 브라우저에서 대규모 장면의 실시간 뷰 합성을 위한 메모리 효율적 방사 효과 표현(memory-efficient radiance field representation)을 소개하는 논문 (paper)

 

 

 

---

위 글은 NLP Newsletter by Elvis에서 게재를 허락 받고 가져와 번역한 글이며, 원문은 The top ML Papers of the Week (Feb 20 - Feb 26)에서 확인할 수 있습니다.