🥇 이주의 ML 논문 (2023-05-22 ~ 2023-05-28)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 22 - May 28)에서 확인할 수 있습니다.

 

1) QLoRA - 메모리 사용량을 줄여 65B 파라미터 모델을 48GB GPU에서 싱글 GPU에서 전체 16비트 파인튜닝 성능을 유지하면서 파인튜닝하는 효율적인 방법 (paper | tweet)

2) LIMA - 1,000개의 세심하게 선별된 프롬프트와 응답으로 파인튜닝된 새로운 65B 파라미터 LLaMa 모델로, RLHF를 사용하지 않으며 훈련 데이터에 없는 보이지 않는 작업에 대해 일반화가 잘 됨. 응답을 생성하는 경우 GPT-4에 비해 43%에서 동등하거나 우선되는 응답을 생성하며, Bard와 비교했을 때 더 높은 결과를 얻음 (paper | tweet)

3) Voyager - Minecraft에서 사용되는 LLM 기반의 구현형 평생 학습 에이전트로, 계속해서 세계를 탐험하고 기술을 습득하며 인간의 개입 없이도 새로운 발견을 할 수 있음 (paper | tweet)

4) Gorilla - GPT-4를 넘어서는 미세조정된 LLaMA 기반 모델로, API 호출 작성에서 GPT-4를 뛰어넘는 능력을 가짐. 이 기능은 올바른 API를 식별하는 데 도움이 되며, LLM이 특정 작업을 완료하기 위해 외부 도구와 상호 작용하는 능력을 향상시킴 (paper | tweet)

5) The False Promise of Imitating Proprietary LLMs - 독점 LLM 모방에 대한 잘못된 약속. 강력한 모델의 출력을 기반으로 파인튜닝된 모델을 비판적으로 분석하며, 모델 모방은 거짓된 전제이며, 오픈 소스 모델을 개선하는 데 높은 효과를 얻으려면 더 나은 기본 모델을 개발해야 한다고 주장 (paper | tweet)

6) Sophia - 단계당 평균 시간 및 메모리 오버헤드가 미미한 간단하고 확장 가능한 2차 옵티마이저 제공. 언어 모델링에서 Sophia는 단계 수, 총 계산 및 월클록 시간에서 Adam과 비교했을 때 2배 빠름 (paper | tweet)

7) The Larger They Are, the Harder They Fail - 기본 함수 이름이 교체될 때 LLMs가 올바른 Python 코드를 생성하는 데 실패하는 것을 보여주며, 모델의 규모가 커질수록 올바르지 않은 표현의 지속을 강하게 선호하는 것을 보여줍니다. (논문 | 트윗)

8) Model Evaluation for Extreme Risks - 극단적인 위험에 대한 모델 평가의 중요성을 논의하며 모델 훈련, 배포 및 보안에 대한 책임감 있는 결정을 내리기 위한 중요성 강조 (paper | tweet)

 

9) LLM Research Directions - LLM 연구를 수행하려는 학생들을 위한 연구 방향 목록 논의 (paper | tweet)

10) Reinventing RNNs for the Transformer Era - 트랜스포머의 효율인 병렬화 학습과 RNN의 효율적인 추론을 결합하는 방법을 제안하며, 결과적으로 이 방법은 비슷한 크기의 트랜스포머에서도 일부 성능을 발휘하는 것으로 나타남 (paper | tweet)