🥇 이주의 ML 논문 (2023-05-29 ~ 2023-06-04)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 29 - Jun 4)에서 확인할 수 있습니다.

 

1) Let’s Verify Step by Step - 최종 답변에 대해 보상하는 대신 사고의 각 올바른 추론 단계를 보상하여 수학 문제 해결 태스크에서 SoTA 달성. MATH 테스트 세트의 대표적인 하위 집합에서 78%의 문제를 해결합니다. (paper | tweet)

2) No Positional Encodings - 명시적인 위치 임베딩이 디코더 전용 트랜스포머에 필수적이지 않음을 보임. ALiBi 및 Rotary와 같은 다른 위치 인코딩 방법이 길이 일반화에 적합하지 않음을 증명 (paper | tweet)

3) BiomedGPT - 시각, 언어 및 멀티모달 작업을 위한 통합 생체 의학 생성형 사전 훈련 트랜스포머 모델(a unified biomedical generative pretrained transformer model)로, 15개 이상의 고유한 생물의학 모달리티를 아우르는 20개 이상의 공공 데이터 세트를 사용하여 5가지의 서로 다른 작업에서 최고 수준의 성능을 달성 (paper | tweet)

4) Thought Cloning - 행동하는 동안 생각하는 법을 배우기위한 모방 학습 프레임 워크를 소개하여 인간 시연자의 행동뿐만 아니라 인간이 행동을 수행할 때 가지는 생각도 복제하도록 함 (paper | tweet)

5) Fine-Tuning Language Models with Just Forward Passes - 메모리 효율적인 0차(zeroth-order) 옵티마이저 및 해당 SGD 알고리즘을 제안하여 추론과 동일한 메모리 사용량(footprint)으로 대형 언어 모델을 미세조정 함 (paper | tweet)

6) MERT - 대규모 자기 지도 학습을 통한 음악 이해 모델로, 교사 모델의 우수한 조합을 통합하여 기존의 음성 및 오디오 접근 방식을 능가하는 성능을 발휘 (paper | tweet)

 

7) Bytes Are All You Need - 추론 시 파일을 디코딩할 필요 없이 파일 바이트에서 직접 분류를 수행하며, 트랜스포머 백본을 사용하여 77.33%의 ImageNet 최고 정확도를 달성하고, Speech Commands v2 데이터 세트의 WAV 파일에서 작업할 때 95.42%의 정확도를 달성 paper | tweet)

8) Direct Preference Optimization - RLHF 프로세스는 안전하고 유용한 LLM을 훈련시키는 데는 도움이 되지만, 복잡하고 종종 불안정할 수 있음. 이 연구에서는 RL 없이도 인간 선호도 데이터의 분류 문제를 해결하여 LM을 미세 조정하는 접근 방식을 제안 (paper | tweet)

9) SQL-PaLM - PaLM-2에서 채택된 LLM 기반 Text-to-SQL로, 컨텍스트 내 학습 및 미세 조정 설정에서 모두 SoTA를 달성합니다. 퓨샷 모델은 Spider 벤치마크에서 이전의 미세 조정된 SoTA를 3.8% 능가하며, 퓨샷 SQL-PaLM은 간단한 프롬프팅 접근 방식을 사용하여 퓨샷 GPT-4를 9.9% 능가 (paper | tweet)

10) CodeTF - 최첨단 코드 LLM을위한 오픈 소스 트랜스포머 라이브러리로, 코드 LLM을 효율적으로 학습하고 제공하기 위한 표준 방법을 포함하여 사전 학습된 코드 LLM과 인기 있는 코드 벤치마크를 지원 (paper | tweet)