🥇 이주의 ML 논문 (2023-06-05 ~ 2023-06-11)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 5 - Jun 11)에서 확인할 수 있습니다.

 

1) Tracking Everything Everywhere All at Once - 밀집된 장거리 모션을 추정하기 위한 테스트 시간 최적화 방법을 제안하고, 비디오의 모든 픽셀에 대한 정확한 전체 길이 모션 추정을 가능하게함 (paper | tweet)
 
2) AlphaDev - 처음부터 더 빠른 정렬 알고리즘을 발견하는 심층 강화 학습 에이전트로, 알고리즘은 이전에 알려진 인간 벤치마크를 능가하고 LLVM C++ 라이브러리에 통합됨 (paper | tweet)
 
3) Sparse-Quantized Representation - 모델 규모 전반에 걸쳐 LLM을 거의 무손실로 압축할 수 있는 새로운 압축 형식 및 양자화 기술로, 15% 속도 향상으로 4.75비트에서 LLM 추론을 허용 (paper | tweet)
 
4) MusicGen - 효율적인 토큰 인터리빙 패턴(token interleaving patterns)과 함께 단일 스테이지(single-stage) 트랜스포머 LM 위에 구축된 간단하고 제어 가능한 음악 생성 모델로서, 텍스트 설명이나 멜로디 특징에 따라 조절할 수 있으며 표준 text-to-music 벤치마크에서 높은 성능을 보임 (paper | tweet)
 
5) Augmenting LLMs with Databases - LLM을 SQL 데이터베이스 세트와 결합하여 기호 메모리 프레임워크(symbolic memory framework)를 활성화. DB를 자율적으로 조작하는 LLM 생성 SQL 명령을 통해 작업을 완료 (paper | tweet)
 
6) Concept Scrubbing in LLM - 신경망의 모든 계층에서 대상 개념 정보를 삭제하는 LEACE(LEAst-squares Concept Erasure)라는 방법을 통해 BERT 임베딩에서 성별 편견을 줄이는 데 사용 (paper | tweet)
 
7) Fine-Grained RLHF - 세분화된 인간 피드백으로 LM을 훈련하는 방법으로, 전체 선호도를 사용하는 대신 세그먼트 수준에서 보다 명확한 피드백을 제공하여 긴 형식의 질문에 대한 답변의 효율성을 개선하고, 독성을 줄이며, LM 맞춤화를 가능하게 함 (paper | tweet)
 
8) Hierarchical Vision Transformer - 최첨단 multi-stage vision transformer에서 불필요한 구성 요소를 제거하면서 시각적 프리텍스트 작업(visual pretext text) (MAE)으로 비전 트랜스포머를 사전 훈련하여 추론과 훈련 중에 더 정확하고 빠른 간단한 hierarchical vision transformer를 구현 (paper | tweet)
 
9) Humor in ChatGPT - 유머를 파악하고 재현하는 ChatGPT의 기능을 살펴봄으로, 생성된 1008개의 농담 중 90% 이상이 동일한 25개의 농담이었고 ChatGPT도 특정 농담 구조에 과적합되어 있음을 발견 (paper | tweet)
 
10) Imitating Reasoning Process of Larger LLMs - GPT-4와 같은 대규모 기초 모델의 추론 과정을 모방하는 학습을 하는 13B 파라미터 모델을 개발하여 대규모의 다양한 모방 데이터를 활용하고 제로 샷 추론에서 Vicuna-13B와 같은 인스트럭션 튜닝 모델을 능가 (paper | tweet)