🥇 이주의 ML 논문 (2023-03-13 ~ 2023-03-19)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Mar 13 - Mar 19)에서 확인할 수 있습니다.

 

1) GPT-4 - 넓은 범용 지식과 문제 해결 능력을 갖춘 대규모 멀티모달 모델 (paper)

2) LERF (Language Embedded Radiance Fields) - CLIP과 같은 모델의 언어 임베딩을 NeRF로 그라운딩하는 방법으로, 3D에서 개방형 언어 쿼리를 가능하게 함 (paper)

3) An Overview of Language Models - 언어 모델의 최근 개발 동향과 앞으로의 연구 방향에 대한 개요로 언어 단위, 구조, 훈련 방법, 평가 및 응용 프로그램과 같은 주제도 포함되어 있음 (paper)

4) Tuned Lens - 언어 모델의 예측을 트랜스포마의 레이어별 전개 과정을 따라가며 추적할 수 있는 해석 방법 (paper)

5) MIM (Meet in the Middle) - 빈칸채우기 작업(infilling task)에서 훈련 데이터 효율성과 LM의 능력을 동시에 향상시키는 기술을 사용한 새로운 사전학습 패러다임으로, 코드 생성 작업에서 성능 향상이 나타남 (paper)

6) Resurrecting RNNs - 표준 신호 전파 논증(standard signal propagation argument)을 사용하여 신중한 디자인된 깊은 순환 신경망(deep RNNs)이 긴 범위의 추론 작업(long-range reasoning task)에서 깊은 상태 공간 모델(deep state space model)의 성능을 복원할 수 있음을 증명 (paper)

7) Universal Prompt Retrieval - 가벼우면서 활용도가 높은의 검색기(retriever)를 튜닝하여 자동으로 프롬프트를 검색하여 제로샷 성능을 향상시키고 환각을 완화하는 새로운 접근 방식 (paper)

8) Patches Are All You Need - 매개변수 효율적(parameter-efficient)인 합성곱 모델(fully-convolutional model)로, ViT에서 셀프 어텐션(self-attention)과 MLP를 표현력이 덜한 depthwise와 pointwise 합성곱 레이어로 대체함으로써 효율적인 모델 제안 (paper)

9) NeRFMeshing - 어떠한 NeRF-driven approach로도 3D 표면 재구성을 쉽게 할 수 있는 간결하고 유연한 아키텍처로 NeRF를 기하학적으로 정확한 3D 메시로 정제 (paper)

 

10) FlexGen - 제한된 GPU 메모리로 높은 처리량을 실행하는 LLM 생성 엔진