🥇 이주의 ML 논문 (2023-02-13 ~ 2023-02-19)

1) Lion (EvoLved Sign Momentum) - Adam보다 메모리를 더 효율적으로 사용하는 간단하고 효과적인 최적화 알고리즘 (paper)

2) Transformer models: an introduction and catalog - 트랜스포머 모델에 대한 소개 및 목록 (paper)

3) pix2pix3D - 조절 가능한 사실적인 이미지 합성을 위해 neural radiance field로 확장된 3D 인식 조건부 생성 모델(3D-aware conditional generative model) (paper)

4) Moral Self-Correction in Large Language Models - RLHF로 훈련된 언어 모델이 도덕적 자기 교정 능력을 갖고 있는 강력한 증거를 발견한 논문으로, 22B 모델부터 그 능력이 발현되었으며, 통상적으로 모델 크기에 따라 성능이 개선됨을 보임 (paper)

5) Vision meets RL - 강화 학습을 사용하여 컴퓨터 비전 모델을 task reward에 따라 줄 세운 논문으로, 객체 검출 및 색상화와 같은 여러 CV 작업에서 성능 향상을 관찰함 (paper)

6) Language Quantized AutoEncoders (LQAE) - 사전 훈련된 언어 모델을 활용한 텍스트-이미지 정렬을 위한 비지도 학습 방법으로, LLMs으로 few-shot 이미지 분류를 가능하게 함 (paper)

7) Augmented Language Models - 언어 모델에 추론 기술 및 도구 사용 능력을 추가해 확장한 모델에 관한 survey 논문 (paper)

8) Geometric Clifford Algebra Networks (GCANs) - 기하 대수를 사용하여 신경망에 기하학적 변환을 통합하는 방법에 관한 논문 (paper)

9) Auditing large language models - LLMs를 감사하기 위한 정책(policy) 프레임워크를 제안 (paper)

10) Energy Transformer - 피드포워드 트랜스포머 블록 시퀀스를 단일 대형 연상 메모리 모델(Associate Memory model)로 대체하는 트랜스포머 구조 제안. ML 분야의 홉필드 네트워크(Hopfield Networks) 뒤를 이었다고 평가받음 (paper)

 

 

 

---

위 글은 NLP Newsletter by Elvis에서 게재를 허락 받고 가져와 번역한 글이며, 원문은 The top ML Papers of the Week (Feb 13 - Feb 19)에서 확인할 수 있습니다.