🥇 이주의 ML 논문 (2023-06-19 ~ 2023-06-25)

1) Textbooks Are All You Need - phi-1이라는 1.3B 파라미터 규모의 LLM 소개. 사이즈가 작은 모델로, 교과서 품질의 데이터와 GPT-3.5로 생성한 합성 교과서 및 연습 문제를 사용하여 4일 동안 훈련. HumanEval 벤치마크에서 유망한 결과를 달성함 (paper | tweet)

 

2) RoboCat - 다양한 로봇 팔을 조작할 수 있는 새로운 기초 에이전트로, 최소 100개의 시연만으로도 작업을 해결할 수 있음. 이러한 self-inproving AI 에이전트는 새로운 훈련 데이터를 자체 생성하여 기술을 향상시키고 새로운 작업에 적응하는 데 더 효율적으로 만들어줌 (paper | tweet)

 

3) ClinicalGPT - 의료기록, 도메인 특화 지식, 다중 회차 대화 상담 등, 광범위하고 다양한 의료 데이터를 통해 최적화된 언어 모델 (paper | tweet)

 

4) An Overview of Catastrophic AI Risks - 치명적인 AI 위험의 주요 원인에 대한 개요. 위험에 대한 이해를 증진하고 AI 시스템이 안전한 방식으로 개발되도록 보장하는 것을 목표로 함 (paper | tweet)

 

5) LOMO - 새로운 메모리 효율적인 옵티마이저 제안. 그라디언트 계산과 파라미터 업데이트를 하나의 단계로 결합하여, 제한된 자원으로 LLM의 전체 파라미터를 조정할 수 있게 함 (paper | tweet)

 

6) SequenceMatch - 시퀀스 생성을 모방 학습(imitation learning) 문제로 공식화함. 이 프레임워크는 텍스트 생성에 백스페이스 동작을 통해 백트래킹을 도입할 수 있게 함. 이를 통해 생성형 모델이 OOD 시퀀스로 이어지는 샘플 토큰을 되돌려서 누적되는 오류를 완화할 수 있음 (paper | tweet)

 

7) LMFlow - 일반적인 대형 기초 모델의 파인튜닝이나 추론 과정을 단순화하는, 확장 가능하고 경량화된 툴킷. 연속 사전 훈련(continuous pretraining), 지시 조정(instruction tuning), 파라미터 효율적 미세 조정(parameter-efficient finetuning), 정렬 조정(alignment tuning), 그리고 대형 모델 추론(large model inference)를 지원 (paper | tweet)

 

8) MotionGPT - 연속적인 사람의 동작을 생성시키기 위해 멀티모달 제어 신호(multimodal control signal)를 사용. 멀티모달 제어 신호를 이산 코드로 양자화하여, 이를 LLM 명령어로 변화하여 동작 응답을 생성 (paper | tweet)

 

9) Wanda - LLM에 대한 간단하고 효과적인 가지치기(pruning) 방법을 소개. 이는 입력 활성화 값과 곱한 후의 가장 작은 크기의 가중치를 출력별로 가지치기하는 방향임. 재훈련이나 가중치 업데이트가 필요없으며, 기존 베이스라인의 크기 기반 가지치기 방법보다 뛰어난 성능을 발휘했음 (paper | tweet)

 

10) AudioPaLM - 텍스트 기반의 언어모델 PaLM-2와 음성 기반의 언어모델 AudioLM을 결합하여 음성 이해와 생성을 지원하는 멀티모달 구조의 모델로, 제로샷 음성-텍스트 번역 작업에서 기존의 음성 번역 시스템을 능가 (paper | tweet)

 

 

 

---

위 글은 NLP Newsletter by Elvis에서 게재를 허락 받고 가져와 번역한 글이며, 원문은 The top ML Papers of the Week (Jun 19 - Jun 25)에서 확인할 수 있습니다