🥇 이주의 ML 논문 (2023-03-27 ~ 2023-04-02)

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Mar 27 - April 02)에서 확인할 수 있습니다.

 

1) BloombergGPT - 금융을 위한 50B 파라미터 규모의 새로운 대형 언어 모델(large language model). 3천 630억 개의 토큰을 가진 가장 큰 도메인 특화 데이터셋을 발표했으며, 3천 450억개 토큰의 범용 데이터셋을 추가로 보강함. 금융 쪽에서 현존하는 모델 중 최고의 성능을 보이면서도 일반 LLM 벤치마크에서 여전히 좋은 성능을 보임 (paper)

 

2) ALOHA - 실제 데모에서 학습해 저렴한 비용으로 end-to-end 흉내 낼 수 있는 시스템. 또한 어려운 작업을 현실 세계에서 로봇이 학습할 수 있게 하는 생성형 모델 Action Chunking with Transformers를 제시 (paper | code)

3) HuggingGPT - LLMs(예: ChatGPT)를 활용하여 작업 계획을 수립하고 모델을 선택하며 컨트롤러 역할을 수행하여 하위 작업을 실행하고 실행 결과에 따라 응답을 요약하는 시스템 (paper)

 

4) ChatDoctor - 의학 도메인 지식을 사용하여 LLaMA를 파인튜닝한 의료 챗 모델. 약 700가지 질병에 대한 데이터를 수집하고 5천 건의 의사-환자 대화를 생성하여 LLM을 파인튜닝함. (paper | code)

 

5) LLaMA-Adapter - LLaMA를 효율적으로 파인튜닝하기 위한 경량 적용 방안(lightweight apation method)으로, 모든 파라미터를 파인튜닝(fully fine-tuned)된 70억 개의 매개변수 모델과 유사한 응답을 생성. 멀티 모달 입력을 지원함 (paper | code)

 

6) ChatGPT Outperforms Crowd-Workers for Text-Annotation Task - ChatGPT가 관련성, 주제 및 프레임 감지와 같은 몇몇의 텍스트 라벨링 작업에서 크라우드 워커를 능가함

 

7) LLMs for Computer Task - 사전 훈련된 LLM 에이전트가 에이전트가 재귀적으로 자신의 출력을 비판하고 개선하는 간단한 프롬프팅 체계를 사용하여 컴퓨터 작업을 실행할 수 있음을 보임 (paper)

8) Dialog-Enabled Resolving Agents (DERA) - LLM의 완성(completion을 향상시키기 위한 패러다임으로, 모델이 피드백을 전달하고 반복적으로 출력을 개선할 수 있게 합니다. DERA는 GPT-4에 기본을 둔 모델로, 의학에 중점을 둔 작업에서 성능이 타 모델보타 뛰어남 (paper)

 

9) Natural Selection Favors AIs over Humans - 왜 AI 시스템이 인간보다 적응력이 더 뛰어난 지와, 그에 따라 수반되는 잠재적인 위험 및 위험에 대해 논의하며 이를 완화하는 방법을 제시 (paper)

10) ML for Partial Differential Equations - 기계 학습에 의해 진보된 편미분 방정식 연구의 가능성을 검토하는 리뷰 (paper)