🥇 이주의 ML 논문 (2023-06-12 ~ 2023-06-18)

1) Voicebox - 올인원 생성 음성 모델로, 6개 언어의 음성을 합성할 수 있음. 노이즈 제거, 콘텐츠 편집, 스타일 변환 등을 수행할 수 있으며, 현재 모델보다 20배 빠름. in-context learning을 이용하면 단일 목적 모델의 성능을 능가 (paper | tweet)

 

2) FinGPT - 금융 분야를 위한 오픈 소스 LLM으로, 연구자와 실무자에게 FinLLM을 개발하기 위한 접근 가능한 리소스를 제공하는 데이터 중심 접근 방식을 취함 (paper | tweet)

 

3) Crowd Workers Widely Use Large Language Models for Text Production Tasks - MTurk의 크라우드 워커 중 33~46%가 텍스트 제작 작업을 완료할 때 LLM을 사용한 것으로 추정 (paper | tweet)

 

4) Reliability of Watermarks for LLMs - 워터마킹은 LLM에서 생성된 텍스트를 감지하고 잠재적으로 피해를 완화하는 데 유용. 이 연구에서는 LLM에 대한 워터마킹의 신뢰성을 연구하고 워터마킹된 텍스트를 사람이 다시 작성하거나 워터마킹되지 않은 다른 LLM이 다른 말로 바꾸어 표현한 경우에도 워터마크를 감지할 수 있음을 발견 (paper | tweet)

 

5) Applications of Transformer - 딥 러닝 작업을 위한 트랜스포머의 주요 활용 사례를 소개하는 새로운 서베이 논문으로, 포괄적인 트랜스포머 모델 목록이 포함되어 있음 (paper | tweet)

 

6) Benchmarking NN Training Algorithms - 현재 신경망 훈련에 가장 적합한 최적화 프로그램을 제대로 평가하는 것은 어려운 일인데, 본 논문에서는 현실적인 워크로드를 사용하여 신경망 훈련 알고리즘을 벤치마킹하는 새로운 벤치마크인 AlgoPerf를 제시 (paper | tweet)

 

7) Unifying LLMs & Knowledge Graphs - LLM과 KG의 통합을 위한 로드맵을 제공함으로, LLM 사전 훈련/추론에 KG를 통합하는 방법과 질문 답변과 같은 KG 작업에 LLM을 활용하는 방법, 양방향 추론을 위해 KG와 LLM을 모두 향상시키는 방법을 다룸 (paper | tweet)

 

8) Augmenting LLMs with Long-term Memory - 장기 기억이 가능한 LLM의 프레임워크를 제안. 과거의 긴 문맥을 기억하고 이를 언어 모델링에 사용할 수 있도록 메모리 증강 적응 훈련을 통해 강화. LLM을 통한 메모리 증강 in-context 학습을 개선 (paper | tweet)

 

9) TAPIR - 비디오 시퀀스 전반에 걸쳐 모든 물리적 표면에서 임의의 쿼리 지점을 추적 가능하게 함. 모든 베이스라인을 능가하며, 장시간 및 고해상도 비디오에서도 빠른 추론이 가능함 (최신 GPU를 사용할 때 실시간보다 빠르게 지점을 추적 가능) (paper | tweet)

 

10) Mind2Web - 웹용 일반 에이전트를 평가하기 위한 새로운 데이터셋. 31개 도메인의 137개 웹사이트의 2,350개 작업이 포함되어 있음. 다양한 작업과 환경에서 일반화 능력을 테스트할 수 있으며, 웹에서의 실제 사용 사례를 다룸 (paper | tweet)

 

 

 

---

위 글은 NLP Newsletter by Elvis에서 게재를 허락 받고 가져와 번역한 글이며, 원문은 The top ML Papers of the Week (Jun 12 - Jun 18)에서 확인할 수 있습니다.