1) Segment Anything Model - 이미지 분할(image segmentation)을 위한 기초 모델을 수립하기 위한 리소스 세트를 제시. 현존하는 데이터셋 중 가장 큰 세그멘테이션 데이터셋으로, 11백만 개의 라이선스를 받은 이미지에서 추출한 10억 개가 넘는 마스크를 포함하고 있음. 모델의 제로샷 성능은 지도 학습 결과(fully supervised)와 경쟁력이 있거나 더 뛰어날 수 있음 (paper)2) Instruction Tuning with GPT-4 - GPT-4-LLM을 활용한 Instruction Tuning 소개. 이는 GPT-4를 활용하여 LLM fine-tuning을 위한 지시어 따르기 데이터(instruction-following data)를 생성하기 위한 "첫 시도..

1) BloombergGPT - 금융을 위한 50B 파라미터 규모의 새로운 대형 언어 모델(large language model). 3천 630억 개의 토큰을 가진 가장 큰 도메인 특화 데이터셋을 발표했으며, 3천 450억개 토큰의 범용 데이터셋을 추가로 보강함. 금융 쪽에서 현존하는 모델 중 최고의 성능을 보이면서도 일반 LLM 벤치마크에서 여전히 좋은 성능을 보임 (paper) 2) ALOHA - 실제 데모에서 학습해 저렴한 비용으로 end-to-end 흉내 낼 수 있는 시스템. 또한 어려운 작업을 현실 세계에서 로봇이 학습할 수 있게 하는 생성형 모델 Action Chunking with Transformers를 제시 (paper | code)3) HuggingGPT - LLMs(예: ChatGPT..

1) Sparks of AGI - GPT-4 초기 버전에 대한 포괄적인 조사 (paper)2) Reflexion - 동적 메모리와 자기 반성 능력을 갖춘 에이전트를 제안함. 이는 기존 추론 추적 능력 및 작업별 액션 선택 능력을 향상시킬 수 있음 (paper)3) GPT-4 for Medical Challenge Problems - USMLE에서 GPT-4가 합격 점수를 20점 이상 초과하며 GPT-3.5 및 의학 지식에 특화된 모델(Med-PaLM, Flan-PaLM 540B의 프롬프트 튜닝 버전)보다 우수한 성능을 보임 (paper)4) GPTs are GPTs - GPT 모델과 관련 시스템이 미국 노동 시장에 미칠 잠재적인 영향을 조사 (paper)5) CoLT5 - 조건부 계산을 채택한 긴 입력(..

1) GPT-4 - 넓은 범용 지식과 문제 해결 능력을 갖춘 대규모 멀티모달 모델 (paper)2) LERF (Language Embedded Radiance Fields) - CLIP과 같은 모델의 언어 임베딩을 NeRF로 그라운딩하는 방법으로, 3D에서 개방형 언어 쿼리를 가능하게 함 (paper)3) An Overview of Language Models - 언어 모델의 최근 개발 동향과 앞으로의 연구 방향에 대한 개요로 언어 단위, 구조, 훈련 방법, 평가 및 응용 프로그램과 같은 주제도 포함되어 있음 (paper)4) Tuned Lens - 언어 모델의 예측을 트랜스포마의 레이어별 전개 과정을 따라가며 추적할 수 있는 해석 방법 (paper)5) MIM (Meet in the Middle) - ..

1) PaLM-E - 실제 세상의 지속적인 센서 모달리티(real-world continuous sensor modalities)를 통합한 구체화된 LM으로, 로봇 조작 계획, 시각적 QA 및 기타 실체 추론 작업을 수행 (paper | demo)2) Prismer - 도메인 전문가 앙상블에 기반한 파라미터 효율적인 비전-언어 모델로, 다양한 비전-언어 추론 작업에 전문가 지식을 효과적으로 활용 (paper | code)3) Visual ChatGPT - ChatGPT와 다양한 시각 기반 모델을 연결하여 사용자가 언어 형식을 넘어 ChatGPT와 상호 작용할 수 있음 (paper | code)4) A History of Generative AI - GAN에서 ChatGPT까지 생성적 AI의 개요 (pap..

1) Language Is Not All You Need - Kosmos-1 이라고 명명한 다중 모달 대형 언어 모델. 언어 이해, OCR-free NLP, 지각-언어 작업, 시각적 QA 등에서 탁월한 성능을 보임 (paper)2) Comparing Brain Activations and Language Models - 인간의 뇌 활동이 현대 언어 모델의 활성화로 가장 잘 설명되며, 특히 긴 인풋 및 계층적 예측이 강화된 모델에서 더 잘 설명됨을 보임 (paper) 3) EvoPrompting - 진화적 프롬프트 엔지니어링과 소프트 프롬프트 튜닝을 결합하여 도출한 고성능 모델로, 문맥 내 예제(in-context examples)를 개선하기 위해 퓨샷 프롬프팅(few-shot prompting)을 활용하..

1) LLaMA - Meta AI에서 발표한 65B 파라미터의 파운데이션 모델로, 공개 데이터를 기반으로 하며 10배 작은 크기임에도 불구하고 대부분의 벤치마크에서 GPT-3를 능가함 (paper)2) Composer - 수십억 개의 텍스트-이미지 쌍으로 훈련된 5B 파라미터의 모델로, 창조적이고 제어 가능한 확산 모델(diffusion model) (paper)3) Hindsight Instruction Relabeling - 피드백을 통해 LLM을 훈련하는 방법(RLHF)에 대한 대체 알고리즘으로, 더 나은 정렬(alignment)를 위해 피드백을 원본 피드백으로 레이블을 다시 지정하고 모델을 지도 학습으로 훈련함으로써 지침(instructuion)으로 변환하는 방식을 채택 (paper)4) Acti..

1) Lion (EvoLved Sign Momentum) - Adam보다 메모리를 더 효율적으로 사용하는 간단하고 효과적인 최적화 알고리즘 (paper)2) Transformer models: an introduction and catalog - 트랜스포머 모델에 대한 소개 및 목록 (paper)3) pix2pix3D - 조절 가능한 사실적인 이미지 합성을 위해 neural radiance field로 확장된 3D 인식 조건부 생성 모델(3D-aware conditional generative model) (paper)4) Moral Self-Correction in Large Language Models - RLHF로 훈련된 언어 모델이 도덕적 자기 교정 능력을 갖고 있는 강력한 증거를 발견한 논문으로..

1) Toolformer - 간단한 API 호출을 통해 외부 도구를 사용하는 방법을 스스로 학습하는 언어 모델을 소개 (paper)2) Describe, Explain, Plan, and Select - 언어 모델을 오픈 월드 게임 플레이에 활용하는 방안을 제안 (paper)3) A Categorical Archive of ChatGPT Failures - ChatGPT의 실패를 범주(추론, 사실 확인, 수학, 코딩 등)별로 종합 분석 (paper)4) Hard Prompts Made Easy - 효율적인 기울기 기반 최적화를 통해 어려운 텍스트 프롬프트를 최적화 (paper)5) Data Selection for LMs - LM의 다운스트림 성능을 개선하기 위해 중요도 재샘플링 알고리즘(importan..

1) REPLUG - 검색 보강(retrieval-augmented) 언어 모델 프레임워크로, 리트리버(retriever)를 GPT-3와 같은 대규모 블랙박스 언어 모델에 적응시킴 (paper)2) Extracting Training Data from Diffusion Models - 확산 기반(diffusion-based) 생성 모델이 훈련 데이터의 이미지를 기억하고 생성 시점에 이를 내보낼 수 있음을 증명 (paper)3) The FLAN Collection - 태스크, 템플릿 및 고급 instruction-tuned 모델을 사용할 수 있도록 더 확장된 공개 컬렉션을 출시 (paper)4) Multimodal Chain-of-Thought Reasoning - 시각적 특징을 통합하여 다중 모달에서 생..