아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 5 - Jun 11)에서 확인할 수 있습니다. 1) Tracking Everything Everywhere All at Once - 밀집된 장거리 모션을 추정하기 위한 테스트 시간 최적화 방법을 제안하고, 비디오의 모든 픽셀에 대한 정확한 전체 길이 모션 추정을 가능하게함 (paper | tweet) 2) AlphaDev - 처음부터 더 빠른 정렬 알고리즘을 발견하는 심층 강화 학습 에이전트로, 알고리즘은 이전에 알려진 인간 벤치마크를 능가하고 LLVM C++ 라이브러리에 통합됨 (paper | tweet) 3) Sparse-Quantiz..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 29 - Jun 4)에서 확인할 수 있습니다. 1) Let’s Verify Step by Step - 최종 답변에 대해 보상하는 대신 사고의 각 올바른 추론 단계를 보상하여 수학 문제 해결 태스크에서 SoTA 달성. MATH 테스트 세트의 대표적인 하위 집합에서 78%의 문제를 해결합니다. (paper | tweet) 2) No Positional Encodings - 명시적인 위치 임베딩이 디코더 전용 트랜스포머에 필수적이지 않음을 보임. ALiBi 및 Rotary와 같은 다른 위치 인코딩 방법이 길이 일반화에 적합하지 않음을 증명 (p..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 22 - May 28)에서 확인할 수 있습니다. 1) QLoRA - 메모리 사용량을 줄여 65B 파라미터 모델을 48GB GPU에서 싱글 GPU에서 전체 16비트 파인튜닝 성능을 유지하면서 파인튜닝하는 효율적인 방법 (paper | tweet) 2) LIMA - 1,000개의 세심하게 선별된 프롬프트와 응답으로 파인튜닝된 새로운 65B 파라미터 LLaMa 모델로, RLHF를 사용하지 않으며 훈련 데이터에 없는 보이지 않는 작업에 대해 일반화가 잘 됨. 응답을 생성하는 경우 GPT-4에 비해 43%에서 동등하거나 우선되는 응답을 생성하며, ..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 15 - May 21)에서 확인할 수 있습니다. 1) Drag Your GAN - GAN을 제어하기 위한 방법으로, 이미지의 지점을 드래그하여 사용자 상호작용 방식으로 정확한 대상 지점에 도달할 수 있게 함 (paper | tweet) 2) Evidence of Meaning - 언어 모델이 텍스트의 다음 토큰 예측만을 수행하도록 훈련되었음에도 의미를 학습할 수 있다는 주장 (paper | tweet) 3) Med-PaLM 2 - 의료 질문 응답을 위한 최고 성능의 LLM으로, MedQA 데이터셋에서 SoTA로 86.5%의 점수를 기록하였..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 5 - May 14)에서 확인할 수 있습니다. 1) LLM explains neurons in LLMs - GPT-4를 사용하여 LLM의 뉴런 동작에 대한 설명을 자동으로 작성하고 그 설명에 점수를 매기는 방법으로, 이는 향후 LLM의 해석 가능성을 향상시키고 잠재적으로 정렬 및 안전 문제를 감지하는 유망한 방법을 제공 (paper | tweet) 2) PaLM 2 - Bard와 PaLM API가 통합된 새로운 최첨단 언어 모델로서, GPT-4와 비교하여 수학적 추론에서 경쟁력 있는 성능을 나타냄. Flan-PaLM 2라는 instruc..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (May 1 - May 7)에서 확인할 수 있습니다. 1) scGPT - 단일 세포 생물학을 위해 1000만 개의 세포에 대해 사전 훈련된 기본 대형 언어 모델 (paper | tweet) 2) GPTutor - 코드 설명을 위한 ChatGPT 기반 도구로서 VSCode 확장 프로그램으로 제공됨. 일반 ChatGPT 및 Copilot보다 더 간결하고 정확한 설명을 제공한다고 주장하며, 프롬프트 엔지니어링을 통해 성능을 높이고 사용자 맞춤형으로 제공됨. 더 관련성 있는 코드를 프롬프트에 사용하도록 프로그래밍되어 있음 (paper | tweet) 3)..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Apr 24 - Apr 30)에서 확인할 수 있습니다. 1) Agents Learn Soccer Skills - 강화 학습을 적용하여 소형 인간형 로봇을 위해 민첩한 축구 기술을 합성한 논문으로, 생성된 정책은 빠른 대응, 걷기, 차기와 같은 동적인 이동 기술을 가능하게 함 (paper | tweet) 2) Scaling Transformer to 1M tokens with RMT - 재귀 메모리 트랜스포머 아키텍처를 활용하여 BERT의 유효 컨텍스트 길이를 200만 토큰으로 증가시키면서 높은 메모리 검색 정확도를 유지함 (paper | twee..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Apr 10 - Apr 16)에서 확인할 수 있습니다. 1) Zip-NeRF - mip-NeRF 360과 그리드 기반 모델을 결합하여 mip-NeRF 360보다 22배 빠르게 학습될 수 있도록 NeRF를 개선 (paper | tweet) 2) LLMs as Generative Agents - LLM을 확장하여 인간과 유사한 행동을 시뮬레이션할 수 있는 에이전트를 구축하는 아키텍처를 제안. 에이전트의 경험을 완전한 기록으로 저장하고 시간에 따라 기억을 고찰(reflecion)로 합성하며, 행동을 계획하기 위해 이를 동적으로 검색하는 것이 가능 (p..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Apr 3 - Apr 9)에서 확인할 수 있습니다. 1) Segment Anything Model - 이미지 분할(image segmentation)을 위한 기초 모델을 수립하기 위한 리소스 세트를 제시. 현존하는 데이터셋 중 가장 큰 세그멘테이션 데이터셋으로, 11백만 개의 라이선스를 받은 이미지에서 추출한 10억 개가 넘는 마스크를 포함하고 있음. 모델의 제로샷 성능은 지도 학습 결과(fully supervised)와 경쟁력이 있거나 더 뛰어날 수 있음 (paper) 2) Instruction Tuning with GPT-4 - GPT-4-L..

아래의 글은 NLP Newsletter by Elvis에서 허락을 받고 가져온 글이며, 원문은 다음 링크 The top ML Papers of the Week (Mar 27 - April 02)에서 확인할 수 있습니다. 1) BloombergGPT - 금융을 위한 50B 파라미터 규모의 새로운 대형 언어 모델(large language model). 3천 630억 개의 토큰을 가진 가장 큰 도메인 특화 데이터셋을 발표했으며, 3천 450억개 토큰의 범용 데이터셋을 추가로 보강함. 금융 쪽에서 현존하는 모델 중 최고의 성능을 보이면서도 일반 LLM 벤치마크에서 여전히 좋은 성능을 보임 (paper) 2) ALOHA - 실제 데모에서 학습해 저렴한 비용으로 end-to-end 흉내 낼 수 있는 시스템. 또한..