[1/85] Taking the Next Step with Generative Artificial Intelligence: The Transformative Role of Multimodal Large Language Models in Science Education Keywords: mllms_science_education, multimedia_learning, interactive_learning_landscapes Abstract: 인공지능(AI), 특히 대규모 언어 모델(LLM) 기반 시스템을 교육에 통합하면 교육 및 학습 경험을 향상시킬 수 있다는 가능성을 보여주었습니다. 그러나 텍스트, 사운드, 시각적 입력을 포함한 다중 모드 데이터를 처리할 수 있는 GPT-4 with vision(GPT-..

[1/51] LARP: Language-Agent Role Play for Open-World Games Keywords: language_agent_role, language_agent, games_introduce_language Abstract: 언어 에이전트는 정해진 환경과 짧은 시간 내에 인상적인 문제 해결 능력을 보여 왔습니다. 하지만 오픈월드 시뮬레이션의 복잡성이 날로 증가함에 따라 복잡한 환경에 유연하게 적응하고 일관된 행동을 보장하기 위해 장기적인 기억을 일관되게 유지할 수 있는 에이전트가 절실히 요구되고 있습니다. 유니티는 언어 에이전트와 오픈월드 게임 간의 격차를 해소하기 위해 메모리 처리와 의사 결정 지원을 아우르는 인지 아키텍처, 피드백 기반의 학습 가능한 액션 공간을 갖춘 환경 ..

1) Drag Your GAN - GAN을 제어하기 위한 방법으로, 이미지의 지점을 드래그하여 사용자 상호작용 방식으로 정확한 대상 지점에 도달할 수 있게 함 (paper | tweet)2) Evidence of Meaning - 언어 모델이 텍스트의 다음 토큰 예측만을 수행하도록 훈련되었음에도 의미를 학습할 수 있다는 주장 (paper | tweet)3) Med-PaLM 2 - 의료 질문 응답을 위한 최고 성능의 LLM으로, MedQA 데이터셋에서 SoTA로 86.5%의 점수를 기록하였으며, MedMCQA, PubMedQA 및 MMLU 임상 주제 데이터셋 전반에 걸쳐 SoTA에 근접하거나 뛰어넘음 (paper | tweet)4) MEGABYTE - 백만 바이트 이상의 시퀀스의 end-to-end 모델링..

1) LLM explains neurons in LLMs - GPT-4를 사용하여 LLM의 뉴런 동작에 대한 설명을 자동으로 작성하고 그 설명에 점수를 매기는 방법으로, 이는 향후 LLM의 해석 가능성을 향상시키고 잠재적으로 정렬 및 안전 문제를 감지하는 유망한 방법을 제공 (paper | tweet)2) PaLM 2 - Bard와 PaLM API가 통합된 새로운 최첨단 언어 모델로서, GPT-4와 비교하여 수학적 추론에서 경쟁력 있는 성능을 나타냄. Flan-PaLM 2라는 instruction-tuned 모델은 MMLU 및 BIG-bench Hard와 같은 벤치마크에서 우수한 성능을 보임 (paper | tweet)3) ImageBind - 동시에 여섯 가지 모달리티 간의 공동 임베딩 데이터를 학..

1) scGPT - 단일 세포 생물학을 위해 1000만 개의 세포에 대해 사전 훈련된 기본 대형 언어 모델 (paper | tweet)2) GPTutor - 코드 설명을 위한 ChatGPT 기반 도구로서 VSCode 확장 프로그램으로 제공됨. 일반 ChatGPT 및 Copilot보다 더 간결하고 정확한 설명을 제공한다고 주장하며, 프롬프트 엔지니어링을 통해 성능을 높이고 사용자 맞춤형으로 제공됨. 더 관련성 있는 코드를 프롬프트에 사용하도록 프로그래밍되어 있음 (paper | tweet)3) Shap-E - 3D 에셋을 위한 조건부 생성 모델로, 이전의 3D 생성 모델과 달리 이 모델은 텍스처가 입혀진 메시 및 신경 방사 필드(neural radiance field)를 렌더링할 수 있게 하는 암시적 함수..

1) Agents Learn Soccer Skills - 강화 학습을 적용하여 소형 인간형 로봇을 위해 민첩한 축구 기술을 합성한 논문으로, 생성된 정책은 빠른 대응, 걷기, 차기와 같은 동적인 이동 기술을 가능하게 함 (paper | tweet)2) Scaling Transformer to 1M tokens with RMT - 재귀 메모리 트랜스포머 아키텍처를 활용하여 BERT의 유효 컨텍스트 길이를 200만 토큰으로 증가시키면서 높은 메모리 검색 정확도를 유지함 (paper | tweet)3) Track Anything - 비디오 객체 추적 및 세그멘테이션을 위한 상호작용 도구로, segment anything를 기반으로 하며 사용자 클릭을 통해 물체의 유연한 추적과 세분화를 제공 (paper | t..

1) Zip-NeRF - mip-NeRF 360과 그리드 기반 모델을 결합하여 mip-NeRF 360보다 22배 빠르게 학습될 수 있도록 NeRF를 개선 (paper | tweet)2) LLMs as Generative Agents - LLM을 확장하여 인간과 유사한 행동을 시뮬레이션할 수 있는 에이전트를 구축하는 아키텍처를 제안. 에이전트의 경험을 완전한 기록으로 저장하고 시간에 따라 기억을 고찰(reflecion)로 합성하며, 행동을 계획하기 위해 이를 동적으로 검색하는 것이 가능 (paper | tweet)3) Scientific Research Capabilities of LLMs - 에이전트와 LLM을 결합하여 과학적 실험의 자율적인 설계, 계획 및 실행을 가능하게 함. 촉매된 크로스-커플링 반..

1) Segment Anything Model - 이미지 분할(image segmentation)을 위한 기초 모델을 수립하기 위한 리소스 세트를 제시. 현존하는 데이터셋 중 가장 큰 세그멘테이션 데이터셋으로, 11백만 개의 라이선스를 받은 이미지에서 추출한 10억 개가 넘는 마스크를 포함하고 있음. 모델의 제로샷 성능은 지도 학습 결과(fully supervised)와 경쟁력이 있거나 더 뛰어날 수 있음 (paper)2) Instruction Tuning with GPT-4 - GPT-4-LLM을 활용한 Instruction Tuning 소개. 이는 GPT-4를 활용하여 LLM fine-tuning을 위한 지시어 따르기 데이터(instruction-following data)를 생성하기 위한 "첫 시도..

1) BloombergGPT - 금융을 위한 50B 파라미터 규모의 새로운 대형 언어 모델(large language model). 3천 630억 개의 토큰을 가진 가장 큰 도메인 특화 데이터셋을 발표했으며, 3천 450억개 토큰의 범용 데이터셋을 추가로 보강함. 금융 쪽에서 현존하는 모델 중 최고의 성능을 보이면서도 일반 LLM 벤치마크에서 여전히 좋은 성능을 보임 (paper) 2) ALOHA - 실제 데모에서 학습해 저렴한 비용으로 end-to-end 흉내 낼 수 있는 시스템. 또한 어려운 작업을 현실 세계에서 로봇이 학습할 수 있게 하는 생성형 모델 Action Chunking with Transformers를 제시 (paper | code)3) HuggingGPT - LLMs(예: ChatGPT..

1) Sparks of AGI - GPT-4 초기 버전에 대한 포괄적인 조사 (paper)2) Reflexion - 동적 메모리와 자기 반성 능력을 갖춘 에이전트를 제안함. 이는 기존 추론 추적 능력 및 작업별 액션 선택 능력을 향상시킬 수 있음 (paper)3) GPT-4 for Medical Challenge Problems - USMLE에서 GPT-4가 합격 점수를 20점 이상 초과하며 GPT-3.5 및 의학 지식에 특화된 모델(Med-PaLM, Flan-PaLM 540B의 프롬프트 튜닝 버전)보다 우수한 성능을 보임 (paper)4) GPTs are GPTs - GPT 모델과 관련 시스템이 미국 노동 시장에 미칠 잠재적인 영향을 조사 (paper)5) CoLT5 - 조건부 계산을 채택한 긴 입력(..