[1/108] Secrets of RLHF in Large Language Models Part II: Reward Modeling Keywords: responses_reward_models, intent_reward_models, reward_models_trained Abstract: 인간 피드백을 통한 강화 학습(RLHF)은 언어 모델을 인간의 가치와 의도에 맞게 조정하여 모델이 보다 유용하고 무해한 반응을 생성할 수 있도록 하는 중요한 기술이 되었습니다. 보상 모델은 강화 학습 최적화를 추진하기 위해 인간 선호도의 프록시로 훈련됩니다. 보상 모델은 종종 높은 성능을 달성하는 데 핵심적인 역할을 하는 것으로 간주되지만, 실제 적용 시 다음과 같은 문제에 직면합니다. (1) 데이터 세트의 부정확하고..

[1/52] Yes, this is what I was looking for! Towards Multi-modal Medical Consultation Concern Summary Generation Keywords: concern_summary_generation, concern_summaries_intents, annotated_medical_concern Abstract: 지난 몇 년 동안 의료 관련 업무에서 인터넷 사용이 비약적으로 증가하면서 정보를 효과적으로 관리하고 처리하여 효율적으로 활용하는 데 어려움을 겪고 있습니다. 정서적 혼란과 심리적 어려움을 겪는 순간에 우리는 사회적 낙인 때문에 다른 사람들과 자신의 감정을 논의하는 대신 인터넷을 첫 번째 지원처로 선택하는 경우가 많습니다. 이 논문..

[1/68] Deep Reinforcement Multi-agent Learning framework for Information Gathering with Local Gaussian Processes for Water Monitoring Keywords: deep_reinforcement_learning, deep_convolutional_policy, convolutional_policy Abstract: 수자원을 보존하기 위해서는 수자원의 오염을 지속적으로 모니터링해야 합니다. 본 논문에서는 수질을 효율적으로 모니터링하기 위해 자율 수면 차량으로 구성된 다중 에이전트 시스템을 제안합니다. 자율 수면 차량의 안전한 제어를 위해서는 측정값과 차량 상태에 따라 차량 정책이 작동할 수 있어야 합니다. 본 ..

[1/129] Advancing Spatial Reasoning in Large Language Models: An In-Depth Evaluation and Enhancement Using the StepGame Benchmark Keywords: spatial_reasoning_capabilities, spatial_reasoning_chatgpt, spatial_reasoning_performance Abstract: 인공지능(AI)은 다양한 영역에서 괄목할 만한 발전을 이루었으며, ChatGPT와 같은 대규모 언어 모델은 인간과 유사한 텍스트 생성 기능으로 큰 주목을 받고 있습니다. 이러한 성과에도 불구하고 공간 추론은 이러한 모델에서 여전히 중요한 과제로 남아 있습니다. StepGame과 같은 ..

1) Let’s Verify Step by Step - 최종 답변에 대해 보상하는 대신 사고의 각 올바른 추론 단계를 보상하여 수학 문제 해결 태스크에서 SoTA 달성. MATH 테스트 세트의 대표적인 하위 집합에서 78%의 문제를 해결합니다. (paper | tweet)2) No Positional Encodings - 명시적인 위치 임베딩이 디코더 전용 트랜스포머에 필수적이지 않음을 보임. ALiBi 및 Rotary와 같은 다른 위치 인코딩 방법이 길이 일반화에 적합하지 않음을 증명 (paper | tweet)3) BiomedGPT - 시각, 언어 및 멀티모달 작업을 위한 통합 생체 의학 생성형 사전 훈련 트랜스포머 모델(a unified biomedical generative pretrained t..

[1/74] A Customizable Generator for Comic-Style Visual Narrative Keywords: visual_narrative_generator, visual_narrative_authoring, narrative_generator Abstract: 유니티는 만화의 개념적 원리를 시스템 레이어에 통합하여 만화 콘텐츠를 생성하는 이론에 기반한 시각적 내러티브 제너레이터를 선보입니다. 제너레이터는 패널 구성, 오브젝트 위치, 패널 전환, 내러티브 요소 등 여러 레이어에서 순차적인 의사결정을 통해 만화를 제작합니다. 각 레이어의 결정은 내러티브 목표에 따라 이루어지며 해당 매체의 각 레이어 관용구를 따릅니다. 콘의 내러티브 문법은 전체적인 스토리 아크를 제공합니다. 1/3..

1) QLoRA - 메모리 사용량을 줄여 65B 파라미터 모델을 48GB GPU에서 싱글 GPU에서 전체 16비트 파인튜닝 성능을 유지하면서 파인튜닝하는 효율적인 방법 (paper | tweet)2) LIMA - 1,000개의 세심하게 선별된 프롬프트와 응답으로 파인튜닝된 새로운 65B 파라미터 LLaMa 모델로, RLHF를 사용하지 않으며 훈련 데이터에 없는 보이지 않는 작업에 대해 일반화가 잘 됨. 응답을 생성하는 경우 GPT-4에 비해 43%에서 동등하거나 우선되는 응답을 생성하며, Bard와 비교했을 때 더 높은 결과를 얻음 (paper | tweet)3) Voyager - Minecraft에서 사용되는 LLM 기반의 구현형 평생 학습 에이전트로, 계속해서 세계를 탐험하고 기술을 습득하며 인간의 ..

[1/35] ODIN: A Single Model for 2D and 3D Perception Keywords: 3d_perception_benchmarks, 3d_point_cloud, sensed_3d Abstract: 스캔넷과 같은 최신 3D 인식 벤치마크의 최첨단 모델은 감지된 멀티뷰 RGB-D 이미지의 후처리를 통해 얻은 데이터 세트가 제공하는 3D 포인트 클라우드를 사용하고 레이블을 지정합니다. 이러한 모델은 일반적으로 도메인 내에서 학습되며, 대규모 2D 사전 학습을 생략하고 대신 포지셔닝된 RGB-D 멀티뷰 이미지를 활용하는 대안보다 성능이 뛰어납니다. 포즈된 이미지를 사용하는 방법과 후처리된 3D 포인트 클라우드를 사용하는 방법 간의 성능 격차로 인해 2D와 3D 인식에는 서로 다른 모델..

[1/55] Act as You Learn: Adaptive Decision-Making in Non-Stationary Markov Decision Processes Keywords: stationary_markov_decision, markov_decision_processes, markov_decision Abstract: 순차적 의사 결정의 근본적인(그리고 대부분 열려 있는) 문제는 외생적 환경 조건이 시간에 따라 변하는 비고정적 환경을 다루는 것입니다. 이러한 문제는 전통적으로 비고정 마르코프 의사 결정 과정(NSMDP)으로 모델링됩니다. 그러나 NSMDP에서 의사결정을 위한 기존의 접근 방식에는 두 가지 큰 단점이 있습니다. 첫째, 현재 시점의 업데이트된 환경 역학이 알려져 있다고 가정한다는 ..

[1/57] Towards Cognitive AI Systems: a Survey and Prospective on Neuro-Symbolic AI Keywords: neuro_symbolic_ai, symbolic_ai_nsai, symbolic_ai Abstract: 심층 신경망을 중심으로 한 인공 지능(AI)의 눈부신 발전은 우리 삶의 다양한 측면에 큰 영향을 미쳤습니다. 그러나 현재 지속 불가능한 계산 궤적, 제한된 견고성, 설명 가능성 부족 등의 과제로 인해 차세대 AI 시스템 개발이 요구되고 있습니다. 신경 기호적 AI(NSAI)는 신경, 기호, 확률론적 접근 방식을 융합하여 해석 가능성, 견고성, 신뢰성을 향상시키는 동시에 훨씬 적은 데이터로 학습을 촉진하는 유망한 패러다임으로 부상하고 있습..