🍞 오늘의 AI 논문 [2024-02-02]

[1/106] FM3Q: Factorized Multi-Agent MiniMax Q-Learning for Two-Team Zero-Sum Markov Game

Keywords: multi_agent_minimax, agent_minimax_learning, multi_agent_reinforcement
Abstract: 많은 실제 애플리케이션에는 두 팀으로 나뉘는 일부 에이전트가 포함되며, 같은 팀 내에서는 보상이 같지만 상대 팀에서는 반대 부호를 갖습니다. 이른바 두 팀 제로섬 마르코프 게임(2t0sMG)은 최근 강화 학습으로 해결할 수 있습니다. 그러나 기존 방법은 팀 내 신용 할당, 데이터 활용, 계산 난해성 등을 충분히 고려하지 않아 비효율적입니다. 본 논문에서는 2t0sMG에서 Q 함수를 통해 두 팀의 최소값 행동과 개인의 탐욕적 행동 사이의 일관성을 보장하는 개별-글로벌-최소값(IGMM) 원칙을 제안합니다. 이를 기반으로 공동 최소값 Q 함수를 개별 최소값으로 인수분해하고 2t0sMG에서 IGMM을 만족하는 최소값 Q 함수를 반복적으로 풀 수 있는 새로운 다중 에이전트 강화 학습 프레임워크인 FM3Q(Factorized Multi-Agent MiniMax Q-Learning)를 제시합니다. 또한 신경망을 이용한 온라인 학습 알고리즘을 제안하여 FM3Q를 구현하고 2팀 플레이어에 대한 결정론적 및 분산적 최소값 정책을 얻습니다. FM3Q의 수렴을 증명하기 위한 이론적 분석이 제공됩니다. 경험적으로 세 가지 환경을 사용하여 FM3Q의 학습 효율과 최종 성능을 평가하고 2t0sMG에서 그 우수성을 보여줍니다. [abs|pdf]

[2/106] Intent Assurance using LLMs guided by Intent Drift

Keywords: intent_based_networking, intent_assurance, intent_assurance_tasked
Abstract: 인텐트 기반 네트워킹(IBN)은 네트워크 운영의 의도와 비즈니스 목표를 자동화된 방식으로 일치시킬 수 있다는 점에서 네트워크 관리의 패러다임 전환을 제시합니다. 그러나 1) 인텐트 처리, 즉 인텐트를 이행하기 위한 로직을 번역, 분해, 식별하는 것과 2) 인텐트 적합성, 즉 동적인 네트워크를 고려하여 인텐트를 보장하기 위해 로직을 적절히 조정해야 한다는 점에서 실질적인 실현이 어렵습니다. 후자의 문제를 해결하기 위해 의도 보증은 운영 상태와 목표 상태를 일치시키기 위해 필요한 조치를 취하는 등 지속적인 확인과 검증을 수행해야 합니다. 이 백서에서는 인텐트 드리프트가 발생할 때 이를 감지하고 조치를 취할 수 있는 보증 프레임워크를 정의합니다. 이를 위해 필요한 상황별 요구사항을 빠르게 학습하고 인텐트의 이행 및 보증을 지원할 수 있는 대규모 언어 모델(LLM)로 생성된 AI 기반 정책을 활용합니다. [abs|pdf]

[3/106] Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing

Keywords: reasoning_planning, reasoning_planning_focus, planning_based_reasoning
Abstract: 대규모 언어 모델(LLM)은 단계별 근거 생성을 통해 복잡한 추론 작업을 처리하는 데 상당한 잠재력을 보여줬습니다. 하지만 최근 여러 연구에서 추론 과정의 환각과 결함에 대한 우려가 제기되고 있습니다. 생성된 추론의 신뢰성과 충실도를 향상시키기 위한 상당한 노력이 이루어지고 있습니다. 일부 접근 방식은 추론을 계획으로 모델링하는 반면, 다른 접근 방식은 프로세스 감독을 위한 주석 달기에 중점을 둡니다. 하지만 계획 기반 검색 프로세스는 중간 추론 상태의 빈번한 평가와 광범위한 탐색 공간으로 인해 지연 시간이 길어지는 경우가 많습니다. 또한 사람이 주석을 달아 추론 프로세스를 감독하는 것은 비용이 많이 들고 LLM 학습을 위해 확장하기가 어렵습니다. 이러한 문제를 해결하기 위해 이 논문에서는 수집된 궤적에 대해 직접 선호도 최적화(DPO)를 통해 계획 기반 추론을 학습하고, 합성된 프로세스 보상에 따라 순위가 매겨지는 프레임워크를 제안합니다. 까다로운 논리적 추론 벤치마크에 대한 결과는 학습 프레임워크의 효과를 입증하며, 7B 모델이 GPT-3.5-Turbo와 같은 강력한 모델을 능가할 수 있음을 보여줍니다. [abs|pdf]

[4/106] Sandra -- A Neuro-Symbolic Reasoner Based On Descriptions And Situations

Keywords: neuro_symbolic_reasoner, symbolic_reasoner, symbolic_reasoner_combining
Abstract: 이 논문에서는 벡터 표현과 연역적 추론을 결합한 신경 기호 추론기인 Sandra를 소개합니다. Sandra는 온톨로지에 의해 제약된 벡터 공간을 구축하고 그 위에서 추론을 수행합니다. 추론기의 기하학적 특성 덕분에 신경망과 결합하여 기호적 지식 표현과의 간극을 좁힐 수 있습니다. Sandra는 프레임 의미론의 형식화인 설명 및 상황(DnS) 온톨로지 디자인 패턴을 기반으로 합니다. 일련의 사실(상황)이 주어지면 불완전한 정보가 있더라도 그에 대한 그럴듯한 해석을 제공할 수 있는 모든 가능한 관점(설명)을 추론할 수 있습니다. 우리는 DnS 모델과 관련하여 우리의 방법이 정확하다는 것을 증명합니다. 두 가지 다른 작업과 표준 벤치마크를 실험하여 복잡성을 증가시키지 않으면서도 샌드라가 (i) 모든 기준선을 능가하고 (ii) 분류 프로세스에서 해석 가능성을 제공하며 (iii) 선험적으로 설계된 벡터 공간을 제어할 수 있음을 보여줍니다. [abs|pdf]

[5/106] EXMOS: Explanatory Model Steering Through Multifaceted Explanations and Data Configurations

Keywords: explanations_systems_support, global_explanations_systems, data_centric_explanations
Abstract: 대화형 머신러닝 시스템의 설명은 예측 모델의 디버깅과 개선을 용이하게 합니다. 그러나 도메인 전문가가 모델 개선을 위해 잠재적인 데이터 문제를 감지하고 해결하는 데 있어 다양한 글로벌 모델 중심 및 데이터 중심 설명의 효과는 아직 밝혀지지 않았습니다. 이 연구에서는 의료 전문가가 자동 및 수동 데이터 구성을 통해 모델을 최적화할 수 있도록 지원하는 시스템에서 데이터 중심 및 모델 중심 글로벌 설명의 영향력을 조사합니다. 의료 전문가를 대상으로 정량적(n=70) 및 정성적(n=30) 연구를 수행하여 서로 다른 설명이 신뢰, 이해도 및 모델 개선에 미치는 영향을 조사했습니다. 연구 결과, 데이터 구성 시 사용자를 안내하는 데 있어 글로벌 모델 중심의 설명이 불충분하다는 사실이 밝혀졌습니다. 데이터 중심 설명이 구성 후 시스템 변경에 대한 이해도를 높였지만, 두 가지 설명 유형을 혼합한 설명이 가장 높은 효과를 보였습니다. 연구 결과를 바탕으로 효과적인 설명 중심의 대화형 머신러닝 시스템을 위한 설계 시사점도 제시합니다. [abs|pdf]

[6/106] A Personalized Framework for Consumer and Producer Group Fairness Optimization in Recommender Systems

Keywords: fairrank_optimization_based, fairness_constraints_consumer, fairrank_optimization
Abstract: 최근 몇 년 동안 머신러닝(ML) 알고리즘을 사용하여 의사결정을 자동화할 경우 개인이나 집단이 법적, 윤리적 또는 경제적 영향을 받을 수 있다는 인식이 확산되고 있습니다. 추천 시스템은 사용자의 의사 결정을 돕는 머신 러닝(ML) 시스템의 대표적인 예입니다. RS의 공정성에 관한 대부분의 기존 연구는 추천 시스템이 양면 시장에서 작동한다는 사실을 무시하고 사용자와 아이템의 공정성 문제를 독립적으로 다루고 있습니다. 본 논문에서는 소비자와 생산자 양측의 공정성 제약을 공동의 객관적인 프레임워크에 완벽하게 통합하는 최적화 기반 리랭킹 알고리즘인 CP-FairRank를 제안합니다. 이 프레임워크는 일반화가 가능하며 그룹 세분화, 추천 모델 선택, 도메인에 따라 다양한 공정성 설정을 고려할 수 있다는 것이 주요 특징 중 하나입니다. 예를 들어, (비)보호 소비자 그룹은 활동 수준과 주류성을 기준으로 정의하고, 생산자 그룹은 인기도에 따라 정의할 경우 시스템이 소비자와 생산자의 공정성을 동시에 높일 수 있음을 보여줍니다. 실증적 검증을 위해 8개의 데이터 세트와 4개의 주류 협업 필터링(CF) 추천 모델에 대한 대규모 실험을 통해 우리가 제안한 전략이 전반적인 추천 품질을 손상시키지 않거나 거의 손상시키지 않으면서 소비자와 생산자의 공정성을 모두 향상시킬 수 있음을 입증하여 알고리즘이 데이터 편향성을 피하는 데 어떤 역할을 할 수 있는지 보여 줍니다. [abs|pdf]

[7/106] RadDQN: a Deep Q Learning-based Architecture for Finding Time-efficient Minimum Radiation Exposure Pathway

Keywords: radiation_aware_reward, deep_reinforcement_learning, radiation_exposure_training
Abstract: 최근 심층 강화 학습(DRL) 기술이 발전하면서 자동화 부문에서 다각도로 활용되고 있습니다. 원자력 산업에서는 정상 작동 조건과 잠재적 사고 시나리오에서 직원의 방사선 노출을 최적화하는 등의 작업에 DRL을 사용하여 복잡한 의사 결정 문제를 관리할 수 있습니다. 그러나 효율적인 보상 기능과 효과적인 탐사 전략의 부재로 인해 방사선 보호를 극대화하기 위한 방사선 인식 자율 무인 항공기(UAV) 개발에서 구현에 어려움을 겪었습니다. 이 글에서는 이러한 흥미로운 문제를 해결하고 방사선 구역에서 시간 효율적인 최소 방사선 노출 경로를 제공하기 위해 방사선 인식 보상 기능으로 작동하는 딥 Q-러닝 기반 아키텍처(RadDQN)를 소개합니다. 훈련 중 방사선 노출의 상태별 변화를 기반으로 탐사 및 개발 범위를 미세 조정하는 일련의 고유한 탐사 전략을 제안합니다. 또한 그리드 기반 결정론적 방법으로 예측 경로를 벤치마킹합니다. 우리는 공식화된 보상 함수가 적절한 탐사 전략과 결합하여 방사선장 분포가 크게 다른 여러 시나리오를 처리하는 데 효과적임을 입증합니다. 바닐라 DQN과 비교했을 때, 우리 모델은 우수한 수렴률과 높은 훈련 안정성을 달성합니다. [abs|pdf]

[8/106] Computational Experiments Meet Large Language Model Based Agents: A Survey and Perspective

Keywords: agent_computational, based_agent_computational, agent_computational_experiments
Abstract: 컴퓨터 실험은 복잡한 시스템을 연구하는 데 유용한 방법으로 떠오르며, 반대 사실의 알고리즘화를 포함합니다. 그러나 제한된 합리성과 이질성 등 인간의 다양하고 복잡한 특성으로 인해 에이전트 기반 모델링(ABM)에서 실제 사회 시스템을 정확하게 표현하는 것은 어려운 일입니다. 이러한 한계를 극복하기 위해 에이전트가 복잡한 추론과 자율 학습과 같은 의인화된 능력을 갖출 수 있도록 하는 대규모 언어 모델(LLM)의 통합이 제안되었습니다. LLM 기반 에이전트라고 하는 이러한 에이전트는 ABM에 부족한 의인화 능력을 향상시킬 수 있는 잠재력을 제공합니다. 그럼에도 불구하고 LLM에 명시적인 설명성이 없다는 점은 사회과학 분야에 적용하는 데 큰 걸림돌이 됩니다. 반대로 계산적 실험은 개별 행동과 복잡한 현상에 대한 인과적 분석을 제공하는 데 탁월합니다. 따라서 계산 실험과 LLM 기반 에이전트의 결합은 상당한 연구 잠재력을 지니고 있습니다. 이 논문은 이러한 융합에 대한 포괄적인 탐색을 제시하는 것을 목표로 합니다. 우선, 에이전트 구조의 역사적 발전과 인공 사회로의 진화를 개괄적으로 설명하고 계산 실험에서 에이전트의 중요성을 강조합니다. 그런 다음 계산 실험과 LLM 기반 에이전트가 서로에게 제공하는 이점을 설명하며, 계산 실험을 위한 LLM 기반 에이전트의 관점과 그 반대의 관점을 고려합니다. 마지막으로 이 백서에서는 이 연구 영역의 과제와 향후 동향을 다루며 후속 관련 연구에 대한 지침을 제공합니다. [abs|pdf]

[9/106] Modeling Access Differences to Reduce Disparity in Resource Allocation

Keywords: vaccine_allocation_vulnerable, access_vaccine_formalize, vaccine_allocation
Abstract: 취약한 하위 집단이 건강 측면에서 더 큰 영향을 받는 동시에 백신 접근성 측면에서 더 불리한 코로나19 백신 배분에서 동기를 얻어, 우리는 유불리와 상관관계가 있는 내재적 접근성 차이가 있을 때 자원 배분의 문제를 공식화하고 연구합니다. 우리는 이러한 맥락에서 자원 격차를 줄이는 것을 핵심 목표로 삼고, 보다 미묘한 다운스트림 영향에 대한 대리자로서의 역할을 보여줍니다. 또한, 접근성 격차를 기반으로 특정 할당량이 유리한 계층과 불리한 계층의 리소스 흐름으로 어떻게 변환되는지 정량화하는 데 도움이 되는 구체적인 접근성 모델을 개발합니다. 그런 다음 액세스 인식 할당 방법론을 제공합니다. 그 결과 직관적으로 취약 인구가 많은 지역에 더 많은 백신을 배분하여 접근성 격차를 완화하고 전반적인 불균형을 줄일 수 있습니다. 놀랍게도, 접근성 인식 할당을 수행하는 데는 접근성 격차에 대한 지식이 필요하지 않은 경우가 많습니다. 이러한 형식주의를 뒷받침하기 위해 저희는 접근성 모델에 대한 경험적 증거를 제공하며, 접근성을 고려한 배분이 리소스 격차를 크게 줄여 다운스트림 결과를 개선할 수 있음을 보여줍니다. 이를 카운티, 주, 국가, 글로벌 수준 등 다양한 규모에서 입증하고 있습니다. [abs|pdf]

[10/106] Exploitation Strategies in Conditional Markov Chain Search: A case study on the three-index assignment problem

Keywords: metaheuristics_discrete_combinatorial, discrete_combinatorial_optimisation, metaheuristics
Abstract: 조건부 마르코프 체인 검색(CMCS)은 이산 조합 최적화 문제에 대한 메타 휴리스틱의 자동 설계를 위한 프레임워크입니다. 힐 클라이머와 돌연변이와 같은 알고리즘 구성 요소 집합이 주어지면 CMCS는 이러한 구성 요소를 적용할 순서를 결정합니다. 이러한 결정은 오프라인에서 학습할 수 있는 CMCS 구성에 의해 결정됩니다. CMCS에는 허용 기준이 없으며 모든 동작이 프레임워크에 의해 허용됩니다. 따라서 탐색에는 특히 뛰어나지만 활용에는 그다지 뛰어나지 않습니다. 이 연구에서는 프레임워크의 탐색 능력을 개선하기 위해 프레임워크의 몇 가지 확장을 살펴봅니다. 계산 연구를 수행하기 위해 프레임워크를 세 개의 색인 할당 문제에 적용했습니다. 실험 결과, 2단계 CMCS가 1단계 CMCS보다 실제로 더 우수한 것으로 나타났습니다. [abs|pdf]

[11/106] A technical note for the 91-clauses SAT resolution with Indirect QAOA based approach

Keywords: sat_problems_numerical, resolution_sat_problem, sat_problem_particular
Abstract: 이 논문에서는 QAOA와 유사한 접근 방식을 사용하여 3-SAT 문제의 해결 방법을 다룹니다. 선택한 원리는 3-SAT 문제의 해의 순위를 모델링하는 것으로, 이 특별한 경우에는 해를 직접 표현합니다. 그 결과 게이트 수가 적은 매우 컴팩트한 회로가 생성되어 대형 3-SAT 문제를 모델링할 수 있습니다. 수치 실험을 통해 이 접근법이 91개의 절과 20개의 변수로 구성된 인스턴스를 키스킷 기반의 구현으로 해결할 수 있음을 입증했습니다. [abs|pdf]

[12/106] Merging plans with incomplete knowledge about actions and goals through an agent-based reputation system

Keywords: plans_operator_agents, disabilities_finding_automated, useful_cognitive_assistant
Abstract: 전환 계획 관리는 인지 장애가 있는 사람들의 주요 문제 중 하나입니다. 따라서 이러한 계획을 자동으로 생성하는 방법을 찾는 것은 이 커뮤니티에 유용한 도구가 될 것입니다. 이 논문에서는 목표와 행동 간의 유사성을 알 수 없는 일련의 행동으로 구성된 계획을 병합하는 여러 운영자 에이전트가 실행하는 행동과 일정 시간 사용 후 다른 계획을 추가로 실행해야 하는 일부 수동 요소(노드 에이전트)에 대해 이러한 행동을 적용하여 협력하는 여러 대안적 방법을 구체적으로 제안하고 비교했습니다. 계획 실행과 목표 간의 유사성에 대한 이러한 무지는 다른 운영자 에이전트가 이전에 다른 계획을 실행한 알려진 결과로부터 생성된 특정 목표에 대해 특정 운영자 에이전트에 적용할 수 있는 유용한 계획을 제공하는 분산 추천 시스템의 사용을 정당화할 수 있습니다. 여기에서는 일반적인 실행 프레임워크(에이전트 시스템)와 이 문제에 적용되는 다양한 병합 알고리즘을 제공합니다. 제안된 에이전트 시스템은 자폐증과 같은 지적 장애를 가진 사람들에게 유용한 인지 도우미 역할을 할 수 있습니다. [abs|pdf]

[13/106] Treatment of Epistemic Uncertainty in Conjunction Analysis with Dempster-Shafer Theory

Keywords: uncertainty_conjunction_data, modelling_epistemic_uncertainty, epistemic_uncertainty
Abstract: 이 논문은 결합 데이터 메시지(CDM)의 인식적 불확실성을 모델링하고 충돌 확률에 대한 신뢰도에 따라 결합 이벤트를 분류하는 접근법을 제시합니다. 이 백서에서 제안하는 접근 방식은 증거에 대한 뎀프스터-셰이퍼 이론(DSt)을 기반으로 하며, 관측된 CDM이 미지의 분포에서 도출된다는 가정에서 출발합니다. 드보레츠키-키퍼-울포위츠(DKW) 부등식은 CDM의 시계열에서 시작하여 이러한 미지의 분포군에 대한 견고한 경계를 구축하는 데 사용됩니다. 그런 다음 DKW 부등식으로 구성된 확률 상자에서 DSt 구조가 도출됩니다. DSt 구조는 시계열의 모든 지점에서 CDM의 불확실성을 캡슐화하며, 주어진 충돌 확률의 실현에 대한 믿음과 타당성을 계산할 수 있게 해줍니다. 이 백서에서 제안한 방법론은 여러 실제 이벤트에 대해 테스트하고 유럽 및 프랑스 우주국의 기존 관행과 비교합니다. [abs|pdf]

[14/106] Are We Wasting Time? A Fast, Accurate Performance Evaluation Framework for Knowledge Graph Link Predictors

Keywords: knowledge_graph_completion, knowledge_graph_assess, quality_knowledge_graph
Abstract: 그래프에 추가할 새 링크를 추론하는 작업인 지식 그래프 완성 방법의 품질을 측정하기 위한 표준 평가 프로토콜에는 일반적으로 지식 그래프의 모든 엔티티에 순위를 매겨 추가할 후보 링크의 헤드 또는 테일로서의 적합성을 평가하는 단계가 포함됩니다. 규모가 큰 지식 그래프에서는 이 작업이 엄청나게 무거워집니다. 이전의 접근 방식은 엔티티의 무작위 샘플링을 사용하여 방법으로 예측되거나 제안된 링크의 품질을 평가함으로써 이 문제를 완화했습니다. 그러나 이러한 접근 방식은 생성된 순위 지표가 실제 결과를 제대로 반영하지 못하기 때문에 심각한 한계가 있음을 보여줍니다. 이 백서에서는 이러한 효과에 대한 철저한 분석과 함께 다음과 같은 결과를 제시합니다. 첫째, 무작위로 균일하게 표본을 추출할 경우 해당 방법의 순위 성과가 크게 과대평가되는 이유를 경험적으로 발견하고 이론적으로 설명합니다. 그 이유는 쉬운 네거티브 후보와 어려운 네거티브 후보의 효과에 기인할 수 있음을 보여줍니다. 둘째, 관계형 추천자를 사용하여 평가 대상 후보를 선택하는 프레임워크를 제안합니다. 우리는 방법론에 대한 이론적 및 경험적 정당성을 모두 제공하며, 간단하고 빠른 방법이 매우 잘 작동할 수 있으며 고급 신경 접근법과 일치한다는 것을 발견했습니다. 실제 부동산 후보 중 상당수가 누락되더라도 평가 결과가 거의 나빠지지 않습니다. 우리가 제안한 프레임워크를 사용하면 무작위 샘플링 전략과 유사하게 필요한 시간과 계산을 줄이면서도 추정을 크게 개선할 수 있으며, ogbl-wikg2에서는 필터링된 전체 순위를 30분이 아닌 20초 만에 정확하게 추정할 수 있음을 보여줍니다. 효과적인 전처리 및 샘플링 방법을 통해 상당한 계산 노력을 절약하면서도 전체 랭킹 절차에 대한 실제 성능을 정확하게 예측할 수 있다는 결론을 내렸습니다. [abs|pdf]

[15/106] Zero-shot Sequential Neuro-symbolic Reasoning for Automatically Generating Architecture Schematic Designs

Keywords: generating_architecture_schematic, neuro_reasoning_generate, architecture_schematic_designs
Abstract: 이 백서에서는 다가구 부동산 개발 프로젝트의 초기 단계에서 복잡한 의사결정을 간소화하기 위한 건축 설계도 설계를 생성하는 새로운 자동화 시스템을 소개합니다. 이 방법은 생성적 AI(신경 추론)와 수학 프로그램 솔버(기호 추론)의 강점을 결합하여 건축 설계도 설계에서 전문가의 통찰력에 대한 의존도와 기술적 과제를 모두 해결합니다. 전체 건물을 설계하는 데 필요한 대규모의 상호 연결된 설계 결정의 특성을 해결하기 위해 초기 개념부터 세부 레이아웃까지 전통적인 건축 설계 프로세스를 모방한 새로운 순차적 신경 기호 추론 접근법을 제안했습니다. 원하는 목표에 근접하기 위해 비용 함수를 직접 만들어야 할 필요성을 없애기 위해 신경 추론을 사용하여 심볼릭 솔버가 해결할 수 있는 제약 조건과 비용 함수를 생성하는 솔루션을 제안합니다. 또한 각 설계 단계마다 피드백 루프를 통합하여 신경 추론과 기호 추론의 긴밀한 통합을 보장합니다. 별도의 교육 없이 GPT-4를 사용하여 개발된 이 방법은 실제 건물과의 비교 연구를 통해 그 효과를 검증했습니다. 이 방법은 주변 환경에 대한 이해에 따라 다양한 건물 설계를 생성할 수 있어 건축 도식 설계의 영역을 혁신할 수 있는 잠재력을 보여줍니다. [abs|pdf]

[16/106] IICONGRAPH: improved Iconographic and Iconological Statements in Knowledge Graphs

Keywords: cultural_heritage_iconography, heritage_iconography, heritage_iconography_deals
Abstract: 도상학과 도상학은 문화유산 유물을 이해하는 데 있어 기본적인 영역입니다. 도상학은 유물에 묘사된 시각적 요소와 그 상징성에 대한 연구와 해석을 다루며, 도상학은 더 깊이 파고들어 근본적인 문화적, 역사적 의미를 탐구합니다. 링크드 오픈 데이터(LOD)로 문화유산을 표현하는 기술이 발전했음에도 불구하고, 최근 연구에 따르면 현재 지식 그래프(KG)에서 도상학 및 도상학의 표현에 지속적인 격차가 있는 것으로 나타났습니다. 이 백서에서는 이러한 문제를 해결하기 위해 이탈리아의 문화유산 KG인 ArCo와 위키데이터의 도상학 및 도상학 진술을 개선하고 확장하여 만든 KG인 IICONGRAPH를 소개합니다. 또한 연구 사례 연구를 통해 도출된 일련의 요구사항에 따라 개발이 진행되었는데, 이는 비공학적인 버전의 KG에서는 달성할 수 없는 것이었습니다. 평가 결과, IICONGRAPH는 문헌의 도메인별 평가를 통해 ArCo와 위키데이터보다 성능이 뛰어날 뿐만 아니라 공식화된 연구 질문을 해결하기 위한 강력한 플랫폼으로 기능한다는 것이 입증되었습니다. IICONGRAPH는 리소스의 재사용성을 보장하기 위해 FAIR 원칙에 따라 공개되고 문서화됩니다. 이를 생성하고 연구 질문을 평가하는 데 사용된 알고리즘도 투명성과 재현성을 보장하기 위해 공개되었습니다. 향후 작업은 KG에 더 많은 데이터를 수집하고 이를 LLM 기반 질문 답변 시스템의 중추로 구현하는 데 초점을 맞추고 있지만, 현재 버전의 이콩그래프는 여전히 지식그래프, 시맨틱 웹 및 그 밖의 분야에서 문화유산 표현의 진화하는 환경에 기여하는 귀중한 자산으로 부상하고 있습니다. [abs|pdf]

[17/106] Introducing PetriRL: An Innovative Framework for JSSP Resolution Integrating Petri nets and Event-based Reinforcement Learning

Keywords: job_shop_scheduling, scheduling, shop_scheduling
Abstract: 산업 현장에서는 품질 스케줄링이 매우 중요합니다. 신경망은 이러한 문제를 해결하는 데 탁월하지만, 설명력이 제한적이라는 단점이 있어 산업 현장에서 널리 채택되는 데 걸림돌이 됩니다. 이 연구에서는 작업장 스케줄링 문제(JSSP)를 해결하기 위한 혁신적인 프레임워크를 소개합니다. 이 방법론은 페트리망을 활용하여 작업장을 모델링함으로써 설명 가능성을 개선할 뿐만 아니라 JSSP 인스턴스를 분리형 그래프로 전처리할 필요 없이 원시 데이터를 직접 통합할 수 있습니다. 또한 제어 기능을 갖춘 페트리넷은 프로세스의 자동화된 구성 요소를 관리하므로 에이전트가 중요한 의사 결정, 특히 리소스 할당에 집중할 수 있습니다. 이벤트 기반 제어와 액션 마스킹을 통합한 접근 방식은 공개 테스트 벤치마크에서 경쟁력 있는 성능을 제공합니다. 휴리스틱, 메타휴리스틱, 학습 기반 알고리즘 등 다양한 최적화 솔루션에 대한 비교 분석을 통해 대규모 인스턴스에서는 저희 접근 방식의 경쟁력이, 중소규모 시나리오에서는 모든 경쟁사보다 우월하다는 점을 강조합니다. 궁극적으로 이러한 접근 방식은 다양한 인스턴스 규모에 걸쳐 일반화할 수 있는 강력한 능력을 보여줄 뿐만 아니라 페트리넷의 그래프 특성을 활용하여 에이전트 재교육 없이도 추론 단계에서 작업 작업을 동적으로 추가할 수 있어 유연성을 향상시킵니다. [abs|pdf]

[18/106] Interactive and Intelligent Root Cause Analysis in Manufacturing with Causal Bayesian Networks and Knowledge Graphs

Keywords: learning_causal_bayesian, causal_bayesian_networks, process_learning_causal
Abstract: 전기 자동차 제조에서 근본 원인 분석(RCA)은 고장 원인을 파악하는 프로세스입니다. 전통적으로 RCA는 프로세스 전문가의 지식에 의존하여 수동으로 수행되었습니다. 반면 센서 네트워크는 제조 공정에서 상당한 양의 데이터를 수집합니다. 이 데이터를 RCA에 사용하면 효율성이 높아집니다. 그러나 인과적 베이지안 네트워크와 같은 순수 데이터 기반 방법은 방대한 양의 잠재적 인과 관계(CER)로 인해 대규모의 실제 제조 프로세스로 확장하는 데 문제가 있습니다. 또한 순전히 데이터 기반 방식은 이미 알려진 CER을 누락하거나 가짜 CER을 학습할 가능성이 있습니다. 이 논문은 전기자동차 제조 공정에 대한 전문 지식과 데이터 기반 머신러닝 방법을 결합한 대화형 지능형 RCA 도구를 제안함으로써 기여합니다. 이 도구는 제조 공정에 대한 대규모 지식 그래프에 대한 추론과 인과적 베이지안 네트워크 학습을 사용합니다. 또한 대화형 사용자 인터페이스를 통해 프로세스 전문가가 지식 그래프에 정보를 추가하거나 제거하여 근본 원인 그래프에 피드백을 제공할 수 있습니다. 대화형 지능형 RCA 도구는 인과적 베이지안 네트워크의 학습 시간을 단축하는 동시에 가짜 CER의 수를 줄입니다. 따라서 대화형 지능형 RCA 도구는 전문가와 기계 학습 방법 간의 피드백 루프를 닫습니다. [abs|pdf]

[19/106] Optimized Task Assignment and Predictive Maintenance for Industrial Machines using Markov Decision Process

Keywords: manufacturing_task_assignment, markov_decision_process, condition_based_machine
Abstract: 이 백서에서는 제조 작업 할당 및 상태 기반 기계 상태 유지 관리를 위한 분산형 의사 결정 접근 방식을 고려합니다. 이 접근 방식은 작업 할당과 상태 관리 의사 결정 에이전트 간의 정보 공유를 고려합니다. 마르코프 의사결정 프로세스에 기반한 의사결정 에이전트의 설계를 제안합니다. 마르코프 의사결정 프로세스 기반 접근법의 주요 장점은 의사결정 과정에 불확실성을 통합할 수 있다는 것입니다. 이 논문은 이와 관련된 실제 실행 전략과 함께 상세한 수학적 모델을 제공합니다. 제안된 접근법의 효과와 실제 적용 가능성을 입증하기 위해 오픈 소스 밀링 머신 툴 성능 저하 데이터를 기반으로 한 상세한 수치 사례 연구를 포함했습니다. 사례 연구에 따르면 제안된 접근 방식은 비용 매개변수 선택 측면에서 유연성을 제공하며, 의사결정 정책의 오프라인 계산 및 분석이 가능합니다. 이러한 기능은 향후 인공 지능을 사용하여 제안된 모델과 관련된 비용 매개변수를 학습하는 작업을 위한 기회를 창출하고 기회를 제공합니다. [abs|pdf]

[20/106] Spatial-temporal-demand clustering for solving large-scale vehicle routing problems with time windows

Keywords: cluster_route, pruning_based_customers, decomposition_pruning_strategies
Abstract: 여러 메타 휴리스틱은 분해 및 가지치기 전략을 사용하여 대규모 차량 라우팅 문제(VRP) 인스턴스를 해결합니다. 이러한 복잡성 감소 기법은 종종 단순한 문제별 규칙에 의존합니다. 그러나 가용 데이터의 증가와 컴퓨터 하드웨어의 발전으로 머신러닝(ML)을 사용해 솔루션 알고리즘의 확장성을 개선하는 데이터 기반 접근법이 가능해졌습니다. 크리테오는 클러스터링을 사용하여 고객을 그룹화하는 DRI(분해-경로-개선) 프레임워크를 제안합니다. 유사성 메트릭은 고객의 공간적, 시간적, 수요 데이터를 통합하고 문제의 목적 함수와 제약 조건을 반영하도록 공식화됩니다. 결과적으로 발생하는 하위 라우팅 문제는 적절한 알고리즘을 사용하여 독립적으로 해결할 수 있습니다. 해결된 하위 문제들 사이에 프루닝된 로컬 검색(LS)을 적용하여 전체 솔루션을 개선합니다. 가지치기는 분해 단계에서 얻은 고객의 유사성 정보를 기반으로 합니다. 계산 연구에서는 기존 클러스터링 알고리즘을 매개변수화하여 비교하고, 비달 외(2013)의 하이브리드 유전자 검색(HGS)과 비교하여 DRI를 벤치마킹합니다. 그 결과, 데이터 기반 접근 방식이 고객의 공간 정보에만 기반한 기존의 클러스터 우선, 경로 우선 접근 방식보다 우수한 성능을 보였습니다. 새로 도입된 유사성 메트릭은 별도의 하위 VRP를 형성하고 개선 단계에서 LS 이동의 선택을 개선합니다. 따라서 DRI는 기존 메타 휴리스틱을 확장하여 복잡성을 효율적으로 줄임으로써 대규모 VRP에 대해 고품질 솔루션을 더 빠르게 달성할 수 있습니다. 또한 DRI는 고객 위치 및 수요 분포, 창고 위치, 다양한 시간대 시나리오 등 다양한 솔루션 방법과 VRP 특성에 쉽게 적용할 수 있어 라우팅 문제 해결을 위한 일반화 가능한 접근 방식입니다. [abs|pdf]

[21/106] Maintaining User Trust Through Multistage Uncertainty Aware Inference

Keywords: ai_deployments, approach_ai_deployment, ai_deployments_challenging
Abstract: 이 백서에서는 AI 배포에 대한 다단계 접근 방식을 설명하고 평가합니다. 각 단계에는 더 정확한 추론 방법이 포함되지만, 각 단계에 참여하려면 비용이 증가합니다. 아키텍처를 개괄적으로 설명하면서 자신감 있는 연기 결정을 내릴 수 있도록 모델 불확실성을 정량화하는 방법을 제시합니다. 이 아키텍처는 현재 인도 전역의 수천 명의 면화 농가에 활발히 배포되고 있습니다. 그러나 이 광범위한 아이디어는 자원이 부족한 환경에서 점점 더 많은 AI 배포 분야에 적용될 수 있습니다. [abs|pdf]

[22/106] Evaluating Large Language Models for Generalization and Robustness via Data Compression

Keywords: large_language_models, evaluating_large_language, language_models
Abstract: 대규모 언어 모델을 평가하는 기존의 방법은 데이터 오염, 프롬프트에 대한 민감도, 높은 벤치마크 생성 비용과 같은 문제에 직면해 있습니다. 이러한 문제를 해결하기 위해 Lionbridge는 무손실 데이터 압축 기반 평가 방식을 제안하여 훈련 컷오프 이후 모델의 예측 능력이 일반화되는 방식을 테스트합니다. 구체적으로 2017년부터 2023년까지 83개월에 걸친 포괄적인 테스트 데이터를 수집하고, 모델의 훈련 데이터 컷오프에 따라 데이터를 훈련과 테스트 기간으로 나눕니다. 1) 보이지 않는 데이터에 대한 일반화의 척도로서 테스트 기간의 압축 성능, 2) 견고성의 척도로서 훈련 기간과 테스트 기간의 성능 격차를 측정합니다. 실험에서는 위키피디아, 뉴스 기사, 코드, arXiv 논문, 멀티모달 데이터 등 다양한 크기의 14가지 대표적인 대규모 언어 모델을 테스트했습니다. 많은 모델의 압축률이 컷오프 날짜 이후에 현저히 감소하는 것을 발견했지만, Mistral과 Llama-2와 같은 모델은 성능과 견고성 간에 좋은 균형을 보여줍니다. 또한 뉴스와 코드 데이터에 대해서는 일반화하기 어렵지만, arXiv 논문에서는 특히 잘 작동하는 것으로 나타났습니다. 또한 컨텍스트 크기와 토큰화 구현이 전체 압축 성능에 큰 영향을 미치는 것으로 나타났습니다. [abs|pdf]

[23/106] SymbolicAI: A framework for logic-based approaches combining generative models and solvers

Keywords: reasoning_generative_ai, symbolic_reasoning_generative, reasoning_generative
Abstract: 생성 프로세스에서 개념 학습 및 흐름 관리에 논리 기반 접근 방식을 사용하는 다용도 모듈식 프레임워크인 SymbolicAI를 소개합니다. SymbolicAI는 대규모 언어 모델(LLM)을 자연어 및 형식 언어 명령어를 기반으로 작업을 실행하는 시맨틱 파서로 취급하여 제너레이티브 모델을 다양한 솔버와 원활하게 통합함으로써 기호적 추론과 제너레이티브 AI 간의 격차를 해소할 수 있도록 지원합니다. 복잡한 작업을 처리하기 위해 확률론적 프로그래밍 원칙을 활용하고, 각자의 강점을 지닌 차별화되고 고전적인 프로그래밍 패러다임을 활용합니다. 이 프레임워크는 데이터 스트림 조작을 위한 일련의 다형성, 구성 및 자기 참조 연산을 도입하여 LLM 출력을 사용자 목표에 맞게 조정합니다. 그 결과, 제로 샷 및 소수 샷 학습 기능이 부여된 다양한 기초 모델과 특정 문제 해결에 능숙한 전문적이고 세밀하게 조정된 모델 또는 솔버 간의 기능을 전환할 수 있습니다. 결과적으로 이 프레임워크는 설명 가능한 계산 그래프의 생성 및 평가를 용이하게 합니다. 마지막으로 이러한 계산 그래프를 평가하기 위한 품질 척도와 경험적 점수를 소개하고, 복잡한 워크플로우 세트에서 다양한 최신 LLM을 비교하는 벤치마크를 제안합니다. 이 경험적 점수를 "교차 유사성을 통한 관계형 궤적 평가를 위한 벡터 임베딩" 또는 줄여서 VERTEX 점수라고 부릅니다. 프레임워크 코드베이스와 벤치마크는 아래에 링크되어 있습니다. [abs|pdf]

[24/106] X-CBA: Explainability Aided CatBoosted Anomal-E for Intrusion Detection System

Keywords: gnn_based_ids, novel_explainable_ids, solution_identifying_attacks
Abstract: 사이버 위협이 점점 더 복잡해지는 시대에 침입 탐지 시스템(IDS)의 효과는 매우 중요합니다. 머신 러닝(ML) 및 딥 러닝(DL) 모델은 컴퓨터 네트워크에서 공격과 이상 징후를 식별하는 효율적이고 정확한 솔루션을 제공합니다. 하지만 IDS에서 ML과 DL 모델을 사용하면 의사 결정이 투명하지 않아 신뢰가 떨어집니다. IDS 연구에서의 이러한 투명성 격차는 신뢰와 책임에 영향을 미치는 중대한 문제입니다. 이 백서에서는 이러한 문제를 해결하기 위해 네트워크 트래픽 데이터를 효과적으로 처리하기 위해 그래프 신경망(GNN)의 구조적 이점을 활용하는 동시에 새로운 설명 가능한 AI(XAI) 방법론을 적용하는 새로운 설명 가능한 IDS 접근 방식인 X-CBA를 소개합니다. 레이블이 지정된 네트워크 트래픽과 노드 기능에 의존하여 중요한 패킷 수준 정보를 간과하는 대부분의 GNN 기반 IDS와 달리, 아카마이의 접근 방식은 엣지 속성을 포함한 네트워크 흐름을 통해 광범위한 트래픽 데이터를 활용하여 탐지 기능을 개선하고 새로운 위협에 적응합니다. 경험적 테스트를 통해 우리의 접근 방식이 99.47%의 높은 위협 탐지 정확도를 달성할 뿐만 아니라 분석 결과에 대한 명확하고 실행 가능한 설명을 제공함으로써 이 분야를 발전시킬 수 있음을 입증했습니다. 이 연구는 또한 정확하고 해석 가능한 로컬 및 글로벌 설명 솔루션을 제공함으로써 현재의 격차를 해소하고 사이버 보안 방어에 ML/DL 기술의 광범위한 통합을 촉진하는 것을 목표로 합니다. [abs|pdf]

[25/106] ALISON: Fast and Effective Stylometric Authorship Obfuscation

Keywords: authorship_obfuscation_ao, authorship_obfuscation, aa_authorship_obfuscation
Abstract: 저작자 속성(AA)과 저작자 난독화(AO)는 개인정보 보호 연구에서 점점 더 중요성이 커지고 있는 두 가지 경쟁 과제입니다. 최신 AA는 저자의 일관된 글쓰기 스타일을 활용하여 AA 분류기를 사용하여 텍스트를 저자와 일치시킵니다. AO는 이에 상응하는 적대적 작업으로, 텍스트의 의미가 보존되도록 텍스트를 수정하는 것을 목표로 하지만 AA 모델로는 저자를 정확하게 추론할 수 없습니다. 최첨단(SOTA) AA 방식에서 제기되는 개인정보 보호 문제를 해결하기 위해 새로운 AO 방식이 제안되었지만, 훈련 및 난독화 속도가 엄청나게 느리고 몇 시간이 걸리는 경우가 많아 아직까지 실용적이지 않습니다. 이 문제를 해결하기 위해 저희는 (1) 훈련/난독화 시간을 획기적으로 단축하여 SOTA AO 방법보다 10배 이상 빠른 난독화를 입증하고, (2) 두 개의 벤치마크 데이터 세트에서 세 가지 트랜스포머 기반 AA 방법을 공격하여 더 나은 난독화 성공을 달성하는 실용적인 AO 방법인 ALISON을 제안합니다, 일반적으로 경쟁 방식보다 15% 더 나은 성능을 보이고, (3) 난독화 중에 대상 AA 분류기의 직접적인 신호가 필요하지 않으며, (4) 고유한 스타일로메트릭 기능을 활용하여 설명 가능한 난독화를 위한 사운드 모델 해석을 가능하게 합니다. 또한 ALISON이 4가지 SOTA AA 방식이 원본 텍스트의 의미를 최소한으로 변경하면서 ChatGPT로 생성된 텍스트의 저자를 정확하게 판단하지 못하도록 효과적으로 방지할 수 있음을 입증했습니다. 연구 결과의 재현성을 보장하기 위해 코드와 데이터는 다음 https URL에서 확인할 수 있습니다. [abs|pdf]

[26/106] A YANG-aided Unified Strategy for Black Hole Detection for Backbone Networks

Keywords: hole_detection_isp, detection_isp_networks, isp_networks
Abstract: 인터넷 백본 네트워크에서 블랙홀 장애를 해결하는 것이 매우 중요함에도 불구하고, 백본 네트워크에서 효과적인 탐지 전략은 부족합니다. 이는 이전의 연구가 완전히 다른 역학, 프로토콜, 토폴로지에서 작동하는 모바일 애드혹 네트워크(MANET)를 중심으로 이루어졌기 때문에 그 결과를 백본 네트워크에 바로 적용할 수 없었기 때문입니다. 게다가 백본 네트워크에서 블랙홀 장애를 탐지하는 것은 특히 어렵습니다. 고려해야 할 조건이 매우 다양하기 때문에 포괄적인 범위의 네트워크 데이터가 필요하며, 데이터 수집과 분석이 간단하지 않기 때문입니다. 이러한 격차를 해소하기 위해 본 연구에서는 블랙홀에 민감한 메트릭 매트릭스(BHMM) 분석과 함께 특화된 차세대(YANG) 데이터 모델을 사용하여 백본 네트워크에서 블랙홀을 탐지하는 새로운 접근 방식을 소개합니다. 이 백서에서는 라우팅 프로토콜과 ISP별 구성에 초점을 맞춰 ISP 네트워크에서 블랙홀 감지와 관련된 네 가지 YANG 모델을 선택하고 분석하는 방법을 자세히 설명합니다. 이러한 모델에서 도출한 BHMM 접근 방식은 탐지 정확도가 10% 향상되고 패킷 전송률이 13% 증가하여 접근 방식의 효율성을 강조합니다. 또한 두 가지 다른 네트워크 환경, 즉 상용 ISP 네트워크와 과학 연구 전용 네트워크 토폴로지에서 BHMM 분석에 활용된 머신 러닝 접근 방식을 평가합니다. 이 평가는 두 환경 모두에서 크게 개선된 예측 결과를 도출하여 이 방법의 실제 적용 가능성을 보여줍니다. [abs|pdf]

[27/106] Efficient Fine-tuning of Audio Spectrogram Transformers via Soft Mixture of Adapters

Keywords: transformers_audio_speech, audio_spectrogram_transformers, spectrogram_transformers_audio
Abstract: 전문가 혼합(MoE) 아키텍처는 계산 비용을 저렴하게 유지하면서 모델 용량을 확장할 수 있는 능력으로 인해 최근 급성장하기 시작했습니다. 또한 다양한 분야의 최신 모델인 트랜스포머와 상태 공간 모델 모두에 적용할 수 있습니다. MoE는 주로 사전 훈련 단계에서 주로 연구되어 왔지만, 매개변수 효율이 높은 전이 학습 환경에서의 활용은 충분히 연구되지 않았습니다. 이러한 격차를 좁히기 위해 본 논문에서는 오디오 스펙트로그램 트랜스포머를 오디오 및 음성 다운스트림 작업에 매개변수 효율적으로 미세 조정하는 데 MoE를 사용하는 방법을 설명합니다. 구체적으로 소프트 믹스 오브 어댑터(Soft-MoA)를 제안합니다. 이 방법은 어댑터를 전문가로 활용하고, 최근의 소프트 MoE 방법을 활용하여 입력 토큰과 전문가 간의 소프트 할당을 통해 계산 시간을 제한합니다. 4개의 벤치마크에 걸친 광범위한 실험을 통해 Soft-MoA가 단일 어댑터 방식보다 성능이 뛰어나고 밀도 있는 MoA와 동등한 성능을 발휘한다는 것을 입증했습니다. 마지막으로 Soft-MoA의 핵심 요소에 대한 제거 연구를 제시하여, 예를 들어 Soft-MoA가 더 많은 전문가를 통해 더 나은 확장을 달성하고 모든 전문가가 출력 토큰 계산에 기여하도록 보장하여 전문가 불균형 문제를 해결한다는 것을 보여줍니다. [abs|pdf]

[28/106] SLIM: Skill Learning with Multiple Critics

Keywords: skill_discovery_robotic, discovery_robotic_manipulation, variable_skill_discovery
Abstract: 자기 지도 기술 학습은 환경의 기본 역학을 활용하는 유용한 동작을 습득하는 것을 목표로 합니다. 상호 정보 극대화에 기반한 잠재 변수 모델은 이 작업에서 특히 성공적이지만 로봇 조작의 맥락에서는 여전히 어려움을 겪고 있습니다. 환경을 구성하는 수많은 자유도에 영향을 주어야 하기 때문에 상호 정보 최대화만으로는 유용한 조작 동작을 생성하는 데 실패합니다. 이러한 한계를 해결하기 위해 유니티는 로봇 조작에 초점을 맞춘 기술 발견을 위한 다중 비판적 학습 접근 방식인 SLIM을 도입했습니다. 우리의 주요 인사이트는 액터-비평 프레임워크에서 여러 비평자를 활용하여 여러 보상 기능을 우아하게 결합하면 로봇 조작을 위한 잠재 변수 기술 발견이 크게 향상되는 동시에 유용한 기술로 수렴하는 데 방해가 되는 보상 간의 간섭을 극복할 수 있다는 것입니다. 또한 탁상 조작의 맥락에서 계층적 강화 학습 방식으로 안전하고 효율적인 모터 기본 요소를 획득하고 계획을 통해 이를 활용하는 새로운 기술 발견 접근법의 적용 가능성을 입증하여 기술 발견을 위한 최첨단 접근법을 큰 차이로 능가합니다. [abs|pdf]

[29/106] WiOpen: A Robust Wi-Fi-based Open-set Gesture Recognition Framework

Keywords: wi_fi_sensing, wiopen_robust_wi, wiopen_robust
Abstract: 최근 몇 년 동안 Wi-Fi 기반 제스처 인식에 대한 관심이 높아지고 있습니다. 하지만 기존 연구는 주로 훈련 중에 모든 테스트 제스처가 미리 정의되는 폐쇄형 패러다임에 초점을 맞췄습니다. 이는 테스트 중에 보이지 않는 제스처가 알려진 클래스로 잘못 분류될 수 있기 때문에 실제 애플리케이션에서 상당한 문제를 야기합니다. 이 문제를 해결하기 위해 유니티는 강력한 Wi-Fi 기반 오픈 세트 제스처 인식(OSGR) 프레임워크인 WiOpen을 제안합니다. OSGR을 구현하려면 Wi-Fi 센싱의 고유한 불확실성으로 인해 발생하는 문제를 해결해야 합니다. 노이즈와 도메인으로 인한 이러한 불확실성으로 인해 수집된 Wi-Fi 감지 데이터의 데이터 분포가 광범위하게 흩어지고 불규칙해집니다. 따라서 클래스 간 데이터 모호성과 미지수를 식별하기 위한 적절한 의사 결정 경계를 정의하는 데 어려움이 발생합니다. 이러한 문제를 해결하기 위해 WiOpen은 불확실성을 제거하고 정확한 의사 결정 경계를 정의하기 위해 두 가지 접근 방식을 채택합니다. 우선, CSI 비율을 활용하여 데이터 전처리 과정에서 노이즈로 인해 발생하는 불확실성을 해결합니다. 다음으로 불확실성 정량화 방법을 기반으로 OSGR 네트워크를 설계합니다. 이 네트워크는 학습 과정 전반에 걸쳐 도메인에서 발생하는 불확실성을 효과적으로 완화합니다. 궁극적으로 이 네트워크는 샘플의 이웃 간의 관계를 활용하여 개방형 결정 경계를 동적으로 정의함으로써 OSGR을 성공적으로 구현합니다. 공개적으로 액세스 가능한 데이터 세트에 대한 포괄적인 실험을 통해 WiOpen의 효과를 확인할 수 있습니다. 특히, WiOpen은 최첨단 접근 방식과 비교했을 때 도메인 간 작업에서도 우월함을 입증했습니다. [abs|pdf]

[30/106] Leveraging Approximate Model-based Shielding for Probabilistic Safety Guarantees in Continuous Environments

Keywords: safe_reinforcement_learning, safe_reinforcement, achieving_safe_reinforcement
Abstract: 쉴딩은 안전한 강화 학습(RL)을 달성하기 위해 널리 사용되는 기법입니다. 하지만 기존의 쉴딩 접근 방식은 상당히 제한적인 가정을 전제로 하기 때문에 복잡한 환경, 특히 연속 상태 또는 작업 공간이 있는 환경에서는 배포하기 어렵습니다. 이 백서에서는 보다 다재다능한 근사 모델 기반 쉴딩(AMBS) 프레임워크를 연속 환경으로 확장합니다. 특히 세이프티 짐을 테스트 베드로 사용하여 AMBS와 널리 사용되는 제약 RL 알고리즘을 보다 직접적으로 비교할 수 있습니다. 또한 연속 설정에 대한 강력한 확률적 안전성을 보장합니다. 또한, 정책 기울기를 직접 수정하는 두 가지 새로운 페널티 기법을 제안하여 실험에서 보다 안정적인 수렴을 경험적으로 제공합니다. [abs|pdf]

[31/106] Exploring the Dynamics between Cobot's Production Rhythm, Locus of Control and Emotional State in a Collaborative Assembly Scenario

Keywords: cobot_experiential, pace_cobot_experiential, characteristics_cobot_human
Abstract: 산업 현장에서는 협동 로봇(코봇)이 널리 사용되고 있으며, 코봇의 일부 특성이 인적 요소에 미치는 영향을 평가하고 측정하는 데 대한 관심이 높아지고 있습니다. 본 파일럿 연구에서는 코봇의 생산 리듬(C1 - 느림, C2 - 빠름, C3 - 참여자의 속도에 맞춰짐)이 경험적 제어 궤적(ELoC)과 31명의 참여자의 감정 상태에 미치는 영향을 조사했습니다. 운영자의 수행 능력, 기본적인 내부 제어 영역의 정도, 로봇에 대한 태도도 고려했습니다. 세 가지 조건에서 감정 상태와 ELoC에 대한 차이는 발견되지 않았지만 다른 심리적 변수를 고려하면 더 복잡한 상황이 나타납니다. 연구 결과를 종합해 보면, 차별화된 최적의 인터랙션 경험을 제공하기 위해서는 사람의 심리적 특성을 고려할 필요가 있는 것으로 보입니다. [abs|pdf]

[32/106] Formal-LLM: Integrating Formal Language and Natural Language for Controllable LLM-based Agents

Keywords: plan_generation_agents, planning_process_automaton, ai_agents_automatically
Abstract: 최근 대규모 언어 모델(LLM)의 발전으로 AI 에이전트는 복잡한 작업을 해결하기 위한 다단계 계획을 자동으로 생성하고 실행할 수 있게 되었습니다. 그러나 LLM의 콘텐츠 생성 과정은 제어가 어렵기 때문에 현재 LLM 기반 에이전트는 유효하지 않거나 실행 불가능한 플랜을 생성하는 경우가 빈번하게 발생하며, 이는 생성된 플랜의 성능을 위협하고 LLM 기반 에이전트에 대한 사용자의 신뢰를 떨어뜨리는 요인이 됩니다. 이에 본 논문에서는 자연어의 표현력과 형식 언어의 정확성을 통합하여 LLM 기반 에이전트를 위한 새로운 '포멀-LLM' 프레임워크를 제안합니다. 구체적으로 이 프레임워크는 인간 사용자가 계획 프로세스에 대한 요구사항이나 제약 조건을 오토마톤으로 표현할 수 있도록 합니다. 이후 오토마톤의 감독 하에 스택 기반 LLM 계획 생성 프로세스를 수행하여 생성된 계획이 제약 조건을 만족하는지 확인함으로써 계획 프로세스를 제어할 수 있도록 합니다. 벤치마크 작업과 실제 작업 모두에서 실험을 수행한 결과, 프레임워크의 전체 성능이 50% 이상 향상되었으며, 이를 통해 에이전트의 계획 생성을 안내하는 데 Formal-LLM을 사용하는 것의 타당성과 효과를 검증하여 에이전트가 유효하지 않거나 실패한 계획을 생성하는 것을 방지할 수 있었습니다. 또한, 보다 제어 가능한 LLM 기반 에이전트는 계획의 높은 유효성이 필수적인 애플리케이션 시나리오에서 LLM의 광범위한 활용을 촉진할 수 있습니다. 이 작업은 다음 https URL에서 오픈 소스입니다. [abs|pdf]

[33/106] LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law

Keywords: accurate_predictions_dynamical, large_language_models, predictions_dynamical
Abstract: 사전 학습된 대규모 언어 모델(LLM)은 시계열 예측과 같은 제로 샷 작업을 수행하는 데 놀라울 정도로 효과적입니다. 그러나 모델의 복잡성으로 인해 이러한 기능의 메커니즘을 이해하는 것은 여전히 매우 어려운 일입니다. 이 논문에서는 물리적 관심 원리에 의해 진화가 지배되는 동적 시스템의 거동을 추정하는 LLM의 능력을 연구합니다. 연구 결과에 따르면 주로 텍스트로 학습된 언어 모델인 LLaMA 2는 미세 조정이나 신속한 엔지니어링 없이도 동적 시스템 시계열을 정확하게 예측할 수 있는 것으로 나타났습니다. 또한 학습된 물리적 규칙의 정확도는 입력 컨텍스트 윈도우의 길이에 따라 증가하며, 컨텍스트 내 신경 스케일링 법칙의 버전을 보여줍니다. 이 과정에서 LLM에서 직접 여러 자리 숫자의 확률 밀도 함수를 추출하는 유연하고 효율적인 알고리즘을 제시합니다. [abs|pdf]

[34/106] ReAGent: Towards A Model-agnostic Feature Attribution Method for Generative Language Models

Keywords: vocabulary_predicting_token, recursive_attribution_generator, models_text_generation
Abstract: 그라디언트 및 주의도와 같은 특징 귀속 방법(FA)은 모델 예측에 대한 모든 입력 특징의 중요성을 도출하기 위해 널리 사용되는 접근 방식입니다. 자연어 처리 분야의 기존 연구는 대부분 분류 작업에서 인코더 전용 언어 모델(LM)을 위한 FA를 개발하고 테스트하는 데 중점을 두었습니다. 그러나 모델 아키텍처와 작업 설정이 각각 고유하게 다르기 때문에 텍스트 생성 시 디코더 전용 모델에 이러한 FA를 사용하는 것이 충실한지는 알 수 없습니다. 또한, 이전 연구에서는 모델과 작업 전반에 걸쳐 '만능' FA는 존재하지 않는다는 것이 입증되었습니다. 입력 중요도 도출에는 종종 경사도 계산을 포함한 여러 번의 순방향 및 역방향 패스가 필요하기 때문에 대규모 LM의 경우 FA를 선택하는 데 계산 비용이 많이 들며, 이는 대규모 컴퓨팅에 액세스할 수 있는 경우에도 불가능할 수 있습니다. 이러한 문제를 해결하기 위해, 저희는 재귀적 기여도 생성기(ReAGent)라는 생성형 LM을 위한 모델에 구애받지 않는 FA를 제시합니다. 이 방법은 재귀적인 방식으로 토큰 중요도 분포를 업데이트합니다. 각 업데이트마다 원래 입력을 사용할 때와 입력의 일부가 RoBERTa 예측으로 대체된 수정된 버전을 사용할 때 다음 토큰을 예측하기 위한 어휘에 대한 확률 분포의 차이를 계산합니다. 문맥에서 중요한 토큰을 대체하는 것이 중요하지 않은 토큰을 대체하는 것보다 토큰을 예측하는 모델의 신뢰도에 더 큰 변화를 가져올 것이라는 직관 때문입니다. 이 방법은 대부분의 다른 FA가 필요로 하는 내부 모델 가중치나 추가 학습 및 미세 조정 없이도 모든 생성 LM에 보편적으로 적용될 수 있습니다. 저희는 다양한 크기의 6개의 디코더 전용 LM에서 7개의 인기 있는 FA와 ReAGent의 충실도를 광범위하게 비교했습니다. 그 결과, 당사의 방법이 일관되게 더 충실한 토큰 중요도 분포를 제공하는 것으로 나타났습니다. [abs|pdf]

[35/106] Distinguishing the Indistinguishable: Human Expertise in Algorithmic Prediction

Keywords: ai_collaboration_prediction, human_expertise_algorithmic, expertise_algorithmic_predictions
Abstract: 우리는 알고리즘 예측에 인간의 전문 지식을 통합하기 위한 새로운 프레임워크를 소개합니다. 우리의 접근 방식은 실현 가능한 모든 예측 알고리즘에 '동일하게 보이는' 입력을 구별하기 위해 인간의 판단을 사용하는 데 중점을 둡니다. 이러한 프레임워크는 전문가가 알고리즘의 학습 데이터에 인코딩되지 않은 정보, 특히 주관적인 정보에 접근할 수 있는 경우가 많기 때문에 예측 작업에서 인간과 인공지능이 협업하는 문제를 명확하게 설명한다고 주장합니다. 이러한 인사이트를 바탕으로 사람의 피드백이 실현 가능한 예측의 성능을 개선하는 경우에만 선택적으로 반영하는 일련의 원칙적인 알고리즘을 개발했습니다. 경험적으로 알고리즘이 평균적으로 인간을 능가하는 경우가 많지만, 인간의 판단이 특정 사례에 대한 알고리즘의 예측을 크게 향상시킬 수 있다는 사실을 발견했습니다(사전 식별이 가능한 경우). 엑스레이 분류 작업에서 우리는 이 하위 집합이 환자 집단의 거의 30%를 차지한다는 사실을 발견했습니다. 유니티의 접근 방식은 이러한 이질성을 자연스럽게 발견하여 효과적인 인간-AI 협업을 가능하게 합니다. [abs|pdf]

[36/106] Graph-Mamba: Towards Long-Range Graph Sequence Modeling with Selective State Spaces

Keywords: context_modeling_graph, graph_prediction_tasks, range_graph_prediction
Abstract: 어텐션 메커니즘은 그래프 트랜스포머에서 노드 간의 장거리 종속성을 포착하는 데 널리 사용되어 왔습니다. 이차적 계산 비용으로 인해 병목 현상이 발생하는 주의 메커니즘은 큰 그래프에서는 확장에 실패합니다. 최근의 계산 효율성 개선은 주로 무작위 또는 휴리스틱 기반 그래프 하위 샘플링을 통한 주의 희소화를 통해 이루어졌지만, 데이터에 의존하는 컨텍스트 추론에서는 부족합니다. Mamba와 같은 상태 공간 모델(SSM)은 순차적 데이터의 장거리 종속성을 모델링하는 데 효과적이고 효율적이라는 점에서 각광을 받고 있습니다. 그러나 비순차적 그래프 데이터에 SSM을 적용하는 데는 상당한 어려움이 있습니다. 이 연구에서는 입력 의존적 노드 선택 메커니즘에 맘바 블록을 통합하여 그래프 네트워크에서 장거리 컨텍스트 모델링을 향상시키려는 첫 번째 시도인 그래프 맘바(Graph-Mamba)를 소개합니다. 특히, 그래프 중심의 노드 우선순위 지정 및 순열 전략을 공식화하여 컨텍스트 인식 추론을 강화함으로써 예측 성능을 크게 향상시킵니다. 10개의 벤치마크 데이터 세트에 대한 광범위한 실험을 통해 Graph-Mamba는 장거리 그래프 예측 작업에서 최신 방법보다 훨씬 적은 계산 비용으로 훨씬 적은 FLOP과 GPU 메모리 소비량을 기록한다는 것을 입증했습니다. 코드와 모델은 이 https URL에서 공개적으로 사용할 수 있습니다. [abs|pdf]

[37/106] Building Expressive and Tractable Probabilistic Generative Models: A Review

Keywords: tractable_probabilistic_generative, probabilistic_circuits, probabilistic_generative
Abstract: 주로 확률적 회로(PC)를 중심으로 추적 가능한 확률적 생성 모델링 분야의 발전과 기법에 대한 포괄적인 조사를 제시합니다. 표현성과 추적 가능성 사이의 내재된 트레이드오프에 대한 통합된 관점을 제시하고, 표현적이고 효율적인 PC를 구축할 수 있게 해준 설계 원칙과 알고리즘 확장을 강조하며, 이 분야의 분류법을 제공합니다. 또한 심층 신경 모델의 개념을 융합하여 심층 및 하이브리드 PC를 구축하려는 최근의 노력에 대해 논의하고, 이 진화하는 분야의 미래 연구를 안내할 수 있는 도전 과제와 미해결 질문에 대해 간략하게 설명합니다. [abs|pdf]

[38/106] Unlearnable Algorithms for In-context Learning

Keywords: unlearning_task_adaptation, efficient_unlearning, efficient_exact_unlearning
Abstract: 머신 언러닝은 출처를 알 수 없는 데이터에 모델이 점점 더 많이 배포됨에 따라 바람직한 작업입니다. 그러나 정확한 언러닝, 즉 잊혀질 데이터가 한 번도 사용된 적이 없는 경우 모델 분포와 일치하는 모델을 얻는 것은 어렵거나 비효율적이며, 종종 상당한 재학습이 필요합니다. 이 백서에서는 사전 학습된 대규모 언어 모델(LLM)의 작업 적응 단계에서 효율적인 언러닝 방법에 초점을 맞춥니다. 우리는 작업 적응을 위한 컨텍스트 내 학습을 수행하는 LLM의 기능을 통해 작업 적응 훈련 데이터의 효율적인 정확한 언학습이 가능하다는 것을 관찰했습니다. 우리는 (작업 적응을 위해) LLM에 주어진 프롬프트에 추가할 몇 개의 훈련 예시를 선택하는 알고리즘인 ERASE를 제공하며, 이 알고리즘은 모델 및 데이터 세트 크기와 무관하게 언러닝 작업 비용이 들지 않아 대규모 모델 및 데이터 세트에 맞게 확장할 수 있습니다. 또한 두 접근법을 미세 조정 접근법과 비교하고 두 접근법 간의 장단점을 논의합니다. 이를 통해 다양한 추론 비용을 설명하는 새로운 전체론적 비학습 비용 측정법을 제안하고, 비학습 요청이 수반되는 배포의 경우 상황에 맞는 학습이 미세 조정보다 더 유리할 수 있다는 결론을 내립니다. [abs|pdf]

[39/106] Transforming and Combining Rewards for Aligning Large Language Models

Keywords: reward_model_preference, reward_models, transformation_reward_model
Abstract: 언어 모델을 사람의 선호도에 맞추기 위한 일반적인 접근 방식은 먼저 선호도 데이터에서 보상 모델을 학습한 다음, 이 보상 모델을 사용하여 언어 모델을 업데이트하는 것입니다. 이 접근 방식에서 발생하는 두 가지 밀접하게 관련된 문제를 연구합니다. 첫째, 보상 모델을 단조롭게 변환해도 선호도 순위는 그대로 유지되는데, 다른 선택지보다 '더 나은' 선택지가 있을까요? 둘째, 언어 모델을 여러 속성에 맞게 조정하고자 할 때 여러 보상 모델을 어떻게 결합해야 할까요? 우리는 정렬 절차에 대한 확률론적 해석을 통해 브래들리-테리 선호 모델에서 학습한 보상에 대한 (일반적인 경우의) 변환에 대한 자연스러운 선택을 파악합니다. 이렇게 도출된 변환에는 두 가지 중요한 특성이 있습니다. 첫째, 이미 좋은 점수를 받은 결과물보다는 성과가 좋지 않은 결과물을 개선하는 데 중점을 둡니다. 이를 통해 일부 프롬프트가 개선되지 않는 과소적합과 보상 해킹(모델이 보상 모델의 잘못된 지정을 악용하는 방법을 학습하는 것)을 모두 완화할 수 있습니다. 둘째, 합산과 논리적 결합을 연결하여 보상의 원칙적인 합산을 가능하게 합니다. 즉, 변환된 보상의 합은 측정된 모든 속성에 대해 산출물이 '좋은' 확률에 해당하므로 정확도를 높일 수 있습니다. RLHF를 사용하여 언어 모델을 도움이 되면서도 해롭지 않게 정렬하는 실험은 기준선(변환되지 않은) 접근 방식에 비해 상당한 개선이 있음을 보여줍니다. [abs|pdf]

[40/106] Neural Style Transfer with Twin-Delayed DDPG for Shared Control of Robotic Manipulators

Keywords: neural_style_transfer, styles_motion_robotic, styles_robot
Abstract: 신경망 스타일 전송(NST)은 하나의 요소(주로 이미지)를 조작하여 다른 요소의 모양이나 스타일을 채택할 수 있는 알고리즘 클래스를 말합니다. 각 요소는 콘텐츠와 스타일의 조합으로 정의되며, 콘텐츠는 해당 요소의 '무엇'으로, 스타일은 '어떻게'로 개념적으로 정의할 수 있습니다. 이러한 맥락에서 스타일 세트를 로봇 조작기의 동작에 적용하기 위한 맞춤형 NST 프레임워크를 제안합니다. 예를 들어 동일한 로봇 작업을 화난 표정, 행복한 표정, 차분한 표정 또는 슬픈 표정으로 수행할 수 있습니다. 자동 인코더 아키텍처는 대상 로봇 모션의 콘텐츠와 스타일을 추출하고 정의합니다. 트윈 지연 심층 결정론적 정책 그라데이션(TD3) 네트워크는 자동 인코더에 의해 정의된 손실을 사용하여 로봇 제어 정책을 생성합니다. 제안된 신경 정책 스타일 전송 TD3(NPST3)는 학습된 스타일을 도입하여 로봇 동작을 변경합니다. 이러한 접근 방식은 동적 환경에서 자율 로봇 동작을 수행하기 위해 오프라인으로 구현하거나, 원격으로 작동하는 로봇의 스타일을 런타임에 적용하기 위해 온라인으로 구현할 수 있습니다. 고려되는 스타일은 사람의 데모를 통해 온라인으로 학습할 수 있습니다. 저희는 73명의 지원자를 대상으로 대표적인 로봇 동작의 스타일을 인식하도록 요청하는 인간 피험자 평가를 실시했습니다. 그 결과 좋은 인식률을 보였으며, 이러한 접근 방식을 통해 로봇에게 다양한 스타일을 전달할 수 있음을 입증했습니다. [abs|pdf]

[41/106] Non-Exchangeable Conformal Language Generation with Nearest Neighbors

Keywords: reliable_conformal_prediction, conformal_prediction_attractive, conformal_prediction_ensures
Abstract: 자동으로 생성된 텍스트의 불확실성을 정량화하는 것은 사람이 잠재적 환각을 확인하고 시스템의 신뢰성을 높이는 데 중요합니다. 컨포멀 예측은 통계적 보장이 포함된 예측을 제공하는 매력적인 프레임워크이지만, 어떤 인공지능 가정도 현실적이지 않기 때문에 텍스트 생성에 적용하기는 어렵습니다. 이 논문에서는 커버리지의 한계를 보장하는 비교환적 컨포멀 예측에 대한 최근의 결과를 활용하여 이러한 격차를 해소합니다. 그 결과, 교환 불가능한 컨포멀 핵 샘플링은 컨포멀 예측 프레임워크를 가장 가까운 이웃에 기반한 생성으로 새롭게 확장한 것입니다. 이 방법은 추가 학습 없이 임의의 모델에 사후에 사용할 수 있으며 통계적 보증을 갖춘 토큰 수준의 보정된 예측 세트를 제공합니다. 기계 번역 및 언어 모델링 실험 결과 생성 품질에서 고무적인 결과가 나타났습니다. 또한 커버리지가 좋은 더 촘촘한 예측 집합을 생성함으로써 적합성 보장을 통해 샘플링을 수행하는 보다 이론적으로 원칙적인 방법을 제공합니다. [abs|pdf]

[42/106] PeaTMOSS: A Dataset and Initial Analysis of Pre-Trained Models in Open-Source Software

Keywords: github_utilize_models, datasets_document_metadata, model_training_datasets
Abstract: 딥러닝 모델의 개발과 훈련은 점점 더 많은 비용이 들고 복잡해지고 있습니다. 따라서 소프트웨어 엔지니어들은 다운스트림 애플리케이션을 위해 사전 학습된 모델(PTM)을 채택하고 있습니다. PTM 공급망의 역학 관계는 아직 거의 밝혀지지 않았으며, 메타데이터뿐만 아니라 이러한 모델의 후속 애플리케이션을 문서화하는 구조화된 데이터 세트가 필요하다는 것을 의미합니다. 이러한 데이터 없이는 MSR 커뮤니티가 PTM 도입과 재사용의 영향을 종합적으로 이해할 수 없습니다. 이 백서에서는 281,638개의 PTM에 대한 메타데이터와 월간 다운로드 횟수가 50회 이상인 모든 PTM(14,296개)에 대한 상세 스냅샷, 그리고 이러한 모델을 활용하는 28,575개의 오픈 소스 소프트웨어 리포지토리로 구성된 PeaTMOSS 데이터셋을 소개합니다. 또한 이 데이터 세트에는 15,129개의 다운스트림 GitHub 리포지토리에서 사용하는 2,530개의 PTM에 대한 44,337개의 매핑이 포함되어 있습니다. 데이터 세트의 포괄성을 높이기 위해 대규모 언어 모델에 대한 프롬프트를 개발하여 모델의 학습 데이터 세트, 매개변수 및 평가 메트릭을 포함한 모델 메타데이터를 자동으로 추출했습니다. 이 데이터 세트의 분석은 PTM 공급망에 대한 최초의 요약 통계를 제공하여 PTM 개발 동향과 PTM 패키지 문서의 일반적인 단점을 보여줍니다. 예제 애플리케이션을 통해 PTM과 그 종속 프로젝트 전반에서 소프트웨어 라이선스의 불일치를 확인할 수 있습니다. PeaTMOSS는 향후 연구를 위한 토대를 마련하여 PTM 공급망을 조사할 수 있는 풍부한 기회를 제공합니다. PTM에 대한 마이닝 기회, 다운스트림 사용 현황, 교차 질문 등을 간략하게 설명합니다. [abs|pdf]

[43/106] Ocassionally Secure: A Comparative Analysis of Code Generation Assistants

Keywords: code_generation_capabilities, insecure_code_literature, code_generation
Abstract: 대규모 언어 모델(LLM)은 다양한 애플리케이션에서 점점 더 많이 활용되고 있으며, 코드 생성이 그 대표적인 예입니다. 이전 연구에 따르면 LLM은 안전한 코드와 안전하지 않은 코드를 모두 생성할 수 있는 것으로 나타났지만, 어떤 요소가 안전하고 효과적인 코드를 생성하는 데 도움이 되는지는 고려하지 않았습니다. 따라서 이 백서에서는 실제 시나리오에서 LLM을 효과적이고 안전하게 배포하여 양질의 코드를 생성할 수 있는 조건과 맥락을 파악하고 이해하는 데 중점을 두었습니다. 각 모델의 코드 생성 기능을 평가하기 위해 9개의 개별 작업을 사용하여 ChatGPT를 사용하는 GPT-3.5와 GPT-4, Google의 Bard 및 Gemini 등 네 가지 고급 LLM을 비교 분석했습니다. 저희는 실제 개발자가 일상적인 업무에 LLM을 사용하는 일반적인 사용 사례를 연구 맥락에 맞게 표현했습니다. 또한 두 가지 버전의 개발자 페르소나를 사용하여 보안 인식에 중점을 두었습니다. 총 61개의 코드 결과물을 수집하여 기능, 보안, 성능, 복잡성, 신뢰성 등 여러 측면에서 분석했습니다. 이러한 인사이트는 모델의 기능과 한계를 이해하고 향후 개발 및 자동화된 코드 생성 분야의 실제 적용을 안내하는 데 매우 중요합니다. [abs|pdf]

[44/106] Real Evaluations Tractability using Continuous Goal-Directed Actions in Smart City Applications

Keywords: robot_imitation_frameworks, imitation_frameworks, robot_imitation
Abstract: 스마트 시티 애플리케이션의 가장 중요한 과제 중 하나는 비전문가인 사용자와 상호 작용할 수 있도록 시스템을 조정하는 것입니다. 로봇 모방 프레임워크는 사용자가 데모를 통해 직접 프로그래밍할 수 있도록 함으로써 로봇 프로그래밍을 단순화하고 시간을 단축하는 것을 목표로 합니다. 고전적인 프레임워크에서는 관절 또는 데카르트 공간 궤적을 사용하여 동작을 모델링합니다. 이러한 순수한 기하학적 접근 방식으로는 시각적 특징과 같은 다른 특징이 항상 잘 표현되는 것은 아닙니다. 연속 목표 지향 액션(CGDA)은 이러한 방법의 대안으로, 환경에서 추출할 수 있는 모든 특징의 변화로 액션을 인코딩합니다. 따라서 실행을 위한 로봇 관절 궤적은 이 특징에 구애받지 않는 인코딩을 준수하기 위해 완전히 계산되어야 합니다. 이는 진화 알고리즘(EA)을 사용하여 이루어지지만, 실제 로봇에서 이 진화 단계를 수행하려면 일반적으로 너무 많은 평가가 필요합니다. 현재 전략은 시뮬레이션에서 평가를 수행하여 최종 관절 궤적을 실제 로봇에 전송하는 것입니다. 스마트 시티 애플리케이션은 매우 역동적이고 복잡한 환경에서 작업해야 하므로 정밀한 모델을 항상 확보할 수 있는 것은 아닙니다. 우리의 목표는 실제 시나리오에서 이러한 평가를 직접 수행했을 때의 실행 가능성을 연구하는 것입니다. EA를 사용하여 평가 횟수를 줄이기 위한 두 가지 접근 방식을 제안하고 비교합니다. 첫 번째 접근 방식에서는 입자 군집 최적화(PSO) 기반 방법인 네이티브 PSO, 피트니스 상속 PSO(FI-PSO), 적응형 퍼지 피트니스 세분화(AFFG-PSO)를 CGDA 내에서 연구하고 비교했습니다. 두 번째 접근 방식은 CGDA에 기하학적 및 속도 제약 조건을 도입하는 것을 연구했습니다. 두 가지 접근법의 효과를 CGDA에서 흔히 연구되는 두 가지 사용 사례인 왁스 및 페인트 작업에서 분석하고 비교했습니다. 이 백서의 결과에 따르면 평가 횟수가 크게 줄어든 것으로 나타났습니다. [abs|pdf]

[45/106] Neural Policy Style Transfer

Keywords: policies_deep_reinforcement, style_neural_policy, deep_reinforcement_learning
Abstract: 스타일 전송은 미술, 자연어 처리, 고정 궤적 등 다양한 분야에서 제안되었습니다. 유니티는 이 개념을 확장하여 심층 강화 학습 인프라 내에서 정책을 제어합니다. 각 네트워크는 예상되는 보상을 최대화하도록 훈련되며, 이는 일반적으로 행동의 목표를 인코딩하고 콘텐츠라고 설명할 수 있습니다. 심층 신경망의 표현력을 통해 스타일로 설명할 수 있는 부차적인 작업을 인코딩할 수 있습니다. 신경망 정책 스타일 전송(NPST) 알고리즘은 한 정책의 내용을 유지하면서 한 정책의 스타일을 다른 정책으로 전송하기 위해 제안되었습니다. 다양한 정책은 딥 Q-Network 아키텍처를 통해 정의됩니다. 이러한 모델은 역강화 학습을 통한 데모를 사용하여 학습됩니다. 콘텐츠와 스타일에 대해 서로 다른 두 가지 사용자 데모 세트가 수행됩니다. 서로 다른 스타일은 사용자 데모에 의해 정의된 대로 인코딩됩니다. 생성된 정책은 콘텐츠 정책과 스타일 정책을 NPST 알고리즘에 공급한 결과입니다. 실험은 딥 강화 학습의 고전 아타리 게임에서 영감을 얻은 캐치볼 게임과 저자의 이전 작품을 기반으로 한 실물 크기의 휴머노이드 로봇을 사용한 실제 그림 시나리오에서 수행됩니다. NPST 프레임워크 내에서 정책을 인코딩하기 위한 세 가지 Q-Network 아키텍처(얕은, 깊은, 깊은 반복 Q-Network)의 구현을 제안하고, 각 아키텍처를 사용한 실험에서 얻은 결과를 비교합니다. [abs|pdf]

[46/106] Deep Robot Sketching: An application of Deep Q-Learning Networks for human-like sketching

Keywords: control_artistic_robot, learning_robotics_dqn, dqn_art_painting
Abstract: 최근 강화 학습 알고리즘이 복잡한 환경에서도 성공적인 성과를 거두면서 인지 과학에 대한 많은 이론적 접근 방식에 영감을 주고 있습니다. 인지 과학 커뮤니티에서 예술적 환경은 풍부하고 자연스럽고 다감각적이며 다문화적인 환경으로 연구되고 있습니다. 이 연구에서는 예술적 로봇 애플리케이션의 제어를 개선하기 위한 강화 학습의 도입을 제안합니다. 딥 큐 러닝 신경망(DQN)은 로봇 공학에서 강화 학습을 구현하는 데 가장 성공적인 알고리즘 중 하나입니다. DQN 방법은 다양한 환경에서 복잡한 로봇 애플리케이션을 실행하기 위한 복잡한 제어 정책을 생성합니다. 현재의 아트 페인팅 로봇 애플리케이션은 단순한 제어 법칙을 사용하여 프레임워크의 적응성을 단순한 환경으로 제한합니다. 이 연구에서는 미술 회화 로봇 애플리케이션에 DQN을 도입할 것을 제안합니다. 복잡한 제어 정책의 도입이 기본적인 미술 회화 로봇 애플리케이션의 성능에 어떤 영향을 미치는지 연구하는 것이 목표입니다. 이 연구의 주요 기대 효과는 향후 복잡한 아트 페인팅 로봇 프레임워크에 DQN 방법을 도입하는 연구의 첫 번째 기준이 될 것입니다. 실험은 사람이 그린 스케치를 DQN 생성 정책과 휴머노이드 로봇인 TEO를 사용하여 실제로 실행하는 것으로 구성됩니다. 결과는 참조 입력에 대한 유사성 및 획득 보상의 측면에서 비교됩니다 [abs|pdf]

[47/106] Exploring Homogeneous and Heterogeneous Consistent Label Associations for Unsupervised Visible-Infrared Person ReID

Keywords: unified_label_transfer, cross_modality_label, modality_label_associations
Abstract: 비지도 가시광선-적외선 사람 재식별(USL-VI-ReID)은 주석 없이 서로 다른 모달리티에서 동일한 신원을 가진 보행자 이미지를 검색하는 것을 목표로 합니다. 기존 연구는 모달리티 간 간극을 메우기 위해 모달리티 간 유사 라벨 연결을 설정하는 데 중점을 두었지만, 유사 라벨 공간에서 인스턴스 수준의 동질성 및 이질성 일관성을 유지하는 것을 무시하여 거친 연결이 발생하게 됩니다. 이에 대응하기 위해 유니티는 동질 및 이질적인 세분화된 인스턴스 수준 구조를 동시에 고려하여 고품질의 교차 모달리티 라벨 연결을 생성하는 모달리티 통합 라벨 전송(MULT) 모듈을 도입했습니다. 이 모듈은 동종 및 이종 친화성을 모두 모델링하고 이를 활용하여 유사 레이블의 불일치를 정의한 다음 이를 최소화함으로써 모달리티 간 정렬과 모달리티 내 구조 내 일관성을 유지하는 유사 레이블로 이어집니다. 또한, 간단한 플러그 앤 플레이 방식의 온라인 교차 메모리 레이블 개선(OCLR) 모듈을 제안하여 노이즈가 많은 의사 레이블의 영향을 더욱 완화하는 동시에 서로 다른 모달리티를 정렬하는 동시에 모달리티 불변 표현 학습(MIRL) 프레임워크와 결합할 수 있습니다. 실험을 통해 우리가 제안한 방법이 기존의 USL-VI-ReID 방법보다 성능이 뛰어나다는 것이 입증되었으며, 이는 다른 크로스 모달리티 연결 방법과 비교하여 MULT의 우수성을 강조합니다. 코드는 공개될 예정입니다. [abs|pdf]

[48/106] CapHuman: Capture Your Moments in Parallel Universes

Keywords: human_image_generation, image_generation_generalizable, images_diverse_head
Abstract: 우리는 새로운 인간 중심 이미지 합성 작업, 즉 하나의 참조 얼굴 사진만 주어졌을 때 다양한 맥락에서 다양한 머리 위치, 포즈, 표정을 가진 특정 개별 이미지를 생성하는 데 집중합니다. 이러한 목표를 달성하기 위해 우리는 생성 모델이 (1) 기본적인 사물 및 인간 이미지 생성을 위한 세계와 인간 사회에 대한 강력한 시각적, 의미론적 이해를 바탕으로 다음과 같은 유리한 특성을 갖춰야 한다고 주장합니다. (2) 일반화 가능한 정체성 보존 능력. (3) 유연하고 세밀한 머리 제어. 최근 사전 학습된 대규모 텍스트-이미지 확산 모델이 괄목할 만한 성과를 보이며 강력한 생성 기반이 되고 있습니다. 본 연구에서는 사전 훈련된 모델의 위 두 가지 기능을 활용하고자 합니다. 이 작업에서는 CapHuman이라는 새로운 프레임워크를 제시합니다. 이 프레임워크는 '인코딩 후 정렬 학습' 패러다임을 채택하여 추론 시 번거로운 튜닝 없이도 새로운 개인에 대해 일반화 가능한 신원 보존을 가능하게 합니다. CapHuman은 신원 특징을 인코딩한 다음 이를 잠재 공간에 정렬하는 방법을 학습합니다. 또한 모델에 유연하고 3D 일관된 방식으로 사람의 머리를 제어할 수 있는 기능을 갖추기 전에 3D 얼굴을 먼저 도입합니다. 광범위한 정성적, 정량적 분석을 통해 유니티의 캡휴먼은 콘텐츠가 풍부한 표현과 다양한 머리 렌더링을 통해 기존 기준선보다 뛰어난, 정체성이 잘 보존된 사진처럼 사실적인 고충실도 인물 사진을 제작할 수 있음을 입증했습니다. 코드와 체크포인트는 이 https URL에서 공개될 예정입니다. [abs|pdf]

[49/106] Are Synthetic Time-series Data Really not as Good as Real Data?

Keywords: learning_synthetic_data, universal_data_synthesis, data_synthesizing
Abstract: 시계열 데이터는 데이터 품질 문제, 편향성 및 취약성, 일반화 문제에서 비롯된 한계를 가지고 있습니다. 범용 데이터 합성 방법을 통합하면 일반화를 개선할 수 있는 가능성이 있습니다. 그러나 현재의 방법으로는 생성기의 출력이 보이지 않는 모든 실제 데이터를 포함한다고 보장할 수 없습니다. 이 백서에서는 시계열 표현 학습 기능을 갖춘 매우 다재다능한 교차 도메인 데이터 합성 프레임워크인 InfoBoost를 소개합니다. 실제 데이터 없이도 모델 학습이 가능한 합성 데이터 기반 방법을 개발하여 실제 데이터로 학습한 모델의 성능을 능가하는 결과를 얻었습니다. 또한 모든 시계열 데이터에 적용할 수 있는 합성 데이터 기반의 범용 특징 추출기를 학습시켰습니다. 이러한 접근 방식은 여러 소스의 리듬 신호, 노이즈 간섭, 샘플링 윈도우 기능을 초과하는 장주기 특징의 간섭을 극복합니다. 실험을 통해 딥러닝이 아닌 합성 데이터는 모델이 실제 데이터 없이도 우수한 재구성 성능과 보편적인 명시적 표현 추출을 달성할 수 있도록 지원합니다. [abs|pdf]

[50/106] BrainSLAM: SLAM on Neural Population Activity Data

Keywords: maps_neural_activity, map_brain, spatial_map_brain
Abstract: 로봇 시스템에서 새로운 환경의 지도를 학습하기 위해 SLAM(동시 위치 파악 및 매핑) 알고리즘이 일반적으로 사용됩니다. 뇌도 지도를 학습하는 것으로 보이지만, 그 메커니즘은 알려지지 않았고 신경 활동 데이터로부터 이러한 지도를 추론하는 방법도 불분명합니다. 저희는 해마, 전전두엽 피질, 두정엽 피질 등 쥐의 세 가지 뇌 영역에서 동시에 기록된 집단 활동(국소 전위, LFP) 데이터만을 사용해 SLAM을 수행하는 방법인 BrainSLAM을 소개합니다. 이 시스템은 컨볼루션 신경망(CNN)을 사용하여 쥐가 2D 미로를 탐색할 때 기록된 신경 국소 전위 데이터의 웨이블릿 칼로그램에서 속도와 친숙도 정보를 해독합니다. CNN의 출력은 경로 통합을 수행하는 유인자 네트워크와 '루프 폐쇄'(이전에 방문한 위치를 감지하고 지도 앨리어싱 오류를 수정)를 수행하는 별도의 시스템을 구동하여 RatSLAM에서 영감을 얻은 아키텍처를 구동합니다. 이 세 가지 요소를 함께 사용하면 동물의 위치를 추적하는 동시에 환경을 충실하게 표현할 수 있습니다. 이는 뇌 기록에서 공간 지도를 추론한 최초의 시연입니다. 이번 연구 결과는 SLAM을 새로운 방식으로 확장하여 환경을 매핑하는 새로운 방법을 가능하게 하고 탐색과 의사 결정에서 인지 지도의 역할을 더 잘 이해할 수 있게 해줍니다. [abs|pdf]

[51/106] EE-Tuning: An Economical yet Scalable Solution for Tuning Early-Exit Large Language Models

Keywords: large_language_models, language_models_llms, exit_large_language
Abstract: 이 작업에서는 조기 종료 대규모 언어 모델(LLM)을 훈련/조정하기 위한 가볍고 경제적인 솔루션인 EE-Tuning을 소개합니다. 전체 파라미터 사전 학습이라는 일반적인 접근 방식과 달리, EE-Tuning은 사전 학습된(그리고 미세 조정된) 표준 LLM을 파라미터 효율적인 방식으로 튜닝된 추가 조기 종료 레이어로 보강하여 훨씬 적은 컴퓨팅 리소스와 학습 데이터를 필요로 합니다. 유니티의 EE 튜닝 구현은 광범위한 성능 최적화를 통해 뛰어난 훈련 효율을 달성할 뿐만 아니라 3D 병렬 처리와 완벽하게 호환되어 확장성도 뛰어납니다. 체계적인 실험을 통해 EE-Tuning의 효과를 검증한 결과, 제한된 훈련 예산으로도 효과적인 조기 종료 LLM 추론을 달성할 수 있음을 확인했습니다. 커뮤니티에서 조기 종료 LLM에 액세스할 수 있기를 바라며, 유니티는 EE-Tuning 구현의 소스 코드를 이 https URL에 공개합니다. [abs|pdf]

[52/106] SA-MDKIF: A Scalable and Adaptable Medical Domain Knowledge Injection Framework for Large Language Models

Keywords: nlp_tasks_effective, nlp_tasks, processing_nlp_tasks
Abstract: 최근 대규모 언어 모델(LLM)의 발전은 다양한 자연어 처리(NLP) 작업에서 탁월한 성능을 입증했습니다. 그러나 의료 분야에서의 효과적인 적용은 의료 분야 지식의 부족으로 인해 어려움을 겪고 있습니다. 본 연구에서는 명령어 튜닝을 통해 범용 LLM에 의료 지식을 주입하여 다양한 다운스트림 작업에 적응할 수 있도록 확장 가능하고 적응 가능한 프레임워크인 SA-MDKIF를 제시합니다. SA-MDKIF는 스킬 트레이닝과 스킬 적응의 두 단계로 구성됩니다. 첫 번째 단계에서는 12가지 기본 의료 술기를 정의하고, 자체적으로 구축한 균일한 형식의 교육용 데이터 세트를 기반으로 AdaLoRA를 사용하여 이러한 술기를 훈련합니다. 다음 단계에서는 작업별 다운스트림 데이터를 사용하여 스킬 라우터를 훈련하고, 이 라우터를 사용하여 추론 중에 습득한 스킬을 LLM과 통합합니다. 9가지 의료 작업에 대한 실험 결과에 따르면 SA-MDKIF는 기존 LLM에 비해 성능이 10~20% 향상되는 것으로 나타났습니다. 특히 이러한 개선은 눈에 보이지 않는 의료 작업에서 두드러지게 나타나 최대 30%까지 개선된 것으로 나타났습니다. [abs|pdf]

[53/106] Genetic-based Constraint Programming for Resource Constrained Job Scheduling

Keywords: constraint_programming_fitness, constrained_job_scheduling, genetic_programming_algorithm
Abstract: 자원 제약 작업 스케줄링은 채굴 산업에서 시작된 어려운 조합 최적화 문제입니다. 기성 솔버는 합리적인 시간 내에 이 문제를 만족스럽게 해결할 수 없으며, 많은 진화적 계산 방법과 수리학과 같은 다른 해결 방법은 최적성을 보장할 수 없고 낮은 수준의 사용자 정의와 특수한 휴리스틱이 필요합니다. 본 논문에서는 자원이 제한된 작업 스케줄링을 위한 제약 프로그래밍의 효율적인 검색 전략을 발견하기 위한 유전 프로그래밍 알고리즘을 제안하여 이러한 격차를 해결합니다. 제안된 알고리즘에서 진화 프로그램은 제약 프로그래밍의 탐색 과정에서 사용되는 변수 선택자를 나타내며, 그 적합성은 훈련 인스턴스에 대해 얻은 솔루션의 품질에 의해 결정됩니다. 이 알고리즘의 새로운 점은 (1) 변수 선택자의 새로운 표현, (2) 새로운 적합성 평가 체계, (3) 사전 선택 메커니즘입니다. 대량의 무작위 및 벤치마크 인스턴스 세트를 사용한 테스트에서 진화한 변수 선택기는 제약 프로그래밍의 효율성을 크게 향상시킬 수 있습니다. 고도로 맞춤화된 메타휴리스틱 및 하이브리드 알고리즘에 비해 진화형 변수 선택기는 제약 프로그래밍이 양질의 솔루션을 더 빨리 식별하고 충분히 큰 런타임이 허용되는 경우 최적화를 증명하는 데 도움이 될 수 있습니다. 진화형 변수 선택기는 많은 수의 머신으로 인스턴스를 해결할 때 특히 유용합니다. [abs|pdf]

[54/106] Dual-Student Knowledge Distillation Networks for Unsupervised Anomaly Detection

Keywords: anomaly_representation_explore, anomaly_detection_explores, anomaly_representation
Abstract: 데이터 불균형과 결함의 다양성으로 인해 학생-교사 네트워크(S-T)는 지식 증류 프로세스에서 도출된 특징 표현의 불일치를 탐색하여 이상 징후를 인식하는 비지도 이상 징후 탐지에서 선호됩니다. 하지만 바닐라 S-T 네트워크는 안정적이지 않습니다. S-T 네트워크를 구성하는 데 동일한 구조를 사용하면 이상 징후에 대한 대표 불일치가 약화될 수 있습니다. 그러나 다른 구조를 사용하면 정상 데이터에 대한 성능이 달라질 가능성이 높아질 수 있습니다. 이 문제를 해결하기 위해 새로운 이중 학습자 지식 증류(DSKD) 아키텍처를 제안합니다. 다른 S-T 네트워크와 달리, 우리는 사전 훈련된 교사 네트워크 하나에 학생 네트워크 두 개를 사용하는데, 학생의 규모는 같지만 구조는 반전되어 있습니다. 이 프레임워크는 증류 효과를 강화하여 정상 데이터 인식의 일관성을 개선하는 동시에 이상 징후 표현을 위한 다양성을 도입할 수 있습니다. 이상 징후 단서를 포착하기 위한 고차원 의미 정보를 탐색하기 위해 두 가지 전략을 사용합니다. 첫째, 피라미드 매칭 모드를 사용해 네트워크의 중간 계층에 있는 멀티스케일 피처 맵에서 지식 증류를 수행합니다. 둘째, 실제 그룹 토론에서 영감을 얻은 심층 특징 임베딩 모듈을 통해 두 학생 네트워크 간의 상호 작용을 촉진합니다. 분류 측면에서는 교사와 학생 네트워크의 출력 특징 맵 간의 불일치를 측정하여 픽셀 단위의 이상 세그먼트 맵을 얻고, 이를 바탕으로 샘플 단위의 판단을 위해 이상 점수를 계산합니다. 세 가지 벤치마크 데이터 세트에서 DSKD를 평가하고 제거 실험을 통해 내부 모듈의 효과를 조사합니다. 그 결과, DSKD가 ResNet18과 같은 소규모 모델에서 탁월한 성능을 달성하고 바닐라 S-T 네트워크를 효과적으로 개선할 수 있음을 입증했습니다. [abs|pdf]

[55/106] A Survey of Data-Efficient Graph Learning

Keywords: supervised_graph_learning, graph_machine_learning, graph_learning_semi
Abstract: 소셜 네트워크에서 생화학 분석에 이르기까지 다양한 영역에서 널리 사용되는 그래프 구조의 데이터는 다양한 실제 시스템의 기반이 됩니다. 그래프 신경망은 이러한 유형의 데이터를 모델링하는 데 능숙하지만, 상당한 양의 레이블이 지정된 데이터에 의존하는 경우가 많기 때문에 주석 리소스가 제한된 실제 시나리오에서는 어려움을 겪을 수 있습니다. 이 문제를 해결하기 위해 최소한의 감독을 위한 다양한 접근법을 모색함으로써 리소스가 부족한 환경에서 그래프 머신러닝 성능을 향상시키는 데 많은 노력을 기울여 왔습니다. 본 백서에서는 새로운 연구 분야로서 데이터 효율적 그래프 학습(DEGL)이라는 새로운 개념을 소개하고, DEGL의 현재 진행 상황을 요약한 첫 번째 설문조사를 제시합니다. 먼저 레이블이 지정된 대규모 데이터로 모델을 훈련하는 데 내재된 문제를 강조하여 DEGL에 대한 탐구의 토대를 마련합니다. 그런 다음, 자가 지도 그래프 학습, 반지도 그래프 학습, 소수 샷 그래프 학습 등 몇 가지 주요 측면에서 이 주제에 대한 최근의 진전을 체계적으로 검토합니다. 또한 그래프 머신러닝의 진화에 기여할 수 있는 미래 연구의 유망한 방향을 제시합니다. [abs|pdf]

[56/106] A practical existence theorem for reduced order models based on convolutional autoencoders

Keywords: cnn_based_autoencoders, deep_autoencoders_based, operator_networks_deeponets
Abstract: 최근 몇 년 동안 딥러닝은 편미분방정식(PDE) 및 환원 차수 모델링(ROM) 분야에서 점점 더 인기를 얻고 있으며, 분야 실무자들에게 물리 정보 신경망(PINN), 신경 연산자, 심층 연산자 네트워크(DeepONet) 및 딥러닝 기반 ROM(DL-ROM)과 같은 새롭고 강력한 데이터 중심 기술을 제공하고 있습니다. 이러한 맥락에서 컨볼루션 신경망(CNN) 기반의 딥 오토인코더는 복잡한 비선형 문제를 처리할 때 감소 기저 방식과 같은 기존 기법을 능가하는 매우 효과적인 것으로 입증되었습니다. 그러나 CNN 기반 자동 인코더의 경험적 성공에도 불구하고 이러한 아키텍처를 뒷받침하는 이론적 결과는 많지 않으며, 일반적으로 보편적인 근사 정리의 형태로 설명됩니다. 특히 기존 문헌은 컨볼루션 자동 인코더 설계를 위한 가이드라인을 사용자에게 제공하지만, 잠재적 특징을 학습하는 후속 과제에 대해서는 거의 연구되지 않았습니다. 또한 컨버전스에 필요한 스냅샷의 수나 신경망 훈련 전략과 같은 많은 실용적인 질문이 아직 해결되지 않은 채로 남아 있습니다. 이 연구에서는 희소 고차원 함수 근사법의 최신 기법을 사용하여 매개변수 대 솔루션 맵이 홀로모픽인 경우 CNN 기반 자동 인코더에 대한 새로운 실용적인 존재 정리를 제공함으로써 이러한 격차를 메웁니다. 이 규칙성 가정은 파라메트릭 확산 방정식과 같은 많은 관련 파라메트릭 PDE 클래스에서 발생하며, 여기서는 일반 이론의 명시적 적용에 대해 설명합니다. [abs|pdf]

[57/106] Prompt-Time Symbolic Knowledge Capture with Large Language Models

Keywords: ai_assistants, personal_ai_assistants, prompt_driven_knowledge
Abstract: 사용자별 지식으로 대규모 언어 모델(LLM)을 보강하는 것은 개인 AI 비서와 같은 실제 애플리케이션에 매우 중요합니다. 그러나 LLM은 본질적으로 프롬프트 기반 지식 캡처 메커니즘이 부족합니다. 이 백서에서는 지식 그래프를 중심으로 프롬프트 중심의 지식 캡처를 가능하게 하는 기존 LLM 기능을 활용하는 방법을 살펴봅니다. 특히 프롬프트-투-트리플(P2T) 생성에 초점을 맞춰 이 문제를 해결합니다. 제로 샷 프롬프트, 소수 샷 프롬프트, 미세 조정의 세 가지 방법을 살펴본 다음 특수한 합성 데이터 세트를 통해 성능을 평가합니다. 코드와 데이터 세트는 다음 https URL에서 공개적으로 사용할 수 있습니다. [abs|pdf]

[58/106] Hidding the Ghostwriters: An Adversarial Evaluation of AI-Generated Student Essay Detection

Keywords: essays_evading_detection, generated_student_essays, quality_generated_essays
Abstract: 대규모 언어 모델(LLM)은 텍스트 생성 작업에서 괄목할 만한 역량을 보여 왔습니다. 그러나 이러한 모델의 활용에는 표절, 가짜 뉴스의 유포, 교육 실습 문제 등 내재된 위험이 내재되어 있습니다. 이러한 문제를 해결하기 위해 여러 가지 탐지기가 제안되었지만, 특히 학생 에세이 작성의 맥락에서 적대적 교란에 대한 탐지기의 효과는 거의 연구되지 않은 상태입니다. 이 논문은 탐지를 회피하면서 고품질의 에세이를 생성할 것으로 예상되는 다양한 텍스트 섭동 방법을 사용하여 AI로 생성된 학생 에세이 데이터 세트인 AIG-ASAP를 구축함으로써 이러한 격차를 해소하는 것을 목표로 합니다. 경험적 실험을 통해 AIG-ASAP 데이터 세트에 대한 현재 AIGC 탐지기의 성능을 평가합니다. 그 결과, 간단한 자동 공격으로 기존 탐지기를 쉽게 우회할 수 있는 것으로 나타났습니다. 특히, 생성된 에세이의 품질을 유지하면서 탐지를 효과적으로 회피할 수 있는 단어 치환 및 문장 치환 교란 방법을 살펴봅니다. 이는 교육 분야에서 AI가 생성한 학생 에세이를 탐지할 수 있는 보다 정확하고 강력한 방법이 시급히 필요하다는 점을 강조합니다. [abs|pdf]

[59/106] LM-HT SNN: Enhancing the Performance of SNN to ANN Counterpart through Learnable Multi-hierarchical Threshold Model

Keywords: spiking_neural_network, spiking_model, spiking_neural
Abstract: 기존의 인공 신경망(ANN)과 비교했을 때, 스파이크 신경망(SNN)은 생물학에서 영감을 받은 에너지 효율적인 방식으로 정보를 전송할 수 있는 본질적인 능력으로 인해 학계에서 많은 관심을 받고 있습니다. 하지만 다양한 방법을 통해 SNN의 학습 기울기와 모델 구조를 최적화하려는 이전의 노력에도 불구하고, SNN은 여전히 성능 면에서 ANN에 비해 어느 정도 뒤쳐져 있습니다. 최근 제안된 다중 임계값 모델은 SNN의 학습 능력을 더욱 향상시킬 수 있는 가능성을 제공합니다. 본 논문에서는 다중 임계값 모델, 바닐라 스파이킹 모델, 양자화 ANN 간의 관계를 수학적 관점에서 엄밀히 분석하고, 시간 차원에서 전역 입력 전류와 막 전위 누설을 동적으로 조절할 수 있는 등거리 다중 계층 모델인 새로운 LM-HT 모델을 제안합니다. 또한 LM-HT 모델에 기반한 직접 학습 알고리즘은 기존의 ANN-SNN 변환 프레임워크와 원활하게 통합할 수 있습니다. 이 새로운 하이브리드 학습 프레임워크는 짧은 시간 지연 시간 하에서 변환된 SNN의 상대적으로 열악한 성능을 효과적으로 개선할 수 있습니다. 광범위한 실험 결과를 통해 LM-HT 모델이 다양한 유형의 데이터 세트에서 이전의 최첨단 작업보다 훨씬 뛰어난 성능을 발휘할 수 있음을 입증했으며, 이를 통해 SNN이 양자화된 ANN에 필적하는 새로운 수준의 성능을 달성하도록 촉진합니다. [abs|pdf]

[60/106] Investigating Bias Representations in Llama 2 Chat via Activation Steering

Keywords: gender_bias_prompts, bias_prompts, generated_gender_bias
Abstract: 라마 2 7B 채팅 모델을 중심으로 대규모 언어 모델(LLM)의 사회적 편향성 문제를 다룹니다. LLM이 사회에 상당한 영향을 미치는 의사결정 프로세스에 점점 더 많이 통합됨에 따라 이러한 모델이 기존의 편견을 강화하지 않도록 하는 것이 중요해졌습니다. 유니티의 접근 방식은 성별, 인종, 종교와 관련된 편견을 조사하고 완화하기 위해 활성화 조정을 사용합니다. 이 방법은 스테레오셋 데이터 세트에서 파생된 스티어링 벡터와 사용자 지정 GPT4에서 생성된 성별 편향 프롬프트를 활용하여 모델 활성화를 조작하여 편향된 출력에 대한 응답을 유도하거나 그렇지 않은 응답을 유도합니다. 연구 결과, 라마 2 7B 채팅에 내재된 성별 편향이 인간 피드백을 통한 강화 학습(RLHF) 이후에도 지속되는 것으로 나타났습니다. 또한 편견과 응답을 거부하는 모델의 경향성 사이에 예측 가능한 음의 상관관계가 있음을 관찰했습니다. 중요한 점은 RLHF가 다양한 형태의 사회적 편견에 대한 모델 표현의 유사성을 높이는 경향이 있으며, 이는 다양한 형태의 편견에 대한 모델의 미묘한 이해에 대한 의문을 제기한다는 것입니다. 이 연구는 또한 활성화 스티어링을 사용하는 LLM의 효과적인 레드팀 전략에 대한 귀중한 인사이트를 제공하며, 특히 거부 벡터 통합의 중요성을 강조합니다. [abs|pdf]

[61/106] Multi-scale Traffic Pattern Bank for Cross-city Few-shot Traffic Forecasting

Keywords: traffic_forecasting_recognizing, traffic_forecasting_crucial, challenge_traffic_forecasting
Abstract: 교통량 예측은 효율적인 자원 할당과 효과적인 교통 통제를 지원하는 지능형 교통 시스템(ITS)에 매우 중요합니다. 그러나 교통 예측의 효과는 풍부한 교통 데이터에 크게 의존하는 경우가 많은 반면, 많은 도시에서는 제한된 디바이스 지원으로 인해 충분한 데이터가 부족하여 교통 예측에 상당한 어려움을 겪고 있습니다. 이러한 문제를 인식한 크리테오는 교통 패턴이 여러 도시에서 유사성을 보인다는 주목할 만한 사실을 발견했습니다. 이러한 핵심 인사이트를 바탕으로 여러 도시에 걸친 단발성 교통량 예측 문제에 대한 해결책으로 멀티스케일 트래픽 패턴 뱅크(MTPB)라는 솔루션을 제안합니다. 기본적으로 MTPB는 데이터가 풍부한 소스 도시를 활용하여 학습 프로세스를 시작하고, 공간-시간 인식 사전 학습 프로세스를 통해 포괄적인 교통 지식을 효과적으로 습득합니다. 그 후, 프레임워크는 고급 클러스터링 기법을 사용하여 학습된 지식에서 파생된 멀티스케일 트래픽 패턴 뱅크를 체계적으로 생성합니다. 다음으로, 데이터가 부족한 대상 도시의 교통 데이터는 교통 패턴 뱅크를 쿼리하여 메타 지식의 집계를 용이하게 할 수 있습니다. 이 메타 지식은 그래프 재구성 및 예측과 관련된 후속 프로세스에서 강력한 가이드로서 중추적인 역할을 수행합니다. 실제 교통 데이터 세트에 대한 경험적 평가에 따르면 MTPB의 우수한 성능은 다양한 범주에서 기존 방법을 능가하며, 도시 간 소수 샷 예측 방법론의 발전에 도움이 되는 여러 가지 특성을 보여줍니다. 코드는 다음 https URL에서 확인할 수 있습니다. [abs|pdf]

[62/106] Efficient Exploration for LLMs

Keywords: queries_fitting_reward, agent_generates_queries, thompson_sampling
Abstract: 대규모 언어 모델을 개선하기 위해 사람의 피드백을 수집할 때 효율적인 탐색을 통해 상당한 이점을 얻을 수 있다는 증거를 제시합니다. 실험에서 에이전트는 받은 피드백에 보상 모델을 맞추면서 순차적으로 쿼리를 생성합니다. 가장 성능이 좋은 에이전트는 이중 톰슨 샘플링을 사용하여 쿼리를 생성하며, 불확실성은 인식 신경망으로 표현됩니다. 연구 결과는 효율적인 탐색을 통해 훨씬 적은 수의 쿼리로 높은 수준의 성능을 구현할 수 있음을 보여줍니다. 또한 불확실성 추정과 탐색 체계의 선택이 모두 중요한 역할을 합니다. [abs|pdf]

[63/106] Loss Function Considering Dead Zone for Neural Networks

Keywords: inverse_dynamics_manipulators, accuracy_inverse_dynamics, training_accuracy_inverse
Abstract: 모델 기반 제어의 제어 성능을 개선하기 위해서는 조작자의 역역학을 밝히는 것이 중요합니다. 신경망(NN)은 대량의 모션 데이터가 필요하지만 복잡한 역역학을 표현할 수 있는 유망한 기술입니다. 하지만 액추에이터의 데드존에 있는 모션 데이터는 모델 학습에 적합하지 않아 유용한 학습 데이터의 수가 줄어듭니다. 본 연구에서는 데드존에서는 입력 토크와 상관없이 조작기 관절이 작동하지 않는다는 점에 착안하여 데드존에 있지 않은 관절의 오차만을 고려하는 새로운 손실 함수를 제안합니다. 제안한 방법을 통해 훈련에 사용할 수 있는 동작 데이터의 양과 역역학 계산의 정확도를 높일 수 있습니다. 실제 장비에 3자유도(DOF) 조작기를 사용해 실험한 결과 기존 방식보다 높은 정확도를 보였습니다. 또한 데드 존에서 제안한 방법의 모델 동작을 확인하고 논의했습니다. [abs|pdf]

[64/106] EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems

Keywords: sequential_recommender_systems, sequential_recommender, current_sequential_recommender
Abstract: 데이터가 넘쳐나는 이 시대에는 정보의 바다에서 의미 있는 인사이트를 추출하는 능력이 필수적입니다. SAS의 연구는 현재의 순차적 추천 시스템(SRS)이 겪고 있는 계산 및 리소스 비효율성을 해결합니다. 특히 SASRec과 같은 관심 기반 모델을 사용하는 시스템은 전자상거래에서 소셜 네트워크에 이르기까지 다양한 애플리케이션에서 다음 항목 추천을 위해 설계되었습니다. 그러나 이러한 시스템은 추론 단계에서 상당한 계산 비용과 리소스 소비로 인해 어려움을 겪습니다. 이러한 문제를 해결하기 위해 본 연구에서는 자동 가지치기 기법과 고급 모델 아키텍처를 결합한 새로운 방법을 제안합니다. 또한 추천 시스템 영역에서 널리 사용되는 리소스 제약 신경망 아키텍처 검색(NAS)의 잠재력을 탐구하여 정확도를 유지하거나 향상시키면서 FLOP, 지연 시간, 에너지 사용량을 줄이기 위해 모델을 미세 조정할 수 있습니다. 우리 작업의 주요 기여는 효율적인 장기 순차적 추천 시스템(EASRec)을 위한 Elastic 아키텍처 검색을 개발하는 것입니다. 이 접근 방식은 정확도 유지를 보장하면서 관심 기반 SRS를 위한 최적의 간결한 아키텍처를 찾는 것을 목표로 합니다. EASRec은 입력 데이터 배치의 과거 정보를 활용하여 추천 네트워크의 성능을 개선하는 데이터 인식 게이트를 도입합니다. 또한 동적 리소스 제약 접근 방식을 활용하여 검색 프로세스를 표준화하고 보다 적절한 아키텍처를 도출합니다. 이 방법론의 효과는 세 가지 벤치마크 데이터 세트에 대한 철저한 실험을 통해 검증되었으며, 이를 통해 SRS에서 EASRec의 우수성이 입증되었습니다. 이번 연구는 효율적이고 정확한 추천 시스템을 연구하는 데 있어 새로운 기준을 제시하며, 빠르게 발전하고 있는 이 분야에서 상당한 진전을 이루었습니다. [abs|pdf]

[65/106] On the $O(\frac{\sqrt{d}}{T^{1/4}})$ Convergence Rate of RMSProp and Its Momentum Extension Measured by $\ell_1$ Norm: Better Dependence on the Dimension

Keywords: learning_convergence_rates, deep_learning_convergence, convergence_rates_thoroughly
Abstract: 적응 경사법은 딥러닝에서 광범위하게 사용되어 왔지만, 특히 차원에 대한 의존성과 관련하여 그 수렴율이 철저하게 연구되지 않았습니다. 이 논문에서는 고전적인 RMSProp과 그 운동량 확장을 고려하고, 경계 경사 가정 없이 $\ell_1$ 노름으로 측정한 $\frac{1}{T}\sum_{k=1}^TE\left[|\nabla f(x^k)|1\right]\leq O(\frac{\sqrt{d}}{T^{1/4}})$ 의 수렴율을 확립합니다, 여기서 $d$는 최적화 변수의 차원이고 $T$는 반복 횟수입니다. 매우 큰 $d$를 갖는 문제의 경우 $|x|_2\ll|x|_1\leq\sqrt{d}|x|_2$이므로, 우리의 수렴 속도는 $\ell_1$ 노름으로 측정한 SGD 중 $\frac{1}{T}\sum{k=1}^TE\left[|\nabla f(x^k)|_2\right]\leq O(\frac{1}{T^{1/4}})$와 유사하다고 볼 수 있습니다. [abs|pdf]

[66/106] Cumulative Distribution Function based General Temporal Point Processes

Keywords: modeling_event_sequences, future_event_prediction, neural_networks_tpps
Abstract: 시간 포인트 프로세스(TPP)는 소셜 네트워킹과 전자상거래를 비롯한 다양한 영역에서 이벤트 시퀀스를 모델링하는 데 중추적인 역할을 하며, 추천 시스템과 정보 검색 전략의 발전에 크게 기여해 왔습니다. TPP는 사용자 상호 작용 및 거래와 같은 이벤트 분석을 통해 행동 패턴에 대한 귀중한 인사이트를 제공하여 미래 트렌드를 예측할 수 있게 해줍니다. 그러나 이러한 패턴의 복잡한 특성으로 인해 미래 이벤트를 정확하게 예측하는 것은 여전히 어려운 과제입니다. 신경망과 TPP의 통합으로 고급 딥 TPP 모델이 개발되었습니다. 이러한 모델은 복잡하고 비선형적인 시간 데이터를 처리하는 데는 탁월하지만, 강도 함수를 모델링하는 데는 한계가 있고 적분 계산의 계산 복잡성과 씨름하며 장거리 시간 종속성을 효과적으로 포착하는 데는 어려움을 겪습니다. 이 연구에서는 누적분포함수(CDF)를 중심으로 한 TPP에 대한 새로운 접근 방식인 CuFun 모델을 소개합니다. CuFun은 과거 이벤트를 스케일링 팩터로 활용하는 단조로운 신경망을 CDF 표현에 독특하게 사용한다는 점에서 돋보입니다. 이러한 혁신은 다양한 데이터 시나리오에서 모델의 적응성과 정확성을 크게 강화합니다. 이러한 접근 방식은 로그 확률 계산을 간소화하고, 사전 정의된 밀도 함수 형태를 넘어 적용 가능성을 확장하며, 장거리 시간적 패턴을 능숙하게 포착하는 등 기존 TPP 모델링에 내재된 몇 가지 중요한 문제를 해결합니다. 크리테오의 공헌은 선구적인 CDF 기반 TPP 모델 도입, 과거 이벤트 정보를 미래 이벤트 예측에 통합하는 방법론 개발, 합성 및 실제 데이터 세트에 대한 광범위한 실험을 통한 CuFun의 효과에 대한 경험적 검증을 포함합니다. [abs|pdf]

[67/106] Legged Robot State Estimation With Invariant Extended Kalman Filter Using Neural Measurement Network

Keywords: estimator_legged_robots, estimate_robot_states, legged_robots
Abstract: 이 논문에서는 모델 기반 필터와 심층 신경망을 결합한 새로운 다리 로봇용 고유 수용성 상태 추정기를 소개합니다. 최근 연구에 따르면 다층 퍼셉트론이나 순환 신경망과 같은 신경망이 접촉 확률과 선형 속도를 포함한 로봇의 상태를 추정할 수 있는 것으로 나타났습니다. 이에 착안하여 불변 확장 칼만 필터와 신경 측정 네트워크(NMN)를 통합하는 상태 추정 프레임워크를 개발했습니다. 이 프레임워크가 다양한 지형에서 추정 성능을 향상시킨다는 것을 보여줍니다. 모델 기반 필터와 학습 기반 접근법을 결합한 기존 연구는 일반적으로 실제 데이터를 사용합니다. 그러나 우리의 접근 방식은 시뮬레이션 데이터에만 의존하기 때문에 광범위한 데이터를 쉽게 얻을 수 있습니다. 이러한 차이로 인해 학습 영역과 추론 영역 사이에 흔히 시뮬레이션과 실제의 간극이라고 하는 격차가 발생합니다. 유니티는 기존 학습 기법과 정규화를 적용하여 이 문제를 해결합니다. 제안한 방법을 검증하기 위해 네 발 달린 로봇을 사용하여 네 가지 유형의 지형에서 실험을 수행합니다: 평평한 지면, 잔해물, 부드러운 지면, 미끄러운 지면. 우리의 접근 방식은 기존 모델 기반 상태 추정기에 비해 위치 드리프트가 현저히 줄어드는 것을 관찰했습니다. [abs|pdf]

[68/106] Climate Trends of Tropical Cyclone Intensity and Energy Extremes Revealed by Deep Learning

Keywords: wind_profile_dataset, global_tc_wind, tcs_changing_climate
Abstract: 인위적인 영향은 열대성 저기압(TC)의 극지방 이동, 극심한 강수량, 주요 허리케인 발생 비율 증가와 관련이 있습니다[1, 2, 3, 4]. 변화하는 기후를 고려하여 미래의 열대성 저기압이 인류 사회에 미칠 영향을 예측하려면 과거의 열대성 저기압 추세와 변동성을 이해하는 것이 중요합니다[5]. 그러나 TC 구조/에너지의 과거 추세는 제한된 관측으로 인해 불확실하며, 주관적으로 분석되고 시공간적으로 이질적인 '베스트 트랙' 데이터 세트는 기후 변화에 대한 평가된 TC 회복력에 대한 신뢰도를 떨어뜨립니다 [6, 7]. 여기서는 딥러닝을 사용하여 과거의 "관측"을 재구성하고 1981년부터 2020년까지의 객관적인 글로벌 TC 바람 프로파일 데이터 세트를 생성하여 TC 구조/에너지에 대한 종합적인 검토를 용이하게 합니다. 20042018년 TC의 베스트 트랙과 수치 모델 분석을 통합한 고유한 레이블이 지정된 데이터로 학습함으로써, 이 모델은 다중 채널 위성 이미지를 축대칭 지표풍의 0750km 바람 프로파일로 변환합니다. 모델 성능은 독립적인 위성 레이더 지표면 바람과 비교하여 기후 연구에 충분한 것으로 확인되었습니다. 새로운 균질화된 데이터 세트에 따르면, 지난 40년 동안 주요 TC 비율은 약 13% 증가했습니다. 또한 초고에너지 TC의 비율은 ~25% 증가했으며, 고에너지 TC의 평균 총 에너지의 증가 추세(40년 변동성의 1표준편차 이상)도 함께 증가했습니다. 해양 온난화로 인해 TC가 강화되고 있지만, TC가 고위도로 이동하고 환경이 변화하면서 TC 구조/에너지에 더 큰 영향을 미칩니다. 이 새로운 딥러닝 방법/데이터 세트는 극한 TC 구조에 관한 새로운 경향을 드러내며, 변화하는 기후에서 TC에 관한 시뮬레이션/연구를 검증하는 데 도움이 될 수 있습니다. [abs|pdf]

[69/106] Adaptive Primal-Dual Method for Safe Reinforcement Learning

Keywords: safe_reinforcement_learning, constrained_policy_optimization, policy_optimization
Abstract: 원시-이중 방법은 제약된 정책 최적화 문제로 제기되는 안전 강화 학습(SRL)에 자연스럽게 적용될 수 있습니다. 그러나 실제로는 임베디드 비제약 RL 문제를 풀 때마다 학습률(LR)과 라그랑지안 승수(이중 변수)의 상호 의존성 때문에 SRL에 원시-듀얼 방법을 적용하는 것이 어렵습니다. 이 논문에서는 각 반복에서 정책을 최적화하기 위해 두 개의 적응 LR을 라그랑지안 승수로 조정하는 SRL에 대한 적응적 원시-이중(APD) 방법을 제안, 분석 및 평가합니다. APD 알고리즘의 수렴성, 최적성 및 실현 가능성을 이론적으로 입증합니다. 마지막으로, 두 가지 최신 SRL 알고리즘을 사용하는 Bullet-Safey-Gym의 잘 알려진 네 가지 환경에서 실제 APD 알고리즘에 대한 수치 평가를 수행합니다: PPO-라그랑지안과 DDPG-라그랑지안. 모든 실험에서 실제 APD 알고리즘이 상수 LR 사례보다 성능이 뛰어나고(또는 비슷한 성능을 달성하고) 더 안정적인 학습을 달성하는 것으로 나타났습니다. 또한 두 가지 적응형 LR 선택의 견고성을 경험적 증거를 통해 입증합니다. [abs|pdf]

[70/106] Large Language Models Based Fuzzing Techniques: A Survey

Keywords: software_development_fuzzing, development_fuzzing_test, fuzzing_tests_software
Abstract: 소프트웨어가 중추적인 역할을 하는 현대 사회에서 소프트웨어 보안과 취약점 분석은 소프트웨어 개발에 필수적인 요소가 되었습니다. 퍼징 테스트는 효율적인 소프트웨어 테스트 방법으로 다양한 영역에서 널리 사용되고 있습니다. 또한 대규모 언어 모델(LLM)의 급속한 발전으로 소프트웨어 테스트 분야에서의 적용이 용이해지면서 괄목할 만한 성과를 보이고 있습니다. 기존의 퍼징 테스트 기법이 완전히 자동화되어 있지 않고 소프트웨어 취약점이 계속 진화하고 있다는 점을 고려할 때, 대규모 언어 모델을 기반으로 생성된 퍼징 테스트를 도입하는 추세가 증가하고 있습니다. 이 조사에서는 소프트웨어 테스트에 LLM과 퍼징 테스트를 융합하는 접근 방식에 대한 체계적인 개요를 제공합니다. 본 보고서에서는 2024년까지의 최신 방법을 정리하여 LLM, 퍼징 테스트, LLM을 기반으로 생성된 퍼징 테스트 등 세 가지 영역의 문헌에 대한 통계 분석과 논의를 수행합니다. 또한 향후 LLM에 의해 생성된 퍼징 테스트 기법의 광범위한 배포 및 적용 가능성에 대해서도 조사합니다. [abs|pdf]

[71/106] ODICE: Revealing the Mystery of Distribution Correction Estimation via Orthogonal-gradient Update

Keywords: rl_imitation_learning, learning_rl_imitation, offline_reinforcement_learning
Abstract: 이 연구에서는 오프라인 강화 학습(RL)과 모방 학습(IL)에서 중요한 역할을 하는 분포 보정 추정(DICE) 방법에 대해 살펴봅니다. DICE 기반 방법은 상태-행동 수준의 행동 제약을 부과하므로 오프라인 학습에 이상적인 선택입니다. 하지만 일반적으로 동작 수준 행동 제약만 사용하는 최신(SOTA) 방법보다 성능이 훨씬 떨어집니다. DICE 기반 방법을 다시 살펴본 결과, 실제 그라데이션 업데이트를 사용하여 값 함수를 학습할 때 순방향 그라데이션(현재 상태에서 취함)과 역방향 그라데이션(다음 상태에서 취함)의 두 가지 그라데이션 항이 존재한다는 것을 알 수 있었습니다. 순방향 기울기를 사용하는 것은 많은 오프라인 RL 방법과 매우 유사하므로 동작 수준 제약 조건을 적용하는 것으로 간주할 수 있습니다. 그러나 후방 그라데이션을 직접 추가하면 두 그라데이션의 방향이 서로 상충하는 경우 효과가 저하되거나 상쇄될 수 있습니다. 이 문제를 해결하기 위해 유니티는 후방 경사도를 전방 경사도의 정상 평면에 투영하는 간단하면서도 효과적인 수정 방법을 제안하고, 그 결과 DICE 기반 방법의 새로운 학습 규칙인 직교 경사도 업데이트가 이루어집니다. 철저한 이론적 분석을 통해 투영된 후방 경사도가 상태 수준의 행동 정규화를 가져온다는 사실을 발견했으며, 이를 통해 가치 학습 목표가 상태 행동 수준의 제약을 부과하려고 시도하지만 수정된 방식으로 사용해야 한다는 DICE 기반 방법의 수수께끼를 밝혀냈습니다. 장난감 예제와 복잡한 오프라인 RL 및 IL 작업에 대한 광범위한 실험을 통해 직교-그래디언트 업데이트(O-DICE)를 사용하는 DICE 기반 방법이 SOTA 성능과 뛰어난 견고성을 달성한다는 것을 입증합니다. [abs|pdf]

[72/106] Multi-agent Path Finding for Cooperative Autonomous Driving

Keywords: autonomous_driving_intersections, traffic_multi_robot, cooperative_autonomous_driving
Abstract: 향후 커넥티드카 및 자율주행차(CAV)의 보급을 예상하여 교차로에서의 협력 자율 주행은 수십 년에 걸쳐 제어 이론 및 지능형 교통 분야에서 많은 연구를 통해 연구되어 왔습니다. 이와 동시에 최근 로봇 공학 분야에서는 운동학이 단순화된 환경에서 다중 에이전트 경로 탐색(MAPF)을 위한 효율적인 알고리즘을 고안해냈습니다. 이 연구에서는 신호가 없는 교차로에서 CAV의 교차 순서를 최적화하는 구조와 휴리스틱에 MAPF의 인사이트와 알고리즘을 결합합니다. 이를 통해 기존 알고리즘, 고정 휴리스틱, KATS를 사용한 우선순위 계획보다 훨씬 뛰어난 성능을 발휘하는 최적의 완벽한 알고리즘인 OBS-KATS(Order-based Search with Kinematics Arrival Time Scheduling)를 고안해 냈습니다. 이 성능은 다양한 차량 도착률, 차선 길이, 교차로 속도, 제어 지평선에서도 유지됩니다. 크리테오는 절제 및 해부를 통해 OBS-KATS의 성능에 기여하는 요인에 대한 인사이트를 제공합니다. 우리의 연구는 비슷한 규모의 교통량과 지시 차선이 있는 다중 로봇 시나리오에 직접 적용할 수 있습니다. [abs|pdf]

[73/106] SCO-VIST: Social Interaction Commonsense Knowledge-based Visual Storytelling

Keywords: captioning_visual_stories, visual_storytelling, story_graph
Abstract: 비주얼 스토리텔링은 주어진 이미지 시퀀스를 기반으로 일관된 스토리를 자동으로 생성하는 것을 목표로 합니다. 이미지 캡션과 같은 작업과 달리 시각적 스토리에는 사실적 설명, 세계관, 인간의 사회적 상식이 포함되어야 하며, 서로 다른 요소들을 조합하여 일관성 있고 매력적인 사람이 쓸 수 있는 스토리를 만들어야 합니다. 그러나 대부분의 모델은 스토리를 만들 때 주로 사실적 정보를 적용하고 분류학적/어휘적 외부 지식을 사용하는 데 중점을 둡니다. 이 백서에서는 이미지 시퀀스를 인간의 행동 동기와 사회적 상호작용 상식 지식을 포함하는 객체와 관계가 있는 그래프로 표현하는 프레임워크인 SCO-VIST를 소개합니다. 그런 다음 SCO-VIST는 플롯 포인트를 나타내는 이 그래프를 가져와 의미 및 발생 기반 에지 가중치를 사용하여 플롯 포인트 사이에 브리지를 생성합니다. 이렇게 가중치가 부여된 스토리 그래프는 플로이드-워샬의 알고리즘을 사용하여 일련의 사건으로 스토리라인을 생성합니다. 우리가 제안한 프레임워크는 시각적 근거, 일관성, 다양성, 인간성 측면에서 자동 평가와 사람에 의한 평가 모두에서 여러 지표에 걸쳐 우수한 스토리를 생성합니다. [abs|pdf]

[74/106] The whack-a-mole governance challenge for AI-enabled synthetic biology: literature review and emerging frameworks

Keywords: ai_enabled_biohazards, bioengineering, enabled_synthetic_biology
Abstract: AI 기반 합성 생물학은 엄청난 잠재력을 가지고 있지만, 바이오리스크를 크게 증가시키고 새로운 이중 사용 문제를 야기하기도 합니다. AI 기반 합성 생물학이 잠재적으로 생명 공학을 산업 바이오 제조로 확장함에 따라 새로운 기술을 결합하여 나타날 것으로 예상되는 방대한 혁신을 고려할 때 그림은 복잡합니다. 그러나 문헌 검토에 따르면 혁신을 위한 합리적인 범위를 유지하거나 더 야심차게 거대한 바이오 경제를 육성하는 것과 같은 목표가 반드시 바이오 안전과 상반되는 것이 아니라 함께 가야 할 필요성이 있습니다. 이 백서에서는 이러한 문제에 대한 문헌적 검토를 제시하고 명령과 통제, 관리, 상향식, 자유방임적 거버넌스 등의 옵션을 넘나드는 새로운 정책 및 실행 프레임워크에 대해 설명합니다. 연구실, 고의적인 오용 또는 공공 영역에서 발생할 수 있는 미래의 AI 기반 생물학적 위험을 예방하고 완화할 수 있는 조기 경보 시스템을 구축하는 방법은 지속적으로 발전해야 하며, 적응형 대화형 접근 방식이 등장해야 합니다. 바이오리스크는 확립된 거버넌스 체제의 적용을 받으며 과학자들은 일반적으로 생물학적 안전 프로토콜을 준수하지만, 과학자들이 실험적이지만 합법적으로 사용하는 경우에도 예기치 않은 상황이 발생할 수 있습니다. 최근 제너레이티브 AI로 구현된 챗봇의 발전으로 인해 고급 생물학적 인사이트가 악의적인 개인이나 조직의 손에 더 쉽게 들어갈 수 있다는 우려가 다시금 제기되고 있습니다. 이러한 일련의 문제를 고려할 때, 사회는 AI 기반 합성 생물학을 어떻게 관리해야 하는지 다시 생각해 볼 필요가 있습니다. 당면한 과제를 시각화하기 위해 제안된 방법은 두더지 거버넌스이지만, 새로운 솔루션도 크게 다르지 않을 것입니다. [abs|pdf]

[75/106] An Accurate and Low-Parameter Machine Learning Architecture for Next Location Prediction

Keywords: architecture_location_prediction, location_prediction, accurate_location_prediction
Abstract: 다음 위치 예측은 사용자의 다음 위치를 예측하는 분야입니다. 리소스 할당, 서비스 품질, 에너지 효율성, 트래픽 관리 등에 응용할 수 있습니다. 이 백서에서는 정확한 다음 위치 예측을 위해 에너지 효율적이고 크기가 작으며 매개변수가 적은 머신러닝(ML) 아키텍처를 제안하며, 소규모 기지국 및 엣지 디바이스에 배포할 수 있습니다. 이를 위해 유니티는 도시 전체의 사람 이동 패턴에 대해 100개의 하이퍼파라미터 실험을 수행하여 최소한의 모델 파라미터로 정확도 정점에 도달하는 정확한 ML 아키텍처를 결정했습니다. 그 결과 2억 2,000만 개에 달하던 공개된 ML 아키텍처 내 모델 파라미터 수를 200만 개로 줄이는 데 성공했습니다. 이를 통해 모델 파라미터의 총 크기가 791MB에서 8MB로 줄었습니다. 또한 훈련 시간은 4배, 훈련에 필요한 그래픽 처리 장치(GPU) 메모리 양은 20배 감소했으며, 전체 정확도는 80.16%에서 82.54%로 향상되었습니다. 이러한 개선 덕분에 메모리나 스토리지 용량이 많지 않은 소규모 기지국이나 엣지 디바이스에서도 제안된 ML 아키텍처를 배포하여 다음 위치 예측에 활용할 수 있습니다. [abs|pdf]

[76/106] PAP-REC: Personalized Automatic Prompt for Recommendation Language Model

Keywords: automatic_prompt_recommendation, prompt_recommendation_language, prompt_based_recommendation
Abstract: 최근 등장한 프롬프트 기반 추천 언어 모델(RLM)은 여러 추천 작업을 균일하게 해결할 수 있습니다. RLM은 풍부한 사전 학습 데이터에서 학습한 상속된 지식을 최대한 활용하여 추가적인 파라미터나 네트워크 학습 없이 프롬프트를 통해 다운스트림 추천 작업을 해결합니다. 그러나 프롬프트를 수작업으로 작성할 경우 프롬프트를 조금만 수정해도 성능이 크게 달라질 수 있기 때문에 상당한 전문 지식과 사람의 노력이 필요합니다. 본 논문에서는 수작업으로 설계된 프롬프트의 비효율성과 비효과성 문제를 완화하기 위해 추천 언어 모델에 대한 개인화 자동 프롬프트를 생성하는 프레임워크인 PAP-REC을 제안합니다. 특히 개인화된 자동 프롬프트를 사용하면 그라데이션 기반 방법을 사용하여 자동으로 생성되는 동일한 작업에 대해 사용자마다 다른 프롬프트 토큰을 가질 수 있습니다. 추천 언어 모델에 대한 개인화된 자동 프롬프트 생성의 한 가지 과제는 검색 공간이 매우 커서 수렴 시간이 길다는 것입니다. 이 문제를 효과적이고 효율적으로 해결하기 위해 우리는 대리 지표를 개발하고 추천 언어 모델 프롬프트의 업데이트 일정을 대체하는 방법을 활용합니다. 실험 결과에 따르면 PAP-REC 프레임워크는 개인화된 프롬프트를 생성할 수 있으며, 자동으로 생성된 프롬프트는 수동으로 구성된 프롬프트보다 성능이 뛰어나고 다양한 기준 추천 모델보다 우수한 것으로 나타났습니다. 이 작업의 소스 코드는 다음 https URL에서 확인할 수 있습니다. [abs|pdf]

[77/106] Towards scalable robotic intervention of children with Autism Spectrum Disorder using LLMs

Keywords: social_robot, social_robot_capable, propose_social_robot
Abstract: 이 논문에서는 자폐 스펙트럼 장애(ASD)를 가진 아이들과 언어적으로 상호작용할 수 있는 소셜 로봇을 제안합니다. 이 의사소통은 대규모 언어 모델(LLM) 파이프라인을 사용하여 생성된 텍스트를 사용하여 원근법을 가르치기 위한 것입니다. 소셜 로봇 NAO는 자극기(사회적 상황을 말로 설명하고 질문), 프롬프터(선택할 수 있는 세 가지 옵션 제시), 강화기(정답을 맞히면 칭찬) 역할을 합니다. 자극기의 역할을 위해 사회적 상황, 질문, 옵션은 LLM 파이프라인을 사용하여 생성됩니다. 두 가지 접근 방식을 비교합니다: GPT-2 + BART와 GPT-2 + GPT-2로, 두 파이프라인 간에 공통적으로 사용되는 첫 번째 GPT-2가 비지도 사회적 상황 생성에 사용됩니다. 저희는 모든 LLM 파이프라인을 미세 조정하기 위해 SOCIALIQA 데이터 세트를 사용합니다. 그 결과, 개별 손실 함수를 결합하여 질문과 옵션을 생성할 때 GPT-2 + BART 파이프라인이 더 나은 BERT 점수를 얻는다는 사실을 발견했습니다. 이러한 관찰 결과는 사람이 직접 평가한 결과와도 일치했습니다. 마지막으로, 비지도에 의한 사회적 상황 생성을 T-SNE 플롯을 사용하여 시각화하고, 전체 파이프라인이 자폐 아동에게 적합한지 전문가에 의해 평가했습니다. [abs|pdf]

[78/106] Vertical Symbolic Regression via Deep Policy Gradient

Keywords: vertical_symbolic_regression, symbolic_regressors_deep, regression_using_deep
Abstract: 최근 실험 데이터에서 독립 변수가 많은 기호 방정식을 빠르게 발견하기 위해 수직 기호 회귀(VSR)가 제안되었습니다. VSR은 독립 변수의 하위 집합을 포함하는 환원 방정식에서 본격적인 방정식으로 구축함으로써 수직적 발견 경로에 따른 검색 공간을 줄입니다. 많은 기호적 회귀에 의해 성공적으로 입증된 심층 신경망은 VSR을 더욱 확장할 것으로 예상됩니다. 하지만 VSR을 심층 신경망과 직접 결합하면 기울기를 통과하기 어렵고 기타 엔지니어링 문제가 발생할 수 있습니다. 유니티는 딥 정책 그라디언트를 이용한 수직 기호 회귀(VSR-DPG)를 제안하고, VSR-DPG가 딥 강화 학습 기반 접근 방식과 이전의 VSR 변형 방식을 훨씬 뛰어넘어 여러 입력 변수가 포함된 실측 방정식을 복구할 수 있음을 입증합니다. 유니티의 VSR-DPG는 기호 회귀를 순차적 의사 결정 과정으로 모델링하며, 문법 규칙을 반복적으로 적용해 방정식을 구축합니다. 통합된 딥 모델은 정책 그라데이션 목표를 최대화하도록 학습됩니다. 실험 결과는 일련의 벤치마크에서 대수 방정식과 일반 미분 방정식을 모두 식별하는 데 있어 VSR-DPG가 널리 사용되는 기준선보다 훨씬 뛰어난 성능을 발휘한다는 것을 보여줍니다. [abs|pdf]

[79/106] Efficient Non-Parametric Uncertainty Quantification for Black-Box Large Language Models and Decision Planning

Keywords: planning_uncertainty_estimation, decision_planning_uncertainty, planning_uncertainty
Abstract: 대규모 언어 모델(LLM)을 사용한 단계별 의사 결정 계획이 AI 에이전트 개발에서 주목받고 있습니다. 이 백서에서는 언어 모델의 환각 문제를 해결하기 위해 불확실성 추정을 통한 의사 결정 계획에 초점을 맞춥니다. 기존의 접근 방식은 화이트박스 방식이거나 계산이 까다로워 예산 범위 내에서 블랙박스 전용 LLM을 사용하는 데 한계가 있습니다. 이 백서의 첫 번째 기여는 LLM을 위한 비모수적 불확실성 정량화 방법으로, 토큰 로그에 액세스하지 않고도 단일 추론으로 입력-결정 간의 포인트별 의존성을 즉석에서 효율적으로 추정하는 것입니다. 이 추정기는 의사 결정의 신뢰도에 대한 통계적 해석에 정보를 제공합니다. 두 번째 기고문은 '목욕하기'와 같은 사용자 프롬프트에 따라 '화장실 불 켜기'와 같은 행동을 생성하는 의사결정 에이전트의 체계적인 설계에 대한 개요를 설명합니다. 두 가지 이상의 동작이 포인트별 종속성이 높을 경우 사용자에게 선호도를 입력하라는 메시지가 표시됩니다. 결론적으로 유니티의 불확실성 추정 및 의사결정 에이전트 설계는 AI 에이전트 개발을 위한 비용 효율적인 접근 방식을 제공합니다. [abs|pdf]

[80/106] Are Generative AI systems Capable of Supporting Information Needs of Patients?

Keywords: visual_question_answering, patient_facing_generative, generative_visual_language
Abstract: 암과 같은 복잡한 질병을 관리하는 환자는 질병에 대해 알아야 할 뿐만 아니라 질병을 관리하는 방법도 배워야 하는 복잡한 정보 문제에 직면합니다. 의료 전문가(방사선 전문의, 종양 전문의)와의 긴밀한 상호 작용을 통해 환자의 학습 능력을 향상시켜 질병 치료 결과를 개선할 수 있습니다. 하지만 이러한 접근 방식은 리소스 집약적이며 전문가가 다른 중요한 업무에 할애할 수 있는 시간을 빼앗아갑니다. 최근 의료 시스템 개선을 목표로 하는 생성형 AI 모델의 발전을 고려할 때, 본 연구에서는 생성형 시각적 질의응답 시스템이 방사선 영상 데이터의 맥락에서 환자의 정보 요구를 책임감 있게 지원할 수 있는지 여부와 그 방법을 조사했습니다. 참가자들이 가상의 가까운 친척의 흉부 컴퓨터 단층촬영(CT) 스캔 및 관련 방사선 보고서에 대해 흉부 방사선 전문의와 논의하는 형성적 니즈 찾기 연구를 수행했습니다. 참가자와 의료 전문가 간의 대화에 대한 주제별 분석을 통해 의학 용어의 명확한 이해, 스캔 이미지에서 보고서에 언급된 문제 찾기, 질병 예후 이해, 다음 진단 단계 논의, 치료 옵션 비교 등 상호작용 전반에 걸쳐 공통적으로 나타나는 주제를 파악했습니다. 이러한 주제를 바탕으로 두 가지 최첨단 생성 시각 언어 모델을 방사선 전문의의 답변과 비교하여 평가했습니다. 그 결과 다양한 주제에 걸쳐 모델에 의해 생성된 응답의 품질이 다양하다는 것을 알 수 있었습니다. 이를 통해 다양한 대화 주제를 수용하고 환자의 실제 정보 니즈를 충족하는 환자 대면형 생성 AI 시스템의 중요성을 강조합니다. [abs|pdf]

[81/106] Learning Label Hierarchy with Supervised Contrastive Learning

Keywords: supervised_contrastive, leveraging_similarities_classes, learnable_label
Abstract: 지도 대조 학습(SCL) 프레임워크는 각 클래스를 독립적인 것으로 취급하므로 모든 클래스가 똑같이 중요하다고 간주합니다. 이는 같은 카테고리에 속하는 세분화된 클래스가 매우 다른 클래스보다 더 많은 유사성을 보이는 라벨 계층 구조가 존재하는 일반적인 시나리오를 무시합니다. 이 백서에서는 클래스 간의 유사성을 활용하여 계층 정보를 SCL에 통합함으로써 보다 잘 구조화되고 변별력 있는 특징 공간을 생성하는 라벨 인식 SCL 방법(LASCL) 제품군을 소개합니다. 이는 먼저 확장된 인스턴스 간 대비를 통해 클래스의 근접성 측정을 기반으로 인스턴스 간 거리를 조정함으로써 달성됩니다. 추가적으로 인스턴스 중심 대비를 도입하여 클래스 내 예제를 학습 가능한 라벨 파라미터 세트로 표시되는 중심에 더 가깝게 이동시킵니다. 학습된 라벨 파라미터는 추가적인 미세 조정 없이 바로 최인접 분류기로 사용할 수 있습니다. 이러한 방식으로, 클러스터 내 소형화 및 클러스터 간 분리가 개선되어 더 나은 특징 표현이 생성됩니다. 세 가지 데이터 세트에 대한 실험 결과, 제안된 LASCL은 다중 레이블 중에서 단일 레이블을 구별하는 텍스트 분류에서 잘 작동하며 기본 지도 방식보다 뛰어난 성능을 보였습니다. 코드는 공개적으로 사용 가능합니다. [abs|pdf]

[82/106] FedCore: Straggler-Free Federated Learning with Distributed Coresets

Keywords: federated_learning, federated_learning_fl, fedcore_algorithm_innovatively
Abstract: 연합 학습(FL)은 여러 클라이언트가 데이터를 온프레미스에 유지하면서 공유 모델을 공동으로 학습할 수 있는 머신 러닝 패러다임입니다. 그러나 느린 클라이언트로 인한 지연 문제는 종종 FL의 효율성과 확장성을 저해합니다. 이 백서에서는 데이터 집합의 대표 하위 집합인 코어셋을 분산적으로 선택해 지연 문제를 혁신적으로 해결하는 알고리즘인 FedCore를 소개합니다. 기존의 중앙집중식 코어셋 방식과 달리 FedCore는 분산된 방식으로 각 클라이언트에서 직접 코어셋을 생성하여 FL에서 프라이버시 보호를 보장합니다. FedCore는 코어셋 최적화 문제를 보다 추적 가능한 K-메도이드 클러스터링 문제로 변환하고 각 클라이언트에서 분산적으로 작동합니다. 이론적 분석 결과 FedCore의 수렴성이 확인되었으며, 실제 평가 결과 모델 정확도 저하 없이 FL 훈련 시간이 8배 단축되는 것으로 나타났습니다. 또한 광범위한 평가에 따르면 FedCore는 기존 FL 프레임워크에 잘 일반화되는 것으로 나타났습니다. [abs|pdf]

[83/106] Improving Object Detection Quality in Football Through Super-Resolution Techniques

Keywords: detection_accuracy_football, resolution_techniques_football, football_match_footage
Abstract: 이 연구는 축구에서 물체 감지 정확도를 향상시키는 데 있어 초고해상도 기술의 잠재력을 탐구합니다. 빠르게 진행되는 스포츠의 특성과 분석 및 방송에서 정확한 물체(예: 공, 선수) 추적이 매우 중요하다는 점을 고려할 때 초고해상도는 상당한 개선 효과를 제공할 수 있습니다. 소니는 초고해상도를 통한 고급 이미지 처리가 축구 경기 영상을 처리할 때 객체 감지 알고리즘의 정확성과 신뢰성에 어떤 영향을 미치는지 조사했습니다.
방법론은 SoccerNet의 다양한 축구 경기 영상에 최첨단 초고해상도 기법을 적용한 다음 Faster R-CNN을 사용하여 객체를 감지하는 방식으로 진행되었습니다. 이러한 알고리즘의 성능은 초고해상도 향상 기능의 적용 여부와 관계없이 감지 정확도 측면에서 엄격하게 평가되었습니다.
그 결과, 초고해상도 전처리를 적용했을 때 물체 감지 정확도가 현저히 향상되는 것으로 나타났습니다. 초고해상도 기술의 통합을 통한 물체 감지 개선은 특히 저해상도 시나리오에서 상당한 이점을 제공하며, RLFN을 사용하여 해상도를 4배 증가시켰을 때 320x240 크기 이미지의 경우 0.50:0.95의 IoU(Intersection over Union) 범위에서 평균 평균 정밀도(mAP)가 12% 증가하는 놀라운 결과를 보였습니다. 크기가 커질수록 개선의 정도는 더 완만해지지만, 감지 품질이 눈에 띄게 개선된 것은 일관되게 나타납니다. 또한 이러한 연구 결과가 실시간 스포츠 분석, 선수 추적 및 전반적인 시청 경험에 미치는 영향에 대해 논의합니다. 이 연구는 축구 분석 및 방송에 초고해상도 기술을 통합할 때 얻을 수 있는 실질적인 이점과 한계를 보여줌으로써 스포츠 기술 분야의 성장에 기여하고 있습니다. [abs|pdf]

[84/106] Decomposable Submodular Maximization in Federated Setting

Keywords: decomposable_submodular_optimization, optimization_decomposable_submodular, maximization_optimization_decomposable
Abstract: 서브모듈러 함수와 분해 가능한 서브모듈러 함수의 하위 클래스, 그리고 그 최적화는 머신러닝, 추천 시스템, 후생 극대화 등 다양한 분야에서 활용되고 있습니다. 그러나 수백만 개의 구성 함수가 있는 분해 가능한 서브모듈러 함수를 최적화하는 것은 계산적으로 매우 어렵습니다. 또한, 구성 요소 함수는 사적인 것일 수 있으며(예를 들어 사용자 선호도 함수를 나타낼 수 있음), 널리 공유할 수 없습니다. 이러한 문제를 해결하기 위해 분해 가능한 서브모듈 최적화를 위한 연합 최적화 설정을 제안합니다. 이 설정에서는 클라이언트가 각자의 선호 함수를 가지며, 이러한 선호 함수의 가중치 합을 최대화해야 합니다. 이 설정에서는 클라이언트가 로컬 솔루션을 향해 작은 로컬 단계를 병렬로 수행한 다음 로컬 변경 사항을 중앙 서버에서 집계하는 널리 사용되는 continuous greedy 알고리즘을 구현합니다. 많은 수의 클라이언트를 처리하기 위해 집계는 서브샘플링된 집합에 대해서만 수행됩니다. 또한 병렬로 진행되는 로컬 단계 사이에 간헐적으로만 집계가 수행되므로 통신 비용이 크게 절감됩니다. 위의 비용 절감 방안이 있는 경우에도 연합 알고리즘이 좋은 근사 솔루션을 제공한다는 것을 보여줍니다. 마지막으로, 최대 커버리지 및 시설 위치와 같은 기본적인 이산적 서브모듈 최적화 문제를 해결하는 데 연합 설정을 통합하는 방법을 보여줍니다. [abs|pdf]

[85/106] A Reinforcement Learning Based Controller to Minimize Forces on the Crutches of a Lower-Limb Exoskeleton

Keywords: learning_develop_locomotion, proximal_policy_optimization, locomotion_controller_minimizes
Abstract: 하체는 수동적인 것으로 간주되기 때문에 전동 하지 외골격 사용자의 신진대사 에너지 소비는 주로 상체의 노력에서 비롯됩니다. 그러나 모션 컨트롤러를 설계할 때 사용자의 상체 노력은 문헌에서 대부분 무시됩니다. 이 연구에서는 심층 강화 학습을 사용하여 목발의 지면 반력(GRF)을 최소화하는 동작 컨트롤러를 개발합니다. GRF를 최소화하는 이유는 사용자의 상체 힘을 줄이기 위해서입니다. 이에 따라 목발을 사용하는 인간 외골격 시스템을 위한 모델과 학습 프레임워크를 설계합니다. 우리는 물리적 로봇의 사전 결정된 제약을 만족시키면서 인간 외골격 시스템의 전방 변위를 장려하기 위한 보상 함수를 공식화합니다. 다양한 하이퍼파라미터와 네트워크 아키텍처를 갖춘 MuJoCo 물리 시뮬레이터에서 최첨단 심층 강화 학습(RL) 방법인 근위 정책 최적화를 사용하여 새로운 프레임워크를 여러 번의 실험을 통해 평가합니다. 유니티의 학습 모델이 발과 목발 끝의 관절 각도, 속도, GRF를 기반으로 관절 토크를 생성할 수 있음을 실증적으로 보여줍니다. 그 결과 외골격 모델은 RL 프레임워크에 따라 상태로부터 관절 토크를 직접 생성할 수 있습니다. 마지막으로, 이 방법을 사용하여 훈련된 정책이 기준선 대비 GRF가 35% 감소한 걸음걸이를 생성할 수 있음을 실증적으로 보여줍니다. [abs|pdf]

[86/106] Deep Neural Networks: A Formulation Via Non-Archimedean Analysis

Keywords: dnns_multilayered_tree, rings_dnns_robust, dnns_robust_universal
Abstract: 다층 트리형 구조를 가진 새로운 종류의 심층 신경망(DNN)을 소개합니다. 이 아키텍처는 아르침데안이 아닌 지역 필드의 정수 고리에서 나온 숫자를 사용하여 코드화됩니다. 이러한 고리는 무한한 뿌리를 가진 나무처럼 자연스러운 계층 구조를 가지고 있습니다. 이러한 고리의 자연스러운 형태를 통해 유한한 다층 구조를 구축할 수 있습니다. 새로운 DNN은 앞서 언급한 고리에 정의된 실수값 함수의 강력한 범용 근사치입니다. 또한 DNN이 단위 간격으로 정의된 실수값 정사각형 적분 가능 함수의 강력한 보편적 근사치임을 보여줍니다. [abs|pdf]

[87/106] Episodic-free Task Selection for Few-shot Learning

Keywords: episodic_training_framework, training_framework_episodic, meta_training_framework
Abstract: 에피소드 훈련은 소량 학습을 위한 주류 훈련 전략입니다. 그러나 소수 샷 시나리오에서 이 전략은 훈련 조건이 테스트 조건과 일치해야 한다는 원칙에 도전하는 이웃 구성 요소 분석(NCA)과 같은 일부 비에피소드 훈련 전략보다 열등한 경우가 많습니다. 따라서 더 나은 소수의 샷 학습을 위해 에피소드가 없는 작업을 검색하는 방법은 무엇일까라는 질문이 자연스럽게 제기됩니다 이 연구에서는 에피소드 훈련을 넘어서는 새로운 메타 훈련 프레임워크를 제안합니다. 이 프레임워크에서 에피소드 작업은 훈련에 직접 사용되는 것이 아니라 메타 학습자 훈련을 위해 수행되는 작업 세트에서 일부 선택된 에피소드 없는 작업의 효과를 평가하는 데 사용됩니다. 선택 기준은 선택된 과제로 훈련한 후 목표 과제를 실행했을 때 손실이 감소하는 정도를 측정하는 선호도로 설계되었습니다. 실험에서 훈련 과제 세트에는 대비 학습 및 분류와 같은 몇 가지 유망한 유형이 포함되어 있으며, 목표 소수의 과제는 미니이미지넷, 계층화된 이미지넷, CIFAR-FS 데이터 세트에서 가장 가까운 중심 분류기를 사용하여 달성됩니다. 실험 결과는 우리의 접근 방식이 효과적임을 보여줍니다. [abs|pdf]

[88/106] SCAPE: Searching Conceptual Architecture Prompts using Evolution

Keywords: highly_creative_exploration, creative_exploration, generative_ai_enables
Abstract: 개념 건축은 건축가가 건물의 근본적인 새로운 형태, 재료, 질감, 색상을 고려할 때 종종 다른 분야에서 가져온 새로운 아이디어를 고도로 창의적으로 탐구하는 것을 포함합니다. 오늘날의 제너레이티브 AI 시스템은 놀라운 결과를 만들어낼 수 있지만, 진화 알고리즘이 수십 년 동안 입증한 창의성에는 미치지 못합니다. 유니티가 제안한 툴인 SCAPE는 진화적 검색과 생성적 AI를 결합하여 사용자가 간단한 포인트 앤 클릭 인터페이스를 통해 초기 입력에서 영감을 얻은 창의적이고 우수한 품질의 디자인을 탐색할 수 있도록 지원합니다. SCAPE는 제너레이티브 AI에 무작위성을 주입하고 메모리를 활성화하여 텍스트 기반 돌연변이 및 크로스오버를 통해 프롬프트를 변경할 수 있는 GPT-4의 내장된 언어 기술을 활용합니다. DALL-E 3과 비교했을 때 SCAPE는 이미지 신규성이 67% 향상되고 품질과 사용 효율성이 개선되었으며, 단 3번의 반복으로 이미지 신규성이 24% 증가하여 효과적인 탐색과 사용자에 의한 이미지 최적화가 가능하다는 것을 보여줍니다. 20명 이상의 독립적인 아키텍트를 통해 SCAPE를 평가하고 있으며, 이들은 현저히 긍정적인 피드백을 제공합니다. [abs|pdf]

[89/106] Retrosynthesis prediction enhanced by in-silico reaction data augmentation

Keywords: training_data_chemical, retrosynthesis_models_data, reaction_generation_augmentation
Abstract: 최근 머신러닝(ML)의 발전은 화학자들이 실험을 보다 효율적으로 설계할 수 있도록 지원함으로써 역합성 연구를 가속화했습니다. 그러나 모든 ML 기반 방법은 상당한 양의 쌍을 이루는 훈련 데이터(예: 화학 반응: 생성물-반응물 쌍)를 소비하며, 이는 확보하는 데 많은 비용이 듭니다. 게다가 기업들은 반응 데이터를 귀중한 자산으로 간주하여 연구자의 접근성을 제한합니다. 이러한 문제들은 데이터 기반의 특성상 더 강력한 역합성 모델을 만드는 데 방해가 됩니다. 이에 대한 해결책으로, 접근하기 쉬운 비페어링 데이터(즉, 생성물-반응물 쌍의 한 구성 요소)를 활용하여 인실리코 페어링 데이터를 생성함으로써 모델 학습을 용이하게 합니다. 특히, 실제 페어링된 데이터에서 추론된 기본 모델을 사용하여 비페어링된 데이터를 사용하여 인실리코 반응 생성 및 증강을 수행함으로써 궁극적으로 우수한 모델을 생성하는 자체 부스팅 프레임워크인 RetroWISE를 소개합니다. 세 가지 벤치마크 데이터 세트에서 RetroWISE는 최첨단 모델에 비해 전반적으로 최고의 성능을 달성했습니다(예: USPTO-50K 테스트 데이터 세트에서 +8.6%의 상위 1% 정확도). 또한 드문 변형에 대한 예측 정확도를 지속적으로 향상시킵니다. 이러한 결과는 Retro- WISE가 인실리코 반응에 의한 학습 병목 현상을 극복하여 보다 효과적인 ML 기반 역합성 모델을 향한 길을 열었음을 보여줍니다. [abs|pdf]

[90/106] Scheduled Curiosity-Deep Dyna-Q: Efficient Exploration for Dialog Policy Learning

Keywords: scheduled_learning_curiosity, reinforcement_learning_dialog, learning_dialog
Abstract: 강화 학습을 기반으로 작업 지향 대화 에이전트를 훈련하려면 시간이 많이 걸리고 실제 사용자와의 수많은 상호작용이 필요합니다. 제한된 대화 경험 내에서 대화 정책을 파악하는 방법은 에이전트 훈련 프로세스의 효율성을 떨어뜨리는 장애물로 남아 있습니다. 또한, 기존 프레임워크는 대부분 훈련 샘플을 무작위로 선택하여 훈련을 시작하는데, 이는 사람의 학습 방식과 달라 훈련의 효율성과 안정성을 저해합니다. 따라서 본 논문에서는 최첨단 모델 기반 강화학습 대화 모델인 딥 다이나큐(DDQ)를 기반으로 한 호기심 기반 커리큘럼 학습 프레임워크인 SC-DDQ(Scheduled Curiosity-Deep Dyna-Q)를 제안합니다. 또한 전통적인 커리큘럼 학습과 그 반대 버전인 두 가지 상반된 훈련 전략에 따라 SC-DDQ와 DDQ의 학습 스케줄을 각각 설계했습니다. 연구 결과, 스케줄링 학습과 호기심을 도입한 새로운 프레임워크가 DDQ와 딥 큐 러닝(DQN)에 비해 상당한 개선을 가져온다는 것을 알 수 있었습니다. 놀랍게도 전통적인 커리큘럼 학습이 항상 효과적인 것은 아니라는 사실을 발견했습니다. 특히 실험 결과에 따르면 쉬운 것부터 먼저 학습하는 전략과 어려운 것부터 먼저 학습하는 전략이 SC-DDQ와 DDQ에 더 적합한 것으로 나타났습니다. 결과를 분석하기 위해 행동 탐색을 묘사하기 위해 샘플링된 행동의 엔트로피를 도입한 결과, 첫 번째 단계에서는 엔트로피가 높고 마지막 단계에서는 엔트로피가 낮은 훈련 전략이 더 나은 성과를 가져온다는 것을 발견했습니다. [abs|pdf]

[91/106] EPSD: Early Pruning with Self-Distillation for Efficient Model Compression

Keywords: training_pruned_networks, neural_network_compression, improves_training_pruned
Abstract: 지식 증류(KD) 및 네트워크 가지치기와 같은 신경망 압축 기법이 점점 더 많은 관심을 받고 있습니다. 최근 연구인 '가지치기 후 증류'는 가지치기를 거친 학생 친화적인 교사 네트워크가 KD의 성능에 도움이 될 수 있다는 사실을 밝혀냈습니다. 그러나 교사에 대한 번거로운 사전 교육과 복잡한 압축 단계를 수반하는 기존의 교사-학생 파이프라인은 KD를 통한 가지치기의 효율성을 떨어뜨립니다. 압축 모델 외에도 최근의 압축 기술은 효율성 측면을 강조합니다. 조기 가지치기는 사전 학습된 대규모 모델이 필요하지 않기 때문에 기존 가지치기 방식에 비해 계산 비용이 훨씬 적게 듭니다. 마찬가지로 자가 증류(SD)로 알려진 KD의 특수한 사례는 사전 훈련이나 학생-교사 쌍 선택이 필요하지 않으므로 더 효율적입니다. 따라서 효율적인 모델 압축을 위해 조기 가지치기를 SD와 협업하는 것이 좋습니다. 이 작업에서는 주어진 SD 작업에 대한 조기 가지치기를 할 때 증류 가능한 가중치를 식별하고 보존하는 조기 가지치기를 통한 자체 증류(EPSD)라는 프레임워크를 제안합니다. EPSD는 조기 가지치기와 자가 증류를 2단계 프로세스로 효율적으로 결합하여 가지치기된 네트워크의 압축을 위한 훈련성을 유지합니다. 가지치기와 SD의 단순한 조합 대신, EPSD는 가지치기된 네트워크의 더 나은 증류를 보장하기 위해 훈련 전에 증류 가능한 가중치를 더 많이 유지함으로써 가지치기된 네트워크가 SD를 선호하도록 합니다. 저희는 시각적 및 정량적 분석을 통해 EPSD가 가지치기된 네트워크의 트레이닝을 개선한다는 사실을 입증했습니다. 다양한 벤치마크(CIFAR-10/100, Tiny-ImageNet, 전체 이미지넷, CUB-200-2011, 파스칼 VOC)를 통해 평가한 결과, EPSD는 고급 가지치기 및 SD 기법보다 우수한 성능을 보였습니다. [abs|pdf]

[92/106] EvoMerge: Neuroevolution for Large Language Models

Keywords: large_language_models, large_language_model, tuning_large_language
Abstract: 대규모 언어 모델을 광범위하게 미세 조정한다고 해서 항상 더 나은 결과를 얻을 수 있는 것은 아닙니다. 종종 모델은 더 나은 추론 능력을 얻지 못한 채 한 가지 형태의 데이터를 모방하는 데만 능숙해지는 경향이 있으며, 심지어 일부 지능을 잃을 수도 있습니다. 여기서는 대규모 언어 모델 훈련 및 병합에 대한 체계적인 접근 방식인 EvoMerge를 소개합니다. 가중치 크로스오버를 위한 모델 병합과 가중치 변이를 위한 미세 조정을 활용하는 EvoMerge는 기존의 미세 조정의 한계를 뛰어넘어 모델을 발전시키는 것을 목표로 하는 진화 프로세스를 구축합니다. [abs|pdf]

[93/106] Using the Abstract Computer Architecture Description Language to Model AI Hardware Accelerators

Keywords: ai_hardware_accelerators, model_ai_hardware, parameterizable_ai_hardware
Abstract: 인공 지능(AI)은 특히 심층 신경망(DNN)의 확산을 통해 괄목할 만한 성장을 이루었습니다. 이러한 강력한 모델은 다양한 영역에서 기술 발전을 주도하고 있습니다. 그러나 실제 애플리케이션에서 이러한 잠재력을 활용하려면 특수 하드웨어 가속기가 필수적입니다. 이러한 수요는 여러 공급업체에서 제공하는 매개변수화 가능한 AI 하드웨어 가속기 시장을 촉발시켰습니다.
AI 통합 제품 제조업체는 제품의 성능 요구사항에 맞는 가속기를 선택해야 하는 중요한 과제에 직면해 있습니다. 이 결정에는 올바른 하드웨어를 선택하고 적절한 매개변수 세트를 구성하는 것이 포함됩니다. 하지만 다양한 가속기 설계 대안을 비교하는 것은 여전히 복잡한 작업입니다. 종종 엔지니어는 데이터 시트, 스프레드시트 계산 또는 느린 블랙박스 시뮬레이터에 의존하는데, 이는 성능 특성에 대한 대략적인 이해만 제공합니다.
추상 컴퓨터 아키텍처 설명 언어(ACADL)는 컴퓨터 아키텍처 블록 다이어그램을 간결하게 형식화한 것으로, 다양한 추상화 수준에서 컴퓨터 아키텍처를 전달하고 성능 특성을 유추할 수 있도록 도와줍니다. 이 백서에서는 ACADL을 사용하여 AI 하드웨어 가속기를 모델링하고, ACADL 설명을 사용하여 DNN을 매핑하고, 성능 결과를 수집하기 위한 타이밍 시뮬레이션 시맨틱을 설명하는 방법을 보여줍니다. [abs|pdf]

[94/106] GPT4Battery: An LLM-driven Framework for Adaptive State of Health Estimation of Raw Li-ion Batteries

Keywords: battery_estimation, estimation_diverse_batteries, battery_estimation_provide
Abstract: 배터리 상태(SOH)는 배터리의 열화 수준을 평가하는 중요한 지표로, 직접 측정할 수는 없지만 추정이 필요합니다. 정확한 SOH 추정은 리튬 이온 배터리의 감지, 제어 및 피드백을 향상시켜 안전하고 효율적인 에너지 관리를 가능하게 하고 차세대 배터리 개발의 지침이 됩니다. 데이터 기반 SOH 추정에 상당한 진전이 있었음에도 불구하고, 평생 학습 데이터를 생성하기 위한 열화 실험에 많은 시간과 리소스가 소요되어 다양한 유형의 리튬 이온 배터리(예: 교차 화학, 교차 제조업체, 교차 용량)를 처리할 수 있는 하나의 대형 모델을 구축하는 데 어려움이 있습니다. 따라서 이 논문에서는 대규모 언어 모델(LLM)의 강력한 일반화 기능을 활용하여 다양한 배터리에 걸쳐 적응 가능한 SOH 추정을 위한 새로운 프레임워크를 제안합니다. 레이블이 지정되지 않은 데이터가 순차적으로 사용 중이며 분포가 변화하는 실제 시나리오와 일치하도록 제안된 모델을 테스트 시간 훈련 기법으로 수정하여 배터리 수명이 다한 상태에서도 추정 정확도를 보장합니다. 검증 결과는 제안된 프레임워크가 62개의 배터리에서 수집된 널리 알려진 4개의 데이터 세트에서 최첨단 정확도를 달성했음을 보여줍니다. 또한 배터리 간 추정의 이론적 과제를 분석하고 이 방법의 효과에 대한 정량적 설명을 제공합니다. [abs|pdf]

[95/106] TrackGPT -- A generative pre-trained transformer for cross-domain entity trajectory forecasting

Keywords: entity_trajectory_forecasting, forecasting_entity_trajectories, forecasting_entity
Abstract: 미래 시점의 개체 궤적 예측은 상업 및 국방 부문의 애플리케이션에서 중요한 역량 격차입니다. 트랜스포머, 특히 생성적 사전 훈련 트랜스포머(GPT) 네트워크는 최근 OpenAI의 ChatGPT와 같은 대규모 언어 모델(LLM)의 등장으로 인공지능의 여러 분야, 특히 자연어 처리(NLP)에 혁명을 일으켰습니다. 이 연구 논문에서는 해상과 항공 영역 모두에서 유용성을 입증했으며 다른 영역에서도 우수한 성능을 발휘할 것으로 기대되는 GPT 기반 개체 궤적 예측 모델인 TrackGPT를 소개합니다. TrackGPT는 다양한 개체 시계열 데이터 세트에서 정확한 예측을 생성할 수 있는 선구적인 GPT 모델로, 지속적인 정확도의 장기 예측과 높은 정밀도의 단기 예측을 모두 생성하는 데 능숙함을 보여줍니다. 최신 딥러닝 기법에 대한 벤치마크를 제시하여 정확성, 신뢰성, 모듈성 측면에서 TrackGPT의 예측 기능이 탁월함을 보여줍니다. 중요한 점은 TrackGPT가 도메인에 구애받지 않고 최소한의 데이터 기능(위치와 시간만)만 필요로 하면서도 비슷한 성능을 달성한다는 점입니다. 결론적으로, 이번 연구 결과는 혁신적인 TrackGPT 모델로 대표되는 물체 궤적 예측 작업에 GPT 아키텍처를 적용할 수 있는 엄청난 잠재력을 강조합니다. [abs|pdf]

[96/106] FengWu-GHR: Learning the Kilometer-scale Medium-range Global Weather Forecasting

Keywords: global_weather_forecasting, weather_forecasting_models, weather_forecasting_model
Abstract: 지구 대기 역학에 대한 킬로미터 단위의 모델링은 세밀한 일기 예보를 가능하게 하고 재난성 기상 및 기후 활동의 위험을 줄여줍니다. 따라서 킬로미터 규모의 전 지구 예보 모델을 구축하는 것은 기상학 분야에서 지속적으로 추구하고 있는 과제입니다. 지난 수십 년 동안 수치 기상 모델의 공간 해상도를 개선하기 위한 국제적인 노력이 활발히 진행되어 왔습니다. 그럼에도 불구하고 더 높은 해상도의 수치 모델을 개발하는 것은 컴퓨팅 리소스의 막대한 소비로 인해 오랜 과제로 남아 있습니다. 최근 데이터 기반 전 세계 기상 예보 모델의 발전으로 재분석 데이터를 모델 훈련에 활용하며 수치 모델과 비슷하거나 더 높은 예측 능력을 입증했습니다. 그러나 이 모델들은 모두 재분석 데이터의 해상도에 제한을 받아 더 높은 해상도의 예보를 생성할 수 없습니다. 이 연구에서는 0.09$^{\circ}$ 수평 해상도로 실행되는 최초의 데이터 기반 전 세계 일기 예보 모델인 FengWu-GHR을 소개합니다. 펑우-GHR은 사전 학습된 저해상도 모델로부터 사전 지식을 상속받아 ML 기반 고해상도 예보를 운영할 수 있는 새로운 접근 방식을 도입했습니다. 2022년 일기예보 후예측에 따르면 FengWu-GHR은 IFS-HRES보다 우수한 것으로 나타났습니다. 또한 관측소 관측에 대한 평가와 기상이변에 대한 사례 연구는 고해상도에서 FengWu-GHR의 경쟁력 있는 운영 예측 기술을 뒷받침합니다. [abs|pdf]

[97/106] Detecting Multimedia Generated by Large AI Models: A Survey

Keywords: detecting_multimedia_generated, research_detecting_multimedia, detecting_multimedia_text
Abstract: 확산 모델과 대규모 언어 모델 등 대규모 인공지능 모델(LAIM)의 급속한 발전으로 인공지능이 생성한 멀티미디어가 일상 생활의 다양한 측면에 점점 더 많이 통합되는 새로운 시대가 열렸습니다. 이러한 콘텐츠는 여러 분야에서 유용하지만 오용 가능성, 사회적 혼란, 윤리적 문제 등 상당한 위험을 내포하고 있습니다. 따라서 LAIM에 의해 생성된 멀티미디어를 탐지하는 것이 중요해졌으며 관련 연구도 눈에 띄게 증가하고 있습니다. 그럼에도 불구하고 LAIM으로 생성된 멀티미디어를 탐지하는 데 초점을 맞춘 체계적인 조사에는 현저한 격차가 존재합니다. 이러한 문제를 해결하기 위해 본 조사에서는 LAIM에 의해 생성된 멀티미디어(텍스트, 이미지, 비디오, 오디오, 멀티모달 콘텐츠 등) 탐지에 관한 기존 연구를 포괄적으로 다루는 최초의 설문조사를 제공합니다. 특히, 미디어 형식별로 분류하고 순수 탐지(탐지 성능 향상을 목표로 함)와 탐지 이상의 탐지(일반화 가능성, 견고성, 해석 가능성 등의 속성을 탐지기에 추가)라는 두 가지 관점에 맞춰 탐지 방법에 대한 새로운 분류법을 소개합니다. 또한, 이 분야의 연구자와 실무자에게 유용한 리소스를 제공하기 위해 생성 메커니즘, 공개 데이터 세트, 온라인 탐지 도구에 대한 간략한 개요를 제시했습니다. 또한, 현재 탐지 관련 도전 과제를 파악하고 LAIM에 의해 생성된 멀티미디어를 탐지하는 데 있어 미개척, 진행 중이거나 새롭게 떠오르는 문제를 해결하기 위한 향후 연구 방향을 제안합니다. 이 설문조사의 목표는 학문적 격차를 메우고 글로벌 AI 보안 노력에 기여하여 디지털 영역에서 정보의 무결성을 보장하는 데 도움을 주는 것입니다. 프로젝트 링크는 이 https URL입니다. [abs|pdf]

[98/106] Catalyzing Equity in STEM Teams: Harnessing Generative AI for Inclusion and Diversity

Keywords: inclusion_stem_teams, teamwork_stem_explores, stem_team_diversity
Abstract: 다학제적 팀 연구를 통해 복잡한 문제를 해결할 수 있는 STEM 분야에서는 협업이 핵심입니다. 그러나 STEM 분야의 불평등은 소외된 학생들이 경험하는 지속적인 심리적 장벽으로 인해 잠재력을 최대한 발휘하는 데 방해가 됩니다. 이 백서에서는 STEM 분야의 팀워크에 대해 설명하고, STEM 팀의 다양성과 포용성을 증진하는 데 있어 컴퓨팅 모델링과 제너레이티브 AI의 혁신적 잠재력을 탐구합니다. 이 백서에서는 제너레이티브 AI를 활용하여 다양성, 형평성, 포용성을 증진하기 위한 두 가지 주요 영역을 간략하게 설명합니다. 첫째, 포용적 분석으로 협업 평가를 공식화하면 학습자의 행동을 세밀하게 파악할 수 있습니다. 둘째, 적응형 개인화 AI 시스템은 STEM 팀의 다양성과 포용성을 지원할 수 있습니다. 공식화된 협업 기술 평가, 포용적 분석, 사회인지 연구를 위한 자금 지원, 포용성 교육을 위한 인간-AI 팀 구성 등 네 가지 정책 권장사항이 AI의 역량을 강조합니다. 연구자, 교육자, 정책 입안자는 공평한 STEM 생태계를 구축할 수 있습니다. 이 로드맵은 AI로 강화된 협업을 발전시켜 공동의 과학적 노력 안에서 다양한 목소리가 적극적으로 장려되고 경청되는 STEM의 미래에 대한 비전을 제시합니다. [abs|pdf]

[99/106] Why does Prediction Accuracy Decrease over Time? Uncertain Positive Learning for Cloud Failure Prediction

Keywords: cloud_failure_prediction, improve_failure_prediction, ensure_reliability_cloud
Abstract: 클라우드 컴퓨팅의 급속한 성장과 함께 다양한 소프트웨어 서비스가 클라우드에 배포되고 있습니다. 클라우드 서비스의 안정성을 보장하기 위해 기존 연구에서는 장애 인스턴스(디스크, 노드, 스위치 등) 예측에 중점을 두고 있습니다. 예측 결과가 긍정적으로 나오면 근본적인 장애를 신속하게 해결하기 위해 완화 조치를 취합니다. Microsoft Azure의 실제 사례에 따르면, 모델을 재학습한 후 예측 정확도가 약 9% 정도 감소할 수 있는 것으로 나타났습니다. 완화 조치가 완화 후 검증할 수 없기 때문에 불확실한 양성 인스턴스가 발생할 수 있으며, 이로 인해 예측 모델을 업데이트하는 동안 더 많은 노이즈가 발생할 수 있다는 점을 고려하세요. 저희가 아는 한, 실제 클라우드 장애 예측 시나리오에서 이러한 불확정 양성 학습(UPLearning) 문제를 파악한 것은 저희가 처음입니다. 이 문제를 해결하기 위해 저희는 불확정 양성 학습 위험 추정기(업테이크) 접근 방식을 설계했습니다. 두 개의 실제 디스크 장애 예측 데이터 세트를 사용하고 수백만 명의 사용자에게 서비스를 제공하는 최상위 클라우드 제공업체인 Microsoft Azure에서 노드 예측 실험을 수행한 결과, 업테이크가 장애 예측 정확도를 평균 5%까지 크게 향상시킬 수 있음을 입증했습니다. [abs|pdf]

[100/106] LF-ViT: Reducing Spatial Redundancy in Vision Transformer for Efficient Image Recognition

Keywords: global_class_attention, class_attention_ngca, attention_ngca_mechanism
Abstract: 비전 트랜스포머(ViT)는 고해상도 이미지를 처리할 때 정확도가 뛰어나지만, 상당한 공간 중복으로 인해 계산 및 메모리 요구 사항이 증가한다는 문제에 직면합니다. 이 문제를 해결하기 위해 소니는 로컬라이제이션 및 초점 비전 트랜스포머(LF-ViT)를 선보입니다. 이 모델은 성능에 영향을 주지 않으면서 전략적으로 컴퓨팅 요구 사항을 줄이는 방식으로 작동합니다. 로컬라이제이션 단계에서는 저해상도 이미지가 처리되며, 확실한 예측이 어려운 경우, 초기 결과를 바탕으로 클래스를 차별하는 영역을 효과적으로 식별하고 집중 조명하는 선도적인 이웃 글로벌 클래스 주의(NGCA) 메커니즘이 트리거됩니다. 이후 초점 단계에서는 이 지정된 영역을 원본 이미지에서 사용하여 인식을 향상시킵니다. LF-ViT는 두 단계 모두에서 일관된 파라미터를 사용하여 완벽한 엔드투엔드 최적화를 보장합니다. 유니티의 실증 테스트 결과, LF-ViT는 Deit-S의 FLOP을 63%까지 현저히 감소시키면서 동시에 처리량을 두 배로 증폭시키는 등 뛰어난 성능을 입증했습니다. 이 프로젝트의 코드는 이 https URL에 있습니다. [abs|pdf]

[101/106] An Integrated Framework for Team Formation and Winner Prediction in the FIRST Robotics Competition: Model, Algorithm, and Analysis

Keywords: optimizing_predicting_team, predicting_team_performance, team_formation_predicting
Abstract: 이 연구는 팀 구성 전 참가자들의 기량에 대한 데이터를 기반으로 경쟁 환경에서 팀 구성을 최적화하고 팀 성과를 예측하는 분석적 접근법을 개발하는 것을 목표로 합니다. 과학 문헌에는 팀의 성과를 최적화하고 예측하기 위한 여러 가지 접근 방식이 있습니다. 그러나 대부분의 연구는 개별 구성원의 세분화된 기술 통계 또는 특정 구성원으로 이루어진 팀과 같은 제약 조건을 사용합니다. 현재로서는 제약이 많은 FIRST 로봇 경진대회의 영역을 다룬 연구는 없습니다. 이 연구는 이러한 제약을 허용하고 각 구성원의 성과가 아닌 이전 팀 성과에 대한 지표만을 사용하여 경쟁 환경에서 팀 성과를 최적화하고 예측하는 분석 방법을 제공함으로써 이러한 격차를 메우는 것을 목표로 합니다. 우리는 이 방법을 매년 기술이 바뀌고, 시즌 내내 팀원이 바뀌며, 경기마다 피상적인 통계만 존재하고, 동맹 구성이 경쟁 성공의 핵심인 FIRST 로봇 경진 대회의 드래프트 프로세스에 적용했습니다. 먼저 전체 팀 성적을 바탕으로 개별 구성원의 성적을 추정할 수 있는 방법을 개발합니다. 팀 구성을 최적화하기 위해 동맹 최적화 알고리즘을 개발하고, 고도로 후처리된 실제 데이터를 사용해 우승 팀을 예측하는 심층 신경망 모델을 훈련합니다. 이 방법은 전체 팀 통계에서 개별 구성원의 지표를 성공적으로 추출하여 경쟁 팀을 구성하고 84.08%의 정확도로 우승 팀을 예측할 수 있습니다. [abs|pdf]

[102/106] Evolution-Bootstrapped Simulation: Artificial or Human Intelligence: Which Came First?

Keywords: neural_networks_evolved, complexity_exist_evolution, natural_evolution_neural
Abstract: 인간은 인공지능(AI)을 창조한 것이지 그 반대가 아닙니다. 이 말은 너무나도 명백합니다. 이 글에서 저희는 작고 가벼운 생각 실험으로 이 진술에 도전하기로 했습니다. 자연 선택에 의한 진화가 지배하는 세상에서 신경망과 인간 중 어느 쪽이 먼저 진화할 가능성이 높을까요? 우리는 솔로모노프-콜모고로프-차이틴 복잡도를 비교하여 신경망(심지어 LLM)이 인간보다 훨씬 단순하다는 것을 발견했습니다. 또한 신경망이 존재하기 위해 인간이 만든 복잡한 장비가 존재할 필요는 없다고 주장합니다. 신경망은 화학 반응 기반 또는 효소 기반 계산의 한 형태로서 인간보다 먼저 자연 발생적으로 진화했을 수 있습니다. 이제 신경망이 튜링 테스트를 통과할 수 있고 초지능이 가능할 것으로 의심되는 상황에서 신경망의 자연적 진화가 자연 선택에 의한 순수 진화에서 진화 부트스트랩 시뮬레이션으로 이어질 수 있는지에 대해 질문합니다. 신경망의 진화는 환원 불가능한 복잡성을 수반하지 않으며, 진화 부트스트랩 시뮬레이션에 환원 불가능한 복잡성이 쉽게 존재할 수 있고, 위조 가능한 과학적 가설이며, 지적 설계의 문제와 독립적이거나 직교하지 않습니다. [abs|pdf]

[103/106] Exploring Public Opinion on Responsible AI Through The Lens of Cultural Consensus Theory

Keywords: attitudes_responsible_ai, responsible_ai_united, responsible_ai
Abstract: 인공지능(AI)의 사회적 영향력이 계속 커짐에 따라 책임감 있는 AI를 추구하려면 개발 및 거버넌스 프로세스에 대중의 참여가 필요합니다. 이러한 참여는 다양한 관점을 수렴하고 공평한 관행과 결과를 촉진하는 데 매우 중요합니다. 크리테오는 미국에서 책임감 있는 AI에 대한 신념과 태도를 파악하기 위해 AI의 다양한 측면에 대한 전국적인 대표 설문조사 데이터 세트에 문화적 합의 이론(CCT)을 적용했습니다. 조사 결과는 책임감 있는 AI에 대한 공통된 견해와 대조적인 견해를 파악하여 귀중한 인사이트를 제공합니다. 또한 이러한 결과는 개발자와 정책 입안자가 중요한 결정을 내리고 대중의 우려를 해소할 때 개인의 차이와 집단 차원의 문화적 관점을 보다 효과적으로 고려할 수 있도록 하는 중요한 기준점이 될 것입니다. [abs|pdf]

[104/106] Accelerating a Triton Fused Kernel for W4A16 Quantized Inference with SplitK work decomposition

Keywords: kernel_w4a16_quantized, w4a16_quantized_inference, multiplication_kernel_w4a16
Abstract: 우리는 W4A16 양자화 추론을 위한 효율적인 융합 행렬 곱셈 커널의 구현을 제안하며, SplitK 작업 분해를 사용하여 융합 커널에서 양자화 및 GEMM을 수행합니다. 우리의 구현은 기초 모델 추론 워크로드에서 발견되는 스키니 행렬-행렬 곱셈의 유형에 대한 개선을 보여줍니다. 특히, 이 논문에서는 스키니 활성화 행렬과 정사각형 가중 행렬 사이의 행렬 곱셈 유형을 조사합니다. 그 결과, 라마 스타일 모델(m < n = k)을 포함한 다양한 행렬 차원에 대해 A100에서는 평균 65%, H100에서는 평균 124%의 속도 향상(최고 295%)이 나타났습니다. [abs|pdf]

[105/106] Comparative Analysis of LLaMA and ChatGPT Embeddings for Molecule Embedding

Keywords: llms_cheminformatics, understanding_chemical_graphs, improving_prediction_chemical
Abstract: 목적: ChatGPT 및 LLaMA와 같은 대규모 언어 모델(LLM)은 화학 정보학 분야, 특히 화학 구조를 표현하는 표준 방법인 간소화된 분자 입력 라인 입력 시스템(SMILES)을 해석하는 데 있어 그 잠재력을 점점 더 인정받고 있습니다. 이러한 LLM은 SMILES 문자열을 벡터 표현으로 디코딩하여 화학 그래프를 이해하는 새로운 접근 방식을 제공합니다.
메서드: SMILES 문자열을 임베딩할 때 ChatGPT와 LLaMA의 성능을 조사합니다. 신약 개발과 헬스케어에 필수적인 분자 특성(MP) 예측과 약물-약물 상호작용(DDI) 예측이라는 두 가지 주요 애플리케이션에 중점을 두고 평가합니다.
결과: LLaMA를 사용하여 생성된 SMILE 임베딩이 MP 및 DDI 예측 작업 모두에서 ChatGPT의 임베딩보다 우수한 성능을 보였습니다. 특히, LLaMA 기반 SMILES 임베딩은 두 예측 작업 모두에서 기존 방법과 비슷한 결과를 보여줍니다.
결론: 화학정보학에서 LLM을 적용하는 것, 특히 SMILES 임베딩을 활용하는 것은 신약 개발을 발전시키는 데 상당한 가능성을 보여줍니다. 여기에는 화학적 특성 예측을 개선하고 약물 발견 프로세스를 촉진하는 것이 포함됩니다. GitHub: 이 https URL [abs|pdf]

[106/106] Deploying ADVISER: Impact and Lessons from Using Artificial Intelligence for Child Vaccination Uptake in Nigeria

Keywords: vaccination_intervention_optimiser, ai_driven_vaccination, vaccination_uptake_nigeria
Abstract: 매년 5세 미만 어린이 500만 명 이상이 예방 또는 치료가 가능한 질병으로 사망하고 있으며, 그 중 백신 접종률이 낮은 저개발 국가에서 압도적으로 많은 사망자가 발생하고 있습니다. 유엔의 지속 가능한 개발 목표(SDG 3) 중 하나는 예방 가능한 신생아 및 5세 미만 아동의 사망을 종식시키는 것을 목표로 합니다. 우리는 영유아 사망률이 끔찍한 나이지리아에 초점을 맞춥니다. 특히 나이지리아의 낮은 백신 접종률은 매일 2,000명 이상의 5세 미만 아동이 사망하는 주요 원인입니다. 이 백서에서는 나이지리아의 정부 파트너와 협력하여 ADVISER: AI 기반 백신 접종 개입 옵티마이저를 배포한 사례를 설명합니다. 성공적인 백신 접종의 누적 확률을 극대화하는 정수 선형 프로그램을 기반으로 하는 이 프레임워크는 나이지리아에서 보건 개입의 배분을 최적화하기 위한 AI 기반 툴체인을 최초로 성공적으로 배포한 사례입니다. 이 백서에서는 ADVISER 프레임워크의 배경을 설명하고 나이지리아 오요주의 13,000여 가정에 ADVISER를 배포한 결과와 교훈, 성공 사례를 소개합니다. [abs|pdf]