🍞 오늘의 AI 논문 [2024-01-29]

[1/57] SSDOnt: an Ontology for representing Single-Subject Design Studies

Keywords: ontology_describing_annotating, results_ontology_provides, ontology_provides
Abstract: 배경: 단일 주제 설계는 교육과 생물의학 등 여러 분야에서 사용됩니다. 그러나 이러한 유형의 연구에 대한 정보를 찾는 데 적합한 세분성으로 세부적인 구성과 연구 결과에 주석을 다는 데 적합한 공식 어휘는 존재하지 않습니다. 따라서 이러한 연구 설계에 대한 검색은 해당 연구에 대한 출판물의 초록, 키워드 또는 전체 텍스트에 대한 구문 검색에 크게 의존하고 있으며, 이는 몇 가지 제한 사항을 수반합니다. 목적: 단일 주제 설계 연구를 기술하고 주석을 달기 위한 특정 목적의 온톨로지인 SSDOnt를 제시하여 나중에 복잡한 질문을 할 수 있도록 합니다. 방법: 이 온톨로지는 NeOn 방법론에 따라 개발되었습니다. 온톨로지의 요구사항이 정의되면 설명 로직에 공식적인 모델을 기술하고 나중에 온톨로지 언어인 OWL 2 DL로 구현했습니다. 결과: 우리는 온톨로지가 단일 주제 설계 연구와 그 주요 구성요소(예: 단계, 개입 유형, 결과 및 결과)의 주석 달기 및 검색에 적합한 용어로 참조 모델을 제공하는 방법을 보여줍니다. 관련 온톨로지 용어와의 매핑이 일부 구축되었습니다. 우리는 개념 증명으로 온톨로지의 클래스를 쉽게 확장하여 자폐증과 같은 특정 개입 및 결과에 대한 보다 정확한 정보를 주석으로 달 수 있음을 보여줍니다. 또한 온톨로지에 제기할 수 있는 몇 가지 유형의 쿼리 예시를 제공합니다. 결론: SSDOnt는 단일 주제 연구 영역에 대한 설명을 다루고자 하는 목적을 달성했습니다. [abs|pdf]

[2/57] Reinforcement Learning Interventions on Boundedly Rational Human Agents in Frictionful Tasks

Keywords: ai_planning_human, empirically_ai_planning, behavior_model_reinforcement
Abstract: 많은 중요한 행동 변화는 마찰을 수반하며, 즉각적인 만족감은 거의 없이 장기간에 걸쳐 노력을 기울여야 합니다. 이때 인공지능(AI) 에이전트는 개인이 목표를 달성할 수 있도록 개인화된 개입을 제공할 수 있습니다. 이러한 환경에서 AI 에이전트는 행동 개입에 대한 이해를 돕기 위해 개인이 참여를 중단하기 전에 신속하게 개인화해야 하며, 해석이 가능해야 합니다. 이 백서에서는 제한적으로 이성적인 인간 에이전트에 속하는 마르코프 의사결정 프로세스(MDP)의 매개변수에 AI 에이전트가 개입하는 프레임워크인 행동 모델 강화 학습(BMRL)을 소개합니다. 인간 의사결정권자를 계획 에이전트로 공식화하면 매우 낮은 할인율과 같이 바람직하지 않은 인간 정책(목표에 도달하지 못하는 정책)의 원인을 부적합한 MDP 매개변수로 돌릴 수 있습니다. 또한 마찰이 심한 작업에서 근본적인 행동을 포착하는 추적 가능한 인간 모델 클래스를 제안합니다. BMRL에 특화된 MDP 동등성 개념을 도입하여, 인간 모델을 사용한 AI 계획이 보다 복잡하고 실재하는 다양한 인간에 대한 유용한 정책으로 이어질 수 있음을 이론적 및 경험적으로 보여줍니다. [abs|pdf]

[3/57] On the Limitations of Markovian Rewards to Express Multi-Objective, Risk-Sensitive, and Modal Tasks

Keywords: reinforcement_learning_rl, reward_scalar_markovian, scalar_markovian_reward
Abstract: 이 백서에서는 강화 학습(RL)에서 스칼라, 마르코비안 보상 함수의 표현력을 연구하고, 이를 통해 표현할 수 있는 몇 가지 한계를 파악합니다. 특히 다중 목표 RL, 위험에 민감한 RL, 모달 RL의 세 가지 RL 작업 클래스를 살펴봅니다. 각 클래스에 대해 해당 클래스의 문제를 스칼라, 마르코비안 보상을 사용하여 표현할 수 있는 경우를 설명하는 필요조건과 충분조건을 도출합니다. 또한 스칼라, 마르코비안 보상이 이 세 가지 클래스의 대부분의 인스턴스를 표현할 수 없음을 발견했습니다. 이를 통해 표준 보상 함수가 표현할 수 있는 것과 표현할 수 없는 것에 대한 보다 완전한 이해에 기여합니다. 이 외에도 모달 문제는 지금까지 RL 문헌에서 체계적으로 다루어지지 않았기 때문에 새로운 문제 유형으로 주목할 필요가 있습니다. 또한 맞춤형 RL 알고리즘을 통해 우리가 논의하는 몇 가지 문제를 해결하기 위한 몇 가지 접근 방식에 대해서도 간략하게 설명합니다. [abs|pdf]

[4/57] Synthetic Multimodal Dataset for Empowering Safety and Well-being in Home Environments

Keywords: dataset_daily_activities, knowledge_graphs_depicting, knowledge_graph
Abstract: 이 백서에서는 3D 가상 공간 시뮬레이터의 비디오 데이터와 활동의 시공간적 맥락을 묘사하는 지식 그래프를 융합한 일상 활동의 합성 멀티모달 데이터 세트를 소개합니다. 이 데이터 세트는 가정 환경의 위험 상황을 파악하고 해결하는 데 초점을 맞춘 '사회 문제를 위한 지식 그래프 추론 챌린지(KGRC4SI)'를 위해 개발되었습니다. 이 데이터 세트는 다음과 같은 분야에서 안전과 웰빙을 향상시키기 위해 인간의 행동을 인식하는 혁신적인 솔루션을 개발하는 연구자와 실무자를 위한 귀중한 리소스로 일반에 공개됩니다 [abs|pdf]

[5/57] Efficient Constraint Generation for Stochastic Shortest Path Problems

Keywords: planning_operations, planning, optimal_actions_avoid
Abstract: 현재 확률론적 최단 경로 문제(SSP)를 해결하는 방법은 벨맨 백업을 적용하여 상태의 이동 비용을 찾는데, 최신 방법에서는 휴리스틱을 사용하여 백업 및 정리할 상태를 선택합니다. 이러한 알고리즘의 근본적인 한계는 각 상태 백업 중에 적용 가능한 모든 작업에 대해 이동 비용을 계산해야 하므로 차선책으로 식별된 작업에 대해 불필요한 계산을 수행해야 한다는 점입니다. 이 프레임워크는 계획과 운영 연구 간의 새로운 연결고리를 제시하고, 이 프레임워크를 사용하여 SSP를 위한 효율적인 제약 조건 생성 버전을 도입함으로써 이러한 불필요한 계산 문제를 해결합니다. 이 기법을 사용하면 알고리즘이 차선책을 무시하고 실행 비용을 계산하지 않아도 됩니다. 또한 이 새로운 기법을 iLAO에 적용하여 새로운 알고리즘인 CG-iLAO를 개발했습니다. 실험 결과, CG-iLAO는 iLAO의 동작을 최대 57%까지 무시하고 LRTDP 및 iLAO*보다 최대 8배, 3배 빠르게 문제를 해결하는 것으로 나타났습니다. [abs|pdf]

[6/57] Automated legal reasoning with discretion to act using s(LAW)

Keywords: automated_legal_reasoning, legal_reasoning_application, prolog_execution_models
Abstract: 자동화된 법적 추론과 스마트 계약 및 자동화된 의사 결정에 대한 적용이 점점 더 많은 관심을 받고 있습니다. 이러한 맥락에서 윤리적, 법적 문제로 인해 자동화된 추론은 인간이 이해할 수 있는 용어로 주어진 조언을 정당화할 필요가 있습니다. 논리 프로그래밍, 특히 답변 집합 프로그래밍은 풍부한 의미를 가지고 있으며 복잡한 지식을 매우 간결하게 표현하는 데 사용되어 왔습니다. 그러나 프롤로그 기반의 하향식 실행 모델에서는 행동의 재량성 및 모호성과 같은 모호한 개념을 표현할 수 없으며, ASP 기반의 상향식 실행 모델에서는 정당화가 불완전하거나 확장성이 떨어집니다. 우리는 일련의 패턴에 따라 모호한 개념을 모델링하기 위해 술어 ASP를 위한 하향식 실행 모델인 s(CASP)를 사용할 것을 제안합니다. 우리는 s(LAW)라는 프레임워크를 구현하여 적용 가능한 법률을 모델링, 추론 및 정당화하고, 대표적인 사용 사례인 '마드리드 대학'의 학생 입학 기준을 번역(및 벤치마킹)하여 이를 검증했습니다. [abs|pdf]

[7/57] Marabou 2.0: A Versatile Formal Analyzer of Neural Networks

Keywords: formal_analysis_neural, marabou_framework_formal, analysis_neural_networks
Abstract: 이 백서에서는 신경망의 형식적 분석을 위한 Marabou 프레임워크 버전 2.0에 대한 포괄적인 시스템 설명을 제공합니다. 이 도구의 아키텍처 설계에 대해 논의하고 최초 릴리스 이후 도입된 주요 기능과 구성 요소를 강조합니다. [abs|pdf]

[8/57] Annotated Hands for Generative Models

Keywords: generative_models_gans, models_gans, gans_diffusion
Abstract: GAN과 확산 모델과 같은 생성 모델은 인상적인 이미지 생성 기능을 보여주었습니다. 이러한 성공에도 불구하고 이러한 시스템은 손 이미지를 생성하는 데는 의외로 취약합니다. 우리는 이러한 시스템의 손 이미지 생성 능력을 크게 향상시키는 생성 모델을 위한 새로운 훈련 프레임워크를 제안합니다. 우리의 접근 방식은 이미지의 손에 주석을 제공하는 세 개의 추가 채널로 훈련 이미지를 보강하는 것입니다. 이러한 주석은 생성 모델이 더 높은 품질의 손 이미지를 생성할 수 있도록 추가적인 구조를 제공합니다. 이 접근 방식은 두 가지 다른 생성 모델, 즉 생성적 적대 네트워크와 확산 모델에 대해 시연합니다. 손 이미지의 새로운 합성 데이터 세트와 손이 포함된 실제 사진 모두에서 이 방법을 시연합니다. 기성품 손 감지기를 사용해 손가락 관절 식별에 대한 신뢰도를 높여 생성된 손의 품질이 얼마나 개선되었는지 측정합니다. [abs|pdf]

[9/57] Health Text Simplification: An Annotated Corpus for Digestive Cancer Education and Novel Strategies for Reinforcement Learning

Keywords: text_simplification_models, health_text_simplification, text_simplification_reward
Abstract: 목표: 건강 교육 자료의 읽기 수준은 특히 소수 민족의 정보 이해도와 접근성에 큰 영향을 미칩니다. 많은 환자 교육 자료는 널리 통용되는 표준의 읽기 수준과 복잡성을 뛰어넘습니다. 건강 정보의 보급과 문해력 향상을 위해 고성능 텍스트 간소화 모델이 절실히 필요합니다. 이러한 필요성은 특히 효과적인 예방 및 검진 교육으로 이환율과 사망률을 크게 줄일 수 있는 암 교육에서 더욱 절실합니다.
방법: 건강 텍스트 간소화 연구를 위해 맞춤화된 암 교육 자료의 병렬 코퍼스인 소화기암 간소화(SimpleDC)를 소개합니다. 기존의 Med-EASi 말뭉치와 함께 SimpleDC를 활용하여 미세 조정, 강화 학습(RL), 인간 피드백을 통한 강화 학습(RLHF), 도메인 적응, 프롬프트 기반 접근법 등 대규모 언어 모델(LLM) 기반 단순화 방법을 살펴봅니다. 실험에는 라마 2와 GPT-4가 포함됩니다. 원본 텍스트와 단순화된 텍스트를 구별하는 데 능숙한 경량 모델을 통해 라벨이 없는 데이터에 대한 모델의 효과를 향상시키는 새로운 RLHF 보상 기능을 도입했습니다.
결과: 미세 조정된 라마 2 모델은 다양한 지표에서 높은 성능을 보여주었습니다. 혁신적인 RLHF 보상 기능은 기존의 RL 텍스트 단순화 보상 기능을 능가하는 효과를 보였습니다. 이 결과는 RL/RLHF가 미세 조정을 강화하여 라벨이 없는 텍스트에 대한 모델 학습을 촉진하고 성능을 향상시킬 수 있음을 보여줍니다. 또한 이러한 방법은 도메인 외부 텍스트 단순화 모델을 타깃 도메인에 효과적으로 적용할 수 있습니다. [abs|pdf]

[10/57] PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models

Keywords: comprehension_tasks_capacity, context_comprehension_tasks, text_generation_comprising
Abstract: 대규모 언어 모델(LLM)은 긴 형식의 문맥 이해 작업에서 괄목할 만한 성공을 거두었습니다. 그러나 보고서나 기사와 같은 긴 콘텐츠를 생성하는 능력은 아직 충분히 연구되지 않았습니다. 현재의 벤치마크는 유익하고 포괄적인 콘텐츠를 생산하는 LLM의 능력을 적절히 평가하지 못하기 때문에 보다 엄격한 평가 접근법이 필요합니다. 이 연구에서는 다양한 영역에 걸쳐 사람이 직접 큐레이션한 심층적인 메타 질문으로 구성된 긴 형식의 텍스트 생성을 평가하는 프레임워크인 $ProxyQA$를 소개합니다. 각 메타 질문에는 주석이 달린 답변이 포함된 해당 $proxy-questions$가 포함되어 있습니다. LLM은 이러한 메타 질문에 대한 응답으로 광범위한 콘텐츠를 생성하라는 메시지가 표시됩니다. 평가자를 활용하고 생성된 콘텐츠를 배경 컨텍스트로 통합하는 $ProxyQA$는 $proxy-questions$에 대한 평가자의 답변 성능을 기반으로 생성된 콘텐츠의 품질을 평가합니다. 우리는 고품질 평가 도구로서 $ProxyQA$의 까다로운 특성을 강조하면서 여러 가지 LLM을 살펴봅니다. 인간의 평가를 통해 $proxy-questions$를 통한 평가가 매우 일관성 있고 인간 기준과 상관관계가 있는 검증 방법임을 입증합니다. 데이터 세트와 순위표는 이 https URL에서 확인할 수 있습니다. [abs|pdf]

[11/57] Airavata: Introducing Hindi Instruction-tuned LLM

Keywords: instruction_tuning_hindi, performance_tasks_hindi, tuning_hindi_datasets
Abstract: 힌디어를 위한 인스트럭션 튜닝 LLM인 'Airavata'의 첫 번째 릴리스를 발표합니다. Airavata는 보조 작업에 더 적합하도록 다양한 인스트럭션 튜닝 힌디어 데이터셋으로 OpenHathi를 미세 조정하여 만들어졌습니다. 모델과 함께 다양한 명령어 튜닝 데이터 세트의 모음인 IndicInstruct 데이터 세트도 공유하여 Indic LLM에 대한 추가 연구를 가능하게 합니다. 또한 힌디어로 된 작업 전반에서 LLM 성능을 평가하기 위한 평가 벤치마크와 프레임워크를 제시합니다. 현재 Airavata는 힌디어를 지원하지만, 향후 예정된 22개 모든 인도어로 확장할 계획입니다. 모든 아티팩트는 이 https URL에서 액세스할 수 있습니다. [abs|pdf]

[12/57] Atmosphere: Context and situational-aware collaborative IoT architecture for edge-fog-cloud computing

Keywords: iot_edge, iot_edge_fog, exploitation_iot_edge
Abstract: 사물 인터넷(IoT)은 통신 용량 증가와 통신 비용 절감, 압도적인 기술 발전과 함께 그 인기가 크게 높아졌습니다. 동시에 빅데이터와 실시간 데이터 분석의 중요성이 커지고 시민, 공공 기관 및 기타 조직 간의 데이터 공유에 대한 전례 없는 관심으로 인해 '협업적 사물 인터넷'이라는 개념이 등장했습니다. 이러한 데이터와 인프라의 성장에는 이를 활용할 수 있는 소프트웨어 아키텍처가 수반되어야 합니다. 엣지, 포그 및/또는 클라우드 수준에서 IoT를 활용하는 데 초점을 맞춘 다양한 제안이 있지만, 각 계층의 컨텍스트 및 상황 데이터 분석뿐만 아니라 인접한 계층 간의 양방향 통신을 최대한 활용하여 세 계층을 함께 활용하는 소프트웨어 솔루션을 찾기는 쉽지 않습니다. 본 논문에서는 엣지, 포그, 클라우드 등 각 티어의 리소스 관리에 적합한 새로운 기술을 제안함으로써 이러한 단점을 보완하는 아키텍처를 제안합니다. 또한, 아키텍처의 세 계층에서 양방향 통신을 허용함으로써 각 계층의 상황 및 맥락 정보를 상당히 풍부하게 하고 실시간 의사결정을 실질적으로 지원할 수 있습니다. 이 백서에서는 병원의 호흡기 질환 감시 사례 연구를 통해 제안된 소프트웨어 아키텍처를 설명합니다. 결과적으로 제안된 아키텍처는 이러한 유형의 IoT 시나리오의 요구 사항에 대응하는 여러 계층 간의 효율적인 통신을 가능하게 합니다. [abs|pdf]

[13/57] Learning Universal Predictors

Keywords: capable_learning_universal, meta_learning_emerged, learning_universal_prediction
Abstract: 메타러닝은 제한된 데이터에서 새로운 작업을 빠르게 학습하도록 신경망을 훈련하는 강력한 접근법으로 부상했습니다. 다양한 작업에 폭넓게 노출되면 다양한 표현을 통해 일반적인 문제 해결이 가능해집니다. 하지만 메타러닝의 한계는 무엇일까요? 이 연구에서는 메타러닝을 한계까지 활용하여 가장 강력한 범용 예측 변수인 솔로모노프 유도법(SI)을 신경망에 적용할 수 있는 가능성을 살펴봅니다. 유니티는 유니버설 튜링 머신(UTM)을 사용해 네트워크를 다양한 패턴에 노출시키는 데 사용되는 훈련 데이터를 생성합니다. 유니티는 UTM 데이터 생성 과정과 메타트레이닝 프로토콜에 대한 이론적 분석을 제공합니다. 다양한 복잡성과 보편성을 가진 신경 아키텍처(예: LSTM, 트랜스포머) 및 알고리즘 데이터 생성기를 사용하여 포괄적인 실험을 수행합니다. 그 결과 UTM 데이터는 메타러닝을 위한 귀중한 리소스이며, 보편적인 예측 전략을 학습할 수 있는 신경망을 훈련하는 데 사용할 수 있음을 시사합니다. [abs|pdf]

[14/57] Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training

Keywords: adversarial_training_improves, selective_adversarial_training, adversarial_training
Abstract: 적대적 학습은 표준 일반화와 강력한 일반화 사이의 절충점을 희생하더라도 적대적 공격에 대한 신경망의 견고성을 향상시킵니다. 이러한 현상을 일으키는 근본적인 요인을 밝히기 위해 표준 환경에서 적대적 환경으로 전환하는 동안 신경망의 계층별 학습 능력을 살펴봅니다. 경험적 연구 결과에 따르면 다른 레이어는 그대로 유지하면서 특정 레이어를 선택적으로 업데이트하면 네트워크의 학습 능력을 크게 향상시킬 수 있습니다. 따라서 유니티는 가중치의 선택적 보존, 업데이트 및 수정을 수행하기 위해 그라데이션 두드러짐 기준을 활용하는 새로운 훈련 프레임워크인 CURE를 제안합니다. 중요한 점은 CURE가 데이터 세트와 아키텍처에 구애받지 않도록 설계되어 다양한 시나리오에 적용할 수 있다는 것입니다. 암기와 과적합 문제를 효과적으로 해결하여 견고성과 일반화 사이의 균형을 개선하고, 이 훈련 방식은 '견고한 과적합'을 완화하는 데도 도움이 됩니다. 또한, 이 연구는 선택적 적대적 훈련의 메커니즘에 대한 귀중한 통찰력을 제공하며 향후 연구를 위한 유망한 길을 제시합니다. [abs|pdf]

[15/57] Do LLMs Dream of Ontologies?

Keywords: memorize_concepts_ontologies, ontologies_memorize_concepts, ontologies_memorize
Abstract: 최근 대규모 언어 모델(LLM)은 자동화된 텍스트 이해 및 생성에 혁명을 일으켰습니다. 이러한 모델의 성능은 기반이 되는 신경망 아키텍처의 많은 매개변수에 의존하며, 이를 통해 LLM은 훈련 중에 보이는 방대한 양의 데이터 중 일부를 암기할 수 있습니다. 이 백서에서는 사전 훈련된 범용 LLM이 알려진 온톨로지의 정보를 어느 정도까지 기억하고 있는지 조사합니다. 연구 결과에 따르면 LLM은 부분적으로 온톨로지를 알고 있으며, 텍스트에 언급된 온톨로지의 개념을 암기할 수 있고 실제로 암기하고 있지만, 암기하는 개념의 수준은 학습 자료의 주요 출처인 웹에서의 인지도에 비례하여 달라지는 것으로 보입니다. 우리는 또한 다양한 프롬프트 반복, 쿼리 언어, 결정론의 정도에 따라 생성되는 결과의 일관성을 측정하여 LLM에서 온톨로지 정보의 암기 정도를 추정하는 새로운 측정 지표를 제안합니다. [abs|pdf]

[16/57] Charting the Future of AI in Project-Based Learning: A Co-Design Exploration with Students

Keywords: students_ai_usage, students_use_ai, ai_students_learning
Abstract: 학생들의 학습에 인공지능(AI) 사용이 증가함에 따라 프로젝트 기반 학습(PBL)에서 학습 성과를 평가하는 데 새로운 과제가 제기되고 있습니다. 이 백서에서는 PBL 평가를 위한 새로운 자료로서 학생들의 AI 사용 데이터의 잠재력을 탐색하기 위한 공동 설계 연구를 소개합니다. 우리는 18명의 대학생들과 함께 워크숍을 진행하여, 학생들이 PBL에서 AI를 자유롭게 활용할 수 있는 대안적 세계를 상상해보고, 이 과정을 보고하여 학생들의 능력과 기여도를 평가하도록 유도했습니다. 워크숍을 통해 학생들이 PBL에서 AI를 활용하는 다양한 시나리오와 교육 목표 혁신에 대한 학생들의 비전을 바탕으로 이러한 활용을 분석하는 방법을 도출할 수 있었습니다. 또한 AI에 대해 서로 다른 태도를 가진 학생들이 AI 사용을 분석하고 이해하는 방법에서 뚜렷한 선호도를 보인다는 사실도 발견했습니다. 이러한 연구 결과를 바탕으로 학생과 AI의 상호작용과 AI 강화 학습에 대한 이해에 대한 향후 연구 기회에 대해 논의합니다. [abs|pdf]

[17/57] Cross-Space Adaptive Filter: Integrating Graph Topology and Node Attributes for Alleviating the Over-smoothing Problem

Keywords: graph_convolutional_network, vanilla_graph_convolutional, graph_convolutional
Abstract: 바닐라 그래프 컨볼루션 네트워크(GCN)는 저역 통과 필터를 사용해 그래프 토폴로지에서 저주파 신호를 추출하는데, 이 필터는 GCN이 깊어지면 과도한 평활화 문제를 일으킬 수 있습니다. 이를 해결하기 위해 그래프 토폴로지에서 추출한 추가 필터(예: 고역 통과 필터)를 통합하여 적응형 필터를 생성하는 다양한 방법이 제안되었습니다. 그러나 이러한 방법들은 위상 정보에 크게 의존하고 노드 속성 공간을 무시하기 때문에 특히 분해 그래프를 다룰 때 심층 GCN의 표현력을 심각하게 저하시킵니다. 본 논문에서는 토폴로지와 속성 공간 모두에서 추출한 적응 주파수 정보를 생성하기 위해 CSF라고 하는 교차 공간 적응 필터를 제안합니다. 구체적으로, 먼저 이론적으로 반지도 커널 릿지 회귀의 최소화기로 해석할 수 있는 맞춤형 속성 기반 하이패스 필터를 도출합니다. 그런 다음 토폴로지 기반 저역 통과 필터를 GCN의 컨텍스트 내에서 머서 커널로 캐스팅합니다. 이는 속성 기반 필터와 결합하여 적응 주파수 정보를 캡처하기 위한 기반이 됩니다. 마지막으로 효과적인 다중 커널 학습 전략을 통해 크로스 스페이스 필터를 도출하여 속성 기반 고역 통과 필터와 토폴로지 기반 저역 통과 필터를 통합합니다. 이를 통해 효율성을 유지하면서 과도한 평활화 문제를 해결할 수 있습니다. 광범위한 실험을 통해 CSF가 오버 스무딩 문제를 성공적으로 완화할 뿐만 아니라 노드 분류 작업의 효율성도 높인다는 것이 입증되었습니다. [abs|pdf]

[18/57] Memory-Inspired Temporal Prompt Interaction for Text-Image Classification

Keywords: imitate_memory_activation, interaction_imitate_memory, pre_trained_multimodal
Abstract: 최근에는 시각과 언어 모달리티를 통합하기 위해 대규모 사전 학습된 다중 모달 모델(LMM)이 등장하여 다양한 자연어 처리 및 컴퓨터 비전 작업에서 상당한 성공을 거두고 있습니다. 그러나 LMM의 규모가 커지면서 다운스트림 작업을 위해 이러한 모델을 미세 조정하는 데 상당한 컴퓨팅 비용이 발생하고 있습니다. 따라서 모달리티를 보다 효율적으로 조정하기 위해 프롬프트 기반 인터랙션 전략이 연구되고 있습니다. 이러한 맥락에서 우리는 인간의 기억 전략에서 영감을 얻은 새로운 프롬프트 기반 멀티모달 인터랙션 전략, 즉 기억에서 영감을 얻은 시간적 프롬프트 인터랙션(MITP)을 제안합니다. 우리가 제안하는 방법은 인간의 기억 전략에서와 같이 습득 단계와 통합 및 활성화 단계의 두 단계로 구성됩니다. 우리는 중간 계층에서 시간적 프롬프트를 활용하여 획득 단계를 모방하고, 유사성 기반 프롬프트 상호 작용을 활용하여 기억 통합을 모방하며, 프롬프트 생성 전략을 사용하여 기억 활성화를 모방합니다. 우리 논문의 주요 강점은 중간 계층에서 프롬프트 벡터를 상호 작용하여 훈련 가능한 파라미터와 메모리 사용량을 압축하여 양식 간의 충분한 정보 교환을 활용한다는 것입니다. 비교적 적은 메모리 사용량과 2.0M의 훈련 가능한 파라미터(사전 훈련된 기초 모델의 약 1%)로 여러 데이터 세트에서 경쟁력 있는 결과를 달성했습니다. [abs|pdf]

[19/57] The Machine Vision Iceberg Explained: Advancing Dynamic Testing by Considering Holistic Environmental Circumstances

Keywords: vision_mv_testing, machine_vision_mv, testing_machine_vision
Abstract: 현재 머신 비전 테스트는 빙산의 일각에 불과할까요? 이 연구에서는 고도로 자동화된 주행(HAD) 시스템에서 많이 요구되는 머신 비전(MV) 테스트의 환경을 자세히 살펴봅니다. 빙산을 향해 항해하는 은유적 개념을 활용하여 현재 테스트 전략에 숨겨진 잠재적 단점에 대해 논의합니다. 개발 프로세스에서 MV의 불투명한 기능을 처리하는 방법에 대한 심층적인 이해가 시급히 필요하다는 점을 강조합니다. 간과한 고려 사항이 생명을 앗아갈 수 있기 때문입니다. 저희의 주요 기여는 세분성 등급이라고 부르는 계층적 수준 모델입니다. 이 모델은 MV가 작동해야 하는 환경의 상황에 대한 이해의 깊이를 다각도로 세밀하게 탐색할 수 있도록 장려합니다. 이 모델은 오브젝트 속성과 같은 개별 엔티티의 관계부터 전체 환경 장면에 이르기까지 MV 기능에 영향을 미칠 수 있는 모든 엔티티에 대한 총체적인 개요를 제공하는 것을 목표로 합니다. 이 모델을 적용하면 특정 도메인의 엔티티와 그 관계를 구조적으로 탐색하고 MV 테스트 결과를 할당하여 엔티티-관계 그래프를 구성할 수 있습니다. 그래프에서 관계의 클러스터링 패턴을 통해 일반적인 MV 결손을 확인할 수 있습니다. 요약하면, 우리의 연구는 HAD 운영 영역의 총체적인 상황과 관련하여 MV 테스트 대상의 결함을 보다 미묘하고 체계적으로 식별하는 데 기여합니다. [abs|pdf]

[20/57] Large Language Model Adaptation for Financial Sentiment Analysis

Keywords: financial_sentiment_analysis, tuning_financial_documents, financial_sentiment
Abstract: 자연어 처리(NLP)는 기업과 시장의 재무 문서에 대한 매우 가치 있는 인사이트를 제공함으로써 최근 금융 기관 내에서 그 중요성이 커지고 있습니다. 그러나 금융 영역의 환경은 텍스트의 복잡성과 특정 용어의 사용으로 인해 NLP에 또 다른 과제를 안겨줍니다. 제너럴리스트 언어 모델은 뛰어난 자연어 이해 및 생성 기능을 갖춘 대규모 언어 모델(LLM)을 사용하더라도 금융에 특화된 작업에서는 부족한 경향이 있습니다. 본 논문에서는 금융 분야에 특화된, 그리고 금융 감정 분석에 중점을 둔 LLM 적용 방법에 대한 연구를 소개합니다. 이를 위해 15억 개 미만의 파라미터를 가진 두 개의 기초 모델을 다양한 전략을 사용하여 적응시켰습니다. 재무 문서와 지침에 대한 세심한 미세 조정을 통해 이러한 기초 모델을 대상 도메인에 맞게 조정할 수 있음을 보여줍니다. 또한, 소규모 LLM이 대규모 모델과 비슷한 성능을 보이면서도 매개변수와 데이터 측면에서 더 효율적이라는 것을 관찰했습니다. 모델 외에도 명령어 데이터 세트의 샘플 수를 늘리기 위해 LLM을 통해 인공 명령어를 생성하는 방법을 보여줍니다. [abs|pdf]

[21/57] Topology-Aware Exploration of Energy-Based Models Equilibrium: Toric QC-LDPC Codes and Hyperbolic MET QC-LDPC Codes

Keywords: codes_boltzmann_machine, codes_boltzmann, boltzmann_machine_torical
Abstract: 이 논문에서는 불규칙한 그리드에 불균일하게 분포된 전하가 있을 때 ISING 해밀턴에서 평형을 달성하는 방법을 제시합니다. (다중 에지) QC-LDPC 코드와 볼츠만 기계를 사용하여 시스템을 차원적으로 확장하고, 전하를 순환체로 치환하고, 순환체 이동을 통해 거리를 표현하는 접근 방식을 사용합니다. 그 결과 전하 시스템을 공간에 체계적으로 매핑하여 불규칙한 격자를 토리컬 및 원형 쌍곡선 토폴로지에 적용할 수 있는 균일한 구성으로 변환할 수 있습니다. 이 논문에서는 QC-LDPC 코드, 다중 에지 QC-LDPC 코드, 볼츠만 기계와 관련된 기본적인 정의와 표기법을 다룹니다. 또한 정확한 추정 기법과 근사 추정 기법을 포함하는 파티션 함수를 평가하기 위한 그래프 확률론적 모델에서 코드의 한계화 문제를 살펴봅니다. 토리컬 및 원형 쌍곡선 하에서 볼츠만 기계의 평형 상태의 도달 가능성에 대한 엄격한 증명이 제공되어 방법론의 적용을 위한 길을 열어줍니다. 이 접근법의 실제 적용 사례는 유한 기하학 QC-LDPC 코드, 특히 재료 과학에서 조사되었습니다. 이 논문에서는 일반화된 반복 누적 코드, 공간 결합 및 케이지 그래프 QC-LDPC 코드를 살펴보면서 자연어 처리 트랜스포머 심층 신경망의 영역에서 그 효과를 더 탐구합니다. 토폴로지 인식 하드웨어 효율적인 준주기 코드 평형 방법의 다재다능하고 영향력 있는 특성은 특정 섹션 묘사를 사용하지 않고도 다양한 과학 영역에서 보여집니다. [abs|pdf]

[22/57] Turn-taking and Backchannel Prediction with Acoustic and Large Language Model Fusion

Keywords: human_conversation_dataset, dialogue_fusing_neural, models_natural_conversational
Abstract: 우리는 신경 음향 모델과 대규모 언어 모델(LLM)을 융합하여 음성 대화에서 턴테이크 및 백채널링 위치를 지속적으로 예측하는 접근 방식을 제안합니다. 스위치보드 인간 대 인간 대화 데이터 세트에 대한 실험을 통해 우리의 접근 방식이 단일 모달리티를 사용하는 기준 모델보다 일관되게 우수한 성능을 발휘한다는 것을 입증했습니다. 또한 새로운 멀티태스크 명령어 미세 조정 전략을 개발하여 작업과 대화 맥락을 이해하는 데 LLM으로 인코딩된 지식의 이점을 더욱 활용함으로써 추가적인 개선을 이끌어 냈습니다. 이러한 접근 방식은 인간과 음성 지원 AI 에이전트 간의 보다 자연스러운 대화형 상호 작용을 위해 LLM과 음향 모델을 결합할 수 있는 잠재력을 보여줍니다. [abs|pdf]

[23/57] Mitigating Feature Gap for Adversarial Robustness by Feature Disentanglement

Keywords: features_adversarial_samples, adversarial_samples_fine, adversarial_training_baselines
Abstract: 심층 신경망은 적대적 샘플에 취약합니다. 적대적 미세 조정 방법은 자연적으로 사전 훈련된 모델을 적대적 훈련 방식으로 미세 조정하여 적대적 견고성을 강화하는 것을 목표로 합니다. 그러나 적대적 샘플의 일부 잠재적 특징이 적대적 섭동에 의해 혼동되어 자연 샘플과 적대적 샘플의 마지막 숨겨진 계층의 특징 사이에 예기치 않게 격차가 커지는 것을 확인했습니다. 이 문제를 해결하기 위해, 우리는 특징 갭을 유발하는 잠재적 특징을 명시적으로 모델링하고 더 나아가 제거하기 위한 얽힘 해제 기반 접근법을 제안합니다. 구체적으로, 특징 분리기를 도입하여 잠재적 특징을 적대적 샘플의 특징과 분리함으로써 잠재적 특징을 제거하여 견고성을 높입니다. 또한, 사전 학습된 모델의 특징을 미세 조정된 모델의 적대적 샘플 특징과 정렬하여 자연 샘플의 특징을 혼동 없이 활용할 수 있도록 합니다. 세 가지 벤치마크 데이터 세트에 대한 경험적 평가는 우리의 접근 방식이 기존의 적대적 미세 조정 방법과 적대적 훈련 기준선을 뛰어넘는다는 것을 입증합니다. [abs|pdf]

[24/57] FairSample: Training Fair and Accurate Graph Convolutional Neural Networks Efficiently

Keywords: fairness_graph_convolutional, fairness_graph, graph_structure_bias
Abstract: 그래프 합성곱 신경망(GCN)의 공정성은 많은 중요한 애플리케이션에 GCN이 채택됨에 따라 점점 더 중요한 관심사가 되고 있습니다. 많은 실제 그래프에는 민감한 집단에 대한 사회적 편견이 존재할 수 있습니다. 이러한 그래프에 대해 훈련된 GCN은 이러한 편견의 영향을 받기 쉽습니다. 이 논문에서는 인구통계학적 동등성이라는 잘 알려진 공정성 개념을 채택하여 공정하고 정확한 GCN을 효율적으로 훈련하는 문제를 다룹니다. 그래프 구조 편향, 노드 속성 편향, 모델 파라미터가 GCN의 인구통계학적 동등성에 어떤 영향을 미치는지에 대한 심층적인 분석을 제시합니다. 이러한 인사이트를 바탕으로 세 가지 유형의 편향을 공동으로 완화하는 프레임워크인 FairSample을 개발했습니다. 그래프 구조를 수정하기 위해 두 가지 직관적인 전략을 사용합니다. 첫째, 민감도 그룹은 다르지만 노드 특징이 유사한 노드 간에 에지를 삽입합니다. 둘째, 모델의 공정성을 높이고 모델 품질을 유지하기 위해 강화 학습을 사용하여 학습 가능한 이웃 샘플링 정책을 개발합니다. 노드 특징과 모델 파라미터의 편향성을 해결하기 위해 공정성을 최적화하기 위한 정규화 목표를 통해 FairSample을 보완합니다. [abs|pdf]

[25/57] Under the Surface: Tracking the Artifactuality of LLM-Generated Data

Keywords: generated_text_data, human_generated_content, generated_data_emphasizes
Abstract: 이 연구에서는 인공 데이터를 생성하는 데 있어 대규모 언어 모델(LLM)의 역할이 확대되고 있음을 살펴봅니다. 주석, 환경 설정, 명령 프롬프트, 시뮬레이션 대화, 자유 텍스트 등 다양한 결과물을 생성하는 데 LLM이 점점 더 많이 사용되고 있습니다. 이러한 형태의 LLM으로 생성된 데이터는 애플리케이션에서 서로 교차하는 경우가 많기 때문에 서로에게 상호 영향을 미치고 학습 주기에 통합된 인공 데이터의 품질과 다양성에 대한 심각한 우려를 불러일으키며 인공 데이터 생태계로 이어집니다. 우리가 아는 한, 이 연구는 '작업 레이블'과 같이 보다 엄격하게 제약된 데이터부터 보다 가볍게 제약된 '자유 형식 텍스트'에 이르기까지 다양한 유형의 LLM 생성 텍스트 데이터를 취합한 최초의 연구입니다. 그런 다음 다양한 기존 벤치마크에 걸쳐 LLM으로 생성된 인공 데이터의 품질과 의미를 인간 데이터와 비교하여 스트레스 테스트를 실시합니다. 이 논문은 인공 데이터가 인간의 성과를 따라잡을 수 있는 능력에도 불구하고, 특히 복잡한 작업에서 LLM이 인간이 생성한 콘텐츠의 본질적인 미묘한 차이를 놓치는 경우가 많다는 사실을 밝혀냅니다. 이 연구는 다양한 LLM으로 생성된 데이터를 비판적으로 검토하고 데이터 생성 및 LLM 사용 시 윤리적 관행의 필요성을 강조합니다. 또한 인간의 특성과 행동을 복제하는 데 있어 LLM의 단점을 강조하고, 향후 연구 개발을 위해 LLM 생성 콘텐츠에서 발생하는 편견과 인공물을 해결하는 것이 중요하다는 점을 강조합니다. 모든 데이터와 코드는 프로젝트 페이지에서 확인할 수 있습니다. [abs|pdf]

[26/57] Asymptotic Midpoint Mixup for Margin Balancing and Moderate Broadening

Keywords: fine_transfer_learning, transfer_learning_inter, better_feature_augmentation
Abstract: 특징 공간에서 특징 간 붕괴는 특징이 구별되지 않은 채로 남게 되어 표현 학습에서 중요한 문제를 야기합니다. 믹스업과 같은 보간 기반 증강 방법은 클래스 간 붕괴라고 하는 서로 다른 클래스 간의 붕괴 문제를 완화하는 데 효과적이라는 것이 입증되었습니다. 그러나 거시적 전이 학습에서 발생하는 클래스 내 붕괴는 증강 방식에서 논의되지 않았습니다. 이러한 문제를 해결하기 위해 점근적 중간점 혼합이라는 더 나은 특징 증강 방법을 제안합니다. 이 방법은 보간을 통해 증강된 특징을 생성하되, 클래스 간 특징 쌍의 중간점을 향해 점진적으로 이동합니다. 결과적으로 이 방법은 두 가지 효과를 유도합니다: 1) 모든 클래스에 대한 마진의 균형을 맞추고, 2) 최대 신뢰도를 확보할 때까지 마진을 적당히 넓히는 것입니다. 시각화 표현을 통해 정렬과 균일성을 측정하여 붕괴 효과를 실증적으로 분석합니다. 그런 다음 거시적 전이 학습에서 클래스 내 붕괴 효과와 롱테일 데이터 세트에 대한 불균형 학습에서 클래스 간 붕괴 효과를 검증합니다. 두 작업 모두에서 우리의 방법은 다른 증강 방법보다 더 나은 성능을 보여줍니다. [abs|pdf]

[27/57] TA-RNN: an Attention-based Time-aware Recurrent Neural Network Architecture for Electronic Health Records

Keywords: time_aware_rnn, rnn_time_aware, based_rnn_time
Abstract: 동기 부여: 전자 건강 기록(EHR)은 환자의 병력에 대한 포괄적인 리소스입니다. EHR은 딥러닝(DL)과 같은 고급 기술을 활용하는 데 필수적이며, 이를 통해 의료진은 방대한 데이터를 분석하고 가치 있는 인사이트를 추출하며 데이터 기반의 정확한 임상 결정을 내릴 수 있습니다. 순환 신경망(RNN)과 같은 DL 방법은 질병 진행을 모델링하고 진단을 예측하기 위해 EHR을 분석하는 데 활용되어 왔습니다. 그러나 이러한 방법은 임상 방문 사이의 불규칙한 시간 간격과 같이 EHR 데이터에 내재된 일부 불규칙성을 해결하지 못합니다. 게다가 대부분의 DL 모델은 해석이 불가능합니다. 이 연구에서는 다음 방문 시와 여러 번의 방문 시 각각 EHR에서 환자의 임상 결과를 예측하기 위해 RNN을 기반으로 하는 두 가지 해석 가능한 DL 아키텍처, 즉 TA-RNN(Time-Aware RNN)과 TA-RNN-Autoencoder(TA-RNN-AE)를 제안합니다. 불규칙한 시간 간격의 영향을 완화하기 위해 방문 사이의 경과 시간을 포함하는 시간 임베딩을 통합할 것을 제안합니다. 해석 가능성을 위해 방문과 각 방문 내 기능 간에 작동하는 이중 수준의 주의 메커니즘을 사용할 것을 제안합니다.
결과: 알츠하이머병 신경영상 이니셔티브(ADNI) 및 국립 알츠하이머병 코디네이팅 센터(NACC) 데이터 세트에 대한 실험 결과, 제안된 알츠하이머병(AD) 예측 모델은 F2 및 민감도를 기반으로 한 최첨단 및 기준 접근 방식에 비해 우수한 성능을 보였습니다. 또한, TA-RNN은 사망률 예측을 위해 중환자실 의료 정보 마트(MIMIC-III) 데이터 세트에서 우수한 성능을 보였습니다. 제거 연구에서는 시간 임베딩과 주의 메커니즘을 통합하여 예측 성능이 향상되는 것을 관찰했습니다. 마지막으로, 관심 가중치를 조사하여 예측에서 영향력 있는 방문과 특징을 식별하는 데 도움이 되었습니다.
가용성: 이 https URL [abs|pdf]

[28/57] PepGB: Facilitating peptide drug discovery via graph neural networks

Keywords: discovery_predicting_peptide, learning_based_peptide, drug_discovery_predicting
Abstract: 펩타이드는 생물의학적으로 큰 잠재력을 가지고 있으며 유망한 신약 후보 물질입니다. 현재 승인된 펩타이드 의약품의 대부분은 잘 연구된 천연 인간 펩타이드에서 직접 파생된 것입니다. 방대한 미개척 생화학 분야에서 새로운 펩타이드 약물을 발굴하기 위해서는 첨단 딥러닝 기술을 활용하는 것이 매우 필요합니다. 펩타이드 조기 신약 발굴을 가속화하기 위해 다양한 인실리코 방법이 개발되었지만, 기존 모델은 실험 데이터의 제한된 크기, 불균형한 분포, 일관되지 않은 품질로 인해 과적합 및 일반화 가능성 부족이라는 문제에 직면해 있습니다. 이 연구에서는 펩타이드-단백질 상호작용(PepPI)을 예측하여 펩타이드 조기 신약 개발을 촉진하기 위한 딥러닝 프레임워크인 PepGB를 제안합니다. 그래프 신경망을 사용하는 PepGB는 세분화된 섭동 모듈과 대조 학습 기반의 펩타이드 사전 학습 표현을 통한 듀얼 뷰 목표를 통합하여 PepPI를 예측합니다. 엄격한 평가를 통해 PepGB가 기준선을 크게 능가하고 새로운 표적과 펩타이드 히트에 대한 PepPI를 정확하게 식별하여 표적 식별 및 히트 발견 프로세스에 기여할 수 있음을 입증했습니다. 다음으로, 리드 생성 및 최적화 프로세스에 널리 퍼져 있는 매우 불균형적인 데이터 모델링의 병목 현상을 해결하기 위해 확장 버전인 diPepGB를 도출합니다. 두 펩타이드 노드 간의 상대적 결합 강도를 나타내는 방향성 에지를 활용하는 diPepGB는 실제 분석에서 우수한 성능을 달성합니다. 요약하자면, 우리가 제안한 프레임워크는 펩타이드 조기 신약 발견을 촉진하는 강력한 도구로 사용될 수 있습니다. [abs|pdf]

[29/57] An Empirical Investigation of Domain Adaptation Ability for Chinese Spelling Check Models

Keywords: chinese_texts_correcting, chinese_spelling_check, domain_adaptation
Abstract: 중국어 맞춤법 검사(CSC)는 중국어 텍스트의 맞춤법 오류를 감지한 다음 오류를 수정하는 것을 목표로 하는 자연어 처리(NLP) 분야에서 의미 있는 작업입니다. 하지만 CSC 모델은 일반 말뭉치에 대해 학습된 사전 학습된 언어 모델을 기반으로 합니다. 따라서 도메인별 용어가 포함된 다운스트림 작업에 직면하면 성능이 떨어질 수 있습니다. 본 논문에서는 금융, 의료, 법률 영역의 풍부한 도메인별 용어를 포괄하는 세 가지 새로운 데이터셋을 구축하여 다양한 대표적인 CSC 모델의 도메인 적응 능력에 대한 철저한 평가를 수행합니다. 그런 다음 해당 도메인별 테스트 데이터셋에서 실증적 조사를 수행하여 여러 대표적인 CSC 모델의 도메인 간 적응 능력을 확인합니다. 또한 널리 사용되는 대규모 언어 모델인 ChatGPT의 성능도 테스트합니다. 실험 결과, 새로운 도메인에서는 CSC 모델의 성능이 크게 떨어지는 것으로 나타났습니다. [abs|pdf]

[30/57] A Systematic Literature Review on Explainability for Machine/Deep Learning-based Software Engineering Research

Keywords: explainability_ai_models, improve_explainability_ai, explainability_ai
Abstract: 특히 머신러닝(ML)과 딥러닝(DL) 분야에서 인공지능(AI) 알고리즘의 괄목할 만한 성과로 인해 소프트웨어 엔지니어링(SE)을 비롯한 여러 분야에 걸쳐 광범위한 배포가 이루어지고 있습니다. 그러나 이러한 유망한 AI 기반 SE 모델은 블랙박스의 특성으로 인해 아직까지 실제로 배포되지는 못하고 있습니다. 이러한 설명 가능성 부족은 의사 결정의 투명성이 가장 중요한 취약점 탐지와 같은 중요한 업무에 적용하는 데 있어 원치 않는 위험을 초래합니다. 이 백서에서는 SE의 맥락에서 AI 모델의 설명 가능성을 개선하기 위한 접근 방식에 대한 체계적인 문헌 검토를 제시함으로써 이 학제 간 영역을 명확히 설명하려고 노력합니다. 이 리뷰는 가장 저명한 SE 및 AI 컨퍼런스 및 저널에 게재된 연구를 조사하여 21개의 고유한 SE 과제에 걸쳐 63개의 논문을 포괄합니다. 세 가지 핵심 연구 질문(RQ)을 바탕으로 (1) 현재까지 XAI 기법이 성공을 거둔 SE 과제를 요약하고, (2) 다양한 XAI 기법을 분류 및 분석하며, (3) 기존 평가 접근법을 조사하는 것을 목표로 합니다. 조사 결과를 바탕으로 기존 연구에서 해결해야 할 일련의 과제와 향후 연구에 적절하고 중요하다고 판단되는 잠재적 기회를 강조하는 로드맵을 확인했습니다. [abs|pdf]

[31/57] Alternative Speech: Complementary Method to Counter-Narrative for Better Discourse

Keywords: combating_hate_speech, alternatives_hate_speech, dealing_hate_speech
Abstract: 혐오표현에 직접 대응하고 반론의 한계를 보완할 수 있는 새로운 방법으로 '대안 연설'이라는 개념을 도입합니다. 대안 연설은 주변 맥락을 고려하면서 화자에게 연설 수준의 수정을 제안하고 화자의 변화를 촉구함으로써 실제 상황에서 혐오 표현에 대한 실질적인 대안을 제시합니다. 나아가 대안 연설은 반대 내러티브와 함께 혐오 발언에 대응할 수 있으며, 인종 차별이나 성 불평등과 같은 사회 문제를 해결하는 데 유용한 도구를 제공합니다. 우리는 새로운 개념을 제안하고 필요한 데이터 세트를 구축하기 위한 세부 지침을 제공합니다. 논의를 통해 대안 연설과 반박 연설을 결합하는 것이 반박 연설의 구체성과 안내 능력을 보완함으로써 혐오 표현에 대응하는 데 더 효과적인 전략이 될 수 있음을 보여줍니다. 이 백서는 혐오 발언에 대처하는 또 다른 관점을 제시하고, 유해한 편견을 완화하기 위한 현재 접근 방식의 제약을 보완할 수 있는 실행 가능한 해결책을 제시합니다. [abs|pdf]

[32/57] Enhancing Diagnostic Accuracy through Multi-Agent Conversations: Using Large Language Models to Mitigate Cognitive Bias

Keywords: agent_discussions_accuracy, multi_agent_discussions, agent_conversation_evaluate
Abstract: 배경: 임상 의사 결정의 인지적 편향은 진단 오류와 최적의 환자 치료 결과를 초래하는 데 크게 기여합니다. 이러한 편견을 해결하는 것은 의료 분야에서 매우 어려운 과제입니다. 이 연구에서는 다중 에이전트 프레임워크를 활용하여 이러한 편견을 완화하는 데 있어 대규모 언어 모델(LLM)의 역할을 살펴봅니다. 또한 다중 에이전트 대화를 통해 임상 의사 결정 과정을 시뮬레이션하고 진단 정확도 향상에 대한 효과를 평가합니다. 방법: 인지적 편향으로 인해 오진이 발생한 총 16건의 출판 및 미발표 사례 보고서를 문헌에서 확인했습니다. 다중 에이전트 시스템에서는 GPT-4 Turbo를 활용하여 4명의 시뮬레이션 에이전트 간의 상호 작용을 촉진하여 임상 팀의 역학을 재현했습니다. 각 에이전트는 1) 토론을 고려한 후 초기 및 최종 진단을 내리고, 2) 악마의 대변자이자 올바른 확인 및 고정 편향, 3) 조기 종결 편향을 줄이기 위한 토론의 튜터 및 촉진자, 4) 결과를 기록하고 요약하는 등 고유한 역할을 수행합니다. 총 80회의 시뮬레이션을 통해 초기 진단, 최상위 감별 진단 및 최종 두 가지 감별 진단의 정확성을 평가했습니다. 결과: 초기 진단과 최종 진단을 모두 평가한 총 80건의 응답에서 초기 진단의 정확도는 0%(0/80)였지만, 여러 에이전트가 논의한 결과 최상위 감별 진단의 정확도는 71.3%(57/80)로, 최종 두 감별 진단의 정확도는 80.0%(64/80)로 증가했습니다. 이 시스템은 초기 조사가 잘못된 시나리오에서도 오해를 재평가하고 수정할 수 있는 능력을 보여주었습니다. 해석: LLM 기반 다중 에이전트 대화 시스템은 진단적으로 까다로운 의료 시나리오에서 진단 정확도를 향상시킬 수 있는 가능성을 보여주었습니다. [abs|pdf]

[33/57] Driving Towards Inclusion: Revisiting In-Vehicle Interaction in Autonomous Vehicles

Keywords: inclusive_hci_design, inclusive_vehicle_experience, inclusive_hci_self
Abstract: 이 백서에서는 포용성과 접근성에 중점을 두고 자율주행 차량의 맥락에서 차량 내 인간-컴퓨터 상호 작용(HCI)의 현재 상태에 대한 포괄적인 문헌 검토를 제시합니다. 이 연구의 목표는 자율주행 차량의 포용적 HCI를 위한 사용자 중심 설계 원칙을 살펴보고, 기존 HCI 시스템을 평가하며, 탑승자 경험을 향상시킬 수 있는 잠재력을 지닌 새로운 기술을 파악하는 것입니다. 이 백서는 먼저 자율주행차 기술의 현재 상태를 개괄적으로 살펴본 다음, 이러한 맥락에서 HCI의 중요성에 대해 살펴봅니다. 그런 다음, 포괄적인 HCI 설계 원칙에 관한 기존 문헌을 검토하고 현재 자율주행차에서 사용되는 HCI 시스템의 효율성을 평가합니다. 또한 음성 인식 인터페이스, 햅틱 피드백 시스템, 증강 현실 디스플레이와 같이 탑승자 경험을 향상시킬 수 있는 잠재력이 있는 새로운 기술을 식별합니다. 마지막으로, 이 백서에서는 장애인을 포함한 모든 승객의 요구 사항 또는 기타 접근성 요구 사항을 고려한 포용적인 차량 내 경험 개발을 위한 엔드투엔드 디자인 프레임워크를 제안합니다. 이 문헌 검토에서는 자율주행 차량용 HCI 시스템 개발에서 사용자 중심 설계 원칙의 중요성을 강조하고 모든 승객이 안전하고 편안하게 차량을 이용할 수 있도록 하기 위한 포용적 설계의 필요성을 강조합니다. 제안된 엔드투엔드 설계 프레임워크는 이러한 목표를 달성하기 위한 실용적인 접근 방식을 제공하며 이 분야의 설계자, 연구자, 정책 입안자에게 유용한 자료가 될 수 있습니다. [abs|pdf]

[34/57] Language Modelling Approaches to Adaptive Machine Translation

Keywords: data_improve_translation, domain_translations_scenarios, language_models_improve
Abstract: 일관성은 고품질 번역의 핵심 요건입니다. 특히 도메인별 프로젝트에서 사전 승인된 용어를 준수하고 수정된 번역에 적응하는 것이 중요합니다. 기계 번역(MT)은 도메인 적응 분야에서 상당한 진전을 이루었습니다. 그러나 번역 환경에서는 전문화된 데이터 세트와 용어가 부족하거나 사용 가능한 도메인 내 번역의 불일치 및 부정확성으로 인해 도메인 내 데이터 부족이 흔히 발생합니다. MT 모델을 미세 조정할 수 있는 도메인 내 데이터가 충분하지 않은 이러한 시나리오에서는 관련 컨텍스트와 일관된 번역을 생성하기가 어렵습니다. 실시간 적응을 사용하면 소량의 도메인 내 데이터를 사용하여 즉시 번역을 개선할 수 있지만, 지원되는 컨텍스트의 제한과 효율성 제약으로 인해 여전히 어려움이 있습니다. 최근 대규모 언어 모델(LLM)은 추가적인 미세 조정 없이도 특정 입출력 텍스트 생성 패턴을 복제하는 방법을 학습하는 인컨텍스트 학습이라는 흥미로운 기능을 선보였습니다. 이러한 기능은 도메인별 데이터 증강과 실시간 적응형 MT의 새로운 지평을 열었습니다. 이 연구는 두 가지 주요 관련 질문을 해결하고자 합니다: 1) 사람의 상호작용과 지속적인 피드백이 필요한 시나리오에서 언어 모델을 사용해 추론 시점에 적응형 MT의 품질을 개선할 수 있는가? 2) 도메인 내 데이터가 충분하지 않은 경우 사전 학습된 대규모 언어 모델을 사용해 MT 도메인 적응 프로세스를 개선할 수 있는가? [abs|pdf]

[35/57] Exploring Musical Roots: Applying Audio Embeddings to Empower Influence Attribution for a Generative Music Model

Keywords: music_audio_similarity, source_generative_music, generative_music_models
Abstract: 모든 아티스트는 이전 아티스트와 그들의 작품에서 영감을 얻는 창작 과정을 거칩니다. 오늘날 '영감'은 제너레이티브 음악 모델에 의해 자동화되었습니다. 이러한 모델의 블랙박스 특성은 창작물에 영향을 미치는 작품의 정체성을 모호하게 만듭니다. 그 결과, 사용자들이 실수로 기존 아티스트의 작품을 적절히 활용하거나 오용하거나 복사할 수 있습니다. 유니티는 학습 데이터 어트리뷰션을 이해하는 데 유용한 방식으로 유사한 음악 오디오를 체계적으로 식별할 수 있는 복제 가능한 방법론을 구축했습니다. 이러한 접근 방식의 핵심은 효과적인 음악 오디오 유사성 측정법을 활용하는 것입니다. 최근 오픈 소스 제너레이티브 음악 모델인 VampNet을 훈련하는 데 사용된 5백만 개의 오디오 클립 세트에서 유사도 측정에 CLMR과 CLAP 임베딩을 적용했을 때의 효과를 비교합니다. 인간의 청취 연구를 통해 이 접근법을 검증합니다. 또한 오디오 예시(예: 피치 이동, 시간 늘이기, 배경 소음)의 수정이 유사도 측정에 미치는 영향도 살펴봅니다. 이 연구는 자동화된 영향력 어트리뷰션을 제너레이티브 모델링에 통합하는 데 기초가 되며, 이를 통해 모델 제작자와 사용자는 무지한 적용에서 정보에 입각한 생성으로 전환할 수 있습니다. 이 백서와 함께 제공되는 오디오 샘플은 다음 https URL에서 확인할 수 있습니다. [abs|pdf]

[36/57] Relative Value Biases in Large Language Models

Keywords: bias_prompting_models, animals_demonstrated_preference, decision_biases
Abstract: 인간과 동물을 대상으로 한 강화 학습 연구에서는 과거에 상대적으로 더 나은 결과를 가져온 옵션이 절대적 보상이 낮더라도 선호되는 것으로 나타났습니다. 본 연구에서는 대규모 언어 모델에서도 유사한 편향이 나타나는지 테스트했습니다. GPT-4-1106-프리뷰(GPT-4 터보)와 라마-2-70B에 보상 극대화를 목표로 옵션 쌍을 반복적으로 선택하게 했습니다. 각 프롬프트에는 이전 결과에 대한 전체 기록이 포함되었습니다. 두 모델 모두 인간과 동물에서 관찰되는 것과 유사한 상대적 가치 결정 편향을 보였습니다. 결과 간의 상대적 비교를 더 명확하게 하면 편향이 더 커지는 반면, 모델에 예상 결과를 추정하도록 유도하면 편향이 사라졌습니다. 이러한 결과는 인간 에이전트의 상황 의존적 선택에 기여하는 잠재적 메커니즘에 대한 시사점을 제공합니다. [abs|pdf]

[37/57] Evaluating GPT-3.5's Awareness and Summarization Abilities for European Constitutional Texts with Shared Topics

Keywords: constitutional_texts, collection_constitutional_texts, constitutional_texts_focus
Abstract: 헌법은 정부 및 사회 구조를 뒷받침하는 기본 법률 문서입니다. 따라서 헌법은 한 국가의 문화적, 사회적 고유성을 반영할 뿐만 아니라 시민의 권리 및 의무(RD)와 같이 보편적으로 중요한 주제를 확립하는 데도 기여합니다. 이 연구에서는 유명한 GPT-3.5를 사용하여 생성적 대규모 언어 모델을 활용하여 국경을 초월하는 헌법 조항을 이해합니다. 이 연구의 핵심은 RD 주제와 관련된 유럽 국가의 헌법 구절에 초점을 맞춰 여러 출처의 헌법 텍스트 모음에 추상적 요약을 새롭게 적용하는 것입니다. 연구 결과는 유럽 각국의 RD 주제를 포괄하는 유익하고 일관성 있으며 충실한 요약을 생성하는 데 있어 GPT-3.5의 의미를 보여줍니다. [abs|pdf]

[38/57] Empathy and the Right to Be an Exception: What LLMs Can and Cannot Do

Keywords: empathy_consider_exceptional, human_method_empathy, empathy_learn_attribute
Abstract: 대규모 언어 모델(LLM)의 성능이 발전함에 따라 일부 연구자들은 인공 지능(AI)에서 마음 이론(ToM)의 출현을 제안하고 있습니다. LLM은 신념, 욕구, 의도, 감정에 속성을 부여할 수 있으며, 그 정확도가 향상될 것입니다. 인간 특유의 공감 방식을 사용하는 대신, 일반적으로 해당 개인이 포함되지 않은 데이터 세트의 언어 패턴을 인식하여 정신 상태를 속성화하는 방법을 학습합니다. 우리는 인공 지능이 공감할 수 없기 때문에 개인의 예외가 될 권리를 존중하지 못하는지, 즉 개인의 개성에 대한 적절한 민감성을 반영하는 성격 평가와 행동 예측을 하지 못하는지 묻습니다. 법학자들은 신념, 욕구, 의도와 같은 내적 정신 상태에 따라 자신의 사례가 다르다는 개인의 주장을 진지하게 고려할 수 있을까요, 아니면 다른 사례와의 유사성을 기준으로 해당 사례를 판단하는 데 국한될까요? 우리는 공감의 방식이 예측 정확도라는 가치와는 별개의 예외가 될 권리를 존중하는 데 특별한 의미가 있으며, 이 점에서 LLM이 탁월하다고 제안합니다. 예외적인 경우를 고려하기 위해 공감을 사용하는 것이 본질적인 가치가 있는지 아니면 단순히 실용적인 가치가 있는지를 고려하고, 이 연구를 발전시키기 위한 개념적 및 경험적 방법을 소개함으로써 결론을 내립니다. [abs|pdf]

[39/57] Towards Interpretable Physical-Conceptual Catchment-Scale Hydrological Modeling using the Mass-Conserving-Perceptron

Keywords: interpretable_catchment, interpretable_catchment_scale, hydrologic_models
Abstract: 질량 보존 퍼셉트론(MCP)을 기본 계산 단위로 하는 지향 그래프 아키텍처를 사용하여 간결하고 해석 가능한 유역 규모의 수문 모델을 개발하는 데 머신러닝 기술을 적용할 수 있는지 조사합니다. 여기서는 대규모 집수 샘플에 대한 보편적인 적용 가능성(폭)보다는 단일 위치에서의 아키텍처 복잡성(깊이)에 중점을 둡니다. 목표는 주어진 유역의 입출력 거동을 설명할 수 있는 지배적인 프로세스를 나타내는 최소한의 표현(세포 상태 및 유동 경로의 수)을 발견하는 것이며, 특히 유동 역학의 전체 범위(높음, 중간, 낮음)를 시뮬레이션하는 데 중점을 둡니다. 연구 위치에서 세 개의 세포 상태와 두 개의 주요 흐름 경로를 가진 HyMod와 유사한 아키텍처가 이러한 표현을 달성하지만 입력 바이패스 메커니즘을 추가로 통합하면 수문의 타이밍과 모양이 크게 개선되고 양방향 지하수 질량 교환을 포함하면 기저 흐름의 시뮬레이션이 크게 향상된다는 것을 발견했습니다. 전반적으로 이번 연구 결과는 모델 평가에 여러 진단 지표를 사용하는 것이 중요하다는 것을 보여주는 동시에 전체 흐름 역학에 걸쳐 정보를 추출하는 데 더 적합한 훈련 지표를 설계해야 할 필요성을 강조합니다. 또한, 신경 구조 검색을 사용하여 다양한 수문 기후 체제의 집수지에 대한 적절한 최소 표현을 결정함으로써 해석 가능한 지역 규모의 MCP 기반 수문 모델링(대규모 샘플 데이터 사용)을 위한 단계를 설정했습니다. [abs|pdf]

[40/57] Learning When to See for Long-term Traffic Data Collection on Power-constrained Devices

Keywords: pems_data_rnn, estimator_drqn_deep, data_forecast_future
Abstract: 교통 데이터를 수집하는 것은 교통 시스템과 도시 계획에 매우 중요하며, 전력 및 네트워크 인프라를 사용할 수 없거나 비용이 많이 들기 때문에 배포하기 쉽지만 전력이 제한적인 장치를 사용하는 것이 더 바람직할 때가 많습니다. 제한된 전력은 데이터 수집 기간과 정확도/해상도 간의 불가피한 절충을 의미합니다. 저희는 배터리로 구동되는 디바이스의 관측 타이밍을 전략적으로 결정하고 드물게 샘플링된 관측 데이터로부터 전체 데이터 스트림을 재구성하여 성능 손실을 최소화하고 시스템 수명을 크게 연장하는 새로운 학습 기반 프레임워크를 도입했습니다. 프레임워크는 예측자, 컨트롤러, 추정기로 구성됩니다. 예측기는 과거 데이터를 활용하여 정해진 시간 범위 내에서 미래 추세를 예측합니다. 컨트롤러는 예측을 사용하여 데이터 수집을 위한 다음 최적의 타이밍을 결정합니다. 마지막으로, 추정기는 샘플링된 관측 데이터로부터 전체 데이터 프로파일을 재구성합니다. RNN(순환신경망) 예측기 및 추정기, DRQN(심층 순환 Q-네트워크) 컨트롤러를 통해 PeMS 데이터에 대한 제안된 방법의 성능을 평가하고 칼만 필터와 균일 샘플링을 사용하는 기준선과 비교합니다. 그 결과, 프로필에 더 많은 대표 데이터 포인트를 포함시킴으로써 추정 정확도가 전반적으로 10% 향상되는 등 기준선보다 더 나은 성능을 보이는 것으로 나타났습니다. 소스 코드는 공개적으로 사용할 수 있습니다. [abs|pdf]

[41/57] The Case for Co-Designing Model Architectures with Hardware

Keywords: deep_learning_dl, deep_learning_models, gpu_throughput_models
Abstract: GPU는 대부분의 최신 딥 러닝 모델을 훈련하는 역할을 담당하지만, 새로운 딥 러닝(DL) 모델을 설계할 때 그 아키텍처의 의미를 간과하는 경우가 많습니다. 따라서 대상 하드웨어에 더 적합하도록 DL 모델을 수정하면 DL 학습 및 추론의 런타임 성능을 크게 향상시킬 수 있습니다. 이 백서에서는 사용자가 트랜스포머 모델의 런타임 성능을 극대화할 수 있는 일련의 가이드라인을 제공합니다. 이 가이드라인은 모델 형태를 제어하는 다양한 모델 하이퍼파라미터가 GPU에서 실행되는 기본 계산 커널의 효율성에 미치는 영향을 신중하게 고려하여 작성되었습니다. 효율적인 모델 모양을 가진 모델의 처리량은 파라미터 수는 비슷하지만 모양이 최적화되지 않은 모델에 비해 정확도를 유지하면서 최대 39% 더 높은 것으로 나타났습니다. [abs|pdf]

[42/57] Scilab-RL: A software framework for efficient reinforcement learning and cognitive modeling research

Keywords: reinforcement_learning_robotic, cognitive_modeling_reinforcement, modeling_reinforcement
Abstract: 인지 모델링과 강화 학습(RL) 연구의 한 가지 문제점은 연구자들이 실험에 적합한 계산 프레임워크를 설정하는 데 너무 많은 시간을 소비한다는 것입니다. 현재 RL 알고리즘의 오픈 소스 구현은 많이 존재하지만 다양한 로봇 시뮬레이터와 플랫폼, 데이터 시각화, 하이퍼파라미터 최적화, 기준선 실험을 결합한 모듈식 도구 세트가 부족합니다. 이러한 문제를 해결하기 위해 유니티는 로봇 에이전트를 위한 인지 모델링 및 강화 학습의 효율적인 연구를 위한 소프트웨어 프레임워크인 Scilab-RL을 선보입니다. 이 프레임워크는 스테이블 베이스라인 3과 OpenAI 체육관 인터페이스를 사용하는 목표 조건부 강화 학습에 중점을 둡니다. 이 프레임워크는 실험 시각화 및 하이퍼파라미터 최적화를 위한 기본 가능성을 지원합니다. 이러한 기능을 통해 연구자가 최소한의 시간 노력으로 실험을 수행하여 연구 성과를 극대화하는 방법을 설명합니다. [abs|pdf]

[43/57] Design Principles for Generative AI Applications

Keywords: design_generative_ai, generative_ai_ux, generative_ai_technologies
Abstract: 제너레이티브 AI 애플리케이션은 고유한 설계 과제를 안고 있습니다. 제너레이티브 AI 기술이 주류 애플리케이션에 점점 더 많이 통합됨에 따라 효과적이고 안전한 사용을 촉진하는 사용자 경험을 설계하는 방법에 대한 지침이 절실히 요구되고 있습니다. 유니티는 제너레이티브 AI UX의 고유한 특성을 다루고 AI 애플리케이션 설계에서 알려진 문제를 새롭게 해석하고 확장하는 6가지 원칙을 제시합니다. 각 원칙은 UX 기능 또는 디자인 프로세스를 통해 해당 원칙을 구현하기 위한 일련의 디자인 전략과 결합되어 있습니다. 이러한 원칙과 전략은 문헌 검토, 디자인 실무자의 피드백, 실제 제너레이티브 AI 애플리케이션에 대한 검증, 두 개의 제너레이티브 AI 애플리케이션의 디자인 프로세스에 통합하는 등 반복적인 과정을 통해 개발되었습니다. 이 원칙은 실행 가능한 설계 권장 사항을 도출함으로써 제너레이티브 AI 애플리케이션 설계에 유용한 정보를 제공할 것으로 기대합니다. [abs|pdf]

[44/57] Unveiling the Unseen: Identifiable Clusters in Trained Depthwise Convolutional Kernels

Keywords: cnn_architectures_discernible, trained_depthwise_convolutional, ds_cnn_architectures
Abstract: 최근 심층적으로 분리 가능한 컨볼루션 신경망(DS-CNN)의 발전으로 확장성과 정확도 면에서 기존 CNN의 성능을 뛰어넘는 새로운 아키텍처가 등장했습니다. 이 논문에서는 모든 계층에서 훈련된 심층 컨볼루션 커널에서 식별 가능하고 설명 가능한 패턴이 나타난다는 DS-CNN 아키텍처의 또 다른 놀라운 속성을 밝힙니다. 다양한 크기와 다양한 모델의 수백만 개의 훈련된 필터를 광범위하게 분석하여 자동 인코더를 사용한 비지도 클러스터링을 사용하여 이러한 필터를 분류했습니다. 놀랍게도 패턴은 가우스(DoG) 함수와 그 1차 및 2차 도함수의 차이를 닮은 몇 가지 주요 클러스터로 수렴했습니다. 특히, 최첨단 ConvNextV2와 ConvNeXt 모델을 통해 각각 95%와 90% 이상의 필터를 분류할 수 있었습니다. 이 발견은 단순한 기술적 호기심이 아니라 신경과학자들이 포유류의 시각 시스템에 대해 오랫동안 제안해 온 기본 모델을 반영합니다. 따라서 이번 연구 결과는 훈련된 DS-CNN의 새로운 속성에 대한 이해를 깊게 하고 인공 시각 처리 시스템과 생물학적 시각 처리 시스템 사이의 가교 역할을 합니다. 더 넓게는 향후 더 해석 가능하고 생물학적으로 영감을 받은 신경망 설계를 위한 길을 열어줍니다. [abs|pdf]

[45/57] Wordflow: Social Prompt Engineering for Large Language Models

Keywords: social_prompt_engineering, social_prompt, prompts_additionally_leveraging
Abstract: 대규모 언어 모델(LLM)을 효과적으로 사용하려면 잘 만들어진 프롬프트가 필요합니다. 프롬프트를 설계하는 과정인 프롬프트 엔지니어링은 특히 AI 기술에 익숙하지 않은 비전문가에게는 어려운 작업입니다. 연구자들이 LLM 사용자의 프롬프트 설계를 돕기 위한 기술과 도구를 제안했지만, 이러한 연구는 주로 비전문가보다는 AI 애플리케이션 개발자를 대상으로 합니다. 이러한 연구 격차를 해소하기 위해 소셜 컴퓨팅 기술을 활용하여 협업적인 프롬프트 설계를 촉진하는 새로운 패러다임인 소셜 프롬프트 엔지니어링을 제안합니다. 소셜 프롬프트 엔지니어링을 연구하기 위해 일반 사용자가 쉽게 LLM 프롬프트를 생성, 실행, 공유 및 검색할 수 있는 오픈소스 소셜 텍스트 편집기인 Wordflow를 소개합니다. 또한 최신 웹 기술을 활용하여 Wordflow는 사용자가 브라우저에서 로컬 및 비공개로 LLM을 실행할 수 있도록 지원합니다. 두 가지 사용 시나리오는 소셜 프롬프트 엔지니어링과 도구가 어떻게 일반인들과 LLM의 상호작용을 향상시킬 수 있는지 보여줍니다. 워드플로는 이 https URL에서 공개적으로 액세스할 수 있습니다. [abs|pdf]

[46/57] Black-Box Access is Insufficient for Rigorous AI Audits

Keywords: external_audits_ai, audits_ai_systems, audits_ai
Abstract: 인공지능 시스템에 대한 외부 감사는 점점 더 인공지능 거버넌스의 핵심 메커니즘으로 인식되고 있습니다. 그러나 감사의 효과는 감사인에게 부여된 시스템 액세스 권한의 정도에 따라 달라집니다. 최근의 최첨단 AI 시스템에 대한 감사는 주로 감사인이 시스템을 쿼리하고 그 결과물만 관찰할 수 있는 블랙박스 액세스에 의존해 왔습니다. 그러나 시스템의 내부 작동(예: 가중치, 활성화, 그라데이션)에 대한 화이트박스 액세스를 통해 감사인은 더 강력한 공격을 수행하고, 모델을 더 철저하게 해석하고, 미세 조정을 수행할 수 있습니다. 한편, 교육 및 배포 정보(예: 방법론, 코드, 문서, 하이퍼파라미터, 데이터, 배포 세부 정보, 내부 평가 결과)에 대한 외부 액세스를 통해 감사자는 개발 프로세스를 면밀히 조사하고 보다 목표에 맞는 평가를 설계할 수 있습니다. 이 백서에서는 블랙박스 감사의 한계와 화이트박스 및 외부 감사의 장점을 살펴봅니다. 또한 보안 위험을 최소화하면서 이러한 감사를 수행하기 위한 기술적, 물리적, 법적 안전장치에 대해서도 논의합니다. 다양한 접근 방식이 매우 다른 수준의 평가로 이어질 수 있다는 점을 고려할 때, (1) 감사 결과를 올바르게 해석하려면 감사자가 사용하는 접근 방식과 방법에 대한 투명성이 필요하며, (2) 화이트박스 및 외부 접근 방식이 블랙박스 접근 방식보다 훨씬 더 면밀한 조사가 가능하다는 결론을 내립니다. [abs|pdf]

[47/57] ICASSP 2024 Speech Signal Improvement Challenge

Keywords: speech_signal_quality, improving_speech_signal, speech_signal_improvement
Abstract: ICASSP 2024 음성 신호 개선 그랜드 챌린지는 통신 시스템의 음성 신호 품질을 개선하는 분야의 연구를 촉진하기 위한 것입니다. 이번 대회는 지난 ICASSP 2023 그랜드 챌린지의 성공에 힘입어 두 번째로 개최되는 대회입니다. 데이터 세트 합성기를 도입하여 모든 참가 팀이 더 높은 기준선에서 시작할 수 있도록 하고, 확장된 P.804 테스트의 객관적인 지표인 2023 테스트 세트의 성적표를 제공하며, 단어 정확도(WAcc)를 지표로 추가하여 대회의 수준을 높였습니다. 실시간 트랙에서는 총 13개의 시스템을, 비실시간 트랙에서는 11개의 시스템을 주관적인 P.804 및 객관적인 단어 정확도 지표를 사용하여 평가합니다. [abs|pdf]

[48/57] Semantic Sensitivities and Inconsistent Predictions: Measuring the Fragility of NLI Models

Keywords: inference_semantic_sensitivity, language_inference_nli, natural_language_inference
Abstract: 트랜스포머 기반 자연어 이해(NLU) 모델의 새로운 기능에 대한 최근 연구에 따르면 이 모델은 어휘 및 구성 의미론에 대한 이해가 있는 것으로 나타났습니다. 하지만 이러한 주장에 신중한 접근이 필요하다는 증거를 제시합니다. 최신 자연어 추론(NLI) 모델은 표면적 의미의 변화를 보존하는 사소한 의미론에 민감하며, 이로 인해 추론 과정에서 상당히 일관성 없는 모델 결정을 내릴 수 있다는 사실을 발견했습니다. 특히 이러한 행동은 구성 의미론에 대한 타당하고 심층적인 이해와는 다르지만, 표준 벤치마크에서 모델 정확도를 평가하거나 구문론적, 단조롭고 논리적으로 견고한 추론을 조사할 때는 나타나지 않습니다. 저희는 의미론적 민감도의 정도를 측정하는 새로운 프레임워크를 제안합니다. 이를 위해 의미론적 민감도를 보존하는 표면 형식 입력 노이즈가 거의 없는 적대적으로 생성된 예제에 대해 NLI 모델을 평가합니다. 이는 조건부 텍스트 생성을 통해 이루어지며, NLI 모델이 원본 입력과 적대적 입력 간의 관계를 대칭적 동등성 수반으로 예측한다는 명시적 조건이 있습니다. 인 및 아웃 오브 도메인 설정에 대한 NLI 모델 전반에 걸쳐 이 현상의 효과를 체계적으로 연구합니다. 실험 결과, 의미론적 민감도는 도메인 설정에 따라 각각 평균 12.92%와 23.71%의 성능 저하를 유발하는 것으로 나타났습니다. 또한 모델, 데이터 세트, 추론의 다양성 전반에 걸쳐 이러한 현상을 분석하는 제거 연구를 수행하여 의미론적 민감도가 모델 예측에 중대한 불일치를 초래할 수 있음을 보여줍니다. [abs|pdf]

[49/57] Trust model of privacy-concerned, emotionally-aware agents in a cooperative logistics problem

Keywords: trust_cognitively_modeled, propose_trust_model, trust_model
Abstract: 이 논문에서는 인간과 무인 자동차가 협력하는 가상의 혼합 환경에서 사용할 신뢰 모델을 제안합니다. 우리는 신뢰 모델에 감정을 포함시키는 것을 현재의 심리학 이론에 대한 실용적인 접근 방식과 일관된 방식으로 다룹니다. 가장 혁신적인 기여는 감정적 신뢰 모델의 협력 결정에서 프라이버시 문제가 어떻게 작용하는지에 대한 것입니다. 감정과 신뢰는 모두 신념, 욕구 및 의도(BDI) 패러다임으로 인지적으로 모델링되어 IEEE FIPA 표준을 사용하여 통신하는 GAML(GAMA 에이전트 플랫폼의 프로그래밍 언어)로 구현된 자율 에이전트로 관리됩니다. 이러한 감성 에이전트의 신뢰 행동은 에이전트가 목적지까지 물체를 이동해야 하고 일부 물체와 장소에는 프라이버시 문제가 있는 협력 물류 문제에서 테스트됩니다. 이 물류 문제의 시뮬레이션을 실행하면 감정과 신뢰가 시간 절약과 개인 정보 보호 측면에서 에이전트의 성능을 향상시키는 데 어떻게 기여하는지 알 수 있습니다 [abs|pdf]

[50/57] Transforming gradient-based techniques into interpretable methods

Keywords: cnn_xai_techniques, introduce_gad_gradient, gradient_based
Abstract: XAI 기술을 통한 컨볼루션 신경망(CNN)의 설명은 종종 해석에 어려움을 겪습니다. 입력 특징, 특히 이미지에서 추출된 픽셀의 고유한 복잡성으로 인해 복잡한 상관관계가 발생하기 때문입니다. 통합 그라디언트(IG)로 대표되는 그라디언트 기반 방법론은 이러한 특징의 중요성을 효과적으로 보여줍니다. 그럼에도 불구하고 이러한 설명을 이미지로 변환하면 상당한 노이즈가 발생하는 경우가 많습니다. 현재는 그라디언트 기반 기법을 지원하는 프레임워크로서 GAD(그라디언트 인공 거리)를 도입하고 있습니다. 이 기법의 주요 목적은 클래스 간 구분을 설정하여 영향력 있는 영역을 강조하는 것입니다. GAD의 핵심은 시각화 중 분석 범위를 제한하여 결과적으로 이미지 노이즈를 줄이는 것입니다. 가려진 이미지와 관련된 경험적 조사에 따르면 이 방법론을 통해 식별된 영역이 실제로 클래스 구분을 촉진하는 데 중추적인 역할을 한다는 것이 입증되었습니다. [abs|pdf]

[51/57] M$^3$TN: Multi-gate Mixture-of-Experts based Multi-valued Treatment Network for Uplift Modeling

Keywords: uplift_based_predicted, modeling_uplift_explicitly, modeling_uplift
Abstract: 업리프트 모델링은 치료(예: 할인)가 개인의 반응에 미치는 영향을 예측하는 데 사용되는 기법입니다. 다가치 치료를 위해 여러 가지 방법이 제안되었지만, 이는 이분법적 치료 방법에서 확장된 것입니다. 하지만 여전히 몇 가지 한계가 있습니다. 첫째, 기존 방법은 예측된 반응을 기반으로 상승도를 계산하기 때문에 치료군과 대조군 간의 상승도 분포가 일관되지 않을 수 있습니다. 또한 다중값 치료의 경우 누적 오차가 발생할 수 있습니다. 둘째, 예측 헤드가 많을수록 모델 파라미터가 많아져 효율성이 떨어집니다. 이러한 문제를 해결하기 위해 저희는 전문가 혼합 기반 M멀티게이트 \underline{M}네트워크(M$^3$TN)라는 새로운 모델을 제안합니다. M$^3$TN은 두 가지 구성 요소로 이루어져 있습니다: 1) 효율성을 개선하기 위한 다중 게이트 혼합 전문가(Multi-gate Mixture-of-Experts)를 사용한 특징 표현 모듈, 2) 효율성을 개선하기 위해 명시적으로 상승을 모델링하는 재모수화 모듈입니다. 또한 광범위한 실험을 통해 M$^3$TN의 효과와 효율성을 입증했습니다. [abs|pdf]

[52/57] No Longer Trending on Artstation: Prompt Analysis of Generative AI Art

Keywords: artists_broadly_visual, aesthetics_reinforcing_cultural, ai_generated_images
Abstract: 지난 몇 년 동안 스테이블 디퓨전 및 미드저니와 같은 확산 모델을 사용하여 생성된 수십억 개의 AI 생성 이미지가 생성되면서 생성형 AI를 사용한 이미지 생성이 시각 미디어의 주요한 새로운 소스로 빠르게 자리 잡고 있습니다. 이 백서에서는 3백만 개가 넘는 프롬프트와 그로 인해 생성된 이미지를 수집하고 분석합니다. 자연어 처리, 주제 분석 및 시각화 방법을 사용하여 사람들이 텍스트 프롬프트를 사용하는 방식, 이러한 시스템이 아티스트에게 미치는 영향, 더 넓게는 이러한 시스템이 촉진하는 시각적 문화에 대해 종합적으로 이해하는 것을 목표로 합니다. 연구 결과, 프롬프트는 주로 표면적인 미학, 문화적 규범 강화, 대중적인 전통적 표현 및 이미지에 초점을 맞추고 있는 것으로 나타났습니다. 또한 많은 사용자가 컬러링북, 판타지 아트, 크리스마스 카드 만들기 등 대중적인 주제에 집중하는 것으로 나타나, 분석 대상 시스템의 주된 용도가 예술적 목적보다는 여가 활동임을 알 수 있습니다. [abs|pdf]

[53/57] Discovering Mathematical Formulas from Data via GPT-guided Monte Carlo Tree Search

Keywords: symbolic_regression_algorithm, trained_transformer_gpt, referred_symbolic_regression
Abstract: 각 변수와 데이터의 예측 값 사이의 관계를 정확하게 설명하는 간결하고 해석 가능한 수학 공식을 찾는 것은 과학 연구에서 중요한 작업이며, 인공지능에서도 중요한 과제입니다. 이 문제를 기호적 회귀라고 하며, 이는 NP-하드 문제입니다. 작년에 몬테카를로 트리 검색(MCTS)에 기반한 기호 회귀 방법이 제안되어 여러 데이터 세트에서 소타를 얻었습니다. 이 알고리즘은 이전 방법에 비해 목표 표현식을 복구하는 데 있어 상당한 개선을 보였지만, MCTS 과정에서 안내가 부족해 검색 효율성이 크게 떨어졌습니다. 최근 일부 알고리즘은 사전 학습된 정책 네트워크를 추가하여 MCTS의 검색을 안내하지만, 사전 학습된 정책 네트워크는 일반화가 잘 되지 않습니다. 효율성과 일반성의 균형을 맞추기 위해 AlphaZero의 아이디어를 결합한 SR-GPT를 제안합니다. SR-GPT는 MCTS와 생성적 사전 훈련 트랜스포머(GPT)를 결합한 새로운 기호 회귀 알고리즘입니다. GPT를 사용하여 MCTS 프로세스를 안내함으로써 MCTS의 검색 효율이 크게 향상됩니다. 그런 다음, MCTS 결과를 활용하여 GPT를 더욱 정교하게 개선함으로써 기능을 향상시키고 MCTS 프로세스에 대한 보다 정확한 가이드를 제공합니다. 목표 발현이 성공적으로 결정될 때까지 MCTS와 GPT는 함께 결합되어 서로를 최적화합니다. 10가지 이상의 서로 다른 기호 회귀 데이터 세트에서 가져온 222개의 표현식을 사용해 SR-GPT에 대한 광범위한 평가를 수행했습니다. 실험 결과에 따르면 SR-GPT는 노이즈가 추가된 경우와 그렇지 않은 경우 모두에서 기호 표현식을 정확하게 복구하는 데 있어 기존의 최첨단 알고리즘보다 뛰어난 성능을 보였습니다. [abs|pdf]

[54/57] Fuzzy Logic Function as a Post-hoc Explanator of the Nonlinear Classifier

Keywords: black_box_classifier, hoc_explainable_classifiers, explainable_classifiers
Abstract: 심층 신경망을 사용하여 구현된 패턴 인식 시스템은 선형 모델보다 더 나은 결과를 얻을 수 있습니다. 하지만 블랙박스 속성이라는 단점이 있습니다. 이 속성은 비선형 시스템을 사용해 본 경험이 없는 사람이 의사 결정의 결과를 이해하는 데 도움이 필요하다는 것을 의미합니다. 이러한 솔루션은 최종 결정을 내리는 사용자가 받아들일 수 없습니다. 그는 결정을 믿을 뿐만 아니라 이해해야 합니다. 따라서 인식자는 해석자가 결과를 해석할 수 있는 아키텍처를 갖춰야 합니다. 사후 설명 가능한 분류기의 아이디어는 블랙박스 분류기와 병행하여 블랙박스 분류기와 동일한 결정을 내릴 수 있는 해석 가능한 분류기를 설계하는 것입니다. 이 논문에서는 설명 가능한 분류기가 Zadeh의 퍼지 논리 함수가 분류기를 형성하고 DeconvNet 중요도가 진리값을 제공하는 경우 MNIST 및 FashionMNIST 데이터베이스에서 블랙박스 분류기와 일치하는 분류 결정을 완료한다는 것을 보여줍니다. 테스트한 다른 중요도 측정값은 DeconvNet보다 낮은 성능을 보였기 때문에, 사용된 데이터베이스와 인식기 아키텍처에 대한 퍼지 논리 함수의 입력으로 특징값을 진리값으로 최적으로 변환하는 것이 최선입니다. [abs|pdf]

[55/57] Aprendizado de máquina aplicado na eletroquímica

Keywords: analytes_electrochemical_biosensors, analytes_electrochemical, analytes_various_electrochemical
Abstract: 이 체계적인 리뷰는 다양한 전기화학 응용 분야에서 분석물을 식별하고 정량화하기 위한 기계 학습 기법의 사용을 분석하고 문헌에서 사용 가능한 응용 분야를 제시하는 데 중점을 둡니다. 머신러닝은 분석을 용이하게 하고 다양한 분석물질과 관련된 프로세스에 대한 이해를 높일 수 있는 도구입니다. 전기화학 바이오센서에서는 의료 진단의 정밀도를 높여 바이오마커와 병원균의 식별을 높은 신뢰도로 개선합니다. 복잡한 화학 제품의 분류, 저비용 센서를 사용한 환경 모니터링, 휴대용 기기 및 웨어러블 시스템 등에 효과적으로 사용할 수 있습니다. 현재 일부 분석은 여전히 수작업으로 이루어지고 있어 해당 분야 전문가의 전문 지식이 필요하고, 따라서 결과의 일반화에 한계가 있습니다. 오늘날 인공지능의 발전에 비추어 볼 때, 이 연구는 인공지능 기술의 응용에 관한 문헌을 체계적으로 검토할 것을 제안합니다. 기계 학습 기법, 특히 지도 학습을 사용하여 전기 화학 문제를 해결하는 일련의 논문이 확인되었습니다. [abs|pdf]

[56/57] Harnessing Neuron Stability to Improve DNN Verification

Keywords: scalable_dnn_verification, constraint_dnn_verification, verification_neurons_constrained
Abstract: 심층 신경망(DNN)은 현실 세계의 문제를 해결하는 효과적인 접근법으로 부상했습니다. 하지만 사람이 작성한 소프트웨어와 마찬가지로 DNN은 버그와 공격에 취약합니다. 이로 인해 효과적이고 확장 가능한 DNN 검증 기법과 도구를 개발하는 데 큰 관심이 쏠리고 있습니다. 이 백서에서는 최근 제안된 DPLL 기반 제약 조건 DNN 검증 접근법을 새롭게 확장한 VeriStable을 소개합니다. VeriStable은 뉴런의 행동이 전체 DNN 입력 공간에서 비선형적일 수 있지만, 검증 중에 계산되는 중간 상태에서는 많은 뉴런이 선형적 행동을 하도록 제약될 수 있다는 통찰력을 활용합니다. 안정적인 뉴런을 효율적으로 감지하면 추상화의 정밀도를 손상시키지 않으면서 조합의 복잡성을 줄일 수 있습니다. 또한 DNN 검증 문제에서 발생하는 절의 구조는 산업 SAT 벤치마크와 중요한 특징을 공유합니다. 이러한 특성을 대상으로 멀티스레딩 및 재시작 최적화를 적용하고 통합하여 DPLL 기반 DNN 검증을 더욱 최적화합니다. 유니티는 표준 MNIST 및 CIFAR 데이터 세트에 적용된 완전 연결 피드포워드 네트워크(FNN), 컨볼루션 신경망(CNN), 잔여 네트워크(ResNet) 등 다양한 까다로운 벤치마크에서 VeriStable의 효과를 평가합니다. 예비 결과에 따르면 VeriStable은 경쟁력이 있으며, VNN-COMP의 1, 2위인 $\alpha$-$\beta$-CROWN과 MN-BaB를 포함한 최신 DNN 검증 도구보다 우수한 성능을 보였습니다. [abs|pdf]

[57/57] Piecewise polynomial regression of tame functions via integer programming

Keywords: approximable_piecewise_polynomials, piecewise_polynomial_regression, functions_approximable_piecewise
Abstract: 여기서는 비평활 함수의 특정 클래스에 속하는 함수, 즉 길들이기 함수를 추정하는 작업을 고려합니다. 이러한 함수는 딥러닝 훈련, 혼합 정수 프로그램의 값 함수 또는 작은 분자의 파동 함수와 같은 다양한 응용 분야에서 나타납니다. 우리는 길들이기 함수가 모든 전차원 큐브에서 부분 다항식으로 근사화할 수 있음을 보여줍니다. 그런 다음 부분 다항식 회귀에 대한 최초의 혼합 정수 프로그래밍 공식을 제시합니다. 이를 통해 길들인 함수를 추정하는 데 사용할 수 있습니다. 유망한 계산 결과를 시연합니다. [abs|pdf]