🍞 오늘의 AI 논문 [2024-01-31]

[1/77] Layered and Staged Monte Carlo Tree Search for SMT Strategy Synthesis

Keywords: smt_strategy_synthesis, modern_smt_solvers, automatic_smt_strategy
Abstract: Z3와 같은 최신 SMT 솔버는 사용자가 제어 가능한 전략을 제공하여 사용자가 고유한 인스턴스 세트에 맞게 전략을 조정할 수 있으므로 사용 사례에 맞는 솔버 성능을 크게 향상시킬 수 있습니다. 그러나 이러한 전략 커스터마이징 접근 방식은 중요한 과제를 안고 있는데, SMT 인스턴스 클래스에 최적화된 전략을 직접 제작하는 것은 솔버 개발자와 사용자 모두에게 복잡하고 까다로운 작업으로 남아 있습니다.
이 논문에서는 새로운 몬테카를로 트리 검색(MCTS) 기반 방법을 통해 자동 SMT 전략 합성의 이러한 문제를 해결합니다. 이 방법은 전략 합성을 검색 트리가 전략 공간에 해당하는 순차적 의사 결정 과정으로 간주하고, 이 방대한 검색 공간을 탐색하기 위해 MCTS를 사용합니다. 이 방법을 통해 비용을 낮추면서도 효과적인 전략을 찾아낼 수 있는 핵심 혁신은 바로 계층적 및 단계적 MCTS 검색에 대한 아이디어입니다. 이러한 새로운 접근 방식을 통해 전략 공간을 더 깊고 효율적으로 탐색할 수 있으므로 최첨단(SOTA) SMT 솔버의 기본 전략보다 더 효과적인 전략을 합성할 수 있습니다. 유니티는 Z3 SMT 솔버의 일부로 Z3alpha라고 불리는 이 방법을 구현했습니다. 6가지 중요한 SMT 로직에 대한 광범위한 평가를 통해 Z3alpha는 대부분의 벤치마크에서 SOTA 합성 툴인 FastSMT, 기본 Z3 솔버 및 CVC5 솔버에 비해 우수한 성능을 입증했습니다. 놀랍게도, 까다로운 QF_BV 벤치마크 세트에서 Z3alpha는 Z3 SMT 솔버의 기본 전략보다 42.7% 더 많은 인스턴스를 해결합니다. [abs|pdf]

[2/77] Explaining Explanations in Probabilistic Logic Programming

Keywords: probabilistic_logic_programming, probabilistic_logic_programs, probabilistic_logic
Abstract: 인공지능에 기반한 도구의 등장으로 사람이 이해할 수 있는 설명이 필요해졌습니다. 일부 접근 방식에서는 시스템이 투명하지 않아('블랙박스'라고도 함) 적절한 설명을 생성하기 어렵습니다. 하지만 이 연구에서는 (지식 표현을 위한) 논리 프로그래밍과 (불확실성을 모델링하기 위한) 확률의 조합인 확률론적 논리 프로그래밍을 고려합니다. 이 환경에서는 모델이 해석 가능하다고 말할 수 있으므로 이해하기 쉽습니다. 그러나 특정 쿼리가 주어졌을 때, '설명'이라는 일반적인 개념은 모델의 각 무작위 변수에 대해 하나씩 선택의 집합과 연관됩니다. 안타깝게도 이 집합은 인과적 구조를 가지고 있지 않으며, 실제로 일부 선택은 고려된 쿼리와 실제로 관련이 없습니다. 이러한 단점을 극복하기 위해 확률론적 논리 프로그램을 위한 쿼리 기반 추론 메커니즘의 정의를 기반으로 설명을 설명하는 접근 방식을 제시합니다. [abs|pdf]

[3/77] Scalable Mechanism Design for Multi-Agent Path Finding

Keywords: mapf_propose_strategyproof, paths_multiple_agents, multi_agent_path
Abstract: 다중 에이전트 경로 찾기(MAPF)는 여러 에이전트가 공유 영역을 통해 특정 목표 위치로 동시에 이동할 수 있는 경로를 결정하는 작업입니다. 이 문제는 특히 자율 주행 차량 조정과 같은 현실적인 애플리케이션에서 흔히 볼 수 있듯이 많은 수의 에이전트를 처리할 때 계산적으로 복잡합니다. 최적의 솔루션을 찾는 것은 계산적으로 불가능한 경우가 많기 때문에 근사 알고리즘을 사용하는 것이 필수적입니다. 복잡성을 더하는 것은 에이전트가 이기적이고 전략적인 방식으로 행동할 수 있으며, 자신에게 이익이 될 경우 MAPF 알고리즘에 자신의 목표를 잘못 전달할 수도 있다는 점입니다. 메커니즘 설계 분야에서는 인센티브를 조정하는 도구를 제공하지만, 이러한 도구를 신중하게 고려하지 않고 사용하면 거의 최적의 결과만 얻을 수 있어 실패할 수 있습니다. 근사치는 확장 가능한 MAPF 알고리즘에 매우 중요하기 때문에 이는 중요한 도전 과제입니다. 이 논문에서는 MAPF의 확장 가능한 메커니즘 설계 문제를 소개하고 세 가지 전략 방지 메커니즘을 제안하며, 이 중 두 가지 메커니즘은 근사치 MAPF 알고리즘도 사용합니다. 수십 개에서 수백 개에 이르는 에이전트의 문제 크기가 있는 실제 MAPF 도메인에서 메커니즘을 테스트합니다. 그 결과 단순한 기준선 이상으로 후생이 개선되는 것으로 나타났습니다. [abs|pdf]

[4/77] ShaRP: Explaining Rankings with Shapley Values

Keywords: shapley_rankings_preferences, sharp_shapley_rankings, shapley_rankings
Abstract: 채용, 대학 입학, 대출과 같은 중요한 영역의 알고리즘 결정은 종종 순위를 기반으로 이루어집니다. 이러한 결정이 개인, 조직, 인구 집단에 미치는 영향 때문에 이러한 결정이 법률을 준수하는지 여부를 파악하고, 개인이 자신의 순위를 개선하도록 돕고, 더 나은 순위 절차를 설계하기 위해 순위를 이해해야 할 필요성이 있습니다.
이 백서에서는 순위가 매겨진 결과의 다양한 측면에 대한 기능의 기여도를 설명하는 프레임워크이자 샤플리 값에 기반한 샤플리 순위 및 선호도(ShaRP)를 소개합니다. ShaRP를 사용하면 알고리즘 순위 결정자가 사용하는 점수 함수가 알려져 있고 선형적인 경우에도 각 기능의 가중치가 샤플리 값 기여도와 일치하지 않는다는 것을 보여줍니다. 대신 기여도는 특징 분포와 채점 특징 간의 미묘한 국소적 상호 작용에 따라 달라집니다. ShaRP는 정량적 입력 영향력 프레임워크를 기반으로 하며, 점수, 순위, 쌍별 선호도 및 상위 k를 포함한 여러 관심도 수량에 대한 특징의 기여도를 계산할 수 있습니다. 랭킹에 대한 블랙박스 액세스에 의존하기 때문에, ShaRP는 점수 기반 모델과 학습된 랭킹 모델을 모두 설명하는 데 사용할 수 있습니다. 실제 데이터 세트와 합성 데이터 세트를 사용하여 ShaRP를 광범위하게 실험적으로 검증한 결과를 보여줌으로써 정성적 분석에 대한 유용성을 보여줍니다. [abs|pdf]

[5/77] Recovering Mental Representations from Large Language Models with Markov Chain Monte Carlo

Keywords: large_language_models, language_models, representations_large_language
Abstract: 사람들을 대상으로 샘플링 알고리즘을 시뮬레이션하는 것은 사람들의 정신적 표상을 효율적으로 조사하고 이해하는 데 유용한 방법임이 입증되었습니다. 우리는 동일한 방법을 대규모 언어 모델(LLM)의 표현을 연구하는 데 사용할 수 있다고 제안합니다. 인간이나 LLM이 자신의 정신적 표상을 성찰적으로 드러내도록 직접 유도할 수도 있지만, 우리는 샘플링 알고리즘의 요소로 LLM을 사용하면 효율성을 높일 수 있음을 보여줍니다. 직접 샘플링과 마르코프 체인 몬테카를로(MCMC)를 사용하여 LLM을 심문할 때 인간과 유사한 표현을 어느 정도 복구할 수 있는지 살펴봅니다. 그 결과 MCMC에 기반한 적응형 샘플링 알고리즘을 사용하면 효율성과 성능이 크게 향상되는 것을 발견했습니다. 또한, LLM으로 베이지안 추론을 수행하는 보다 일반적인 방법을 도출할 수 있는 우리 방법의 잠재력을 강조합니다. [abs|pdf]

[6/77] Attention-based Reinforcement Learning for Combinatorial Optimization: Application to Job Shop Scheduling Problem

Keywords: job_shop_scheduling, gradient_reinforcement_learning, policy_gradient_reinforcement
Abstract: 작업장 스케줄링 문제는 가장 중요하고 까다로운 조합 최적화 문제 중 하나로, 주로 정확한 해법 또는 근사 해법 접근법으로 해결해 왔습니다. 그러나 실제 문제에서 정확한 해를 찾는 것은 불가능할 수 있으며, 근사 해 접근법을 사용하더라도 최적에 가까운 해를 찾는 데 엄청난 시간이 소요될 수 있고, 찾은 해는 일반적으로 새로운 문제에 적용하기 어렵습니다. 이러한 문제를 해결하기 위해 우리는 정책 그라데이션 강화 학습과 수정된 트랜스포머 아키텍처를 통합하여 작업장 스케줄링 문제 클래스에 대한 주의 기반 강화 학습 방법을 제안합니다. 중요한 결과는 제안한 방법으로 훈련된 학습자를 훈련에 사용되지 않은 대규모 문제를 해결하는 데 재사용할 수 있으며, 우리의 접근 방식이 최근 연구 결과와 널리 채택된 휴리스틱 규칙보다 성능이 우수하다는 것을 입증합니다. [abs|pdf]

[7/77] Weaver: Foundation Models for Creative Writing

Keywords: writing_purposes_weaver, large_language_models, improving_writing_capabilities
Abstract: 이번 작업에서는 콘텐츠 제작에 특화된 첫 번째 대규모 언어 모델(LLM) 제품군인 Weaver를 소개합니다. Weaver는 대규모 언어 모델의 작문 능력을 향상시키는 데 초점을 맞춘 엄선된 말뭉치에 대해 사전 학습을 거칩니다. 그런 다음 창의적이고 전문적인 글쓰기를 위해 Weaver를 미세 조정하고, 지시 데이터 합성 및 LLM 정렬을 위한 새로운 방법을 사용하여 전문 작가의 선호도에 맞게 조정하여 보다 인간과 유사한 텍스트를 생성하고 콘텐츠 제작을 위한 보다 다양한 지시를 따를 수 있도록 합니다. 위버 제품군은 다양한 애플리케이션에 적합한 위버 미니(1.8B), 위버 베이스(6B), 위버 프로(14B), 위버 울트라(34B) 크기로 구성되며 쿼리 복잡도에 따라 라우팅 에이전트를 동적으로 파견하여 응답 품질과 계산 비용의 균형을 맞출 수 있습니다. LLM의 쓰기 기능을 평가하기 위해 신중하게 선별된 벤치마크에서 평가한 결과, 모든 규모의 위버 모델이 그보다 몇 배 더 큰 범용 LLM보다 성능이 뛰어난 것으로 나타났습니다. 특히 가장 성능이 뛰어난 Weaver Ultra 모델은 다양한 쓰기 시나리오에서 최첨단 제너럴리스트 LLM인 GPT-4를 능가하는 것으로 나타나 쓰기 목적의 전문 LLM을 훈련하는 것이 유리하다는 것을 입증했습니다. 또한 위버는 검색 증강 생성(RAG)과 함수 호출(도구 사용)을 기본적으로 지원합니다. 외부 지식 기반, 도구 또는 API를 통합하고 개인화된 작문 지원을 제공하는 등 AI 지원 작문 시스템을 개선하기 위한 이러한 기능의 다양한 사용 사례를 제시합니다. 또한 도메인별 LLM의 사전 학습 및 미세 조정을 위한 가이드라인과 모범 사례에 대해 논의하고 요약합니다. [abs|pdf]

[8/77] Proactive Detection of Voice Cloning with Localized Watermarking

Keywords: audioseal_audio_watermarking, audio_watermarking, generated_speech_audioseal
Abstract: 빠르게 진화하는 음성 생성 모델 분야에서는 음성 복제의 위험으로부터 오디오의 신뢰성을 보장해야 할 필요성이 절실히 요구되고 있습니다. 유니티는 AI로 생성된 음성을 국소적으로 탐지하기 위해 특별히 설계된 최초의 오디오 워터마킹 기술인 오디오씰을 소개합니다. 오디오씰은 로컬라이제이션 손실과 함께 훈련된 제너레이터/디텍터 아키텍처를 사용하여 샘플 수준까지 로컬라이즈된 워터마크 감지를 가능하게 하고, 청각적 마스킹에서 영감을 얻은 새로운 지각 손실을 통해 더 나은 비인지성을 달성할 수 있도록 합니다. AudioSeal은 실제 오디오 조작에 대한 견고성과 자동 및 인적 평가 지표를 기반으로 한 비인지성 측면에서 최첨단 성능을 달성합니다. 또한 오디오씰은 기존 모델을 훨씬 능가하는 고속 단일 패스 탐지기로 설계되어 최대 2배 빠른 탐지 속도를 구현하므로 대규모 실시간 애플리케이션에 이상적입니다. [abs|pdf]

[9/77] Robust Prompt Optimization for Defending Language Models Against Jailbreaking Attacks

Keywords: adversarial_attacks_jailbreaking, improves_robustness_jailbreaks, attacks_jailbreaking_adversaries
Abstract: AI 정렬의 발전에도 불구하고 언어 모델(LM)은 공격자가 입력 프롬프트를 수정하여 유해한 행동을 유도하는 공격이나 탈옥에 여전히 취약한 상태입니다. 몇 가지 방어책이 제안되었지만, 이는 좁은 위협 모델에 초점을 맞추고 있어 효과적이고 보편적이며 실용적인 강력한 방어책에는 미치지 못합니다. 이를 위해 저희는 탈옥 공격으로부터 LM을 방어하기 위한 첫 번째 적대적 목표와 그라데이션 기반 토큰 최적화를 사용하여 무해한 출력을 강제하는 알고리즘인 강력한 프롬프트 최적화(RPO)를 제안합니다. 그 결과, 최적화 중에 발견된 탈옥과 알려지지 않은 보류된 탈옥 모두에 대한 견고성이 크게 향상되어 20개의 탈옥에 대한 공격 성공률이 84%에서 8.66%로 감소했습니다. 또한, RPO가 정상적인 LM 사용에는 별다른 영향을 미치지 않고 적응형 공격에서도 성공하며 블랙박스 모델에 전이되어 GPT-4에 대한 가장 강력한 공격의 성공률을 92%에서 6%로 낮출 수 있다는 사실을 발견했습니다. [abs|pdf]

[10/77] LLaMP: Large Language Model Made Powerful for High-fidelity Materials Knowledge Retrieval and Distillation

Keywords: data_materials, exploring_materials_informatics, data_materials_project
Abstract: 재현성이 중요한 과학 분야에서 대규모 언어 모델(LLM)을 사용하려면 환각을 줄이는 것이 필수적입니다. 그러나 LLM은 본질적으로 장기 기억력이 부족하기 때문에 도메인별 문헌과 데이터에 따라 미세 조정하는 것은 사소하고 임시적이며 편향적일 수밖에 없는 작업입니다. 여기서는 머티리얼즈 프로젝트(MP)의 계산 및 실험 데이터와 동적으로 상호 작용하는 여러 데이터 인식 추론 및 행동(ReAct) 에이전트로 구성된 멀티모달 검색 증강 생성(RAG) 프레임워크인 LLaMP에 대해 소개합니다. 미세 조정 없이도 LLaMP는 다양한 방식의 재료 과학 개념을 이해하고 통합하며, 관련 데이터 저장소를 즉시 불러오고, 고차 데이터(예: 결정 구조 및 탄성 텐서)를 처리하고, 고체 합성을 위한 다단계 절차를 요약할 수 있는 능력을 보여줍니다. LLaMP는 GPT-3.5의 내재적 지식의 오류를 효과적으로 수정하여 자주 문서화되는 밴드갭에서 5.21% MAPE를 줄이고, 형성 에너지에서 1103.54% MAPE를 크게 감소시켰는데, 이는 GPT-3.5가 혼합 데이터 소스에서 파생되는 것으로 보이는 오류입니다. 또한 LLaMP는 다이아몬드 입방 실리콘 구조의 환각 체적 변형을 66.3%에서 0으로 크게 줄였습니다. 제안된 프레임워크는 재료 정보학을 탐색하는 데 있어 직관적이고 환각이 거의 없는 접근 방식을 제공하며 지식 증류 및 다른 언어 모델의 미세 조정을 위한 경로를 확립합니다. 우리는 이 프레임워크가 과학적 가설을 위한 귀중한 구성 요소이자, 하드코딩된 인간의 로직과 개입 없이 여러 LLM 에이전트가 로봇과 소통하고 협력하여 재료 합성과 화학 반응을 주도하는 미래의 자율 실험실을 위한 기반이 될 것으로 기대합니다. [abs|pdf]

[11/77] ESPnet-SPK: full pipeline speaker embedding toolkit with reproducible recipes, self-supervised front-ends, and off-the-shelf models

Keywords: speaker_embedding_extractors, training_speaker_embedding, speaker_recognition_community
Abstract: 이 백서에서는 화자 임베딩 추출기를 훈련하기 위한 몇 가지 목표를 가지고 설계된 툴킷인 ESPnet-SPK를 소개합니다. 첫째, 화자 인식 커뮤니티의 연구자들이 손쉽게 모델을 구축할 수 있는 오픈 소스 플랫폼을 제공합니다. 유니티는 X-벡터부터 최신 SKA-TDNN까지 다양한 모델을 제공합니다. 모듈화된 아키텍처 설계를 통해 다양한 변형을 쉽게 개발할 수 있습니다. 또한 개발된 모델을 다른 영역과 연결하여 광범위한 연구 커뮤니티가 최첨단 임베딩 추출기를 손쉽게 통합할 수 있도록 지원합니다. 사전 훈련된 임베딩 추출기는 기성품 방식으로 액세스할 수 있으며, 두 가지 작업과의 통합을 보여줌으로써 툴킷의 다용도성을 보여줍니다. 또 다른 목표는 다양한 자기 지도 학습 기능과 통합하는 것입니다. 유니티는 ECAPA-TDNN과 함께 WavLM-Large를 사용하여 Vox1-O 평가 프로토콜에서 0.39%의 동일한 오류율을 달성하는 재현 가능한 레시피를 공개합니다. [abs|pdf]

[12/77] MouSi: Poly-Visual-Expert Vision-Language Models

Keywords: visual_experts_bridging, large_vision_language, individual_visual_encoders
Abstract: 현재의 대규모 시각 언어 모델(VLM)은 단일 시각적 구성 요소의 기능 부족, 지나치게 긴 시각적 토큰과 같은 문제에 종종 직면합니다. 이러한 문제는 복잡한 시각 정보와 지나치게 긴 문맥 정보를 정확하게 해석하는 데 있어 모델의 효율성을 제한할 수 있습니다. 이러한 문제를 해결하는 것은 VLM의 성능과 적용 가능성을 향상시키는 데 매우 중요합니다. 이 백서에서는 이미지-텍스트 매칭, OCR, 이미지 분할 등에 숙련된 전문가를 포함한 개별 시각 인코더의 기능을 시너지 효과를 내기 위해 앙상블 전문가 기법을 사용할 것을 제안합니다. 이 기법은 융합 네트워크를 도입하여 서로 다른 시각 전문가들의 결과물 처리를 통합하는 동시에 이미지 인코더와 사전 학습된 LLM 간의 격차를 해소합니다. 또한 긴 이미지 특징 시퀀스로 인해 발생하는 위치 인코딩의 낭비를 줄이기 위해 다양한 위치 인코딩 체계를 탐색하여 위치 오버플로 및 길이 제한 문제를 효과적으로 해결합니다. 예를 들어, 이 기법은 SAM과 같은 모델에서 위치 점유를 4096개에서 더 효율적이고 관리하기 쉬운 64개 또는 심지어 1까지 크게 줄입니다. 실험 결과에 따르면 여러 명의 전문가가 포함된 VLM은 고립된 시각 인코더에 비해 일관되게 우수한 성능을 보이며, 더 많은 전문가가 통합될수록 성능이 크게 향상되는 것으로 나타났습니다. 유니티는 이 보고서에 사용된 훈련 코드를 오픈소스로 공개했습니다. 이 모든 리소스는 프로젝트 웹사이트에서 확인할 수 있습니다. [abs|pdf]

[13/77] NormEnsembleXAI: Unveiling the Strengths and Weaknesses of XAI Ensemble Techniques

Keywords: explainable_artificial_intelligence, interpretable_deep_learning, intelligence_xai_ensembling
Abstract: 이 논문은 설명 가능한 인공 지능(XAI) 앙상블 방법에 대한 포괄적인 비교 분석을 제시합니다. 이 연구는 세 가지 중요한 기여를 합니다. 첫째, 해석 가능성을 높이기 위해 정규화 기법과 함께 최소, 최대, 평균 함수를 활용하는 새로운 앙상블 방법인 NormEnsembleXAI를 소개합니다. 둘째, XAI 앙상블 방법의 강점과 약점에 대한 인사이트를 제공합니다. 마지막으로, XAI 앙상블의 실제 구현을 용이하게 하는 라이브러리를 제공하여 투명하고 해석 가능한 딥러닝 모델의 채택을 촉진합니다. [abs|pdf]

[14/77] Nested Construction of Polar Codes via Transformers

Keywords: polar_code_construction, tailoring_polar_code, simulations_polar_codes
Abstract: 연속적인 취소를 넘어서는 디코딩 알고리즘을 위해 극좌표 코드 구성을 조정하는 것은 이 분야에서 여전히 중요한 관심사입니다. 그러나 폴라 코드의 고유한 중첩 구조에도 불구하고 폴라 코드 구성에 시퀀스 모델을 사용하는 것은 잘 연구되지 않았습니다. 이 연구에서는 시퀀스 모델링 프레임워크를 사용하여 다양한 채널 조건에서 주어진 길이와 속도에 대한 폴라 코드를 반복적으로 구성할 것을 제안합니다. 시뮬레이션 결과 트랜스포머를 사용하여 순차적 모델링을 통해 설계된 폴라 코드가 AWGN 및 레일리 페이딩 채널 모두에서 5G-NR 시퀀스 및 밀도 진화 기반 접근 방식보다 우수한 성능을 보였습니다. [abs|pdf]

[15/77] Embracing Language Inclusivity and Diversity in CLIP through Continual Language Learning

Keywords: continual_language_learning, embeddings_improve_memory, language_learning_cll
Abstract: 시각 언어 사전 학습 모델(VL-PTM)은 최근 몇 년 동안 멀티모달 연구를 발전시켜 왔지만, 영어와 같은 일부 언어에 대한 숙련도 때문에 더 넓은 커뮤니티에 적용하는 데 한계가 있습니다. 이를 위해 공동 학습 설정을 통한 다국어 VL 모델 개발에 대한 관심이 높아지고 있지만, 비싼 비용과 데이터 가용성으로 인해 비현실적일 수 있습니다. 이 연구에서는 모델이 치명적인 망각(CF)을 겪지 않고 언어 지식을 점진적으로 업데이트해야 하는 지속적 언어 학습(CLL)을 통해 VL-PTM의 언어 능력을 확장할 것을 제안합니다. 이 연구는 이미지와 영어 텍스트의 정렬을 획득한 기존 VL-PTM인 CLIP을 기반으로 하는 CLL-CLIP이라는 모델을 소개하는 것으로 시작합니다. 특히 CLL-CLIP에는 언어적 차이를 처리하기 위해 확장 가능한 토큰 임베딩 레이어가 포함되어 있습니다. 이는 메모리 안정성을 향상시키기 위해 토큰 임베딩만을 학습하며, 이미지와 다국어 텍스트 간의 정렬을 학습하기 위해 크로스 모달 및 크로스 언어 목표에 최적화되어 있습니다. 공변량 이동과 어휘 중복으로 인해 발생하는 CF를 완화하기 위해 초기화 중에 모든 토큰 임베딩의 동일한 분포를 보장하고 훈련 중에 토큰 임베딩 학습을 정규화하는 새로운 접근 방식을 제안합니다. MSCOCO 및 XM3600 데이터 세트를 기반으로 36개 언어를 포괄하는 CLL 벤치마크를 구축한 다음 다국어 이미지-텍스트 검색 성능을 평가합니다. 광범위한 실험을 통해 CLL-CLIP의 효과를 검증하고, 우리의 접근 방식이 XM3600에서 텍스트-대-이미지 평균 Recall@1을 6.7% 향상시키고 다양한 최신 방법을 일관되게 개선할 수 있음을 보여줍니다. 코드와 데이터는 이 https URL에서 확인할 수 있습니다. [abs|pdf]

[16/77] GraphViz2Vec: A Structure-aware Feature Generation Model to Improve Classification in GNNs

Keywords: embeddings_gnn_model, embeddings_gnn, initial_embeddings_gnn
Abstract: GNN은 노드 분류, 링크 예측 등 다양한 작업을 해결하는 데 널리 사용됩니다. 대부분의 GNN 아키텍처는 초기 임베딩이 무작위이거나 대중적인 분포에서 생성된 것으로 가정합니다. 이러한 초기 임베딩은 의미 있는 잠재적 표현으로 수렴하기 위해 여러 계층의 변환이 필요합니다. 레이어가 많으면 노드의 더 큰 이웃을 축적할 수 있지만, 과도한 평활화 문제가 발생합니다. 또한, GNN은 구조적 정보를 표현하는 데는 무능합니다. 예를 들어, 노드의 출력 임베딩은 노드의 삼각형 참여를 포착하지 못합니다. 이 논문에서는 노드의 로컬 이웃의 구조적 정보를 캡처하여 GNN 모델에 의미 있는 초기 임베딩을 생성할 수 있는 새로운 특징 추출 방법론인 GraphViz2Vec을 제시했습니다. 이러한 초기 임베딩은 기존 모델이 다양한 분류 작업에서 최첨단 결과를 얻을 수 있도록 도와줍니다. 또한 이러한 초기 임베딩은 모델이 단 두 개의 레이어만으로 원하는 결과를 생성할 수 있도록 도와주므로 과도한 평활화 문제를 줄일 수 있습니다. 노드의 초기 인코딩은 해당 노드 주변 지역의 여러 에너지 다이어그램에 대해 학습된 이미지 분류 모델에서 얻습니다. 이러한 에너지 다이어그램은 여러 개의 랜덤 워크에 의해 횡단된 노드의 유도된 하위 그래프로 생성됩니다. 생성된 인코딩은 분류 작업에서 기존 모델의 성능을 향상시키며(노드 및 링크 분류 작업에서 각각 평균 4.65% 및 2.58% 증가), 일부 모델은 최첨단 결과를 달성합니다. [abs|pdf]

[17/77] Zero-Shot Reinforcement Learning via Function Encoders

Keywords: reinforcement_learning_rl, reinforcement_learning, vector_representation_agent
Abstract: 강화 학습(RL)은 여러 가지 까다로운 순차적 의사 결정 문제를 해결할 수 있지만, 관련 작업 간에 제로 샷 전환을 달성하는 것은 여전히 어려운 과제입니다. 에이전트가 현재 작업이 이전에 본 작업과 어떻게 연관되어 있는지 이해할 수 있도록 현재 작업에 대한 적절한 표현을 찾는 것이 어렵기 때문입니다. 제로 샷 전환을 달성하기 위해 학습된 비선형 기저 함수의 가중치 조합으로 함수를 표현하는 표현 학습 알고리즘인 함수 인코더를 도입했습니다. 함수 인코더를 사용하여 보상 함수 또는 전환 함수를 표현함으로써 에이전트는 일관된 벡터 표현을 통해 현재 작업이 이전에 본 작업과 어떻게 관련되어 있는지에 대한 정보를 얻게 됩니다. 따라서 에이전트는 추가 교육 없이도 런타임에 관련 작업 간의 전환을 수행할 수 있습니다. 유니티는 함수 인코더 작업 표현으로 기본 RL 알고리즘을 보강하여 세 가지 RL 분야에서 최첨단 데이터 효율성, 점근 성능 및 훈련 안정성을 입증했습니다. [abs|pdf]

[18/77] Conditional and Modal Reasoning in Large Language Models

Keywords: inferences_logically_fallacious, inferences_logically, judgments_inference_patterns
Abstract: 대규모 언어 모델(LLM)의 추론 능력은 인공 지능과 인지 과학 분야에서 점점 더 많은 연구가 진행되고 있는 주제입니다. 이 백서에서는 12개의 LLM이 논리적으로 올바른 추론과 논리적으로 잘못된 추론을 어느 정도 구분할 수 있는지 살펴봅니다. 우리는 조건부(예: '앤이 퀸을 가지고 있다면 밥은 잭을 가지고 있다')와 인식적 양태(예: '앤은 에이스를 가지고 있을지도 모른다', '밥은 킹을 가지고 있어야 한다')와 관련된 추론 패턴에 초점을 맞춥니다. 이러한 추론 패턴은 인간의 추론에서 핵심적인 역할을 하기 때문에 논리학자, 철학자, 언어학자들에게 특별한 관심을 받아왔습니다. 따라서 이러한 추론 패턴을 바탕으로 머신러닝을 평가하는 것은 머신러닝의 추론 능력이 인간의 추론 능력과 얼마나 일치하는지에 대한 질문과 매우 관련이 있습니다. 우리가 테스트한 LLM 중 GPT-4를 제외한 모든 머신러닝은 조건문에서 기본적인 실수를 자주 범했습니다. 게다가 GPT-4조차도 인식 양식이 포함된 추론 패턴에서 논리적으로 일관되지 않은 판단을 내렸습니다. [abs|pdf]

[19/77] Large Language Model Evaluation via Matrix Entropy

Keywords: large_language_models, matrix_entropy_representations, entropy_assessing_alignment
Abstract: 대규모 언어 모델(LLM)은 자연어 처리 분야에 혁명을 일으켜 강력한 기능을 멀티모달 영역으로 확장했습니다. 따라서 LLM을 평가하기 위한 적절하고 다양한 지표를 정의하는 것이 중요합니다.
이 백서에서는 정보 이론과 기하학 원리에 기반한 새로운 지표인 행렬 엔트로피를 소개하여 LLM의 데이터 압축 숙련도를 정량화합니다. 이 지표는 관련 정보를 추출하고 불필요한 요소를 제거하는 모델의 능력을 반영하여 언어 모델의 본질적인 능력에 대한 인사이트를 제공합니다. 특히 단일 모달(언어) 및 다중 모달 환경 모두에서 적용 가능성을 입증합니다. 언어 모델의 경우, 연구 결과에 따르면 표현의 행렬 엔트로피는 모델이 확장될 때 스케일링 법칙 유형 감소를 따르며, 이는 기존의 손실 스케일링 법칙을 보완하는 역할을 합니다. 멀티모달 설정의 경우, 정렬 품질을 평가하기 위해 행렬 엔트로피에 기반한 평가 방법도 제안하며 최신 대형 멀티모달 모델이 뛰어난 정렬 성능을 보인다는 사실을 발견했습니다. [abs|pdf]

[20/77] A Proactive and Dual Prevention Mechanism against Illegal Song Covers empowered by Singing Voice Conversion

Keywords: voices_songbsab_features, singing_voices_songbsab, singing_voice_conversion
Abstract: 노래 목소리 변환(SVC)은 한 가수의 노래 목소리를 원래 가사와 멜로디를 가진 다른 대상 가수의 노래 목소리로 변환하는 방식으로 노래 커버를 자동화합니다. 하지만 여러 주체에 대한 저작권 및 저작인격권 침해에 대한 심각한 우려가 제기되고 있습니다. 이 연구에서는 무단 SVC 기반 불법 노래 커버를 완화하기 위한 최초의 사전 예방적 접근 방식인 SongBsAb을 제안합니다. 송비에스에이브는 노래 음성을 공개하기 전에 사람이 인지할 수 없는 섭동을 도입하여, 이를 사용할 경우 SVC의 생성 과정을 방해하여 예상치 못한 노래 음성이 생성되도록 합니다. 송비에스에이브는 (가수) 신원 교란과 가사 교란을 동시에 일으켜 이중으로 방지하는 효과가 있는데, 즉 SVC가 적용된 노래 음성은 대상 가수를 모방하지도 않고 원래 가사를 보존하지도 않습니다. 섭동의 불명확성을 개선하기 위해 일반 음성에 비해 노래 목소리에 고유하게 동반되는 요소인 반주 트랙을 추가 마스커로 사용하여 심리 음향 모델 기반 손실을 개선합니다. 전이성을 높이기 위해 프레임 단위의 상호작용 감소 기반 손실을 활용하는 방안을 제안합니다. 객관적인 지표와 인간 연구 기반의 주관적인 지표를 모두 사용하여 세 가지 SVC 모델과 두 가지 데이터 세트에 대해 송비에스에이브의 예방 효과, 유용성 및 견고성을 입증합니다. 이 연구는 불법 자동 노래 커버를 완화하기 위한 새로운 연구 방향을 제시합니다. [abs|pdf]

[21/77] Enhanced Sound Event Localization and Detection in Real 360-degree audio-visual soundscapes

Keywords: audio_visual_seldnet, audio_visual_seld, existing_audio_visual
Abstract: 이 기술 보고서에서는 향상된 시청각 사운드 이벤트 로컬라이제이션 및 감지(SELD) 네트워크를 구축하기 위한 소니의 노력을 자세히 설명합니다. 저희는 오디오 전용 SELDnet23 모델을 기반으로 구축하여 오디오 전용 네트워크의 GRU(게이트 반복 장치) 이전에 오디오와 비디오 정보를 모두 병합하여 시청각에 맞게 조정합니다. 이 모델은 YOLO 및 DETIC 객체 감지기를 활용합니다. 또한 시청각 데이터 증강 및 시청각 합성 데이터 생성을 구현하는 프레임워크를 구축합니다. 기존의 시청각 SELD 기준선을 뛰어넘는 시청각 SELD넷 시스템을 제공합니다. [abs|pdf]

[22/77] Unsupervised Discovery of Steerable Factors When Graph Deep Generative Models Are Entangled

Keywords: graphcg_learns_steerable, pretrained_graph_dgms, learned_graphcg_pretrained
Abstract: 그래프 데이터를 위해 심층 생성 모델(DGM)이 널리 개발되었습니다. 그러나 이러한 사전 훈련된 그래프 DGM의 잠재 공간을 이해하는 연구는 훨씬 덜 진행되었습니다. 이러한 이해는 그래프 제어 가능한 생성과 같은 중요한 작업에 건설적인 지침을 제공할 수 있는 잠재력을 지니고 있습니다. 따라서 본 연구에서는 이 문제를 연구하고, 사전 훈련된 그래프 DGM의 잠재 공간에서 비지도적으로 지도 가능한 인자를 발견하는 방법인 GraphCG를 제안합니다. 먼저 6개의 얽힘 해제 메트릭을 사용하여 사전 훈련된 세 가지 그래프 DGM의 표현 공간을 살펴본 결과, 사전 훈련된 표현 공간이 얽혀 있는 것을 관찰했습니다. 이 관찰에서 영감을 얻은 GraphCG는 의미가 풍부한 방향 간의 상호 정보를 최대화하여 같은 방향을 따라 움직이는 제어된 그래프가 동일한 방향성 요인을 공유할 수 있도록 방향성 요인을 학습합니다. 두 개의 분자 데이터 세트에 대해 사전 학습된 두 개의 그래프 DGM에 대해 GraphCG가 4개의 경쟁 기준선보다 우수한 성능을 보인다는 것을 정량적으로 검증했습니다. 또한 분자에 대한 두 가지와 포인트 클라우드에 대한 세 가지를 포함하여 5개의 그래프 데이터 세트에 대해 사전 학습된 5개의 DGM에 대해 GraphCG가 학습한 7개의 스티어러블 인자를 정성적으로 설명합니다. [abs|pdf]

[23/77] Traffic estimation in unobserved network locations using data-driven macroscopic models

Keywords: macroscopic_traffic_estimator, traffic_flows_travel, estimate_traffic_flow
Abstract: 이 백서에서는 자동 교통량 집계기와 조사 차량에서 수집한 거시적 모델과 다중 소스 시공간 데이터를 활용하여 이러한 측정이 불가능한 링크의 교통 흐름과 이동 시간을 정확하게 추정합니다. 이 문제는 센서 커버리지가 낮고 계획된 개입이 네트워크 전체에 영향을 미치는 교통 계획 애플리케이션에서 매우 중요합니다. 제안된 모델인 거시적 트래픽 추정기(MaTE)는 이러한 수량에 대한 관찰된 측정값 집합만을 사용하여 네트워크 전체에 대한 트래픽 흐름 및 이동 시간 추정을 수행할 수 있습니다. MaTE는 거시적 흐름 이론에 기반을 두고 있기 때문에 모든 매개변수와 변수를 해석할 수 있습니다. 추정된 교통 흐름은 기본적인 흐름 보존 제약을 충족하며 추정된 이동 시간과 증가하는 단조로운 관계를 나타냅니다. 라우팅 흐름 동작의 원리로 로짓 기반 확률적 트래픽 할당을 사용하면 모델 매개변수와 관련하여 모델을 완전히 차별화할 수 있습니다. 이 속성은 방대한 양의 시공간 데이터에서 매개변수를 학습하기 위한 계산 그래프의 적용을 용이하게 합니다. 또한 신경망과 다항식 커널 함수를 통합하여 링크 흐름의 상호 작용을 포착하고 교통 흐름을 이동 시간으로 매핑하는 기능을 강화합니다. 또한 목적지 선택 모델과 위치별로 생성된 여행 횟수에 대한 과거 데이터를 사용하는 여행 생성 모델을 추가합니다. 합성 데이터에 대한 실험 결과, 이 모델은 표본에서 벗어난 링크의 이동 시간과 트래픽 흐름을 정확하게 추정할 수 있는 것으로 나타났습니다. 대규모 교통 네트워크의 실제 다중 소스 데이터를 사용하여 얻은 결과에 따르면 MaTE는 특히 이동 시간 추정에서 데이터 기반 벤치마크보다 성능이 뛰어납니다. 또한 MaTE의 추정 매개변수는 교통 네트워크의 시간별 여행 수요 및 공급 특성 변화에 대한 정보를 제공합니다. [abs|pdf]

[24/77] BlockFusion: Expandable 3D Scene Generation using Latent Tri-plane Extrapolation

Keywords: 3d_scene_generation, generates_3d_scenes, diverse_3d_scene
Abstract: 유니티는 3D 씬을 단위 블록으로 생성하고 새로운 블록을 원활하게 통합하여 씬을 확장하는 확산 기반 모델인 블록퓨전(BlockFusion)을 소개합니다. 블록퓨전은 완전한 3D 씬 메시에서 무작위로 잘라낸 3D 블록 데이터 세트를 사용하여 학습합니다. 블록별 피팅을 통해 모든 훈련 블록은 지오메트리 특징을 포함하는 트라이플레인과 부호화된 거리 값을 디코딩하기 위한 다층 퍼셉트론(MLP)을 사용하여 하이브리드 신경 필드로 변환됩니다. 변형 자동 인코더를 사용해 삼면체를 잠재 삼면체 공간으로 압축하고, 이 공간에서 노이즈 제거 확산 프로세스를 수행합니다. 잠상 표현에 디퓨전을 적용하면 고품질의 다양한 3D 씬을 생성할 수 있습니다. 생성 중에 씬을 확장하려면 빈 블록을 추가하여 현재 씬과 겹치게 하고 기존 잠상 트라이플레인을 추정하여 새 블록을 채우기만 하면 됩니다. 외삽은 노이즈 제거 반복 과정에서 겹치는 트라이플레인의 특징 샘플로 생성 프로세스를 컨디셔닝하여 수행됩니다. 잠재 트라이플레인 외삽은 기존 씬과 조화롭게 어우러지는 의미론적, 기하학적으로 의미 있는 전환을 생성합니다. 2D 레이아웃 컨디셔닝 메커니즘은 씬 요소의 배치와 배열을 제어하는 데 사용됩니다. 실험 결과에 따르면 블록퓨전은 실내 및 실외 시나리오 모두에서 전례 없는 고품질의 모양으로 다양하고 기하학적으로 일관되며 제한이 없는 대형 3D 씬을 생성할 수 있는 것으로 나타났습니다. [abs|pdf]

[25/77] ViTree: Single-path Neural Tree for Step-wise Interpretable Fine-grained Visual Categorization

Keywords: grained_visual_categorization, visual_categorization_combines, visual_categorization
Abstract: 컴퓨터 비전이 계속 발전하고 다양한 영역에 걸쳐 광범위하게 적용됨에 따라 딥러닝 모델에서 해석 가능성의 필요성이 가장 중요해지고 있습니다. 기존 방식은 의사 결정 과정을 설명하기 위해 사후 기술이나 프로토타입에 의존하는 경우가 많은데, 이는 간접적이고 본질적인 설명이 부족할 수 있습니다. 이 연구에서는 특징 추출 백본으로 널리 사용되는 비전 트랜스포머와 신경 의사결정 트리를 결합한 세분화된 시각적 분류를 위한 새로운 접근 방식인 ViTree를 소개합니다. ViTree는 트리 경로를 탐색하여 트랜스포머로 처리된 특징에서 패치를 효과적으로 선택하여 유용한 로컬 영역을 강조함으로써 단계적으로 표현을 개선합니다. 소프트 분포 또는 경로의 앙상블에 의존하는 이전의 트리 기반 모델과 달리 ViTree는 단일 트리 경로를 선택하므로 더 명확하고 간단한 의사 결정 프로세스를 제공합니다. 이러한 패치와 경로 선택성은 ViTree의 모델 해석 가능성을 향상시켜 모델의 내부 작동을 더 잘 파악할 수 있게 해줍니다. 놀랍게도 광범위한 실험을 통해 이 간소화된 접근 방식이 여러 강력한 경쟁업체를 능가하는 최첨단 성능을 달성하는 동시에 다양한 관점의 방법으로 입증된 탁월한 해석성을 유지한다는 사실이 입증되었습니다. 코드는 이 https URL에서 확인할 수 있습니다. [abs|pdf]

[26/77] Finetuning Large Language Models for Vulnerability Detection

Keywords: vulnerability_detection_finetuning, vulnerability_detection_datasets, imbalanced_vulnerability_datasets
Abstract: 이 백서에서는 소스 코드의 취약점을 탐지하는 작업을 위해 대규모 언어 모델(LLM)을 미세 조정한 결과를 소개합니다. 최신 LLM인 StarCoder를 최근 개선한 WizardCoder를 활용하고 추가 미세 조정을 통해 취약점 탐지에 적용합니다. 훈련 속도를 높이기 위해 위자드코더의 훈련 절차를 수정하고 최적의 훈련 체제를 조사합니다. 긍정적인 예시보다 부정적인 예시가 더 많은 불균형 데이터 세트의 경우, 분류 성능을 개선하기 위한 다양한 기법도 탐색합니다. 미세 조정된 WizardCoder 모델은 균형 잡힌 취약성 데이터 세트와 불균형한 취약성 데이터 세트에서 CodeBERT와 유사한 모델에 비해 ROC AUC 및 F1 측정값을 개선하여 소스 코드의 취약성 탐지를 위해 사전 학습된 LLM을 적용하는 것이 효과적임을 입증했습니다. 이 연구의 핵심은 최첨단 코드 LLM인 위자드코더를 미세 조정하여 성능 저하 없이 학습 속도를 높이고, 학습 절차와 체계를 최적화하고, 클래스 불균형을 처리하고, 어려운 취약점 탐지 데이터 세트의 성능을 개선하는 것입니다. 이는 특수한 소스 코드 분석 작업을 위해 사전 학습된 대규모 언어 모델을 미세 조정함으로써 전이 학습의 잠재력을 보여줍니다. [abs|pdf]

[27/77] ActDroid: An active learning framework for Android malware detection

Keywords: learning_android_malware, android_malware_detection, android_malware
Abstract: Android의 인기가 높아지면서 새로운 소프트웨어가 출시되는 속도를 따라잡을 수 있는 멀웨어 탐지 시스템이 필요합니다. 최근 연구에 따르면 12초마다 새로운 멀웨어가 온라인에 등장한다고 합니다. 이 문제를 해결하기 위해 저희는 Android 멀웨어 탐지를 스트리밍 데이터 문제로 간주하고, 적시에 비용 효율적인 방식으로 애플리케이션에 라벨을 지정하는 문제를 완화하기 위한 수단으로 능동적 온라인 학습을 사용하는 방법을 모색합니다. 그 결과 도출된 프레임워크는 최대 96%의 정확도를 달성하고, 학습 데이터의 24%만 라벨링하면 되며, 애플리케이션의 릴리스와 라벨링 사이에 발생하는 개념의 편차를 보완할 수 있습니다. 또한 Android 멀웨어 탐지 내에서 온라인 학습의 광범위한 실용성을 고려하고 멀웨어를 분류하기 위해 다양한 정적, 동적, 하이브리드 기능 세트를 사용할 때의 장단점을 체계적으로 살펴봅니다. [abs|pdf]

[28/77] CORE: Towards Scalable and Efficient Causal Discovery with Reinforcement Learning

Keywords: causal_discovery_intervention, causal_discovery, causal_graphs_data
Abstract: 인과 관계 발견은 데이터에서 인과 구조를 추론하는 어려운 작업입니다. 수동적인 관찰만으로는 상관관계와 인과관계를 구분하는 데 충분하지 않다는 펄의 인과 계층 구조(PCH)에 자극을 받아 최근 머신러닝 연구에 개입을 도입하려는 움직임이 일고 있습니다. 강화 학습은 이러한 능동적 학습 접근 방식을 위한 편리한 프레임워크를 제공합니다. 이 백서에서는 인과 관계 발견 및 개입 계획을 위한 심층 강화 학습 기반 접근 방식인 CORE를 소개합니다. CORE는 데이터에서 인과 그래프를 순차적으로 재구성하는 방법을 학습하는 동시에 유익한 개입을 수행하는 방법을 학습합니다. 연구 결과에 따르면 CORE는 보이지 않는 그래프까지 일반화하여 인과 구조를 효율적으로 밝혀냅니다. 또한, CORE는 최대 10개의 변수가 있는 더 큰 그래프로 확장할 수 있으며 구조 추정 정확도와 샘플 효율성에서 기존 접근법보다 뛰어난 성능을 보입니다. 모든 관련 코드와 보충 자료는 다음 https URL에서 확인할 수 있습니다 [abs|pdf]

[29/77] Two Heads Are Better Than One: Integrating Knowledge from Knowledge Graphs and Large Language Models for Entity Alignment

Keywords: enhanced_entity_alignment, enhance_entity_alignment, entity_alignment_predominantly
Abstract: 보다 포괄적인 지식 그래프(KG)를 만들기 위한 전제 조건인 엔티티 정렬에는 서로 다른 KG에서 동등한 엔티티를 정확히 찾아내는 작업이 포함됩니다. 엔티티 정렬을 위한 최근의 방법은 주로 지식 임베딩 모델을 활용하여 구조적, 관계적, 속성적 등 다양한 유사성을 캡슐화하는 엔티티 임베딩을 확보하는 것입니다. 그런 다음 이러한 임베딩은 주의 기반 정보 융합 메커니즘을 통해 통합됩니다. 이러한 발전에도 불구하고 내재된 이질성으로 인해 다면적인 정보를 효과적으로 활용하는 것은 여전히 어려운 과제입니다. 게다가 대규모 언어 모델(LLM)은 엔티티의 의미를 암묵적으로 파악함으로써 다양한 다운스트림 작업에서 뛰어난 성능을 보였지만, 이러한 암묵적 지식은 아직 엔티티 정렬에 활용되지 못하고 있습니다. 이 연구에서는 KG의 구조적 지식과 LLM의 의미론적 지식을 통합하여 엔티티 정렬을 향상시키는 대규모 언어 모델 강화 엔티티 정렬 프레임워크(LLMEA)를 제안합니다. 구체적으로 LLMEA는 KG에 걸쳐 엔티티 간의 임베딩 유사성과 가상의 동등한 엔티티와의 편집 거리를 모두 고려하여 주어진 엔티티에 대한 후보 정렬을 식별합니다. 그런 다음 LLM의 추론 기능을 활용하기 위해 여러 개의 객관식 질문을 반복적으로 던지며 LLM을 활용합니다. 동등한 개체에 대한 최종 예측은 LLM의 결과에서 도출됩니다. 세 가지 공개 데이터 세트를 대상으로 실시한 실험 결과, LLMEA가 주요 기준 모델을 능가하는 것으로 나타났습니다. 추가적인 제거 연구는 우리가 제안한 프레임워크의 효율성을 강조합니다. [abs|pdf]

[30/77] Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control

Keywords: locomotion_controllers_bipedal, dynamic_locomotion_controllers, controllers_bipedal_robots
Abstract: 이 백서에서는 심층 강화 학습(RL)을 사용하여 이족보행 로봇의 동적 보행 컨트롤러를 만드는 방법에 대한 포괄적인 연구를 소개합니다. 단일 이동 기술에 초점을 맞추는 것을 넘어 주기적인 걷기와 달리기부터 비주기적인 점프와 서기에 이르기까지 다양한 동적 이족보행 기술에 사용할 수 있는 일반적인 제어 솔루션을 개발합니다. 유니티의 RL 기반 컨트롤러는 로봇의 장기 및 단기 입출력(I/O) 히스토리를 모두 활용하는 새로운 이중 히스토리 아키텍처를 통합합니다. 이 제어 아키텍처는 제안된 엔드투엔드 RL 접근 방식을 통해 훈련된 경우 시뮬레이션과 실제 환경 모두에서 다양한 기술 범위에서 다른 방법보다 일관되게 우수한 성능을 보였으며, 이 연구는 또한 운동 제어기 개발에서 제안된 RL 시스템이 도입한 적응성과 견고성에 대해 자세히 살펴봅니다. 제안된 아키텍처가 로봇의 I/O 이력을 효과적으로 사용하여 시간 불변의 동역학 변화와 접촉 이벤트와 같은 시간 가변적 변화에 모두 적응할 수 있음을 입증합니다. 또한 작업 무작위화를 또 다른 핵심 견고성의 원천으로 파악하여 작업 일반화 및 장애에 대한 규정 준수를 개선합니다. 그 결과 도출된 제어 정책은 토크 제어형 인간 크기의 이족 보행 로봇인 캐시(Cassie)에 성공적으로 배포되었습니다. 이 연구는 광범위한 실제 실험을 통해 이족보행 로봇의 민첩성의 한계를 뛰어넘었습니다. 견고한 서기, 다재다능한 걷기, 400미터 대시 시연을 통한 빠른 달리기, 스탠딩 멀리뛰기 및 높이뛰기와 같은 다양한 점프 기술을 포함한 다양한 이동 기술을 시연합니다. [abs|pdf]

[31/77] A Tournament of Transformation Models: B-Spline-based vs. Mesh-based Multi-Objective Deformable Image Registration

Keywords: spline_transformation_models, deformable_image_registration, spline_mesh_transformation
Abstract: 변형 모델은 모든 변형 가능한 이미지 등록 방식에서 필수적인 구성 요소입니다. 이 모델은 이미지 사이의 물리적 변형을 표현하여 찾을 수 있는 등록의 범위와 사실성을 정의합니다. 두 가지 유형의 변형 모델이 인기 있는 선택지로 부상했습니다: B-스플라인 모델과 메쉬 모델입니다. 두 모델 모두 자세히 조사되었지만, 실제로는 매우 다른 최적화 방법을 사용하여 최적화되기 때문에 직접적인 비교는 아직 이루어지지 않았습니다. B-스플라인 모델은 주로 경사-하강 방법을 사용하여 최적화되는 반면, 메시 모델은 일반적으로 유한 요소법 솔버 또는 진화 알고리즘을 사용하여 최적화됩니다. 다양한 고품질 트레이드오프 등록 세트를 찾는 것을 목표로 하는 다목적 최적화 방법은 변형 가능한 이미지 등록에서 점점 더 중요하게 인식되고 있습니다. 이러한 방법은 다양한 등록 집합을 검색하기 때문에 서로 다른 변형 모델의 기능을 보다 완벽하게 파악할 수 있어 모델 비교에 적합합니다. 이 연구에서는 동일한 최첨단 다중 목표 최적화 방법인 다중 목표 실제값 유전자 풀 최적 혼합 진화 알고리즘(MO-RV-GOMEA)으로 두 모델을 최적화하여 B-스플라인과 메시 변환 모델을 최초로 직접 비교합니다. 게다가 B-스플라인 변환 모델과의 조합은 새로운 시도입니다. 우리는 큰 변형이 있는 자궁경부암 환자의 골반 CT 스캔을 기반으로 하는 두 가지 다른 등록 문제에 대해 두 모델을 실험적으로 비교했습니다. 세 명의 자궁경부암 환자를 대상으로 한 연구 결과는 변환 모델의 선택이 등록 결과의 다양성과 품질에 큰 영향을 미칠 수 있음을 보여줍니다. [abs|pdf]

[32/77] Encoding Temporal Statistical-space Priors via Augmented Representation

Keywords: downstream_temporal_learning, temporal_learning_algorithms, temporal_learning
Abstract: 시간적 차원이 다양한 영역에 내재되어 있기 때문에 시계열 데이터 모델링은 여전히 만연한 문제로 남아 있습니다. 시계열 예측의 상당한 발전에도 불구하고, 높은 잡음 대 신호 비율, 비정규성, 비정형성, 데이터 부족은 실무자들을 계속 도전하게 만듭니다. 이러한 문제를 극복하기 위해 간단한 표현 증강 기술을 활용합니다. 증강 표현은 각 시간 단계에서 미리 인코딩된 통계적 공간의 역할을 합니다. 이에 따라 저희는 이 방법을 통계 공간 증강 표현(SSAR)이라고 명명했습니다. 기본이 되는 고차원 데이터 생성 프로세스는 표현 증강에 영감을 줍니다. 두 개의 다운스트림 시간 학습 알고리즘을 사용하여 두 개의 데이터 세트에 대한 경험적 일반화 성능을 엄격하게 검증합니다. 우리의 접근 방식은 5개의 최신 기준선을 모두 크게 능가합니다. 또한, 고도로 모듈화된 접근 방식은 다양한 설정에 쉽게 적용할 수 있습니다. 마지막으로, 명확하고 엄밀한 이해를 위해 글 전체에 걸쳐 완전한 이론적 관점을 제공합니다. [abs|pdf]

[33/77] Detecting LLM-Assisted Writing in Scientific Communication: Are We There Yet?

Keywords: assisted_writing_detection, generated_text_detectors, text_detectors_reveals
Abstract: ChatGPT로 대표되는 대규모 언어 모델(LLM)은 특히 작문 지원 영역에서 텍스트 생성을 크게 변화시켰습니다. 윤리적 고려 사항으로 인해 특히 과학적 의사소통에서 LLM 사용을 투명하게 인정하는 것이 중요하지만, 진정한 인정은 여전히 드물게 이루어지고 있습니다. LLM의 도움을 받은 글쓰기를 정확하게 인정하도록 장려할 수 있는 잠재적인 방법으로는 자동 감지기를 사용하는 것이 있습니다. 4가지 최첨단 LLM 생성 텍스트 감지기를 평가한 결과, LLM이 확산되는 시점에 갑작스러운 글쓰기 스타일 변화를 식별하도록 설계된 간단한 임시 감지기와 비교했을 때 최적의 성능을 발휘하지 못하는 것으로 나타났습니다. 저희는 LLM을 이용한 글쓰기 탐지 전용의 전문화된 탐지기의 개발이 필요하다고 주장합니다. 이러한 탐지기는 과학적 커뮤니케이션에서 LLM의 개입을 보다 확실하게 인식하도록 촉진하여 현재 인정 관행의 문제를 해결하는 데 중요한 역할을 할 수 있습니다. [abs|pdf]

[34/77] Performance Insights-based AI-driven Football Transfer Fee Prediction

Keywords: fee_football_player, transfer_fee_football, player_recruitment_transfers
Abstract: 유니티는 축구 선수의 이적료를 예측하는 인공지능 접근법을 개발했습니다. 이 모델은 구단이 어떤 선수를 사고 팔아야 할지 더 나은 결정을 내리는 데 도움이 되며, 이는 경기력 향상과 구단 예산 증가로 이어질 수 있습니다. 선수의 경기력, 이적료 및 선수의 가치에 영향을 미칠 수 있는 기타 요인에 대한 데이터를 수집한 다음, 이 데이터를 사용하여 선수가 경기에 미치는 영향을 정확하게 예측할 수 있는 머신러닝 모델을 훈련시켰습니다. 그리고 얻은 결과를 이적료 예측 기능에 전달했습니다. 이 모델은 구단이 저평가된 선수와 이익을 위해 팔 수 있는 선수를 식별하는 데 도움이 될 수 있습니다. 또한 구단이 선수에게 과도한 금액을 지불하는 것을 방지할 수 있습니다. 저희는 이 모델이 축구 클럽에 유용한 도구가 될 수 있다고 믿습니다. 선수 영입과 이적에 관한 더 나은 결정을 내리는 데 도움이 될 수 있습니다. [abs|pdf]

[35/77] Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate

Keywords: agent_debate_assisted, annotations_meta_evaluation, debate_assisted_meta
Abstract: 다양한 작업과 시나리오에서 대규모 언어 모델(LLM)의 유용성에도 불구하고, 다양한 맥락에서 LLM을 안정적으로 평가하는 방법을 개발하는 것은 여전히 어려운 과제입니다. 최신 평가 접근 방식은 종종 LLM을 사용하여 LLM에서 생성된 반응을 평가합니다. 그러나 평가자로서 이러한 LLM의 효과를 평가하기 위해 수행되는 메타 평가는 일반적으로 기존 벤치마크의 적용 범위에 의해 제약을 받거나 광범위한 사람의 주석이 필요합니다. 이는 다양한 작업과 시나리오, 특히 잠재적으로 새로운 사용자 정의 시나리오에서 평가자로서의 LLM의 성능을 효과적이고 안정적이며 효율적으로 평가할 수 있는 확장 가능한 메타평가 방법의 시급성을 강조합니다. 이러한 간극을 메우기 위해 유니티는 여러 대화형 LLM 에이전트의 기능을 활용하는 에이전트 토론 지원 메타평가 프레임워크인 ScaleEval을 제안합니다. 이 프레임워크는 다자간 토론을 지원하여 평가자로서 가장 유능한 LLM을 식별하는 데 도움을 주며, 메타평가 시 대규모 주석이 필요했던 경우 작업 부하를 크게 덜어줍니다. 프레임워크의 코드는 이 https URL에서 공개적으로 사용할 수 있습니다. [abs|pdf]

[36/77] Graph Fairness Learning under Distribution Shifts

Keywords: graph_fairness_learning, fairness_testing_graphs, graph_graph_fairness
Abstract: 그래프 신경망(GNN)은 그래프 구조의 데이터에서 놀라운 성능을 발휘합니다. 그러나 GNN은 학습 데이터로부터 편견을 물려받아 성별이나 인종과 같은 민감한 속성을 기반으로 차별적인 예측을 할 수 있습니다. 최근 GNN의 공정성 확보에 대한 관심이 높아지고 있지만, 이는 모두 학습 데이터와 테스트 데이터가 동일한 분포, 즉 학습 데이터와 테스트 데이터가 동일한 그래프에서 나온다는 가정 하에 이루어지고 있습니다. 분포가 바뀌면 그래프 공정성 성능이 저하되나요? 분포 이동은 그래프 공정성 학습에 어떤 영향을 미칠까요? 이 모든 미해결 질문은 이론적 관점에서 볼 때 아직 밝혀지지 않은 것들이 대부분입니다. 이러한 질문에 답하기 위해 먼저 그래프의 편향성을 결정하는 요인을 이론적으로 파악합니다. 그 다음에는 테스트 그래프의 공정성에 영향을 미치는 요인을 살펴보고, 그 중 주목할 만한 요인으로 훈련 그래프와 테스트 그래프 사이의 특정 그룹의 표현 거리를 살펴봅니다. 이러한 이론적 분석을 바탕으로 프레임워크 FatraGNN을 제안합니다. 특히, 알 수 없는 테스트 그래프에 대한 공정성 성능을 보장하기 위해 편향성이 크고 분포가 다른 수많은 그래프를 생성하는 그래프 생성기를 제안합니다. 그런 다음 훈련 그래프와 생성된 그래프 사이의 각 특정 그룹에 대한 표현 거리를 최소화합니다. 이를 통해 모델은 상당한 편향이 있는 그래프에서도 높은 분류 및 공정성 성능을 달성할 수 있어 알려지지 않은 테스트 그래프를 효과적으로 처리할 수 있습니다. 실제 데이터 세트와 반합성 데이터 세트에 대한 실험을 통해 정확도와 공정성 측면에서 모델의 효과가 입증되었습니다. [abs|pdf]

[37/77] Extrinsicaly Rewarded Soft Q Imitation Learning with Discriminator

Keywords: soft_imitation_learning, adversarial_imitation_learning, imitation_learning_sqil
Abstract: 모방 학습은 보상 설계가 어렵거나 보상이 희박한 환경에서 강화 학습과 함께 자주 사용되지만, 소량의 전문가 데이터와 샘플링 데이터로는 미지의 상태에서 잘 모방하기 어렵다는 단점이 있습니다. 행동 복제와 같은 지도 학습 방법은 샘플링 데이터가 필요하지 않지만 일반적으로 분포 편차가 발생합니다. 역강화학습이나 생성적 적대 모방 학습(GAIL)과 같은 강화 학습에 기반한 방법은 소수의 전문가 데이터만으로 학습할 수 있습니다. 하지만 환경과 상호작용해야 하는 경우가 많습니다. 소프트 큐 모방 학습(SQIL)은 이러한 문제를 해결하기 위해 행동 복제와 지속적인 보상을 제공하는 소프트 큐 학습을 결합하여 효율적으로 학습할 수 있다는 것을 보여주었습니다. 이 알고리즘을 분포 이동에 더욱 견고하게 만들기 위해 에이전트가 데모와 유사한 상태의 행동을 수행하면 보상을 주는 적대적 역강화학습 기반의 보상 함수를 추가하여 보다 효율적이고 견고한 알고리즘을 제안합니다. 이 알고리즘을 판별자 소프트 큐 모방 학습(DSQIL)이라고 부릅니다. 뮤조코 환경에서 이 알고리즘을 평가했습니다. [abs|pdf]

[38/77] Detection and Recovery Against Deep Neural Network Fault Injection Attacks Based on Contrastive Learning

Keywords: dnn_inference_engines, deep_learning_training, detection_recovery_effectiveness
Abstract: 추론 엔진으로 실행 장치에 구현된 심층 신경망(DNN) 모델은 모델 매개변수를 조작하여 추론 실행을 방해하는 결함 주입 공격(FIA)에 취약하여 성능이 저하될 수 있습니다. 이 연구에서는 딥러닝 훈련 및 추론 파이프라인에 시각적 표현의 대조 학습(CL), 즉 자기 지도 학습 접근법을 도입하여 FIA에 대한 자체 복원력을 갖춘 DNN 추론 엔진을 구현합니다. 저희가 제안한 CL 기반 FIA 탐지 및 복구(CFDR) 프레임워크는 (i) 단일 배치의 테스트 데이터만으로 실시간 탐지가 가능하고 (ii) 라벨이 지정되지 않은 소량의 테스트 데이터로도 효과적인 빠른 복구가 가능한 것이 특징입니다. 여러 유형의 FIA에 대한 CIFAR-10 데이터 세트로 평가한 결과, 저희의 CFDR은 유망한 탐지 및 복구 효과를 보여주었습니다. [abs|pdf]

[39/77] A Cross-Language Investigation into Jailbreak Attacks in Large Language Models

Keywords: multilingual_jailbreak_attacks, multilingual_jailbreak_attack, mitigating_multilingual_jailbreak
Abstract: 대규모 언어 모델(LLM)은 다양한 도메인에서 고급 텍스트 생성 기능으로 점점 더 인기를 얻고 있습니다. 하지만 다른 소프트웨어와 마찬가지로 LLM을 조작하여 금지된 콘텐츠를 생성하는 '탈옥' 공격의 위험을 비롯한 보안 문제에 직면해 있습니다. 특히 잘 알려지지 않은 분야는 안전 필터를 피하기 위해 악의적인 질문을 다양한 언어로 번역하는 다국어 탈옥 공격입니다. 현재 이 특정 위협을 다루는 포괄적인 실증 연구가 부족합니다.
이러한 연구 격차를 해소하기 위해 저희는 다국어 탈옥 공격에 대한 광범위한 실증 연구를 수행했습니다. 새로운 의미 보존 알고리즘을 개발하여 다국어 탈옥 데이터 세트를 생성하고 GPT-4와 LLaMa를 포함하여 널리 사용되는 오픈 소스 및 상용 LLM에 대한 철저한 평가를 수행했습니다. 또한, 해석 가능성 분석을 수행하여 다국어 탈옥 공격의 패턴을 파악하고 미세 조정된 방어 방법을 구현했습니다. 연구 결과, 방어 전략이 모델 방어력을 크게 향상시켜 공격 성공률을 96.2%까지 낮추는 것으로 나타났습니다. 이 연구는 멀티언어 탈옥 공격의 이해와 방어에 대한 귀중한 인사이트를 제공합니다. [abs|pdf]

[40/77] SwapNet: Efficient Swapping for DNN Inference on Edge AI Devices Beyond the Memory Budget

Keywords: swapnet_efficient_dnn, memory_dnns_demand, edge_ai_devices
Abstract: 엣지 AI(인공 지능) 디바이스에서 심층 신경망(DNN)을 실행하면 다양한 자율 모바일 컴퓨팅 애플리케이션을 구현할 수 있습니다. 하지만 엣지 AI 디바이스의 메모리 예산은 이러한 애플리케이션에서 허용되는 DNN의 수와 복잡성을 제한합니다. 모델 압축이나 클라우드 오프로딩과 같은 기존 솔루션은 모델 정확도나 자율성이 저하되는 대가로 DNN 추론의 메모리 사용량을 줄입니다. 이러한 단점을 피하기 위해 DNN을 블록으로 나누고 순서대로 스왑하여 적은 메모리 예산 내에서 대규모 DNN을 실행할 수 있도록 합니다. 그럼에도 불구하고 엣지 AI 디바이스에서 순진한 스왑은 엣지 AI 디바이스용 DNN 개발 에코시스템에서 중복 메모리 연산으로 인해 상당한 지연을 유발합니다. 이를 해결하기 위해 엣지 AI 디바이스를 위한 효율적인 DNN 블록 스와핑 미들웨어인 SwapNet을 개발했습니다. 블록 스와핑 시 불필요한 메모리 연산을 체계적으로 제거하면서 딥러닝 프레임워크, GPU 백엔드, 엣지 AI 디바이스의 하드웨어 아키텍처와 호환성을 유지합니다. 또한 멀티-DNN 스케줄링 체계를 통해 SwapNet의 유용성을 보여줍니다. 세 가지 애플리케이션에서 11개의 DNN 추론 작업을 평가한 결과, SwapNet은 DNN이 사용 가능한 예산을 초과하여 2.32배에서 5.81배의 메모리를 요구하는 경우에도 충분한 메모리가 있는 경우와 거의 동일한 지연 시간을 달성하는 것으로 입증되었습니다. 또한 스왑넷의 설계는 향후 엣지 AI 디바이스에 대규모 언어 모델(LLM)을 배포할 때 새롭고 실현 가능한 인사이트를 제공합니다. [abs|pdf]

[41/77] Diffusion model for relational inference

Keywords: relational_inference_diffri, diffusion_model_relational, truth_interactions_unsupervised
Abstract: 두뇌 활동, 금융 가격 변동, 물리적 집단 현상 등 복잡하게 상호 작용하는 시스템의 동적 행동은 시스템 구성 요소 간의 근본적인 상호 작용과 관련이 있습니다. 이러한 시스템에서 관찰 가능한 역학을 이용해 상호작용 관계를 밝혀내는 문제를 관계 추론이라고 합니다. 이 연구에서는 확률론적 시계열 대입을 위한 자기 감독 방법에서 영감을 얻은 관계 추론을 위한 확산 모델(DiffRI)을 제안합니다. DiffRI는 조건부 확산 모델링을 통해 구성 요소 간의 연결이 존재할 확률을 추론하는 방법을 학습합니다. 시뮬레이션 데이터 세트와 준실제 데이터 세트에 대한 실험 결과, DiffRI는 다른 최신 모델에 비해 비지도 방식으로 실측 데이터의 상호 작용을 발견하는 데 매우 유능한 것으로 나타났습니다. 코드는 곧 공개될 예정입니다. [abs|pdf]

[42/77] Generative AI-based closed-loop fMRI system

Keywords: malicious_generative_ai, malicious_generative, impact_malicious_generative
Abstract: 생성형 AI는 현재 사회에 널리 보급되어 유용하게 사용되고 있지만, 인지 과정이나 의사 결정에 무의식적으로 영향을 미치는 등 오용될 수 있는 잠재적 위험이 있습니다. 이는 인지 영역에서 보안 문제를 야기하지만, 악의적인 생성 AI가 인간에게 미치는 영향에 대응하는 신경 및 계산 메커니즘에 대한 연구는 아직까지 없습니다. 저희는 생성적 적대 시스템과 신경 강화 모델을 결합한 새로운 프레임워크인 DecNefGAN을 제안합니다. 좀 더 구체적으로 설명하자면, DecNefGAN은 폐쇄 루프 시스템에서 인간과 생성 AI를 연결하고, AI가 특정 정신 상태를 유도하는 자극을 생성하여 신경 활동에 대한 외부 통제권을 행사할 수 있도록 합니다. 인간의 목표는 정반대로, 경쟁을 통해 직교하는 정신 상태에 도달하는 것입니다. 이 프레임워크는 인간의 두뇌가 제너레이티브 AI의 잠재적 영향력에 어떻게 반응하고 이에 대응하는지를 밝히는 데 기여할 수 있습니다. [abs|pdf]

[43/77] Towards Generating Informative Textual Description for Neurons in Language Models

Keywords: neurons_encode_descriptors, human_interpretable_descriptors, textual_descriptions_neurons
Abstract: 최근 트랜스포머 기반 언어 모델이 개발되면서 제한된 리소스로도 다운스트림 작업에 적용할 수 있는 다양한 세계 지식을 포착할 수 있게 되었습니다. 그러나 이러한 모델에서 어떤 정보가 이해되는지는 불분명하며, 이를 식별하는 데 있어 뉴런 수준의 기여도는 거의 알려지지 않았습니다. 뉴런 설명성에 대한 기존의 접근 방식은 미리 정의된 한정된 설명자 집합에 의존하거나, 1차 모델의 뉴런을 설명할 수 있는 2차 모델을 훈련하기 위해 수동 주석을 추가해야 합니다. 이 백서에서는 BERT를 예로 들어 이러한 제약을 없애고 텍스트 설명을 뉴런에 연결하는 새롭고 확장 가능한 프레임워크를 제안합니다. 생성적 언어 모델의 잠재력을 활용하여 데이터 세트에 존재하는 사람이 해석할 수 있는 설명자를 발견하고 비지도 접근법을 사용하여 이러한 설명자로 뉴런을 설명합니다. 다양한 정성적, 정량적 분석을 통해 이러한 설명자를 인코딩하는 뉴런을 식별하는 데 사람의 개입이 거의 없이도 유용한 데이터별 설명자를 생성하는 데 이 프레임워크가 효과적임을 입증합니다. 특히, 실험을 통해 제안된 접근 방식이 75%의 정확도@2와 50%의 리콜@2를 달성한다는 것을 보여줍니다 [abs|pdf]

[44/77] Multivariate Beta Mixture Model: Probabilistic Clustering With Flexible Cluster Shapes

Keywords: multivariate_beta_mixture, model_soft_clustering, soft_clustering
Abstract: 이 백서에서는 소프트 클러스터링을 위한 새로운 확률론적 모델인 다변량 베타 혼합 모델(MBMM)을 소개합니다. MBMM은 다변량 베타 분포의 유연한 확률 밀도 함수로 인해 다양한 군집 형태에 적응할 수 있습니다. 이 글에서는 MBMM의 속성을 소개하고, 매개변수 학습 절차를 설명하며, 실험 결과를 제시하여 MBMM이 합성 및 실제 데이터 세트에서 다양한 군집 형태에 적합함을 보여줍니다. 이 코드는 이 https URL에서 익명으로 공개됩니다. [abs|pdf]

[45/77] AutoIE: An Automated Framework for Information Extraction from Scientific Literature

Keywords: molecular_sieve_literature, information_molecular_sieve, recognition_scientific_texts
Abstract: 빠르게 진화하는 과학 연구 분야에서 급증하는 과학 논문에서 핵심 정보를 효율적으로 추출하는 것은 여전히 어려운 과제입니다. 이 백서에서는 과학 PDF 문서에서 중요한 데이터를 자동으로 추출하여 연구자들이 미래의 연구 궤적을 보다 쉽게 파악할 수 있도록 설계된 혁신적인 프레임워크를 소개합니다. AutoIE는 네 가지 새로운 구성 요소를 독특하게 통합합니다: (1) PDF 문서 레이아웃 분석을 위한 다중 의미론적 특징 융합 기반 접근법, (2) 과학 텍스트의 고급 기능 블록 인식, (3) 분자체 합성 정보를 추출하고 상호 연관시키는 시너지 기술, (4) 분자체 문헌에 맞춤화된 온라인 학습 패러다임. Our SBERT model achieves high Marco F1 scores of 87.19 and 89.65 on CoNLL04 and ADE datasets. 또한 석유화학 분 자체 합성 영역에서 AutoIE를 실제로 적용한 결과 78%라는 놀라운 정확도로 그 효능을 입증했습니다. 이 연구는 분 자체 합성의 데이터 관리 및 해석을 개선할 수 있는 길을 열어줍니다. 이 전문 분야의 노련한 전문가와 초보자에게 귀중한 자산이 될 것입니다. [abs|pdf]

[46/77] Is Artificial Intelligence Providing the Second Revolution for Weather Forecasting?

Keywords: artificial_intelligence_weather, numerical_weather_prediction, intelligence_weather_forecast
Abstract: 특히 최근 몇 년 동안 인공지능 기술의 급속한 발전으로 인해 여러 대형 매개변수 인공지능 일기예보 모델이 등장했습니다. 이러한 모델은 기존의 수치적 일기예보 모델의 한계를 극복하고 일기예보의 제2의 혁명을 예고하는 중요한 돌파구입니다. 이 연구에서는 이러한 첨단 인공지능 예보 모델의 진화 과정을 살펴보고, 확인된 공통점을 바탕으로 인공지능 예보 모델의 발전을 위한 '3대 법칙'을 제안합니다. 수치 기상 예측을 혁신하는 데 있어 인공지능의 잠재력에 대해 논의하고, 이러한 잠재력의 근본적인 이유를 간략하게 설명합니다. 또한 전체 수치 예측 프로세스를 통합하는 대규모 인공지능 일기예보 모델의 향후 발전 전망에 대한 주요 영역을 살펴봅니다. 대규모 인공지능 모델과 해양 파도 예측을 결합한 사례를 통해 예보관이 첨단 인공지능 모델을 어떻게 적용하고 활용할 수 있는지 설명합니다. 대규모 인공지능 예보 모델의 높은 정확도, 계산 효율성, 배포 용이성을 인정하면서도 기존 수치 예보의 대체 불가한 가치를 강조합니다. 최적의 일기예보 미래는 인공지능과 기존 수치 모델을 완벽하게 통합하는 데 있다고 믿습니다. 이러한 통합은 미래의 일기 예보를 위한 보다 포괄적이고 신뢰할 수 있는 접근 방식을 제공할 것으로 예상됩니다. [abs|pdf]

[47/77] Augmenting Replay in World Models for Continual Reinforcement Learning

Keywords: prevent_catastrophic_forgetting, catastrophic_forgetting, catastrophic_forgetting_significantly
Abstract: 지속적 강화 학습에서는 강화 학습(RL) 에이전트의 환경이 변화합니다. 성공적인 시스템은 이미 학습된 작업에 대한 에이전트 성능 유지, 안정성, 새로운 작업 학습, 가소성이라는 상충되는 요구 사항 간의 균형을 적절히 맞춰야 합니다. 선입선출 버퍼는 이러한 환경에서 학습을 향상시키는 데 일반적으로 사용되지만 상당한 메모리를 필요로 합니다. 이 버퍼에 메모리 제약을 완화하는 증강을 적용하고, 이를 세계 모델 기반 강화 학습 알고리즘과 함께 사용하여 지속적인 학습을 촉진하는 데 있어 그 효과를 평가합니다. 프로크젠과 아타리 RL 벤치마크에서 이 방법의 효과를 평가한 결과, 잠재적 세계 모델의 맥락에서 사용되는 재생 버퍼에 대한 분포 매칭 증강이 계산 오버헤드를 크게 줄이면서 치명적인 망각을 성공적으로 방지할 수 있음을 보여주었습니다. 하지만 이러한 솔루션이 완전히 완벽한 것은 아니며, 가소성이 부족하여 새로운 작업을 학습하지 못하는 등의 다른 실패 모드도 지속적 학습 시스템의 잠재적 한계가 될 수 있습니다. [abs|pdf]

[48/77] Incoherent Probability Judgments in Large Language Models

Keywords: coherent_probability_judgments, word_prediction_demonstrated, autoregressive_large_language
Abstract: 다음 단어 예측을 위해 훈련된 자동 회귀 대규모 언어 모델(LLM)은 일관성 있는 텍스트를 생성하는 데 놀라운 능력을 보여 왔습니다. 하지만 일관된 확률 판단을 내리는 데도 똑같이 능숙할까요? 저희는 확률론적 동일성과 반복 판단을 사용하여 LLM이 내린 확률 판단의 일관성을 평가했습니다. 연구 결과에 따르면 이러한 모델이 내린 판단은 종종 일관성이 없으며, 확률 이론의 규칙에서 인간과 마찬가지로 체계적인 편차를 보이는 것으로 나타났습니다. 또한 동일한 사건에 대한 판단을 요구할 때 LLM이 내린 확률 판단의 평균-분산 관계는 인간과 마찬가지로 역U자 모양을 보였습니다. 우리는 이러한 합리성의 편차가 자동 회귀적 LLM을 암묵적 베이지안 추론에 연결하고 인간의 확률 판단에 대한 베이지안 샘플러 모델과 유사점을 도출함으로써 설명될 수 있다고 제안합니다. [abs|pdf]

[49/77] Breaking Free Transformer Models: Task-specific Context Attribution Promises Improved Generalizability Without Fine-tuning Pre-trained LLMs

Keywords: nlp_classification_tasks, nlp_classification, processing_nlp_classification
Abstract: 특정 데이터 세트에 대해 사전 학습된 대규모 언어 모델(LLM)을 미세 조정하는 것은 자연어 처리(NLP) 분류 작업에서 일반적으로 사용되는 전략입니다. 하지만 이러한 접근 방식은 일반적으로 모델의 일반화 가능성을 떨어뜨리는 결과를 초래합니다. 이 논문에서는 작업별 컨텍스트 어트리뷰션을 활용하여 일반화 가능성을 유지하고 다운스트림 작업의 성능을 향상시킬 수 있는 프레임워크를 제시합니다. 본 논문에서는 작업별 개념 연산자를 사용하여 모든 변환기 모델에서 텍스트 표현을 선형 변환하면 잠재 개념 공간에 투영되며, 이를 문맥 속성이라고 합니다. 특정 개념 연산자는 지도 학습 단계에서 새로운 손실 함수를 통해 최적화됩니다. 제안된 프레임워크는 각 작업 목표에 대한 텍스트 표현의 문맥 귀속이 판별자 함수의 용량을 향상시켜 분류 작업의 성능을 향상시킬 수 있음을 보여줍니다. 세 가지 데이터 세트, 즉 HateXplain, IMDB 리뷰, 소셜 미디어 어트리뷰션에 대한 실험 결과는 제안된 모델이 우수한 정확도와 일반화 가능성을 달성했음을 보여줍니다. 특히, HateXplain 데이터 세트에서 미세 조정되지 않은 BERT의 경우 정확도는 8%, F1 점수는 10% 개선된 것으로 나타났습니다. 반면, IMDB 데이터 세트의 경우, 미세 조정된 최첨단 XLNet은 정확도와 F1 점수 모두에서 1% 더 나은 성능을 보였습니다. 또한, 도메인 간 교차 데이터 세트 테스트에서 제안된 모델과 함께 IMDB 데이터 세트에 대해 미세 조정된 DistilBERT는 HateXplain 데이터 세트의 F1 점수를 7% 향상시켰습니다. YouTube 댓글의 소셜 미디어 속성 데이터 세트의 경우, F1 지표가 5.2% 증가했습니다. 제안된 프레임워크는 PyTorch로 구현되었으며 GitHub에서 오픈소스로 제공됩니다. [abs|pdf]

[50/77] Improving Reinforcement Learning from Human Feedback with Efficient Reward Model Ensemble

Keywords: ensembled_reward_models, optimization_ensembled_reward, reward_ensemble_method
Abstract: 인간 피드백을 통한 강화 학습(RLHF)은 대규모 언어 모델을 인간의 가치에 맞게 조정하기 위해 널리 채택된 접근 방식입니다. 하지만 RLHF는 제한된 양의 인간 선호도 데이터로 학습된 보상 모델에 의존하기 때문에 부정확한 예측을 초래할 수 있습니다. 그 결과, RLHF는 인간의 가치와 일치하지 않는 결과를 생성할 수 있습니다. 이러한 문제를 완화하기 위해 유니티는 보상 모델이 보다 정확한 예측을 할 수 있도록 보상 앙상블 방식을 도입했습니다. 대규모 언어 모델 기반 보상 모델의 앙상블을 사용하면 계산과 리소스 비용이 많이 들기 때문에 선형 계층 앙상블과 LoRA 기반 앙상블 등 효율적인 앙상블 방법을 연구합니다. 경험적으로 앙상블된 보상 모델로 Best-of-$n$ 및 근사 정책 최적화를 실행하고, 앙상블 방법이 RLHF 출력의 정렬 성능을 개선하는 데 도움이 되는지 확인합니다. [abs|pdf]

[51/77] I came, I saw, I certified: some perspectives on the safety assurance of cyber-physical systems

Keywords: detecting_assurance, compelling_assurance_cases, improving_existing_assurance
Abstract: 사이버 물리 시스템(예: 자율 주행 시스템, 무인 항공 시스템, 로봇 시스템)의 실행 실패는 인명 손실, 심각한 부상, 대규모 환경 피해, 재산 파괴, 막대한 경제적 손실을 초래할 수 있습니다. 따라서 이러한 시스템은 일반적으로 해당 시스템이 설계된 중요한 요구사항(예: 안전, 보안, 신뢰성)을 효과적으로 지원할 수 있다는 강력한 근거가 필요합니다. 따라서 이러한 정당성을 뒷받침하고 규제 기관이 이러한 시스템을 인증할 수 있도록 강력한 보증 사례를 개발하는 것이 필수적인 경우가 많습니다. 이러한 맥락에서 보증 결함을 감지하고, 패턴을 활용하여 보증 사례의 구조를 개선하고, 기존 보증 사례 표기법을 개선하고, 보증 사례 생성을 (반)자동화하는 것은 설득력 있는 보증 사례를 개발하고 소비자의 수용을 촉진하는 데 핵심적인 역할을 합니다. 따라서 이러한 보증 인에이블러와 관련된 과제를 살펴보고 이를 해결하기 위해 모색할 수 있는 몇 가지 잠재적 방향에 대해 간략히 설명합니다. [abs|pdf]

[52/77] A comparison of RL-based and PID controllers for 6-DOF swimming robots: hybrid underwater object tracking

Keywords: swimming_robots_primary, underwater_object_tracking, underwater_tracking_task
Abstract: 이 백서에서는 6DOF 수영 로봇의 맥락에서 널리 사용되는 PID 컨트롤러를 대체할 수 있는 중앙 집중식 심층 Q-네트워크(DQN) 컨트롤러를 사용하는 것에 대한 탐색과 평가를 제시합니다. 이 글에서는 수중 물체 추적이라는 구체적인 사례를 통해 이러한 전환을 설명하는 데 중점을 두고 있습니다. DQN은 데이터 효율성 및 비정책 학습과 같은 장점을 제공하는 동시에 다른 강화 학습 방법보다 구현이 더 간단합니다. 로봇에 대한 동적 모델이 없기 때문에 중앙 집중식 컨트롤러가 개별 PID보다 더 강력한 제어를 제공할 수 있는 다중 입력-다중 출력(MIMO) 시스템을 제어하기 위해 RL 에이전트를 제안합니다. 우리의 접근 방식은 처음에는 안전한 탐사를 위해 기존 컨트롤러를 사용한 다음, 점차적으로 로봇을 완전히 제어하기 위해 DQN으로 전환하는 것입니다.
수중 추적 작업을 비전과 제어 모듈로 나눕니다. 비전 기반 추적에는 기존의 방법을 사용하고 중앙 집중식 DQN 컨트롤러를 도입합니다. 비전 모듈에서 제어 모듈로 바운딩 박스 데이터를 전송함으로써 다양한 물체에 적응하고 비전 시스템을 손쉽게 교체할 수 있습니다. 또한 저차원 데이터를 처리함으로써 컨트롤러가 비용 효율적인 온라인 학습을 할 수 있습니다. 유니티 기반 시뮬레이터에서 수행한 실험을 통해 분리된 PID 컨트롤러에 비해 중앙 집중식 RL 에이전트의 효과를 검증하여 수중 RL 에이전트 학습을 위한 프레임워크의 적용 가능성과 기존 제어 방식에 비해 향상된 성능을 보여 줍니다. 실제 및 시뮬레이션 구현에 대한 코드는 다음 https URL에서 확인할 수 있습니다. [abs|pdf]

[53/77] A Linguistic Comparison between Human and ChatGPT-Generated Conversations

Keywords: human_dialogues_classifier, generated_conversations_human, human_dialogues_chatgpt
Abstract: 이 연구는 ChatGPT-3.5에서 생성된 19.5만 개의 대화를 EmpathicDialogues 데이터 세트와 함께 사용하여 인간과 LLM이 생성한 대화 간의 언어적 차이를 탐구합니다. 이 연구는 언어적 질문 및 단어 수(LIWC) 분석을 사용하여 118개 언어 범주에 걸쳐 ChatGPT로 생성된 대화와 사람의 대화를 비교했습니다. 그 결과 인간 대화에서 더 큰 가변성과 진정성이 나타났지만 ChatGPT는 사회적 과정, 분석 스타일, 인지, 주의 집중, 긍정적인 감정 어조 등의 범주에서 탁월하여 "인간보다 더 인간적"이라는 최근의 연구 결과를 뒷받침했습니다 그러나 ChatGPT와 인간 대화 간의 긍정적 또는 부정적 영향력에서는 유의미한 차이가 발견되지 않았습니다. 대화 임베딩에 대한 분류기 분석 결과, 대화에서 정서에 대한 명시적인 언급이 없음에도 불구하고 정서의 원자가가 암시적으로 코딩된 것으로 나타났습니다. 이 연구는 또한 두 개의 독립적인 챗봇 간의 대화에 대해 ChatGPT가 생성한 새로운 데이터 세트를 제공하는데, 이 데이터 세트는 공개 액세스가 가능한 인간 대화 코퍼스를 복제하도록 설계되어 언어 모델링에 대한 AI 연구에 널리 사용되고 있습니다. 이번 연구 결과는 ChatGPT의 언어적 기능에 대한 이해를 높이고 AI가 생성한 가짜, 잘못된 정보, 허위 정보를 탐지하는 데 중요한 인간과 LLM이 생성한 텍스트를 구별하기 위한 지속적인 노력을 알려줍니다. [abs|pdf]

[54/77] Leveraging Professional Radiologists' Expertise to Enhance LLMs' Evaluation for Radiology Reports

Keywords: generation_nlg_clinical, semantic_intricacies_clinical, radiology_artificial_intelligence
Abstract: 영상의학 분야에서 인공지능(AI)은 보고서 생성을 크게 발전시켰지만, AI가 생성한 보고서를 자동으로 평가하는 것은 여전히 어려운 과제입니다. 기존의 자연어 생성(NLG) 및 임상 유효성(CE)과 같은 현재의 지표는 종종 임상적 맥락의 복잡한 의미를 파악하지 못하거나 임상적 세부 사항을 지나치게 강조하여 보고서의 명확성을 떨어뜨립니다. 이러한 문제를 극복하기 위해 저희는 전문 영상의학 전문의의 전문성과 GPT-3.5 및 GPT-4 1과 같은 대규모 언어 모델(LLM)을 결합하는 방법을 제안합니다. 상황 내 명령어 학습(ICIL)과 사고의 연쇄(CoT) 추론을 활용하는 저희 접근 방식은 LLM 평가를 영상의학 전문의 표준과 일치시켜 인간과 AI가 생성한 보고서 간의 상세한 비교를 가능하게 합니다. 이는 문장 평가 점수를 집계하는 회귀 모델을 통해 더욱 향상됩니다. 실험 결과, 'Detailed GPT-4(5-shot)' 모델은 0.48점을 기록해 METEOR 메트릭을 0.19점 앞섰으며, 'Regressed GPT-4' 모델은 전문가 평가와 더욱 일치하는 것으로 나타나 현존하는 최고 메트릭을 0.35점 차이로 능가하는 것으로 나타났습니다. 또한, 철저한 반복 전략을 통해 설명의 견고성을 검증했습니다. 저희는 방사선학 전문가의 주석을 공개하여 향후 평가의 정확성에 대한 새로운 기준을 제시할 계획입니다. 이는 AI 기반 의료 보고서의 품질 평가를 향상시키는 데 있어 우리의 접근 방식이 가진 잠재력을 강조합니다. [abs|pdf]

[55/77] LLMs as On-demand Customizable Service

Keywords: llms_heterogeneous_computing, language_models_llms, accessibility_deployability_llms
Abstract: 대규모 언어 모델(LLM)은 놀라운 언어 이해 및 생성 능력을 입증했습니다. 그러나 이러한 모델을 학습, 배포 및 액세스하는 데는 리소스 집약적인 요구 사항, 학습 기간 연장, 확장성 문제 등 상당한 어려움이 있습니다. 이러한 문제를 해결하기 위해 유니티는 범용 컴퓨터(예: 노트북) 및 IoT 스타일 디바이스(예: 임베디드 시스템)를 비롯한 이기종 컴퓨팅 플랫폼에서 LLM의 접근성과 배포 가능성을 향상시키는 것을 목표로 하는 계층적 분산 LLM 아키텍처의 개념을 도입했습니다. 제안된 아키텍처는 '계층화된' 접근 방식을 도입함으로써 맞춤형 서비스로서 LLM에 대한 온디맨드 액세스를 가능하게 합니다. 이 접근 방식은 또한 사용 가능한 컴퓨팅 리소스와 사용자의 애플리케이션 요구 사항 간의 최적의 균형을 보장합니다. 유니티는 계층적 LLM의 개념이 광범위한 크라우드 소싱 사용자 기반이 LLM의 기능을 활용할 수 있도록 지원함으로써 AI 기술 전반의 발전을 촉진할 것으로 기대하고 있습니다. [abs|pdf]

[56/77] Autoencoder-Based Domain Learning for Semantic Communication with Conceptual Spaces

Keywords: communication_conceptual_spaces, utilize_conceptual_spaces, conceptual_space
Abstract: 기호를 정확하게 전달하는 것이 아니라 의미를 정확하게 전달하는 것을 목표로 하는 커뮤니케이션이 점점 더 많은 관심을 받고 있는 분야입니다. 시맨틱 커뮤니케이션이라고 불리는 이 패러다임은 일반적으로 인공 지능과 머신 러닝의 최신 발전을 활용하여 커뮤니케이션 시스템의 효율성과 견고성을 개선합니다. 그러나 '의미'의 세부 사항을 포착하고 정량화하기 위한 표준 모델이 부족하며, 시맨틱 커뮤니케이션에 대한 많은 주요 접근 방식은 모델이 정확히 무엇을 학습하는지에 대한 이해가 거의 없는 블랙박스 프레임워크를 채택하고 있습니다. 한 가지 해결책은 기하학적 방식으로 의미를 명시적으로 모델링하는 개념적 공간 프레임워크를 활용하는 것입니다. 개념적 공간으로 의미적 의사소통을 연구한 이전 연구들이 유망한 결과를 보여주긴 했지만, 이러한 시도는 개념적 공간 모델을 수작업으로 만들어야 하므로 접근 방식의 확장성과 실용성이 크게 제한되었습니다. 이 연구에서는 높은 수준의 속성 레이블이 있는 원시 데이터만을 사용해 개념적 공간 모델의 도메인을 학습하는 프레임워크를 개발했습니다. MNIST와 CelebA 데이터 세트를 사용한 실험에서 이 프레임워크를 사용해 학습한 도메인이 의미적 유사성 관계를 유지하며 해석 가능한 차원을 가지고 있음을 보여줍니다. [abs|pdf]

[57/77] Multi-class Regret Detection in Hindi Devanagari Script

Keywords: expressions_regret_hindi, regret_hindi_text, regret_hindi
Abstract: 최근 몇 년 동안 소셜 미디어에서 힌디어 사용자 수가 급격히 증가했습니다. 후회는 일상 생활에서 흔히 경험하는 감정입니다. 소셜 미디어에서 많은 화자들이 후회스러운 경험과 의견을 정기적으로 공유합니다. 후회는 자신의 선택을 재평가하고 기회가 주어진다면 다른 선택을 하고 싶은 욕구를 불러일으킬 수 있습니다. 따라서 후회의 원인을 파악하는 것은 후회가 행동과 의사결정에 미치는 영향을 조사하는 데 매우 중요합니다. 이 연구는 후회와 후회가 다양한 소셜 미디어 플랫폼에서 특히 힌디어로 어떻게 표현되는지에 초점을 맞춥니다. 이 연구에서는 세 가지 출처의 새로운 데이터 세트를 제시하고, 각 문장을 '행동에 따른 후회', '무행위에 따른 후회', '후회 없음'의 세 가지 분류 중 하나로 수작업으로 분류했습니다. 다음으로, 이 데이터 세트를 사용하여 힌디어 텍스트에서 후회의 언어적 표현을 조사하고 후회와 가장 자주 연관되는 텍스트 영역을 식별합니다. 연구 결과, 소셜 미디어 플랫폼에서 개인은 특히 대인 관계 영역에서 과거의 무심코 한 행동과 행동에 대해 후회를 자주 표현하는 것으로 나타났습니다. 사전 학습된 BERT 모델을 사용하여 힌디어 데이터 세트에 대한 단어 임베딩을 생성하고, 딥러닝 모델과 기존 머신러닝 모델을 비교하여 정확성을 입증했습니다. 그 결과, CNN을 사용한 BERT 임베딩이 다른 모델을 지속적으로 능가하는 것으로 나타났습니다. 이는 후회 영역에서 단어의 문맥과 의미를 전달하는 데 있어 BERT가 효과적이라는 것을 설명합니다. [abs|pdf]

[58/77] SelectLLM: Can LLMs Select Important Instructions to Annotate?

Keywords: diverse_instruction_dataset, training_large_language, language_models_llms
Abstract: 크고 다양한 명령어 데이터 세트로 대규모 언어 모델(LLM)을 훈련하면 모델이 사람의 명령을 이해하고 따르도록 조정할 수 있습니다. 최근의 연구에 따르면 고품질의 작은 명령어 세트를 사용하면 크고 노이즈가 많은 명령어를 사용하는 것보다 더 나은 성능을 발휘할 수 있습니다. 지침은 레이블이 지정되지 않고 응답이 자연 텍스트로 되어 있기 때문에 모델의 신뢰도를 기반으로 하는 기존의 능동 학습 방식은 레이블이 지정되지 않은 지침의 선택에 직접 적용될 수 없습니다. 이 연구에서는 고품질 명령어를 선택하기 위해 LLM을 활용하는 새로운 명령어 선택 방법인 SelectLLM을 제안합니다. 우리의 높은 수준의 아이디어는 프롬프트를 통해 해당 레이블(즉, 응답)이 없는 각 명령어의 유용성과 영향력을 추정하기 위해 LLM을 사용하는 것입니다. SelectLLM은 클러스터링 알고리즘(예: CoreSet)을 사용하여 레이블이 없는 명령어를 여러 개의 클러스터로 나눈 다음, 각 클러스터 내에서 고품질 명령어를 선택하도록 LLM에 메시지를 표시하는 두 단계로 구성됩니다. SelectLLM은 유명 명령어 벤치마크에서 최근의 최신 선택 방법과 비교했을 때 비슷하거나 약간 더 나은 성능을 보였습니다. 모든 코드와 데이터는 공개적으로 사용할 수 있습니다(이 https URL). [abs|pdf]

[59/77] GuReT: Distinguishing Guilt and Regret related Text

Keywords: affective_computing, guilt_regret_recognition, regret_recognition_binary
Abstract: 인간의 의사 결정과 감정, 특히 죄책감과 후회 사이의 복잡한 관계는 행동과 웰빙에 중대한 영향을 미칩니다. 하지만 이러한 감정의 미묘한 차이와 상호 작용은 계산 모델에서 간과되는 경우가 많습니다. 이 백서에서는 죄책감과 후회 사이의 관계를 분석하기 위해 맞춤화된 데이터 세트와 그 고유한 텍스트 마커를 소개하여 정서 컴퓨팅 연구에서 주목할 만한 공백을 메웁니다. 우리의 접근 방식은 죄책감과 후회 인식을 이진 분류 작업으로 취급하며, 세 가지 머신러닝과 여섯 가지 트랜스포머 기반 딥러닝 기법을 사용하여 새로 생성된 데이터 세트를 벤치마킹합니다. 또한, 이 연구에서는 연쇄 사고와 트리 사고와 같은 혁신적인 추론 방법을 구현하여 모델의 해석 논리를 평가합니다. 그 결과 트랜스포머 기반 모델의 매크로 F1 점수가 90.4%로 최고의 머신러닝 분류기가 85.3%를 기록한 것에 비해 월등히 높아 복잡한 감정 상태를 구분하는 데 탁월한 능력을 발휘하는 것으로 나타났습니다. [abs|pdf]

[60/77] Validation, Robustness, and Accuracy of Perturbation-Based Sensitivity Analysis Methods for Time-Series Deep Learning Models

Keywords: deep_learning_sensitivity, learning_sensitivity_analysis, sensitivity_analysis_results
Abstract: 이 연구는 시계열 딥러닝의 해석 가능성 방법을 평가하기 위한 연구를 수행합니다. 민감도 분석은 입력 변화가 출력에 어떤 영향을 미치는지 평가하는 것으로 해석의 핵심 요소입니다. 역전파, 섭동, 근사화 등 사후 해석 방법 중 최신 Transformer 모델에 대한 섭동 기반 민감도 분석 방법을 연구하고 그 성능을 벤치마킹합니다. 구체적으로 세 가지 연구 질문에 답하고자 합니다: 1) 서로 다른 민감도 분석(SA) 방법이 비슷한 결과와 속성 중요도 순위를 산출할 수 있는가? 2) 동일한 민감도 분석 방법을 사용했을 때, 서로 다른 딥러닝(DL) 모델이 민감도 분석 결과에 영향을 미치는가? 3) 민감도 분석 방법의 결과가 실측 데이터와 얼마나 잘 일치하는가? [abs|pdf]

[61/77] AFSD-Physics: Exploring the governing equations of temperature evolution during additive friction stir deposition by a human-AI teaming approach

Keywords: friction_stir_deposition, tool_temperature_control, use_tool_temperature
Abstract: 이 백서에서는 인간과 인공지능이 협력하여 적층 마찰 교반 증착(AFSD) 중 온도 변화의 기본 물리학을 탐구하기 위한 모델링 작업을 소개합니다. AFSD는 재료를 녹이지 않고 증착하는 새로운 고체 적층 제조 기술입니다. 그러나 공정 모델링과 AFSD 툴의 모델링은 모두 초기 단계에 머물러 있습니다. 이 논문에서는 첫 번째 원칙에 기반한 모델을 AI와 결합하기 위한 인간-AI 팀 접근 방식을 제안합니다. 그 결과 AFSD-물리학으로 명명된 인간 정보 기반 기계 학습 방법은 공구에서 온도 변화의 지배 방정식을 효과적으로 학습하고 공정 중 측정값으로부터 빌드를 학습할 수 있습니다. 실험은 총 30개의 층으로 이루어진 알루미늄 7075의 증착을 위한 공정 중 측정값을 수집하도록 설계 및 수행됩니다. 수집된 관리 방정식은 낮은 계산 비용과 높은 정확도로 물리적으로 해석 가능한 모델입니다. 모델 예측은 측정값과 잘 일치하는 것으로 나타났습니다. 새로운 공정 파라미터를 사용한 실험적 검증을 통해 모델의 일반화 가능성과 공구 온도 제어 및 공정 최적화에 사용할 수 있는 잠재력을 입증했습니다. [abs|pdf]

[62/77] ReGAL: Refactoring Programs to Discover Generalizable Abstractions

Keywords: refactoring_generalizable_abstraction, programs_easier_predict, program_synthesis
Abstract: 프로그램 합성에 대규모 언어 모델(LLM)이 점점 더 많이 사용되고 있지만, 유용한 추상화를 개발하는 데 필요한 글로벌 뷰가 부족하고, 일반적으로 동일한 기능을 반복하는 프로그램을 한 번에 하나씩 예측하는 경우가 많습니다. 처음부터 중복 코드를 생성하는 것은 비효율적이고 오류가 발생하기 쉽습니다. 이 문제를 해결하기 위해 코드 리팩터링, 즉 실행 결과물을 변경하지 않고 코드를 재구성하여 재사용 가능한 함수 라이브러리를 학습하는 무단계 리팩터링 방법인 일반화 가능한 추상화 학습(Refactoring for Generalizable Abstraction Learning, ReGAL)을 제안합니다. ReGAL은 기존 프로그램의 작은 집합에서 학습하고, 실행을 통해 추상화를 반복적으로 검증하고 개선합니다. ReGAL이 발견한 공유 함수 라이브러리는 다양한 도메인에서 프로그램을 더 쉽게 예측할 수 있게 해줍니다. 세 가지 데이터 세트(로고 그래픽 생성, 날짜 추론, 마인크래프트 기반 텍스트 게임인 TextCraft)에서 오픈 소스 및 독점 LLM 모두 ReGAL 함수를 사용하여 프로그램을 예측할 때 정확도가 향상되었습니다. CodeLlama-13B의 경우, 그래픽에서 11.5%, 날짜 이해에서 26.1%, 텍스트 크래프트에서 8.1%의 절대 정확도가 향상되어 세 가지 영역 중 두 가지 영역에서 GPT-3.5를 능가하는 결과를 얻었습니다. 분석 결과, ReGAL의 추상화는 자주 사용되는 서브루틴과 환경 역학을 캡슐화하는 것으로 나타났습니다. [abs|pdf]

[63/77] Supervised Contrastive Learning based Dual-Mixer Model for Remaining Useful Life Prediction

Keywords: feature_fusion_employed, sample_features_degradation, feature_fusion
Abstract: 현재 예측 시점부터 기기의 완전 고장까지 남은 시간을 정확하게 예측하는 것을 목표로 하는 잔여 사용 수명(RUL) 예측 문제는 최근 연구자들로부터 큰 관심을 받고 있습니다. 본 논문에서는 기존의 대부분의 RUL 예측 접근법에서 시간적 특징과 공간적 특징을 경직적으로 조합하는 단점을 극복하기 위해 듀얼 믹서 모델이라는 공간-시간적 동질 특징 추출기를 최초로 제안합니다. 유연한 레이어별 점진적 특징 융합을 통해 공간-시간적 특징의 동질성을 확보하고 예측 정확도를 향상시킵니다. 둘째, 지도 대조 학습에 기반한 특징 공간 글로벌 관계 불변성(FSGRI) 훈련 방법을 도입합니다. 이 방법은 모델 훈련 과정에서 샘플 특징들 간의 관계와 열화 패턴의 일관성을 유지하여 이후 출력 계층의 회귀 작업을 간소화하고 모델의 RUL 예측 성능을 향상시킵니다. 마지막으로, 제안된 방법의 효과는 C-MAPSS 데이터 세트에 대한 다른 최신 연구 결과와의 비교를 통해 검증됩니다. 듀얼 믹서 모델은 대부분의 지표에서 우월성을 입증한 반면, FSGRI 훈련 방법은 모든 기준 모델에 대해 각각 평균 7.00%와 2.41%의 RMSE 및 MAPE 개선을 보였습니다. 실험과 모델 코드는 다음 https URL에서 공개적으로 확인할 수 있습니다. [abs|pdf]

[64/77] Norm Enforcement with a Soft Touch: Faster Emergence, Happier Agents

Keywords: nest_agents_achieve, agents_achieve_norms, nest_agents_effectively
Abstract: 멀티에이전트 시스템은 사회적 규범을 통해 상호 작용을 효과적으로 규제할 수 있는 자율적인 에이전트들의 사회로 볼 수 있습니다. 일반적으로 사회의 규범은 하드코딩된 것이 아니라 에이전트의 상호 작용에서 비롯됩니다. 즉, 한 사회의 에이전트들이 서로의 행동에 어떻게 반응하고 다른 에이전트의 반응에 어떻게 반응하는지에 따라 그 사회에서 어떤 규범이 등장할지가 결정됩니다. 우리는 다른 에이전트의 만족스럽거나 불만족스러운 행동에 대한 한 에이전트의 이러한 반응을 첫 번째 에이전트에서 두 번째 에이전트로의 커뮤니케이션이라고 생각합니다. 이러한 커뮤니케이션을 이해하는 것은 일종의 사회적 지능입니다. 이러한 커뮤니케이션은 에이전트를 특정 행동으로 유도하여 규범으로 확립될 수 있는 규범 출현의 자연스러운 동인을 제공합니다. 제재가 규범의 출현을 유도할 수 있다는 것은 잘 알려져 있지만, 우리는 다중 에이전트 시스템에서 협력을 촉진하는 데는 더 광범위한 종류의 사회 지능이 더 효과적일 수 있다고 가정합니다.
이에 따라 이전 연구보다 더 다양한 커뮤니케이션과 이에 대한 이해의 형태로 사회지능을 모델링하는 프레임워크인 Nest를 개발했습니다. Nest를 평가하기 위해 모의 팬데믹 환경을 개발하고 제재, 말하기, 힌트 등 세 가지 종류의 사회적 커뮤니케이션을 조합하여 기준선과 Nest를 비교하는 시뮬레이션 실험을 진행합니다.
실험 결과, 네스트 에이전트로 구성된 사회는 규범을 더 빨리 달성하고, 네스트 에이전트는 부정적인 제재와 목표 이탈이라는 바람직하지 않은 결과를 효과적으로 피하며, 동일한 양의 정보만 요구함에도 불구하고 베이스라인 에이전트보다 더 높은 만족도를 얻는 것으로 나타났습니다. [abs|pdf]

[65/77] Credit Risk Meets Large Language Models: Building a Risk Indicator from Loan Descriptions in P2P Lending

Keywords: credit_risk_classifiers, lending_artificial_intelligence, p2p_lending_emerged
Abstract: P2P 대출은 온라인 플랫폼을 통해 대출자와 차입자를 연결하는 독특한 금융 메커니즘으로 부상했습니다. 그러나 P2P 대출은 대출자가 대출자의 신용도를 평가할 수 있는 충분한 데이터가 부족한 경우가 많아 정보 비대칭성이라는 문제에 직면해 있습니다. 본 논문에서는 대출 신청 과정에서 대출자가 제공하는 텍스트 설명을 활용하여 이 문제를 해결할 수 있는 새로운 접근 방식을 제안합니다. 이 방법론은 텍스트 내의 패턴과 의미를 식별할 수 있는 강력한 도구인 대규모 언어 모델(LLM)을 사용하여 이러한 텍스트 설명을 처리하는 것입니다. 전이 학습을 적용하여 당면한 특정 업무에 맞게 LLM을 조정합니다.
Lending Club 데이터 세트를 분석하여 도출한 결과에 따르면, 널리 사용되는 LLM인 BERT가 생성한 위험 점수가 신용 위험 분류기의 성능을 크게 향상시키는 것으로 나타났습니다. 그러나 잠재적 편향성에 대한 불확실성과 함께 LLM 기반 시스템의 내재적 불투명성은 규제 프레임워크에 대한 중요한 고려 사항을 강조하고 최종 사용자들 사이에서 신뢰와 관련된 우려를 불러일으키며 P2P 대출과 인공지능의 역동적인 환경에서 향후 연구를 위한 새로운 길을 열어줍니다. [abs|pdf]

[66/77] Effective Controllable Bias Mitigation for Classification and Retrieval using Gate Adapters

Keywords: bias_mitigation_language, reducing_bias_search, debiasing_optimizing_modularized
Abstract: 언어 모델의 편향성 완화는 많은 연구의 주제였으며, 최근에는 온디맨드 디베이싱을 위한 어댑터와 같은 별도의 모듈 학습에 초점을 맞추고 있습니다. 모듈화된 디비아싱 모델에 최적화하는 것 외에도, 검색 결과에서 원하는 성능과 공정성의 균형을 맞추거나 분류 작업에서 디비아싱의 강도를 제어하기 위해 추론 시 편향성 감소 정도를 제어하는 것이 실무에서 중요한 경우가 많습니다. 이 백서에서는 추론 시점에 모델의 편향된 상태에서 완전한 디베이싱 버전으로 점진적으로 전환할 수 있는 감도 파라미터를 조정할 수 있는 새로운 모듈식 게이팅 메커니즘인 제어 가능한 게이트 어댑터(ConGater)를 소개합니다. (1) 네 가지 보호 속성을 가진 세 가지 분류 작업에 대해 세 가지 모델로 적대적 디베이싱 실험을 수행하고, (2) 공정성 목록별 정규화를 통해 검색 결과의 편향성을 줄여 성능과 공정성 지표 간의 균형을 조정할 수 있도록 함으로써 ConGater의 성능을 입증합니다. 분류 작업에 대한 실험 결과, 동일한 수준의 베이스라인과 비교했을 때 ConGater는 속성에 관한 정보를 더 적게 포함하면서도 더 높은 작업 성능을 유지할 수 있는 것으로 나타났습니다. 검색 작업에 대한 실험 결과, 완전히 디베이싱된 ConGater는 최근의 강력한 기준선보다 두 배 이상 높은 작업 성능을 유지하면서 동일한 공정성 성능을 달성할 수 있음을 보여주었습니다. 전반적으로 ConGater는 강력한 성능 외에도 모델의 편향된 상태와 디베이즈된 상태 사이를 지속적으로 전환할 수 있어 제어 가능성을 통해 개인화된 사용과 해석 가능성을 향상시킵니다. [abs|pdf]

[67/77] KAUCUS: Knowledge Augmented User Simulators for Training Language Model Assistants

Keywords: diverse_simulator_assistant, simulator_assistant, simulator_assistant_interactions
Abstract: 유용한 상호작용 데이터를 생성할 수 있는 시뮬레이터를 만들면 효과적인 멀티턴 명령 팔로잉 어시스턴트를 개발할 수 있습니다. 이상적인 사용자 시뮬레이터는 내재적 가중치에 의존하는 것 외에도 외부 지식을 원시 형태로 빠르게 부트스트랩하여 인터넷에서 사용할 수 있는 다양한 텍스트를 시뮬레이션할 수 있어야 합니다. 이전의 사용자 시뮬레이터는 일반적으로 다양성이 부족하고, 대부분 폐쇄적인 도메인이었으며, 엄격한 스키마가 필요했기 때문에 외부 지식을 통합하기 위해 빠르게 확장하는 데 비효율적이었습니다. 이에 유니티는 지식 증강 사용자 시뮬레이터 프레임워크인 카우커스를 도입하여 외부 지식을 원활하게 활용하고 다운스트림 어시스턴트 모델 훈련에 도움이 되는 다양한 사용자 시뮬레이터를 만드는 프로세스를 설명합니다. 검색 증강 시뮬레이터와 요약 제어 시뮬레이터라는 두 가지 GPT-J 기반 시뮬레이터를 통해 다양한 시뮬레이터와 어시스턴트 간의 상호작용을 생성합니다. 보상 및 선호도 모델 기반 평가를 통해 이러한 상호작용이 유용한 훈련 데이터로 활용되고 더 유용한 다운스트림 어시스턴트를 생성한다는 사실을 발견했습니다. 또한 검색 증강이나 요약 제어를 통해 지식을 통합하면 더 나은 어시스턴트를 만드는 데 도움이 된다는 사실도 발견했습니다. [abs|pdf]

[68/77] Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction

Keywords: traffic_prediction_challenging, traffic_prediction, term_traffic_prediction
Abstract: 장기적인 트래픽 예측은 동적인 시간적 종속성과 복잡한 공간적 종속성으로 인해 항상 어려운 과제였습니다. 이 논문에서는 하이브리드 트랜스포머와 시공간적 자기 지도 학습을 결합한 모델을 제안합니다. 이 모델은 트래픽 데이터의 시퀀스 수준과 그래프 수준에서 적응형 데이터 증강 기법을 적용하여 견고성을 향상시킵니다. 이 모델은 장기 시퀀스를 캡처할 때 반복 신경망의 한계를 극복하기 위해 트랜스포머를 활용하고, 복잡한 공간 종속성을 캡처하기 위해 체비셰프 다항식 그래프 컨볼루션을 사용합니다. 또한, 시공간적 이질성이 교통 속도에 미치는 영향을 고려하여 시간적, 공간적 이질성을 모델링하는 두 가지 자기 지도 학습 과제를 설계하여 모델의 정확도와 일반화 능력을 향상시킵니다. 두 개의 실제 데이터 세트인 PeMS04와 PeMS08을 대상으로 실험 평가를 수행하고, 그 결과를 시각화 및 분석하여 제안된 모델의 우수한 성능을 입증합니다. [abs|pdf]

[69/77] Context-Former: Stitching via Latent Conditioned Sequence Modeling

Keywords: imitation_learning_il, imitation_learning, offline_reinforcement_learning
Abstract: 오프라인 강화 학습(RL) 알고리즘은 최적이 아닌 궤적을 연결하여 더 나은 최적 궤적을 얻음으로써 의사 결정을 개선할 수 있습니다. 이 기능은 RL이 행동 정책보다 우수한 정책을 학습할 수 있도록 하는 중요한 요소입니다. 반면, 의사결정 트랜스포머(DT)는 의사결정을 시퀀스 모델링으로 추상화하여 오프라인 RL 벤치마크에서 경쟁력 있는 성능을 보이지만, 최근 연구에 따르면 DT는 스티칭 기능이 부족하기 때문에 성능을 더욱 향상시키기 위해서는 DT에 스티칭 기능을 활용하는 것이 필수적입니다. DT에 스티칭 기능을 부여하기 위해 궤적 스티칭을 전문가 매칭으로 추상화하고, 제한된 수의 전문가 궤적 표현을 에뮬레이션하여 차선의 궤적 조각을 스티칭하는 문맥 정보 기반 모방 학습(IL)과 시퀀스 모델링을 통합하는 접근 방식인 ContextFormer를 소개합니다. 이러한 주장을 검증하기 위해 두 가지 관점에서 실험을 진행했습니다: 1) IL 설정 하에서 D4RL 벤치마크에 대한 광범위한 실험을 수행했으며, 실험 결과 ContextFormer가 다중 IL 설정에서 경쟁력 있는 성능을 달성할 수 있음을 입증했습니다. 2) 더 중요한 것은 동일한 훈련 데이터 세트를 사용하여 다양한 경쟁 DT 변종과 ContextFormer를 비교했다는 점입니다. 실험 결과, 컨텍스트포머는 다른 모든 변형을 능가하는 뛰어난 성능을 보여줌으로써 그 우수성을 입증했습니다. [abs|pdf]

[70/77] ACCESS: Prompt Engineering for Automated Web Accessibility Violation Corrections

Keywords: web_accessibility_initiative, accessibility_violations_web, automate_web_accessibility
Abstract: 포용적이고 사용자 친화적인 기술에 대한 요구가 증가함에 따라 웹 접근성은 시각, 청각, 인지, 운동 장애를 포함한 모든 장애인이 온라인 콘텐츠에 동등하게 접근할 수 있도록 보장하는 데 매우 중요합니다. 웹 콘텐츠 접근성 지침(WCAG) 및 웹 접근성 이니셔티브(W3C)와 같은 접근성 지침 및 표준이 존재함에도 불구하고 웹사이트의 90% 이상이 여전히 필요한 접근성 요건을 충족하지 못하고 있습니다. 장애가 있는 웹 사용자를 위해 웹 페이지 접근성 오류를 자동으로 수정하는 도구가 필요합니다. 접근성 오류를 찾아내는 방법은 여러 연구에서 입증되었지만, 이러한 위반을 효과적으로 수정하는 데 초점을 맞춘 연구는 없었습니다. 이 백서에서는 기초 모델을 사용하여 실시간으로 문서 객체 모델(DOM)을 수정함으로써 웹에서 접근성 위반을 수정하는 새로운 접근 방식을 제시합니다. 접근성 오류 정보, 대규모 언어 모델(LLM), 프롬프트 엔지니어링 기법을 활용하여 새로운 벤치마크에서 수정 후 접근성 위반 오류를 51% 이상 감소시켰습니다: ACCESS. 이 연구는 포용적인 웹 콘텐츠의 방향에 대한 가치 있는 접근 방식을 보여주며, 웹 접근성을 자동화하는 고급 방법을 모색하기 위한 향후 연구의 방향을 제시합니다. [abs|pdf]

[71/77] LLM4SecHW: Leveraging Domain Specific Large Language Model for Hardware Debugging

Keywords: hardware_debugging_leverages, hardware_debugging, bugs_hardware_designs
Abstract: 이 백서에서는 도메인별 대규모 언어 모델(LLM)을 활용하는 하드웨어 디버깅을 위한 새로운 프레임워크인 LLM4SecHW를 소개합니다. LLM은 다양한 소프트웨어 개발 작업을 자동화하는 데 성공했지만, 상용 LLM의 제약과 도메인별 데이터의 부족으로 인해 하드웨어 보안 영역에서의 적용은 제한적이었습니다. 이러한 문제를 해결하기 위해 버전 관리 데이터를 활용하여 오픈 소스 하드웨어 설계 결함 및 그 해결 단계에 대한 데이터 세트를 컴파일하는 고유한 접근 방식을 제안합니다. 이 데이터 세트는 하드웨어에 대한 머신러닝 모델 학습을 위한 실질적인 기반을 제공합니다. LLM4SecHW는 이 데이터세트를 기반으로 중간 크기의 LLM을 미세 조정하여 하드웨어 설계의 버그를 식별하고 수정할 수 있도록 합니다. 이 선구적인 접근 방식은 다른 연구 분야에서 도메인별 LLM을 미세 조정하는 데 참조할 수 있는 워크플로우를 제공합니다. 다양한 오픈 소스 하드웨어 설계에서 제안된 시스템의 성능을 평가하여 결함을 정확하게 식별하고 수정하는 데 있어 그 효율성을 입증합니다. 우리의 연구는 하드웨어 설계의 품질 관리 프로세스 자동화에 대한 새로운 관점을 제시합니다. [abs|pdf]

[72/77] Enhancing Human Experience in Human-Agent Collaboration: A Human-Centered Modeling Approach Based on Positive Human Gain

Keywords: game_ai_agents, game_ai_research, game_ai
Abstract: 기존의 게임 AI 연구는 주로 에이전트가 게임에서 승리할 수 있는 능력을 향상시키는 데 중점을 두었지만, 그렇다고 해서 에이전트와 협업할 때 인간이 더 나은 경험을 할 수 있는 것은 아닙니다. 예를 들어, 에이전트가 협업을 지배하고 의도하지 않았거나 해로운 행동을 보여 인간 파트너에게 좋지 않은 경험을 선사할 수 있습니다. 즉, 대부분의 게임 AI 에이전트는 '자기 중심적' 방식으로 모델링됩니다. 이 논문에서는 인간의 경험을 향상시키는 것을 목표로 하는 협업 에이전트를 위한 '인간 중심' 모델링 체계를 제안합니다. 구체적으로, 우리는 인간의 경험을 작업 중에 달성하기를 기대하는 목표로 모델링합니다. 에이전트는 에이전트 고유의 능력(예: 게임에서 승리)을 유지하면서 인간이 이러한 목표를 달성하는 정도를 향상시키는 방법을 학습해야 할 것으로 예상합니다. 이를 위해 유니티는 인간 이득을 통한 강화 학습(RLHG) 접근 방식을 제안합니다. RLHG 접근 방식은 인간이 원초적으로 목표를 달성하는 정도에 해당하는 '기준선'을 도입하고, 에이전트가 인간이 목표를 더 잘 달성할 수 있도록 효과적으로 향상시킬 수 있는 행동을 학습하도록 장려합니다. 유니티는 인기 MOBA(멀티플레이어 온라인 배틀 아레나) 게임인 아너 오브 킹즈에서 실제 인간 에이전트 테스트를 수행하여 RLHG 에이전트를 평가합니다. 객관적인 성능과 주관적인 선호도 결과 모두 RLHG 에이전트가 참가자에게 더 나은 게임 경험을 제공한다는 것을 보여줍니다. [abs|pdf]

[73/77] Evaluating Deep Networks for Detecting User Familiarity with VR from Hand Interactions

Keywords: vr_detecting_familiarity, detection_familiarity_vr, vr_familiar_task
Abstract: VR 기기가 소비자 공간에 널리 보급됨에 따라 VR에 익숙하지 않은 사용자도 VR 애플리케이션을 점점 더 많이 사용하게 될 것입니다. 인터랙션 매체로서 VR에 대한 사용자의 친숙도를 감지하면 적응을 위한 온디맨드 교육을 제공할 수 있고, 사용자가 작업을 수행할 때 VR 환경으로 인해 부담을 느끼지 않도록 방지할 수 있습니다. 이 연구에서는 딥 분류기를 사용하여 사용자가 숫자 암호 입력 패널과 상호 작용하여 VR 도어의 잠금을 해제할 때 사용자의 손을 추적하여 VR에 대한 친숙도를 자동으로 감지하는 예비 결과를 제시합니다. 유니티는 회의실, 사무실, 병원과 같은 협업 가상 공간의 첫 번째 진입 지점에 VR 도어를 사용합니다. VR에 익숙하지 않은 사용자는 현실 세계에서 비밀번호 입력 패널이 있는 문을 열기 위해 손을 사용했을 것입니다. 따라서 사용자는 VR에 익숙하지 않더라도 문을 여는 작업에는 익숙할 것입니다. VR에 익숙한 사용자 7명과 익숙하지 않은 사용자 7명으로 구성된 파일럿 데이터 세트를 사용하여 익숙한 사용자 3명, 익숙하지 않은 사용자 3명으로 구성된 6명의 테스트 사용자를 나머지 8명의 데이터를 사용하여 학습된 분류기로 평가했을 때 88.03%의 가장 높은 정확도를 얻었습니다. 이러한 결과는 암호 기반 보안 액세스라는 간단하지만 중요한 작업에서 사용자의 움직임 데이터를 사용하여 친숙도를 감지할 수 있는 가능성을 보여줍니다. [abs|pdf]

[74/77] FaKnow: A Unified Library for Fake News Detection

Keywords: fake_news_detection, unification_fake_news, news_detection_models
Abstract: 지난 몇 년 동안 딥러닝을 기반으로 한 수많은 가짜 뉴스 탐지 알고리즘이 등장했습니다. 그러나 이러한 알고리즘은 각기 다른 프레임워크에서 개발되는 경우가 많으며, 각기 다른 활용 방법론이 요구되어 결과적으로 재현성을 저해합니다. 또한 이러한 가짜 뉴스 탐지 모델의 코드 개발에는 상당한 양의 중복성이 존재합니다. 이러한 문제를 해결하기 위해 통합적이고 포괄적인 가짜 뉴스 탐지 알고리즘 라이브러리인 FaKnow를 제안합니다. 이 라이브러리는 콘텐츠 기반 접근 방식과 사회적 맥락 기반 접근 방식으로 분류되어 널리 사용되는 다양한 가짜 뉴스 탐지 모델을 포괄합니다. 이 라이브러리는 모델 훈련 및 평가 프로세스의 전체 스펙트럼을 다루며, 데이터, 모델, 훈련 절차를 통합된 프레임워크 내에서 효과적으로 구성합니다. 또한 시각화 및 로깅을 포함한 일련의 보조 기능과 도구를 제공합니다. 이러한 작업은 가짜 뉴스 탐지 연구의 표준화 및 통일에 기여하는 동시에 이 분야 연구자들의 노력을 촉진합니다. 오픈 소스 코드와 설명서는 각각 이 https URL과 이 https URL에서 액세스할 수 있습니다. [abs|pdf]

[75/77] Beyond Eviction Prediction: Leveraging Local Spatiotemporal Public Records to Inform Action

Keywords: eviction_prediction_typically, eviction_risk_success, eviction_prediction
Abstract: 최근 퇴거 위험도를 기준으로 부동산에 점수를 매기는 것에 대한 관심이 상당히 높아졌습니다. 퇴거 예측 방법의 성공 여부는 일반적으로 다양한 예측 정확도 측정을 통해 평가됩니다. 그러나 이러한 예측의 근본적인 목표는 더 큰 위험에 처할 수 있는 가구에 적절한 지원을 제공하여 안정적으로 거주할 수 있도록 하는 것입니다. 따라서 우리는 이러한 예측이 지원 활동을 타겟팅하는 데 얼마나 유용한지, 즉 행동에 정보를 제공하는 데 얼마나 유용한지에 대한 질문을 던져야 합니다. 이 백서에서는 부동산, 퇴거, 소유주에 대한 정보를 일치시키는 새로운 데이터 세트를 사용하여 이 질문을 조사합니다. 퇴거 예측 작업을 수행하여 위험 점수를 산출한 다음, 이 위험 점수를 사용하여 타겟팅된 아웃리치 정책을 계획합니다. 실제로 위험 점수가 유용하다는 것을 보여주며, 이론적으로 사회복지사들로 구성된 팀이 같은 시간에 더 많은 퇴거 취약 부동산에 도달할 수 있도록 도와주는데, 이는 이웃 기반 또는 최근 퇴거 이력이 있는 건물에 초점을 맞춘 아웃리치 정책과 비교했을 때 더욱 효과적입니다. 또한 위험 예측과 타겟팅된 아웃리치 모두에서 이웃 및 소유권 특징의 중요성에 대해 논의합니다. [abs|pdf]

[76/77] Do deep neural networks utilize the weight space efficiently?

Keywords: parameter_efficient_deep, efficient_deep_learning, efficient_deep
Abstract: 트랜스포머와 컨볼루션 신경망(CNN)과 같은 딥러닝 모델은 다양한 분야에 혁신을 가져왔지만, 매개변수 집약적인 특성으로 인해 리소스가 제한된 환경에서는 배포에 어려움을 겪습니다. 이 백서에서는 가중치 행렬의 열 공간과 행 공간을 활용하여 성능 저하 없이 모델 파라미터를 크게 줄일 수 있는 새로운 개념을 소개합니다. 이 패러다임을 활용하여 매개변수 효율적인 딥러닝 모델을 구축할 수 있습니다. 이 접근 방식은 병목 현상과 주의도 계층 모두에 적용되며, 성능 저하가 거의 발생하지 않으면서도 효과적으로 매개변수를 절반으로 줄일 수 있습니다. ViT 및 ResNet50을 사용하여 ImageNet 데이터 세트에서 수행한 광범위한 실험은 기존 모델과 비교했을 때 경쟁력 있는 성능을 보여줌으로써 이 방법의 효과를 입증했습니다. 이 접근 방식은 매개변수 효율성이 높은 딥러닝 솔루션에 대한 시급한 수요를 해결할 뿐만 아니라 실제 시나리오에서 실용적으로 배포할 수 있는 큰 가능성을 가지고 있습니다. [abs|pdf]

[77/77] FreDSNet: Joint Monocular Depth and Semantic Segmentation with Fast Fourier Convolutions

Keywords: depth_estimation_fredsnet, depth_estimation_semantic, semantic_segmentation_depth
Abstract: 이 연구에서는 단일 파노라마에서 실내 환경을 시맨틱 3D로 이해하는 딥러닝 솔루션인 FreDSNet을 소개합니다. 전방향 이미지는 전체 환경에 대한 360도 컨텍스트 정보를 제공하기 때문에 장면 이해 문제를 해결할 때 작업별 이점을 보여줍니다. 그러나 전방향 이미지의 고유한 특성으로 인해 물체를 정확하게 감지하고 분할하거나 깊이를 정확하게 추정하는 데는 추가적인 문제가 발생합니다. 이러한 문제를 극복하기 위해 각 컨볼루션 레이어에서 더 넓은 수신 필드를 확보하는 주파수 영역의 컨볼루션을 활용합니다. 이러한 컨볼루션을 통해 전방향 이미지의 전체 컨텍스트 정보를 활용할 수 있습니다. FreDSNet은 빠른 푸리에 컨볼루션을 활용하여 단일 파노라마 이미지에서 단안 깊이 추정과 시맨틱 분할을 공동으로 제공하는 최초의 네트워크입니다. 실험 결과, FreDSNet은 시맨틱 분할 및 깊이 추정을 위한 특정 최신 방법과 유사한 성능을 보였습니다. FreDSNet 코드는 다음 https URL에서 공개적으로 사용할 수 있습니다 [abs|pdf]