Machine Learning

'Machine Learning' 카테고리의 모든 글

총 70개의 글
시간순 정렬
AutoFed  개인화 프롬프트를 활용한 수동 없는 연방 교통 예측

AutoFed 개인화 프롬프트를 활용한 수동 없는 연방 교통 예측

정확한 교통 예측은 라이드해링, 도시 도로 계획, 차량 페리 관리 등 지능형 교통 시스템에 필수적입니다. 하지만 교통 데이터 주변의 중요한 프라이버시 문제로 인해 대부분의 기존 방법은 로컬 트레이닝에 의존하여 데이터 실로와 제한적인 지식 공유가 발생합니다. 연방 학습(FL)은 개인정보 보호 협업 훈련을 통해 효율적인 해결책을 제공하지만, 표준 FL은 클라이언트 간의 독립적이지 않고 동일하게 분포되지 않은(non-IID) 문제에 어려움을 겪습니다. 이挑战组合中包含了韩文和中文,最后的部分没有完全翻译成韩文。以下是完整的韩文翻译: 정확한 교통 예측은 라이드해링, 도시 도로 계획, 차량 페리 관리 등 지능형 교통 시스템에 필수적입니다. 하지만 교통 데이터 주변의 중요한 프라이버시 문제로 인해 대부분의 기존 방법은 로컬 트레이닝에 의존하여 데이터 실로와 제한적인 지식 공유가 발생합니다. 연방 학습(FL)은 개인정보 보호 협업 훈련을 통해 효율적인 해결책을 제공하지만, 표준 FL은 클라이언트 간의 독립적이지 않고 동일하게 분포되지 않은(non-IID) 문제에 어려움을 겪습니다. 이 어려움은 개인화 연방 학습(PFL)이 유망한 패러다임으로 등장하는 원인이 되었습니다. 그럼에도 불구하고 현재의 PFL 프레임워크는 교통 예측 작업에 대한 전문적인 그래프 특징 공학, 데이터 처리 및 네트워크 아키텍처 설계가 필요합니다. 많은 이전 연구들의 주목할 만한 제한점 중 하나는 실세계 시나리오에서 자주 사용 불가능한 데이터셋 간의 하이퍼파라미터 최적화에 의존하는 것입니다. 이를 해결하기 위해 AutoFed라는 새로운 PFL 프레임워크를 제안합니다. 이는 개인화된 예측자에게 교차 클라이언트 지식을 활용하면서도 로컬 특이성을 유지하도록 하여 자동 조정을 통해 인공적인 하이퍼파라미터 튜닝의 필요성을 제거합니다. 프롬프트 학습에서 영감을 받아, AutoFed는 클라이언트 맞춤형 어댑터를 사용하여 로컬 데이터를 축소된 글로벌 공유 프롬프트 행렬에 응축하는 연방 표현자를 도입하였습니다. 이 프롬프트는 개인화 예측자에게 조건을 제공합니다. 실제 데이터셋에서의 광범위한 실험은 AutoFed가 다양한 시나리오에서 일관되게 우수한 성능을 달성한다는 것을 보여주었습니다. 본 논문의 코드는 https //github.com/RS2002/AutoFed 에서 제공됩니다.

paper AI 요약
Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice

Can Small Training Runs Reliably Guide Data Curation? Rethinking Proxy-Model Practice

고품질 데이터는 현대 AI 개발의 주요 드라이버로 부상하였습니다. 프런티어 AI 모델을 훈련시키기 위한 데이터 레시피를 구성하는 것은 필수적인 결정 과정이지만, 이에 대한 이론적 지침이나 인간의 직관은 거의 없습니다. 따라서 실무자들은 실제 모델 훈련을 통해 데이터 품질을 평가해야 합니다. 본 논문에서는 작은 프록시 모델 을 사용하여 대규모 모델 훈련에 필요한 계산 부담을 크게 줄이는 방법과 이를 통한 실용적인 개발 워크플로우를 제안합니다.

paper AI 요약
Causify DataFlow  A Framework For High-performance Machine Learning Stream Computing

Causify DataFlow A Framework For High-performance Machine Learning Stream Computing

시간 시리즈 기계 학습에서 직면하는 다양한 도전 과제와 이를 해결하기 위한 DataFlow의 접근 방식을 다룹니다. 특히 프로토타입과 생산 사이의 차이, 모델 실행 빈도 조정, 비정상성 시간 시리즈 처리, 미래 정보 사용에 따른 비인과적 버그, 정확한 역사적 시뮬레이션 구현, 디버깅, 성능 최적화, 매개변수 분석 등 다양한 주제를 다룹니다.

paper AI 요약
DatBench  차별적이고 신뢰성 있으며 효율적인 VLM 평가

DatBench 차별적이고 신뢰성 있으며 효율적인 VLM 평가

실증적 평가는 기초 모델 연구 진전의 주요 나침반 역할을 합니다. 최신 비전-언어 모델(VLM) 훈련에 중점을 둔 많은 연구가 있음에도 불구하고, 이들의 평가 방법론은 아직 초기 단계입니다. 그 성숙을 돕기 위해 우리는 평가에서 충족해야 하는 세 가지 요구 사항을 제안합니다 (1) 모달리티와 응용 분야에 대한 충실성, (2) 다양한 품질의 모델 간 차별 가능성, 그리고 (3) 계산 효율성. 이 관점에서 우리는 충실성과 차별 가능성을 위반하고 모델 능력을 왜곡하는 중요한 실패 모드를 파악합니다 (i) 선택식 질문 형식은 추측을 장려하고 하류 사용 사례를 잘 반영하지 않으며, 모델이 개선됨에 따라 일찍 포화상태에 이릅니다; (ii) 이미지 없이도 답변 가능한 문제들로 구성된 평가의 70%까지 해당하며; (iii) 잘못 표시되거나 애매한 샘플은 일부 데이터셋에서 최대 42%를 차지합니다. 효율성 측면에서는, 가장 첨단의 모델을 평가하는 계산 부담이 금지불능 수준으로 올라갔습니다 일부 보고서에 따르면 개발용 컴퓨팅 자원의 거의 20%가 단순히 평가를 위해 사용되고 있습니다. 기존 벤치마크를 버리는 대신, 우리는 변환 및 필터링을 통해 충실도와 차별 가능성을 최대한 높이는 방법으로 이를 정제합니다. 선택식 질문을 생성적 작업으로 바꾸는 것이 모델의 능력을 최대 35%까지 급격히 낮추는 것을 발견했습니다. 또한, 무작정 해결 가능한 문제와 잘못 표시된 샘플들을 필터링하면 차별 가능성을 향상시키면서 동시에 계산 비용을 줄일 수 있습니다. 우리는 DatBench-Full이라는 33개의 데이터셋으로 구성된 청소된 평가 패키지와, 원래 데이터셋의 차별 가능성과 거의 일치하면서 평균적으로 13배(최대 50배) 속도 향상을 달성하는 차별적 하위 집합인 DatBench를 공개합니다. 우리의 연구는 VLM이 계속 확장됨에 따라 동시에 엄격하고 지속 가능한 평가 관행을 추구하는 길을 제시합니다.

paper AI 요약
DRL과 베이지안 최적화를 활용한 URLLC 산업 IoT 네트워크의 링크 적응 및 장치 스케줄링 방법

DRL과 베이지안 최적화를 활용한 URLLC 산업 IoT 네트워크의 링크 적응 및 장치 스케줄링 방법

[^1] 제3장의 일부 내용, 즉 OLLA 지원 실행 단계는 2024년 4월에 아랍 에미리트 두바이에서 열린 IEEE 무선 통신 네트워킹 컨퍼런스(WCNC)에서 발표되었다. [^2] P. Zheng과 A. Schmeink의 연구는 독일 BMFTR의 Souverän. Digital. Vernetzt. 프로그램에 의해 지원받았으며, 6G-ANNA 공동 프로젝트(프로젝트 식별 번호 16KISK097)에 참여하였다. [^3] W. Gao, P. Wu 및 Y. Hu는 중국 후난대학교 전자 정보 학과 소속이며 (이메일 `wei.gao|peng.wu|yulin.hu`@whu.edu.cn). `$^*$`Y. Hu가 대응 저자다. [^4] P. Zheng 및 A. Schmeink은 독일 아헨 라인-베스트페펜대학교 INDA 의장실 소속이다 (이메일 `zheng|schmeink`@inda.rwth-aachen.de).

paper AI 요약
HFedMoE  자원인지형 이질적인 연방학습과 전문가 혼합 모델

HFedMoE 자원인지형 이질적인 연방학습과 전문가 혼합 모델

연방 학습(FL)은 데이터 프라이버시를 해치지 않고도 대형 언어 모델(LLM)의 미세 조정을 가능하게 하지만, LLM의 커다란 크기는 리소스 제약이 있는 클라이언트, 예를 들어 휴대폰 기기에서는 온-디바이스 트레이닝이 실질적으로 불가능하게 합니다. 따라서, Mixture-of-Experts(MoE) 모델은 모델 학습 중 일부 레이어만 활성화하여 계산 부담을 줄이는 효율적인 방법으로 등장했습니다. 그러나 MoE를 FL 미세 조정에 통합하는 것은 여전히 세 가지 주요 과제를 안고 있습니다 i) 각 전문가의 로컬 미세 조정 성능에 대한 영향을 측정할 수 있는 신뢰성 있는 지표 부재로 인해 적절한 전문가 선택이 어렵습니다, ii) 다양한 입력 샘플에서 동적으로 활성화되는 전문가들이 리소스 제약 기기에서 계산 부담을 초래하기 때문에 클라이언트 간 이질적인 컴퓨팅 자원은 MoE 기반 LLM 미세 조정을 심각하게 방해합니다, iii) 클라이언트별로 다른 전문가 하위 집합과 라우팅 선호도는 맞춤형 업데이트와 일관되지 않은 게이팅 네트워크를 통해 전역 집약을 방해합니다. 이러한 과제를 해결하기 위해, 우리는 HFedMoE라는 이질적인 MoE 기반 FL 미세 조정 프레임워크를 제안합니다. 특정 클라이언트의 컴퓨팅 예산에 맞게 일부 전문가를 선택적으로 활성화하여 계산 효율성을 높이는 것입니다. 구체적으로, HFedMoE는 각 전문가의 미세 조정 성능 기여도를 바탕으로 중요도를 식별하고 정보 병목 관점에서 적응적 전문가 하위 집합을 선택합니다. 또한 중요한 요소에 가중치를 부여하여 활성화된 미세 조정 전문가와 게이팅 파라미터를 집약하기 위한 스팽서리 인식 모델 집약 전략도 설계되었습니다. 광범위한 실험 결과는 HFedMoE가 훈련 정확도와 수렴 속도 측면에서 최신 벤치마크를 능가함을 보여줍니다.

paper AI 요약
LION-DG  깊은 그래디언트 프로토콜을 활용한 계층 정보 초기화를 통한 가속 신경망 학습

LION-DG 깊은 그래디언트 프로토콜을 활용한 계층 정보 초기화를 통한 가속 신경망 학습

깊은 신경망에서 보조 분류기((auxiliary classifiers))는 중간 레이어에서 추가적인 그래디언트 신호를 제공함으로써 학습을 가속화하고 그래디언트 흐름을 개선하는데 효과적이다. 그러나 보조 분류기를 어떻게 초기화해야 하는지는 여전히 연구되지 않은 문제다. 본 논문에서는 LION-DG(Layer-Informed Initialization with Deep Gradient protocols)를 제안하며, 이는 보조 분류기를 0으로 초기화하고 백본 레이어에 대해 표준적인 초기화 방법을 사용하는 전략이다. 실험 결과 LION-DG는 더 빠른 학습 속도와 최고의 정확성을 달성하며, 특히 DenseNet-DS에서 8.3%의 속도 향상을 보였다. ###

paper AI 요약
MentalGame  Predicting Personality-Job Fitness for Software Developers Using Multi-Genre Games and Machine Learning Approaches

MentalGame Predicting Personality-Job Fitness for Software Developers Using Multi-Genre Games and Machine Learning Approaches

인성 평가는 현대의 다양한 의사결정 과정에서 중요한 역할을 합니다. 인성을 평가하는 질문지에는 자기보고 편향, 피로, 문항 오해 등의 문제가 있습니다. 게임은 이러한 문제를 해결하기 위한 대안으로 떠오르고 있으며, 여러 연구에서 게임 내 행동과 성격 특성 간의 관계를 분석하고 있습니다. 이 논문에서는 소프트웨어 개발자와 관련된 특정 직업에 맞는 MBTI와 행동 특성을 결합한 새로운 게임 기반 평가 프레임워크를 제안합니다.

paper AI 요약
MSACL  리아푸노프 증명을 활용한 지수 안정화 제어를 위한 다단계 행위자-비평가 학습

MSACL 리아푸노프 증명을 활용한 지수 안정화 제어를 위한 다단계 행위자-비평가 학습

모델이 없는 강화학습(RL)에서 증명 가능한 안정성을 달성하는 것은 여전히 도전적인 과제이며, 특히 탐험과 엄격한 안전 사이의 균형을 맞추는 것이 어렵습니다. 본 논문은 지수안정성 이론과 최대엔트로피 RL을 다단계 라이아푸노프 증명서 학습을 통해 통합하는 MSACL 프레임워크를 소개합니다. 복잡한 보상 공학에 의존하는 방법들과는 달리, MSACL은 오프-폴시 다단계 데이터를 활용하여 이론적 안정성 조건을 만족시키는 라이아푸노프 증명서를 학습합니다. 지수안정성 레이블(ESL)과 $λ$ 가중치 집합 메커니즘을 도입함으로써, 프레임워크는 다단계 학습에서 편차와 분산의 균형을 효과적으로 조절합니다. 안정성을 고려한 이점 함수를 통해 정책 최적화가 유도되며, 이를 통해 학습된 정책이 빠른 라이아푸노프 감소를 촉진하도록 합니다. MSACL은 안정화 및 비선형 추적 작업을 포함한 여섯 가지 벤치마크에서 평가되었으며, 최신의 라이아푸노프 기반 RL 알고리즘보다 우수함을 입증하였습니다. MSACL은 간단한 보상하에서도 지수안정성과 빠른 수렴성을 달성하며, 불확실성에 대한 강건성과 미지의 궤도에서의 일반화를 나타냅니다. 민감도 분석을 통해 다양한 시스템에서 다단계 휴리존 $n=20$이 견고한 기본값으로 설정되었습니다. 라이아푸노프 이론과 오프-폴시 액터-크리틱 프레임워크를 연결함으로써, MSACL은 검증 가능한 안전 학습 기반 제어의 기반이 됩니다. 소스 코드와 벤치마크 환경은 공개될 예정입니다.

paper AI 요약
Refined 프롬프트 추적  모델 행동을 이용한 대화 조정 감지

Refined 프롬프트 추적 모델 행동을 이용한 대화 조정 감지

이 논문은 언어 모델의 미세조정 과정에서 원본 프롬프트와 리피너가 재작성한 프롬프트를 구분하는 문제, 즉 Refinement Provenance Inference (RPI)에 대해 다룹니다. 이를 위해 RePro라는 로짓 기반 프레임워크를 제안하며, 이는 그림과 같은 과정을 통해 빠른 선형 분류기를 사용해 추론 모델에서 원본 및 리피너 재작성된 프롬프트의 출처를 판별합니다.

paper AI 요약
Scale-Adaptive Power Flow Analysis with Local Topology Slicing and Multi-Task Graph Learning

Scale-Adaptive Power Flow Analysis with Local Topology Slicing and Multi-Task Graph Learning

이 논문은 중국의 스마트 그리드 국책 과학기술 중점 프로젝트(2025ZD0804900)와 중국 국가자연과학기금(U22B6007)의 지원을 받았습니다. *(대응 저자 Guan Lin)* Li Yang, Guan Lin, Cai Zihan 및 Lin Zhi는 중국 남중국기술대학교 전력공학부에 소속되어 있으며 이메일은 각각 10706719873@qq.com; lguan@scut.edu.cn; epc_zihan@mail.scut.edu.cn; 2660910069@qq.com입니다. Huang Jia는 중국 남부 전력그리드 회사의 CSG 에너지 개발 연구소에 소속되어 있습니다. Chen Li는 중국 남부 전력그리드 회사의 전력연구원에 소속되어 있습니다.

paper AI 요약
SMOTE 생성 샘플의 이론적 수렴성

SMOTE 생성 샘플의 이론적 수렴성

불균형 데이터 세트는 한 클래스(소수 클래스)가 다른 클래스들(다수 클래스)에 비해 크게 소수로 나타나는 기계 학습 및 통계적 분석에서의 주요 도전 과제입니다. 이 불균형은 예측 모델이 소수 클래스에 대해 성능이 저하되는 편향된 결과를 초래하며, 이러한 소수 클래스는 고장 감지, 의료 진단, 네트워크 보안 또는 컴퓨터 비전과 같은 중요한 경우들을 나타낼 수 있습니다. 이를 완화하기 위해 다양한 데이터 증강 기법들이 개발되었습니다. 이 논문에서는 Synthetic Minority Over-sampling Technique (SMOTE)이라는 가장 널리 사용되는 증강 방법에 대해 이론적 분석을 제공합니다. 특히, SMOTE가 생성하는 합성 샘플들이 원래 데이터 분포로 수렴하는 과정을 이론적으로 입증하고자 합니다. 우리의 주요 기여는 다음과 같습니다 1. 확률 수렴 합성 랜덤 변수 $`Z`$가 표본 크기 $`n`$이 무한대로 접근할 때 원래 랜덤 변수 $`X`$로 확률적으로 수렴한다는 것을 증명합니다. 2. 최근접 이웃 순위 $`k`$ $`k`$의 값이 합성 샘플의 수렴 속도에 미치는 영향을 분석하고, 더 낮은 값을 사용하면 더 빠른 수렴을 얻을 수 있다는 것을 보여줍니다. 3. 경험적 검증 균일, 가우시안 및 지수 분포를 사용한 시뮬레이션 연구를 통해 이론 결과를 확인합니다. 이 논문의 결과는 SMOTE 알고리즘에서 $`k = 1`$을 사용하는 것이 원래 분포로 더 빨리 수렴하도록 하는 등 실제 응용에 대한 중요한 통찰력을 제공합니다. 이러한 통찰력은 실무자들이 SMOTE를 사용할 때 적절한 매개변수를 선택하고 증강된 데이터를 기반으로 훈련하는 모델의 성능을 개선하는 데 도움이 될 것입니다. ###

paper AI 요약
Tubular Riemannian Laplace Approximations for Bayesian Neural Networks

Tubular Riemannian Laplace Approximations for Bayesian Neural Networks

라플라스 근사법은 신경망에서 약한 베이지안 추론 방법 중 가장 단순하고 실용적인 방법들 중 하나입니다. 그러나 그의 유구다 공간 표현식은 현대의 심층 모델을 특징짓는 높은 비등방성, 곡률 있는 손실 표면 및 큰 대칭 군에 어려움을 겪고 있습니다. 최근 연구에서는 이러한 구조에 적응하기 위해 리만과 기하학적인 가우스 근사를 제안하였습니다. 이러한 아이디어를 바탕으로 우리는 관형 리만 라플라스(TRL) 근사법을 소개합니다. TRL은 함수적 대칭성에 의해 유도되는 낮은 손실 계곡을 따라 확률적 튜브를 명시적으로 모델링하며, 피셔/เกา스-뉴턴 메트릭을 사용하여 사전 주도 탄젠셜 불확실성을 데이터 주도 횡단면 불확실성으로 분리합니다. 우리는 TRL을 암시적인 곡률 추정치를 활용하여 고차원 매개변수 공간에서 작동하는 확장 가능한 재매개변수화된 가우스 근사법으로 해석합니다. 우리의 실증적 평가에 따르면 ResNet-18(CIFAR-10 및 CIFAR-100)에서는 TRL이 우수한 교정을 달성하며, 딥 앙상블즈와 비교하여 ECE 측면에서 동일하거나 더 높은 신뢰성을 보여주면서 학습 비용의 분수(1/5)만 필요로 합니다. TRL은 단일 모델 효율과 앙상블 수준의 신뢰성 간의 격차를 효과적으로 연결합니다.

paper AI 요약
Wittgenstein s Family Resemblance Clustering Algorithm

Wittgenstein s Family Resemblance Clustering Algorithm

이 논문은 분석 철학에서 루트비히 비트겐슈타인의 가족 닮음 개념을 기반으로 한 새로운 접근법을 제시합니다. 이 연구는 비트겐슈타인의 가족 닮음 원리를 기계 학습용 클러스터링 알고리즘에 적용하여 데이터 포인트 간의 유사성을 그래프로 표현하고, 이를 통해 연결된 그룹으로서 클러스터를 형성합니다. 이 알고리즘은 WFR (Wittgenstein’s Family Resemblance) 클러스터링 알고리즘이며, 다양한 토이 벤치마크 데이터셋에서 복잡하고 비선형적인 클러스터 구조를 효과적으로 포착할 수 있음을 실험적으로 입증합니다.

paper AI 요약
가장 유용한 파트너 선발의 새로운 길

가장 유용한 파트너 선발의 새로운 길

많은 현대 AI 및 ML 문제는 공유되지만 비대칭적인, 계산적으로 집약적인 과정을 통해 파트너의 기여를 평가하고 동시에 가장 유익한 후보자를 선별하는 것을 필요로 합니다. 이러한 문제들은 새로운 프레임워크인 순차적 지원 네트워크 학습(SSNL) 하에서 통합될 수 있습니다. 이 목표는 모든 참가자에게 가장 유익한 파트너 집합을 시도를 통해 선택하는 것입니다, 즉, 최고의 성능 기여를 나타내는 방향 그래프를 학습하는 것입니다. 우리는 단일 평가가 구조적인 중첩성으로 인해 여러 밴딧에 대한 고유한 피드백을 제공하는 새로운 순수 탐색 모델인 반복적으로 겹치는 다중(다중 팔) 밴딧(SOMMAB)이 희박한 후보 목록에서 지원 네트워크를 효율적으로 학습할 수 있음을 보여줍니다. 우리는 SOMMAB용 일반화된 GapE 알고리즘을 개발하고, 이는 다중 밴딧 최고 팔 식별에 있어 가장 잘 알려진 상수보다 지수 계수에서 크게 향상된 새로운 지수 오류 경계를 제공합니다. 이러한 경계는 중첩도와 선형적으로 비례하여, 공유 평가로부터 발생하는 샘플 복잡성의 큰 이점을 드러냅니다. 응용 프로그램 측면에서 본 연구는 다중 작업 학습(MTL), 보조 작업 학습(ATL), 연방 학습(FL) 및 다중 에이전트 시스템(MAS)과 같은 여러 학습 문제에서 희박한 후보자로부터 지원 네트워크를 식별하는 순차적 학습 도구의 이론적인 기초와 개선된 성능 보장을 제공합니다.

paper AI 요약
강화학습의 적대적 인스턴스 생성과 로브스트 트레이닝

강화학습의 적대적 인스턴스 생성과 로브스트 트레이닝

본 논문에서는 다목적 조합 최적화 문제(MOCOP)를 해결하는 강화학습 기반의 신경망 모델에 대한 강인성을 향상시키는 새로운 접근법을 제안한다. 이를 위해 선호도 기반 적대적 공격(PAA) 방법과 동적인 선호도 증강 방어(DPD) 방법을 소개한다. PAA는 특정 선호도에 맞춘 어려운 인스턴스를 생성하여 신경망 모델의 성능을 저하시키며, DPD는 적대적 공격으로부터 신경망 모델을 보호하고 그 강인성을 향상시킨다. 이러한 방법들은 다목적 트래블링 세일즈맨 문제(MOTSP), 다목적 용량 제약 차량 경로 문제(MOCVRP), 그리고 다목적 배낭 문제(MOKP)에서 우수한 성능을 보여준다.

paper AI 요약
그래프 신경망의 저장소 기반 학습 가속화

그래프 신경망의 저장소 기반 학습 가속화

그래프 신경망(GNN)의 학습은 대규모 그래프를 처리하는 데 있어서 주요한 도전 과제를 안고 있다. 이 논문에서는 GNN 학습에서 데이터 준비 단계가 전체 과정에서 큰 병목 현상을 일으키는 문제점을 파악하고, 이를 해결하기 위한 새로운 프레임워크 **AGNES**을 제안한다. AGNES는 블록 단위의 저장 장치 I/O 처리와 하이퍼 배치 기반 처리를 통해 효율적으로 데이터 준비 과정을 수행하며, 특히 대규모 그래프 학습에서 성능 향상에 크게 기여한다.

paper AI 요약
기하학적 및 양자 커널 방법을 활용한 만성 폐쇄성 폐질환의 골격근 예측 방법론 연구

기하학적 및 양자 커널 방법을 활용한 만성 폐쇄성 폐질환의 골격근 예측 방법론 연구

골격근 기능 장애는 만성 폐쇄성 폐질환(COPD)의 임상적으로 중요한 폐외 증상이며 체내 및 기도 염증과 밀접하게 연관되어 있습니다. 이를 바탕으로 최소 침습적 생물학적 표지자로부터 근육 결과를 예측하는 모델링을 실시하고자 합니다. 본 연구에서는 총 213마리의 동물을 대상으로 가짜 수술과 담배 연기 노출 조건을 비교한 사전 임상 데이터셋을 분석하였습니다. 이는 혈액 및 기관지알ве올라세척액 측정치와 함께 근육중량(mg), 특이력(mN), 근질 지수(mN/mg)라는 세 가지 연속 목표를 포함하고 있습니다. 연구에서는 조정된 전통적 베이스라인, 기하학을 인식하는 대칭 양의 결정체(SPD) 설명자와 Stein 발산량, 그리고 저차원 표형 데이터를 위한 양자 커널 모델들을 평가하였습니다. 근육중량 설정에서, 혈액 C-반응 단백질, 호중구 수치, 기관지알베올라세척액 세포도, 조건을 포함한 네 가지 해석 가능한 입력을 사용하는 양자 커널 리지 회귀는 테스트 루트 평균 제곱 오차 4.41mg과 결정 계수 0.605를 달성하였으며 동일 특징 집합에서 대응되는 리지 베이스라인(4.70mg 및 0.553)보다 향상되었습니다. 기하학적 정보를 포함한 Stein 발산량 프로토타입 거리는 생물학적 표지자만을 사용하는 설정에서 더 작은 그러나 일관된 개선(4.55mg 대비 4.79mg)을 보였습니다. 연속 결과를 훈련 가짜 수술 평균의 0.8배로 임계값 설정한 스크리닝 평가에서는 근육중량이 낮은 상태를 탐지하는 수신자 작동 특성 곡선(AUC-ROC) 최대 값까지 0.90을 달성하였습니다. 이러한 결과는 저데이터, 저특징 생물의학 예측 문제에서 기하학적 및 양자 커널 향상이 해석 가능성과 투명한 모델 선택을 유지하면서 측정 가능한 이점을 제공할 수 있음을 나타냅니다.

paper AI 요약
길이 인식 샘플링으로 더 안정적인 트래젝토리 생성 모델

길이 인식 샘플링으로 더 안정적인 트래젝토리 생성 모델

이 논문은 다양한 영역에서 시뮬레이션과 역사적 분석을 위한 실제적인 경로와 순서 모델 학습의 중요성을 강조한다. 특히, 이동성 분석, 추천 시스템, 교육 분야에서의 순차적인 결정 로그 등에서 길이가 다양한 트래JECTORY를 처리하는 데에 어려움이 있다. 이러한 문제를 해결하기 위해 제안된 방법은 길이 인식 샘플링(LAS) 기법으로, 이는 미니배치 내의 길이 다양성을 통제하고 생성자/판별자의 업데이트를 더 일관되게 만드는 트레이닝 시 개입이다. 또한, LAS와 조건부 트래JECTORY GAN 및 보조 시간 정렬 손실을 결합하여 트래JECTORY 데이터용 디지털 트윈을 구축한다.

paper AI 요약
No Image

깊은 계층 모델을 배우는 신경망 레이어별로 어떻게 학습할까?

본 논문에서는 $n$개의 레이블을 갖는 감독 학습을 고려하고 잔차 네트워크에서 계층별 SGD가 효율적으로 특정 계층 모델을 학습할 수 있음을 보여줍니다. 이 모델 클래스는 알려지지 않은 레이블 계층 $L_1 subseteq L_2 subseteq dots subseteq L_r = [n]$의 존재를 가정합니다. 여기서 $L_1$에 속한 레이블들은 입력의 간단한 함수이며, $i > 1$인 경우 $L_i$에 속한 레이블들은 더 간단한 레이블들의 간단한 함수입니다. 이러한 클래스는 깊은 학습 알고리즘으로 학습할 수 있음이 이전에 입증된 모델들보다 더 넓은 범위를 포함하며, 효율적인 학습 가능성을 도달하는 깊이 한계를 설정합니다. 즉, 해당 클래스에는 다항식 깊이가 필요한 표현을 요구하는 모델들이 있으며 이전의 모델들은 로그 깊이 회로에서 계산될 수 있습니다. 또한 이러한 계층 모델들의 학습 가능성은 깊은 학습을 이해하기 위한 기반으로 될 수 있음을 제안합니다. 깊은 학습이 뛰어난 성능을 보이는 도메인에서의 자연스러운 적합성뿐만 아니라 인간 교사 의 존재는 계층 구조가 본질적으로 가능하다는 가설을 지지한다고 주장합니다. 교사는 세밀한 레이블을 제공함으로써 두뇌가 사용하는 내부 알고리즘의 힌트 또는 스니펫 을 드러내는데 효과적입니다. 이 직관성을 형식화하여 교사가 부분적으로 자신의 내부 논리를 인식하는 간략한 모델에서 계층 구조가 효율적인 학습 가능성을 촉진시키는 방식으로 나타남을 보여줍니다.

paper AI 요약
대형 언어 모델을 이용한 범주형 데이터 클러스터링의 의미적 간극 해소

대형 언어 모델을 이용한 범주형 데이터 클러스터링의 의미적 간극 해소

범주형 데이터는 의료, 마케팅, 바이오정보학과 같은 분야에서 패턴 발견의 기본 도구로 클러스터링을 사용합니다. 범주형 데이터 클러스터링의 핵심 과제 중 하나는 내재적인 순서나 거리가 없는 속성 값 간의 유사성을 측정하는 것입니다. 적절한 유사성 지표 없이 값을 등거리로 취급하면 의미론적 격차가 발생하여 잠재 구조를 가리고 클러스터링 품질을 저하시킵니다. 기존 방법들은 데이터셋 내에서의 공발생 패턴으로부터 값 간 관계를 추론하지만, 샘플이 제한적일 때 이러한 추론은 신뢰할 수 없게 되어 데이터의 의미론적 맥락이 충분히 탐색되지 않습니다. 이 격차를 메우기 위해 우리는 ARISE(Attention-weighted Representation with Integrated Semantic Embeddings)를 제시합니다. ARISE는 대형 언어 모델(LLMs)로부터 외부 의미론적 지식을 끌어와 범주형 데이터의 거리 공간을 보완하는 의미론 인식 표현을 구성하여 정확한 클러스터링을 실현합니다. 즉, LLM은 표현 강화를 위해 속성 값을 설명하고, LLM으로 향상된 임베딩은 원래 데이터와 결합되어 의미론적으로 중요한 클러스터를 탐색합니다. 8개의 벤치마크 데이터셋에 대한 실험에서 ARISE는 대표적인 일곱 가지 방법보다 19-27% 향상된 성능을 보여주며, 코드는 https //github.com/develop-yang/ARISE에서 이용 가능합니다.

paper AI 요약
데이터 복잡도로 모델 성능 예측, 새로운 방법론

데이터 복잡도로 모델 성능 예측, 새로운 방법론

딥러닝 모델은 컴퓨터 비전을 포함한 다양한 분야에서 널리 사용되고 있다. 모델 유도 과정에서는 주어진 데이터셋에 적합한 아키텍처를 선택하는 데 반복적인 시도와 오류 절차가 종종 필요하다. 이 절차는 시간이 많이 소요되고 자원을 많이 사용하며 자동화하기 어렵다. 이전 연구에서는 부분적 학습이나 복잡한 시뮬레이션을 활용해 성능 예측을 탐구하였으나, 이러한 방법들은 종종 큰 계산 부담을 필요로 하거나 일반화 능력이 부족하다는 문제가 있다. 본 논문에서는 이에 대한 대안적인 접근 방식을 제시한다 데이터셋과 집중된 딥 모델 구조를 이해함으로써 학습 전 모델 성능을 추정할 수 있는 가벼운 두 단계 프레임워크다. 첫 번째 단계에서는 데이터셋의 측정 가능한 속성 분석을 기반으로 베이스라인 예측을 수행하고, 두 번째 단계에서는 모델 아키텍처와 하이퍼파라미터 세부 정보에 대한 추가 정보를 활용해 추정치를 조정한다. 이 구성은 프레임워크가 다양한 데이터셋과 모델 유형을 초월하여 일반화할 수 있게 한다. 더불어, 예측을 위한 일부 기본 특성 - 예컨대 데이터셋 변동성 -는 모델 선택에 대한 실제적 지침을 제공하고 데이터 품질의 조기 지표로도 활용될 수 있다. 결과적으로 이 프레임워크는 단순히 모델 성능을 예측하는 데만 그치지 않고 아키텍처 선택을 안내하며, 필요한 전처리 절차를 통보하고 학습 시작 전에 문제 있는 데이터셋을 검출하는 데도 활용될 수 있다.

paper AI 요약
동적 대형 개념 모델  적응적 의미 공간에서의 잠재적 추론

동적 대형 개념 모델 적응적 의미 공간에서의 잠재적 추론

대형 언어 모델(Large Language Models, LLMs)은 자연어 처리에서 큰 성공을 거두었지만, 이들 모델은 모든 토큰에 동일한 계산을 적용하는 통상적인 가정을 가지고 있다. 본 논문에서는 이 제약을 벗어나, [[IMG_PROTECT_N]] 동적 대형 개념 모델(Dynamic Large Concept Model, DLCM)을 제안한다. DLCM은 토큰 수준의 예측에 필요한 계산량을 최소화하고, 정보 밀도가 높은 부분에 더 많은 계산 자원을 할당함으로써 효율성을 극대화한다.

paper AI 요약
동적 모델 연합 그래프로 실시간 이상 감지

동적 모델 연합 그래프로 실시간 이상 감지

온라인 시간 시리즈 이상 감지는 데이터 포인트가 정상적인 시간 패턴에서 크게 벗어나는 것을 식별하는 작업입니다. 이 연구에서는 고주파수 데이터의 급증과 실시간 모니터링에 대한 요구 증대로 인해 오프라인 분석에서 온라인 처리로 주목이 이동했습니다. GDME(GRAPH 기반 시간 시리즈 이상 감지 모델 앙상블 프레임워크)은 이러한 문제를 해결하기 위해 그래프 구조와 커뮤니티 검출, 개념 유동성 탐지를 통합한 새로운 접근 방식을 제시합니다.

paper AI 요약
두단계 의사결정-표본 추측 가설  RL 트레이닝된 대형 언어 모델에서의 자반성의 등장 이해

두단계 의사결정-표본 추측 가설 RL 트레이닝된 대형 언어 모델에서의 자반성의 등장 이해

이 논문에서는 대형 언어 모델에서 자기 반성 능력이 어떻게 생겨나는지에 대한 이론적 해석을 제시합니다. 특히, 강화학습(RL) 훈련 과정에서 이러한 능력이 발달하는 메커니즘과 이를 기존의 감독 학습(SFT) 훈련과 어떻게 구별할 수 있는지에 대해 설명합니다.

paper AI 요약
디지털 트윈 기반 통신 효율적인 연방 이상 감지 시스템 для 산업 IoT

디지털 트윈 기반 통신 효율적인 연방 이상 감지 시스템 для 산업 IoT

본 논문에서는 산업 인터넷_of_things(IIoT)에서 이상 감지에 대한 혼합 디지털 트윈 기반 연방 학습 프레임워크를 제안합니다. 제안된 방법은 시뮬레이션 데이터와 실제 데이터를 활용하여 강력한 전역 이상 감지 모델을 공동으로 훈련시키는 것을 목표로 하며, 이 과정에서 데이터 프라이버시를 보호하고 모델의 견고성을 높이는 동시에 통신 오버헤드를 최소화합니다.

paper AI 요약
레이더 강수 예측, 실시간 학습으로 업그레이드!

레이더 강수 예측, 실시간 학습으로 업그레이드!

딥러닝의 급속한 발전으로 인해 데이터 주도형 기상 예측 방법이 특히 레이더 에코 외삽법(REE)을 통해 고해상도 강수 당일예보에 큰 관심을 받고 있습니다. 본 논문에서는 테스트 시점 학습(TTT)을 통합한 REE-TTT 모델을 제안합니다. 이 모델은 실시간 레이더 데이터를 기반으로 동적으로 특징 표현을 조정함으로써 다양한 기상 상황에 유연하게 대응할 수 있습니다.

paper AI 요약
리소스 제약된 소매 판매 예측을 위한 LSTM 신경망 최적화  모델 압축 연구

리소스 제약된 소매 판매 예측을 위한 LSTM 신경망 최적화 모델 압축 연구

이 논문은 LSTM 압축을 통해 소매 판매 예측의 정확도를 향상시키는 방법을 연구했습니다. 특히, 128개 숨겨진 유닛에서 64개로 축소한 LSTM-64 모델이 가장 높은 성능을 보였으며, 이 모델은 기존보다 73% 더 작고 정확도는 47% 향상되었습니다. 이러한 결과는 소매업체가 제약된 컴퓨팅 자원에서도 효과적인 예측을 수행할 수 있게 해줍니다.

paper AI 요약
No Image

문서 구조 이해로 인간 수준의 개념 학습 달성

인간 수준의 개념 학습은 아직 덜 탐구된 연구 분야입니다. 인간이 쉽게 처리할 수 있지만 기계에게는 여전히 어려운 문제를 해결하려는 목표를 가지고 있습니다. 사람들은 몇 개의 샘플만으로도 새로운 개념을 배우지만, 기계 학습 방법은 상관 관계와 특징 이해를 위해 많은 예제가 필요합니다. 이 논문에서는 문서 분류 작업에 인간 수준의 개념 학습 접근법을 활용했습니다. 현재 접근법들은 문서 컨텍스트를 바탕으로 문서를 분류하는데, 레이블링 데이터가 충분하고 문서 컨텍스트가 클래스를 구별하는 데 충분히 정보적이라는 가정을 합니다. 그러나 이미지 정보를 사용하는 방법은 레이블링 과정을 복잡하게 만듭니다. 우리의 솔루션은 텍스트와 좌표 모두를 통해 의미를 파악함으로써 순수 텍스트 기반 모델들이 무시하는 공간적 근거를 활용할 수 있도록 합니다.

paper AI 요약
반복과 진화  더 나은 학습 문제 생성

반복과 진화 더 나은 학습 문제 생성

최근의 추론 모델 개발은 수학과 코딩 분야에서 인상적인 성과를 보여주고 있다. 그러나 대부분의 접근 방법은 정적 데이터셋에 의존하고 있으며, 이는 기억력 유도와 일반화 능력 제한을 초래할 가능성이 있다는 지적이 있다. 우리는 이러한 패러다임에서 벗어나 모델 훈련 과정에서 다채로운 종류의 합성 수학 문제를 함께 진화시키는 프레임워크인 DéjàQ를 소개한다. 이 진화적 과정은 훈련 과정 내내 모델의 능력에 맞춰 조정되어 학습 가능성 최적화를 목표로 한다. 모델 자체가 훈련 데이터를 변이시키는 두 가지 LLM 주도 전략을 제안하며, 이는 문맥적 세부 사항을 변경하거나 문제 구조를 직접 수정하는 방식으로 이루어진다. 우리는 모델이 새로운 의미 있는 문제를 생성할 수 있으며, 이러한 LLM 주도 변이가 강화 학습 훈련을 개선한다는 것을 발견했다. DéjàQ의 핵심 요소인 생성된 문제의 유효성과 계산 부담 등을 분석한다. 우리의 결과는 동적으로 진화하는 훈련 데이터가 수학적 추론 능력을 강화할 잠재력을 보여주며, 이를 지원하기 위해 코드를 오픈 소스로 공개할 예정이다.

paper AI 요약
밴디크  다중과제 분해의 새 지평

밴디크 다중과제 분해의 새 지평

다중 작업 간에 효과적으로 지식을 전이하는 과제는 중요하며, 기반 모델의 하류 작업에서도 존재합니다. 그러나 전이의 이동성 비이동성 성질은 여전히 개방적인 문제이며, 부정적 전이는 중요한 장애물입니다. 다중 작업 학습에서 유익한 보조 작업 집합을 선택하는 것은 그 평가에 따른 높은 계산 비용, 가능한 후보 보조 작업 집합의 큰 수량, 그리고 대상 작업 간 복잡성 차이로 자주 방해받습니다. 이러한 제약 조건을 해결하기 위해 우리는 다중 밴딧을 사용한 세 단계 다중 작업 보조 작업 부분 선택 방법인 BandiK을 소개합니다. 각 팔 당 후보 보조 작업 집합은 단일 무작위 학습-테스트 데이터셋 분할에서 다중 출력 신경망의 학습과 테스트를 통해 평가됩니다. 첫 번째로, BandiK은 작업 간 쌍방향 전이를 추정하여 공동 학습으로부터 이익을 얻을 가능성이 높은 작업들을 식별하는 데 도움을 줍니다. 두 번째 단계에서는 초기 추정에 기반해 각 대상 작업에 대해 보조 작업 후보 집합의 선형 수(전체 작업 수에서)를 생성하여 잠재적인 보조 작업 집합의 지수적 수량을 크게 줄입니다. 세 번째로, BandiK은 각 작업에 대해 다중 팔 밴딧(MAB) 프레임워크를 사용하며, 이때 팔들은 후보 보조 작업 집합이 학습-테스트 데이터셋 분할에서 다중 출력 신경망으로 구현된 성능을 대응합니다. 효율성을 높이기 위해 BandiK은 각각의 작업별 MAB를 다중 밴딧 구조로 통합합니다. 제안된 다중 밴딧 솔루션은 동일한 신경망이 주어진 후보 집합에 대한 개별 밴딧들의 다양한 팔을 실현한다는 점에서 이점을 활용합니다. 이러한 부분 겹침 팔 특성은 BandiK에서 사용되는 새로운 형태의 다중 밴딧 비용/수익 구조를 정의합니다.

paper AI 요약
비트를 넘어  극한 양자화를 위한 다중 캡슐 이중 이진 인수분해

비트를 넘어 극한 양자화를 위한 다중 캡슐 이중 이진 인수분해

이 논문은 DBF의 성능 한계를 극복하기 위해 Multi-Envelope Double Binary Factorization (MDBF)을 제안한다. MDBF는 기존의 단일 랭크 평가 범위에 제한된 이진 패턴 대신, 여러 개의 평가 범위 모드를 사용하여 정확도를 향상시킨다. 이를 통해 1비트에서 2비트까지의 저정밀도에서도 높은 성능을 유지할 수 있다.

paper AI 요약
No Image

상태 공간 모델과 트랜스포머의 장기 컨텍스트 다이어딕 세션에서의 계산 및 표현 효율 비교 연구

상태 공간 모델(SSMs)은 오랜 문맥 시퀀스 모델링에 있어서 변형자(Transformer)의 대안으로 주목받고 있으며, 변형자의 $O(N^2)$ 스케일링과 비교하여 선형적인 $O(N)$ 계산 복잡도를 제공합니다. 본 논문은 Mamba SSM이 LLaMA 변형자를 오랜 문맥 시퀀스에서 어떻게 비교되는지에 대한 포괄적인 벤치마킹 연구를 제시하며, 이를 위해서는 이원 치료 세션이 대표적인 테스트 사례로 사용되었습니다. 두 아키텍처는 두 가지 차원을 통해 평가됩니다 (1) 계산 효율성, 여기서 512에서 8,192 토큰까지 메모리 사용량과 추론 속도를 측정하고, (2) 표현력 효율성, 여기서는 숨겨진 상태 동역학과 주의 패턴을 분석합니다. 우리의 발견은 오랜 문맥 응용 프로그램을 다루고 있는 실무자들에게 행동 가능한 통찰력을 제공하며, SSM이 변형자보다 우위에 설 수 있는 정확한 조건을 설정합니다.

paper AI 요약
선호도 기반 강화학습의 특징 종속 노이즈 평가

선호도 기반 강화학습의 특징 종속 노이즈 평가

딥 강화 학습(Deep RL)은 최근 다양한 분야에서 성공을 거두고 있으나, 적합한 보상 함수를 정의하는 것은 여전히 도전적이다. 이 연구에서는 선호 기반 강화 학습(PbRL)에서 비전문가 교사로부터 받는 피드백에 의해 발생하는 특징 종속 잡음을 모델링하고 평가한다. 이를 통해 RL 에이전트의 성능 향상을 추구하며, 다양한 상태-작업 공간에서 발생할 수 있는 다양한 유형의 특징 종속 잡음에 대해 논의한다.

paper AI 요약
수학적 논리의 스펙트럼 지문  유효성 체크 방법

수학적 논리의 스펙트럼 지문 유효성 체크 방법

대형 언어 모델(LLM)의 수학적 추론 작업에서 탁월한 성과는 이러한 모델들의 출력을 이해하고 검증하는 데 관심을 집중시켰습니다. 본 논문은 스펙트럼 그래프 이론에 기반한 새로운 접근법을 제안하며, 이 방법은 주의 메커니즘을 통해 생성된 가중 그래프의 스펙트럼 특성을 분석하여 추론의 유효성을 검증합니다. 실험 결과, 이 방법은 다양한 모델에서 82.8–85.9%의 정확도를 보였으며, 특히 로직적 일관성이 있는 증명을 식별하는 데 효과적이었습니다.

paper AI 요약
스마트플로우  바이크 균형자

스마트플로우 바이크 균형자

SmartFlow는 강화학습과 에이전트 기반 인공지능을 통합한 다층적 프레임워크로, 도시 자전거 공유 서비스에서 발생하는 동적인 재균형 문제를 해결합니다. 그 구조는 전략적, 전술적, 그리고 커뮤니케이션 기능을 분리하여 명확성과 확장성을 보장하고 있습니다. 전략 수준에서는 뉴욕의 Citi Bike 네트워크를 고대비 시뮬레이션에서 학습한 딥 Q-네트워크(DQN) 에이전트가 마르코프 의사결정 과정으로 문제를 모델링하여 견고한 재균형 정책을 학습합니다. 이러한 고수준 전략은 다중 구간 여행을 최적화하고 단시일 내에 출동할 수 있도록 스케줄링하여 차량의 이동 거리를 최소화하는 결정론적 전술 모듈로 전달됩니다. 여러 시드를 이용한 실행을 통해 SmartFlow의 높은 효율성이 입증되었으며, 네트워크 불균형을 95% 이상 감소시키고 최소한의 이동 거리와 높은 트럭 활용도를 달성하였습니다. 커뮤니케이션 계층은 대규모 언어 모델(LLM)을 갖춘 기반 에이전트 AI로 구동되어 물류 계획을 현장 직원에게 명확하고 실행 가능한 지시사항으로 전달하여 해석 가능성과 실행 준비성을 보장합니다. 이 통합은 기계 지능을 인간 운영과 연결함으로써, 유휴 시간을 줄이고 자전거 이용 가능성을 향상시키며 운용 비용을 낮추는 확장 가능한 해결책을 제공합니다. SmartFlow는 복잡한 도시 이동 네트워크에서 해석 가능하고 AI 기반의 물류를 위한 청사진을 제시합니다.

paper AI 요약
시놉틱 팟캐스트 대화, 영상 모델이 도전하다!

시놉틱 팟캐스트 대화, 영상 모델이 도전하다!

본 논문에서는 시각적 콘텐츠를 이용하여 증폭된 팟캐스트 대본을 생성하는 방법을 제안한다. 기존의 시각 언어 모델(VLM)이 단순히 사실적인 설명에 그치는 반면, 본 연구는 이러한 시각적 입력을 풍부하고 자연스러운 다중 회화로 전환하는 데 초점을 맞춘다. 이를 위해 개발된 SPoRC-VIST 벤치마크는 합성 이미지와 실제 사진 간의 일반화 성능을 검증한다. ###

paper AI 요약
신경망 사슬과 이산 동역학 시스템

신경망 사슬과 이산 동역학 시스템

우리는 변환 아키텍처를 기반으로 하는 머신 러닝(ML) 응용 프로그램과 이산 동역학 시스템 간의 유사성을 검토합니다. 여기서 neural chains 는 자기 주의 없이 변환 아키텍처에 기반한 것입니다. 또한, 비저키 Burgers 방정식과 Eikonal 방정식을 표준 수치 방법과 PINN 학습을 통해 해결하는 비교 분석을 제공합니다. 이 논문은 표준 수치 방법과 PINN 학습이 동일한 시스템 역학에 대한 지식을 얻는 두 가지 다른 경로를 제공한다는 것을 발견했습니다. 그러나 PINN 학습의 경우, 무작위 행렬이 고유한 삼중대각 형태보다 훨씬 더 많은 솔루션을 제공함으로써 학습 비용과 물리적 투명성이 떨어집니다.

paper AI 요약
실시간 대화형 아바타 생성  어바탄 포싱으로 자연스러운 상호작용

실시간 대화형 아바타 생성 어바탄 포싱으로 자연스러운 상호작용

대화형 아바타 생성은 정적인 초상화에서 가상 커뮤니케이션 및 콘텐츠 제작을 위한 실감나는 아바타를 생성합니다. 하지만 현재 모델들은 진정한 상호 작용의 느낌을 전달하지 못하며, 종종 감정적 관여가 부족한 일방통행 응답을 생성합니다. 우리는 진정한 상호 작용 아바타로 나아가는 두 가지 주요 과제를 식별하였습니다 인과 제약 하에서 실시간 동작 생성 및 추가 라벨 데이터 없이 표현력 있고 활기찬 반응 학습입니다. 이러한 과제들을 해결하기 위해, 저희는 확산 강제를 통해 사용자와 아바타 간의 실시간 상호 작용을 모델링하는 새로운 프레임워크인 아바타 강제(Avatar Forcing)를 제안합니다. 이 디자인은 음성과 동작을 포함한 사용자의 다중 입력을 저 지연으로 처리하여 말, 고개 끄덕임, 웃음 등 언어적 및 비언어적 시그널에 대한 즉각적인 반응을 가능하게 합니다. 또한 저희는 사용자 조건을 제거하여 구성된 합성 손실 샘플을 활용하는 직접 선호도 최적화 방법을 소개합니다. 이는 라벨 없는 표현력 있는 상호 작용 학습을 가능케 합니다. 실험 결과는 우리의 프레임워크가 저 지연(약 500ms)의 실시간 상호 작용을 가능하게 하며, 기준선에 비해 6.8배 빠른 속도를 달성하고, 반응적이고 표현력 있는 아바타 동작을 생성함으로써 기준선 대비 80% 이상 선호되는 결과를 보여줍니다.

paper AI 요약
알츠하이머 예측, 뇌 네트워크 규칙 학습으로 이해하기

알츠하이머 예측, 뇌 네트워크 규칙 학습으로 이해하기

알츠하이머병(AD)은 신경퇴행성 질환으로, 뇌에 아밀로이드-베타 플라크와 타우 단백질 섬유가 축적되는 특징을 가진다. 이 연구에서는 AD의 진행과 발현 사이의 구조적 뇌 네트워크와 관련성을 이해하기 위해, 통계적 기계 학습 방법과 olic machine learning 방법을 결합한 새로운 접근법인 LearnAD를 제안한다. LearnAD는 MRI 데이터에서 추출된 특징들을 이용하여 AD를 예측하고, 이를 통해 뇌의 구조적 패턴이 AD에 어떻게 영향을 미치는지 학습한다.

paper AI 요약
엔트로피 적응 튜닝으로 잊히는 것을 막자  확신 갈등 해결

엔트로피 적응 튜닝으로 잊히는 것을 막자 확신 갈등 해결

감독 학습 조정(Supervised Fine-Tuning, SFT)은 대형 언어 모델(LLMs)을 특정 도메인에 맞게 적응시키는 표준 방법입니다. 그러나 이 방식은 치명적인 잊힘(catastrophic forgetting)이라는 큰 비용을 초래합니다. 반면, 온-폴리시 강화 학습(on-policy RL)은 도메인별 성능을 향상시키면서 기반 모델의 견고성을 효과적으로 유지하는 데 유명합니다. 이 두 방법론 사이의 극적인 차이는 특정 질문을 제기합니다 SFT가 일반 능력을 악화시킬 때 왜 온-폴리시 RL은 이를 유지할 수 있는지? 본 연구는 이 현상에 대한 메커니즘을 체계적으로 분석하고, 이를 통해 Confident Conflicts 라는 개념을 도입하여 SFT에서의 치명적인 잊힘의 원인을 밝혀냅니다. 또한, 엔트로피-적응 조정(Entropy-Adaptive Fine-Tuning, EAFT)이라는 새로운 방법론을 제안합니다.

paper AI 요약
역사적 활성화로부터의 그래프 신경망 학습

역사적 활성화로부터의 그래프 신경망 학습

그래프 신경망(GNN)은 사회적 네트워크, 분자 화학 등 다양한 영역에서 뛰어난 성과를 보여주고 있다. GNN의 핵심 구성 요소 중 하나는 풀링 프로시저로, 모델에 의해 계산된 노드 특징을 조합하여 최종적으로 하류 작업에 사용될 정보가 풍부한 설명자 형태로 만들어내는 과정이다. 그러나 이전의 그래프 풀링 방식은 풀링이나 분류기 층에 GNN 마지막 계층의 특징을 입력으로 사용하므로, 모델의 전방 패스 중 생성된 이전 계층의 중요한 활성화를 충분히 활용하지 못하는 경우가 있다. 이를 우리는 역사적 그래프 활성화라고 부른다. 특히 많은 그래프 신경망 계층을 통과하면서 노드 표현이 크게 변화할 수 있는 경우, 또는 깊은 아키텍처에서 과도한 평활화와 같은 그래프 특수 도전 과제로 인해 이러한 간극이 더욱 두드러진다. 이 간극을 해소하기 위해 우리는 HISTOGRAPH라는 새로운 단계별 주의 기반 최종 통합 층을 제안한다. HISTOGRAPH는 중간 활성화에 대해 일관된 계층별 주의를 적용한 후 노드별 주의를 사용한다. 노드 표현의 계층 간 진화를 모델링함으로써, 우리의 HISTOGRAPH는 노드의 활성화 기록과 그래프 구조 모두를 활용하여 최종 예측에 사용되는 특징을 정교하게 세분화한다. 여러 그래프 분류 벤치마크에서의 실증적 결과는 HISTOGRAPH가 전통적인 방법보다 일관되게 우수한 성능을 제공하며, 특히 깊은 GNN에서 강력한 견고성을 보여준다는 것을 입증하고 있다.

paper AI 요약
연방훈련에서 클러스터링 집약과 조절을 통한 사기저항형 민감도 인식 최소화

연방훈련에서 클러스터링 집약과 조절을 통한 사기저항형 민감도 인식 최소화

연방 학습(FL)은 데이터 프라이버시를 유지하면서 분산된 엣지 기기 간의 협력적 모델 훈련을 가능하게 합니다. 그러나 클라이언트들 사이에 통계적인 이질성이 존재하며, 이는 종종 비IID 레이블 분포로 나타나며 수렴과 일반화에 대한 주요 도전 과제를 제기합니다. 예리도 인식 최소화(SAM)가 FL에 도입되어 평평하고 더 견고한 극소점을 찾아내도록 설계되었지만, 기존 접근법들은 보통 모든 클라이언트에 대해 일률적인 펨터베이션 반경을 적용하며 클라이언트별 이질성을 무시합니다. 본 연구에서는 클라이언트별 이질성 점수에 따라 SAM의 펨터베이션 반경과 집합 가중치를 동적으로 조정하는 새로운 알고리즘, 연방 예리도 인식 최소화와 군집 집합 및 모듈레이션(FedSCAM)을 제안합니다. 각 클라이언트에 대한 이질성 지표를 계산하고 이를 반대로 펨터베이션 반경을 조정함으로써, FedSCAM은 높은 분산을 가진 클라이언트들이 글로벌 모델을 불안정하게 하는 것을 방지합니다. 또한, 글로벌 최적화 방향과 일치하는 업데이트를 우선시하는 이질성 인식 가중 집합 메커니즘을 도입하였습니다. 다양한 정도의 디리클레 기반 레이블 왜곡 조건 하에서 CIFAR-10 및 Fashion-MNIST에 대한 광범위한 실험을 통해, FedSCAM은 수렴 속도와 최종 테스트 정확도 측면에서 FedSAM, FedLESAM 등 최신 기준들과 경쟁력을 갖추는 것을 보여주었습니다.

paper AI 요약
저고도 경제 활성화  신뢰성 인식 동적 가중치 할당을 통한 다모달 UAV빔 예측

저고도 경제 활성화 신뢰성 인식 동적 가중치 할당을 통한 다모달 UAV빔 예측

저고도 경제(LAE)는 도심 항공 이동성, 로지스틱 드론, 공중 감지에 의해 급속히 확장되고 있으며, 무인 항공기(UAVs) 통신에서 빠르고 정확한 빔 예측은 안정적인 연결을 달성하는 데 중요합니다. 현재 연구는 단일 신호에서 다중 모달 협업 접근법으로 변화하고 있습니다. 그러나 기존의 다중 모달 방법은 대부분 고정된 또는 경험적 가중치를 사용하며, 언제나 모든 모달이 동등한 신뢰성을 갖는다고 가정합니다. 실제로 다양한 UAV 움직임 시나리오에서 각각의 모달의 중요성이 극적으로 변동하며, 정적 가중치는 손상된 모달들의 부정적인 영향을 증가시킵니다. 또한 모달 불일치와 약한 대조는 교차 시나리오 일반화를 더욱 약화시킵니다. 이를 위해 우리는 신뢰성에 기반한 동적 가중치 방식을 적용하는 언어 인식 다중 모달 빔 예측 프레임워크, SaM2B를 제안합니다. 구체적으로, SaM2B는 환경 시각 정보, 비행 자세, 지오스페이셜 데이터와 같은 가벼운 쿠에를 활용하여 신뢰성에 기반한 동적 가중치 업데이트를 통해 다양한 시간점에서 각 모달에 대한 기여도를 적응적으로 할당합니다. 또한 교차 모달 대조 학습을 이용함으로써, 특정 빔 정보와 관련된 다중 출처 표현 빔 의미 를 공유하는 의미 공간에 맞춥니다. 이를 통해 모달 노이즈와 분포 변화 아래에서 판별력과 강건성을 향상시킵니다. 실제 저고도 UAV 데이터셋을 사용한 실험 결과, SaM2B는 기존 방법보다 만족스러운 결과를 달성합니다.

paper AI 요약
적응 베이지안 부분공간 0차 최적화를 통한 강건하고 효율적인 대형 언어 모델 미세조정

적응 베이지안 부분공간 0차 최적화를 통한 강건하고 효율적인 대형 언어 모델 미세조정

본 논문에서는 Bayesian Subspace Zeroth-order Optimization(이하 BSZO) 알고리즘을 제안한다. 이 알고리즘은 베이지안 추론과 칼만 필터링을 활용하여 다양한 방향의 페르튜베이션에 대한 기울기 정보를 통합하고, 이를 통해 메모리 사용량을 줄이는 동시에 수렴 속도를 개선한다. 실험 결과는 BSZO가 다양한 작업에서 뛰어난 성능을 보이며, 특히 저정밀도 학습에서도 안정적으로 작동함을 입증한다.

paper AI 요약
집중의 법칙  주의 분배 통일론

집중의 법칙 주의 분배 통일론

대형 언어 모델(LLMs)의 성공은 Transformer 아키텍처의 핵심 혁신인 자기 주의 메커니즘에 기반한다. 그러나 이 메커니즘이 이상적인 동작에서 벗어나 대표적으로 나타나는 현상으로는 표현력 붕괴와 주의 침전이 있다. 본 논문에서는 이런 문제를 해결하기 위해 Lazy Attention이라는 새로운 접근법을 제안하며, 이를 통해 모델 성능 향상을 확인한다.

paper AI 요약
첨단 알고리즘으로 보는 콘크리트의 미래

첨단 알고리즘으로 보는 콘크리트의 미래

이 논문은 콘크리트 구조물에서 염화물의 시간에 따른 변화가 어떻게 영향을 받는지 결정하기 위해 데이터 기반 접근 방식을 사용합니다. 이것은 공격적인 환경에 노출된 시민 인프라의 수명을 평가하는 데 중요합니다. 채택한 방법론은 간단하고 복잡한 독립적인 머신 러닝(ML) 알고리즘에 의존하며, 주요 목표는 숨겨진 상관 관계를 공정하게 예측할 수 있는 신뢰성을 확립하는 것입니다. 간단한 알고리즘에는 선형 회귀(LR), k-최근접 이웃(KNN) 회귀, 커널 리지 회귀(KRR)가 포함됩니다. 복잡한 알고리즘에는 지원 벡터 회귀(SVR), 가우시안 프로세스 회귀(GPR), 그리고 두 가지 유형의 인공 신경망이 포함되며 이는 다중 계층 퍼셉트론(MLP)과 게이트 순환 단위(GRU)를 포함합니다. MLP 아키텍처는 시퀀셜 데이터를 명시적으로 처리할 수 없으나, GRU가 이를 해결하고 있습니다. 포괄적인 데이터셋을 고려하였습니다. ML 알고리즘의 성능은 평가되었으며 KRR, GPR 및 MLP는 높은 정확도를 보였습니다. 채택된 콘크리트 혼합 비율이 다양하기 때문에 GRU는 테스트 세트에서 반응을 정확하게 재현할 수 없었습니다. 추가 분석은 혼합 성분들이 염화물의 시간에 따른 변화에 어떤 영향을 미치는지 명시하였습니다. GPR 모델로 얻어진 결과는 명확하고 설명 가능한 추세를 통해 잠재적인 상관 관계를 밝혀냅니다. MLP, SVR 및 KRR도 전체적인 추세의 적절한 예측을 제공합니다. 대부분의 혼합 성분은 염화물 함량과 역 관계를 보이지만 몇 가지 구성 요소는 직접적인 관련성을 나타내었습니다. 이러한 결과는 염화물 침투와 관련된 물리적 과정 및 상관 관계를 설명하기 위한 대리 접근 방식의 가능성을 강조하며, 궁극적으로 시민 인프라의 수명을 향상시키기 위한 목표를 달성하는 데 기여합니다.

paper AI 요약
출력 임베딩 중심화  대형 언어 모델 안정화

출력 임베딩 중심화 대형 언어 모델 안정화

대형 언어 모델의 사전 학습은 비용이 많이 들 뿐만 아니라 특정 트레이닝 불안정성에 노출되기 쉽습니다. 특히 큰 학습률을 사용할 때 마지막 부분에서 자주 발생하는 특정 불안정성이 출력 로짓 발산입니다. 가장 널리 사용되는 완화 전략인 z-손실은 문제의 증상을 다루는 데 그치고 근본 원인을 해결하지 않습니다. 본 논문에서는 출력 임베딩의 기하학적 관점에서 불안정성을 분석하고 그 원인을 파악하였습니다. 이를 바탕으로 새로운 완화 전략인 출력 임베딩 센터링(OEC)을 제안하고, 이가 출력 로짓 발산을 억제한다는 것을 증명합니다. OEC는 확률적 작업인 μ-센터링 또는 정규화 방법인 μ-손실로 두 가지 다른 방식으로 구현될 수 있습니다. 실험 결과, 두 변형 모두 z-손실보다 학습 안정성과 학습률 민감도 측면에서 우수한 성능을 보여주며, 특히 큰 학습률에서도 z-손실이 실패할 때에도 훈련이 수렴하도록 보장합니다. 또한 μ-손실은 z-손실보다 정규화 하이퍼파라미터 조정에 대해 크게 덜 민감하다는 것을 발견하였습니다.

paper AI 요약
코드 복잡성으로 숫자로 바꾸는 방법

코드 복잡성으로 숫자로 바꾸는 방법

알고리즘 분류는 컴퓨터 과학에서 중요한 문제로, 코드 조각에 사용된 프로그래밍 기법과 특정 알고리즘을 식별하는 것을 목표로 합니다. 이 작업은 코드의 의미론적 이해를 필요로하며 이를 통해 코드 취약성 검출이나 자동 코드 생성 도우미 설계 등 다양한 응용 분야에서 통찰력을 제공할 수 있습니다. 본 논문에서는 정적 코드 분석이 아닌 동적 분석을 중점적으로 다룹니다. 알고리즘이 어떻게 작동하는지 실제 실행 부분을 분석하여 리소스 사용량(예 CPU 시간, 메모리)이 입력 크기에 따라 어떻게 변화하는지를 조사합니다. ###

paper AI 요약
하이퍼클로바 X 8B 옴니

하이퍼클로바 X 8B 옴니

HyperCLOVA X 8B Omni(OMNI)는 텍스트, 음성, 비전 모달을 모두 입력과 출력으로 지원하는 다중모달 모델입니다. 이 모델은 하나의 디코더-온리 Transformer 백본에서 다양한 모달의 토큰과 임베딩을 교차로 처리하여 의미적 구성이 가능하게 설계되었습니다. OMNI는 다양한 입력 및 출력 모달에 걸친 경쟁력 있는 성능으로, 특히 한글과 영어를 다루는 데 강점을 가지고 있습니다.

paper AI 요약
한 샷으로 안전 보장  단 하나의 예제로 모델 교정하기

한 샷으로 안전 보장 단 하나의 예제로 모델 교정하기

대규모 언어 모델(LLMs)의 널리 퍼진 사용은 기만, 폭력 및 차별과 같은 유해한 콘텐츠 생성 가능성에 대한 우려를 제기했습니다. 이를 해결하기 위해 안전 정합성이 핵심 패러다임으로 부상했으며, 이를 위한 일반적인 접근 방식은 감독 조정(SFT) 및 인간 피드백 기반 강화학습(RLHF), 직접적 선호도 최적화(DPO) 등입니다. 그러나 사용자가 제공한 데이터를 조정 파이프라인에 도입하면 새로운 보안 취약성이 발생합니다. 이를 해결하기 위해, 본 논문은 한 번의 안전 업데이트만으로도 유해한 업데이트를 중화시킬 수 있다는 것을 밝히며, 이 방법을 통해 모델의 안전성을 복원할 수 있음을 보여줍니다.

paper AI 요약
No Image

해석 가능성 지향적 이목표 최적화 정확성과 설명 가능성을 맞춤

딥러닝 모델은 의료와 금융 분야에서 시퀀스 예측 작업에 뛰어난 성과를 보여주지만, 그 복잡성으로 인해 이해하기 어려운 블랙박스 가 되어 안전성이 중요한 상황에서는 신뢰성이 낮아진다. 본 논문은 학습 과정에서 해석 가능성을 통합하는 프레임워크 **IGBO(Interpretability-Guided Bi-objective Optimization)**을 제안한다. IGBO는 주요 작업 손실과 해석 가능성 손실을 최소화하는 두 가지 목표를 동시에 추구하며, 이를 위해 데이터 분포에 맞춘 통합 경로를 생성하는 최적 경로 오라클도 도입한다.

paper AI 요약
효율적인 시간 시리즈 예측을 위한 로우 랭크 신경ODE로 강화된 Mamba 모델

효율적인 시간 시리즈 예측을 위한 로우 랭크 신경ODE로 강화된 Mamba 모델

시간 시리즈 예측은 기계 학습과 통계에서 중요한 작업으로, 금융, 의료, 기후 모델링 등 다양한 실제 세계의 응용 프로그램을 지원합니다. 시간 시리즈 예측은 비선형 동역학, 장기 종속성 및 불규칙한 샘플링 패턴과 같은 복잡한 데이터 특성을 처리해야 하므로 여전히 어려움이 있습니다. 본 논문에서는 이러한 문제들을 해결하기 위해 Mamba 구조와 저순위 근사화를 통합하는 새로운 프레임워크인 MODE를 제안합니다.

paper AI 요약
흐름에 따른 세계 모델  기억이 더해진 동적 환경 이해

흐름에 따른 세계 모델 기억이 더해진 동적 환경 이해

이 논문은 부분적으로 관찰되는 동적 환경 모델링과 이를 수행하는 에이전트의 자체 움직임을 연구합니다. 특히, 내부와 외부 움직임을 수학적인 흐름 으로 이해하고, 이를 통해 시간에 따른 대칭성을 처리할 수 있음을 보여줍니다. 이러한 접근법은 비록 에이전트의 시야가 제한적이지만 환경의 전체적인 상태를 정확하게 추적하는 데 도움을 줍니다. ###

paper AI 요약
희소 위협, 집중 방어  안전 자율주행을 위한 중요도 인식 강화학습

희소 위협, 집중 방어 안전 자율주행을 위한 중요도 인식 강화학습

강화학습(RL)은 자율주행(AD)에서 상당한 잠재력을 보여주었지만, 그 취약성이 실제 배포에 있어 중요한 장애물로 작용하고 있다. 주요 대응책으로서 적대적 훈련은 악의적으로 변동을 도입하는 대립자와 함께 AD 에이전트를 훈련시켜 정책의 강건성을 개선한다. 기존 접근 방식들은 일반적으로 연속적인 공격을 포함한 영합 게임으로 상호 작용을 모델링하지만, 이러한 설계는 에이전트와 대립자 간의 내재된 비대칭성과 안전에 중점을 둔 위험이 희박하다는 점을 무시하여 실제 AD 시나리오에서 충분한 강건성을 제공하지 못한다. 이러한 제약점을 해결하기 위해 우리는 CARRL(Criticality-aware Robust RL), 즉 자율주행에서 희박하고 안전에 중점을 둔 위험을 관리하는 새로운 적대적 훈련 접근법을 도입한다. CARRL은 위험노출 대립자(REA)와 위험타겟 강건 에이전트(RTRA)라는 두 가지 상호작용 요소로 구성된다. REA와 RTRA 간의 상호 작용은 일반 합 게임으로 모델링되어, REA는 안전에 중점을 둔 실패(예 충돌)를 노출하는 데 집중하고, RTRA는 안전과 주행 효율성을 균형 있게 배분하도록 학습한다. REA는 제약된 예산 하에서 희박한 안전 위험을 더 잘 식별하고 활용하기 위해 분리된 최적화 메커니즘을 사용한다. 그러나 이러한 집중적인 공격은 적대 데이터의 부족으로 이어진다. RTRA는 양호한 경험과 적대적 경험이 결합된 복수 재생 버퍼를 통해 그러한 데이터 부족을 극복하고, 변동 하에서 정책 일관성을 강제하여 행동을 안정화한다. 실험 결과는 우리의 접근법이 최신 베이스라인 방법보다 모든 사례에서 충돌률을 적어도 22.66% 줄일 수 있음을 보여준다.

paper AI 요약

검색 시작

검색어를 입력하세요

↑↓
ESC
⌘K 단축키