시계열 인공지능 모델의 성능저하 막는 학습 기술 개발했다

​

​

- UNIST 공동 연구팀, 데이터 드리프트에 강건한 시계열 학습 기술 개발 -

- 이론적·실험적 검증 완료…최상위 인공지능학회 ICLR Spotlight 논문선정 -

​

인공지능 모델의 성능을 저하시키는 현상에 효과적으로 대응할 수 있는 학습 기술이 개발됐다. 국내 산업에서의 인공지능 활용 가능성 제고와 성능 강화에 기여할 수 있을 것으로 기대된다.

​

UNIST (총장 이용훈) 산업공학과 및 인공지능대학원 김성일, 임동영 교수팀은 ‘데이터 드리프트에 강건한 시계열 학습 기술’을 개발했다.

​

시계열 데이터는 시간 순서에 따라 일정 주기를 가지고 연속적으로 수집된 데이터를 말한다. 금융, 경제, 교통, 농업, 제조, 헬스케어 등 각종 산업에서 사용되는 수많은 데이터가 시계열 형태를 가지고 있다.

​

시계열 데이터는 데이터 발생에 영향을 주는 외부 요인들이 변함에 따라 ‘데이터 드리프트’라는 현상이 발생한다. 데이터 드리프트는 인공지능 모델이 훈련에 사용한 데이터 실제 운영 환경의 데이터가 달라지는 것을 말한다.

​

김성일 교수는 “데이터 드리프트가 발생할 경우 시계열 학습 인공지능 모델의 성능이 저하된다”며 “각종 산업 등에서 시계열 데이터 활용을 어렵게 만드는 고질적 문제다”고 덧붙였다.

​

연구팀은 이런 문제를 효과적으로 대응할 수 있게 하는 Neural SDEs (Stochastic Differential Equations) 기반의 강건한 신경망 구조 설계에 대한 방법론을 개발했다.

​

Neural SDEs는 잔차 신경망 모델의 연속된 버전인 Neural ODEs를 확장한 모델이다. 연구팀은 데이터 드리프트 현상에서도 강건함을 유지할 수 있는 시계열 Neural SDEs 모델 설계 방법론에 대한 이론적 근거를 제시했다.

​

연구팀은 방법론에 따라 설계한 세 가지 Neural SDEs 모델 Langevin-type SDE, Linear Noise SDE, Geometric SDE을 선보였다. 제안된 모델들은 데이터 드리프트 현상이 일어난 데이터셋에서 보간, 예측, 분류 등의 다양한 작업을 수행할 때 안정적이며 우수한 성능을 보였다.

​

데이터 드리프트 현상이 발생했을 때, 이를 빠르게 포착하고 데이터를 재구성해 재학습하는 일련의 엔지니어링 과정은 큰 시간과 비용이 수반됐다. 연구팀은 인공지능을 처음부터 데이터 드리프트 현상에 강건할 수 있도록 만드는 데에 필요한 기술을 이론적, 실험적으로 모두 검증한 것이다.

​

임동영 교수는 “최근 동적 데이터 환경에 따른 데이터 드리프트로 인해 시계열 인공지능 모델의 성능이 저하되는 사례들이 빈번하다”며 “이 연구는 처음부터 드리프트에 강건하도록 인공지능을 훈련시킬 수 있도록 하는 방법론을 개발, 이의 성능을 이론적, 실험적으로 검증했다는 데에 의의가 있다”고 전했다.

​

제 1저자 오용경 연구원은 “이번 연구를 통해 시계열 데이터 드리프트로 인한 인공지능의 성능이 저하되는 것을 막기 위한 신경망 구조 설계 방법론을 개발했다”며 “앞으로 개발된 기술과 연계된 시계열 데이터 드리프트 감시 기술, 학습 데이터 재구성 기술 등을 지속적으로 개발해 국내 다양한 기업들이 활용할 수 있도록 할 계획이다”고 밝혔다.

​

이번 연구는 세계적인 권위의 국제 학회인 ICLR(International Conference on Learning Representations)에 상위 5%에 해당하는 spotlight 논문으로 선정돼 오는 5월 오스트리아 빈에서 발표될 예정이다. 또한, 한국보건산업진흥 바이오메디컬 글로벌 인재양성사업, 정보통신기획평가원 인공지능대학원사업, 과학기술정보통신부 한국연구재단 기본 연구 및 인간중심-탄소 중립 글로벌 공급망 연구센터의 지원으로 이뤄졌다.

​

(논문명: Stable Neural Stochastic Differential Equations in Analyzing ]Irregular Time Series Data)

붙임 : 연구결과개요, 용어설명, 연구자 이력사항.

​

1. 연구배경

시계열 데이터를 모델링하기 위해 전통적으로 순환신경망(RNN), 장단기메모리(LSTM), 게이트 순환 유닛(GRU)과 같은 모델들이 널리 사용되어 왔지만, 실제 산업 현장에서 생성되는 시계열 데이터는 불규칙한 관측시간과 많은 누락 값으로 인해 이러한 모델들이 효율적으로 작동하기 어렵다.

위 문제를 해결하기 위해 연속적인 시계열 데이터를 학습할 수 있는 신경 확률 미분 방정식(Neural Stochastic Differential Equations, Neural SDEs)이 제안되었다. 그러나 신경 확률 미분 방정식은 학습 과정이 불안정할 수 있으며, 특히 시계열 데이터에서 자주 발생하는 데이터 드리프트 하에서 모델의 성능과 견고성에 대한 이론적 이해와 연구가 전무했다.

​

2. 연구내용

본 연구에서는 불규칙한 관측시간, 누락값등을 포함한 고도로 복잡한 시계열 데이터를 안정적으로 모델링할 수 있는 신경 확률 미분 방정식을 설계하였다. 제안된 세 가지 세 가지 신경 확률 미분 방정식 모델 (Langevin-type SDE, Linear Noise SDE, Geometric SDE)은 이론적으로 확률미분방정식의 존재성, 유일성, 안정성이 보장되어, 기존 신경 확률 미분 방정식에 비해 모델의 성능과 강건성이 크게 개선되었다. 추가로, 제안한 모델들이 데이터 드리프트 하에서도 견고하게 작동할 수 있음을 보여주는 이론적 결과를 제시하였다. 또한 다양한 데이터셋에서 실험적으로 기존 딥러닝 모델들에 비해 우수한 보간, 분류, 예측 성능을 보였다.

​

3. 기대효과

시간에 따라 데이터의 양상이 변하는 데이터 드리프트는 실제 산업현장에서 운용되는 AI모델들의 성능 저하를 초래하는 중요한 요소이다. 이는 헬스케어, 자연어 처리, 컴퓨터 비전 등 다양한 분야에서 관찰되며, 이로 인해 AI 모델의 성능 유지 및 관리가 산업 전반에 걸쳐 중요한 과제로 부각되고 있다. 본 연구에서 제안하는 모델은 이러한 데이터 드리프트 현상에 효과적으로 대응할 수 있는 능력을 갖추고 있어, AI 모델의 성능 저하 문제를 상당 부분 해결할 수 있을 것으로 기대된다. 특히, 불규칙한 관측시간, 누락값이 빈번한 금융, 경제, 교통, 제조, 헬스케어 분야에서 큰 이점을 제공할 것으로 예상된다.

​

​

1. 데이터 드리프트 (Data drift)

데이터 드리프트란 분석 모델이 훈련에 사용한 데이터와 실제 운영 환경의 데이터 간 통계적 분포 등의 불일치가 발생하는 현상을 말함

​

2. 잔차 신경망 모델 (Resnet)

스킵 연결을 통해 잔차를 학습하도록 만들어진 인공 신경망. 일반적인 딥러닝 신경망 모델보다 예측 정확도가 높음

​

3.신경 확률 미분 방정식 (Neural Stochastic Differential Equation, Neural SDE)

무작위성이 내재된 연속적인 시계열 데이터를 모델링하기 위해 신경망 구조를 확률적 미분방정식에 통합한 기법

​

4. 순환 신경망 모델 (Recurrent Neural Network)

시퀀스 데이터 처리에 적합하도록 설계된 신경망으로, 이전의 정보를 내부 상태로 저장하여 시간에 따른 데이터의 순차적인 특성을 학습할 수 있음

​

5. 장단기 메모리 (Long Short Time Memory)

순환 신경망의 한 종류로, 장기 의존성 문제를 해결하기 위해 정보를 장기간 저장하고 필요에 따라 액세스할 수 있는 게이트 메커니즘을 사용함

​

6. 게이트 순환 유닛(GRU)

LSTM의 간소화된 버전으로, 시퀀스 데이터의 장기 의존성을 효율적으로 학습하기 위해 리셋 게이트와 업데이트 게이트를 사용하는 순환 신경망 구조

​

1. 인적사항

○ 소 속 : 울산과학기술원(UNIST)

○ 전 화 : 052-217-3195

○ 이메일 : sungil.kim@unist.ac.kr

​

2. 학력

2005년: 연세대학교 정보산업공학과 학사

2007년: Georgia Institute of Technology 산업공학 석사

2011년: Georgia Institute of Technology 산업공학 박사

​

3. 경력사항

○ 2016-현재: UNIST 산업공학과/인공지능대학원 조교수, 부교수

○ 2014-2016: 삼성 SDS 책임연구원

○ 2011-2013: Terra Technology 연구원

​

4. 전문 분야 정보

○ 산업 통계, 산업 인공지능

○ 제조/물류 품질 관리, 이상탐지 알고리즘

○ 시계열 데이터 모델링 및 분석

​

5. 연구지원정보

○ 한국연구재단 선도연구센터사업 (RS-2023-00218913)

○ 정보통신기획평가원 인공지능대학원지원사업 (2020-0-01336)

​

1. 인적사항

○ 소 속 : 울산과학기술원(UNIST)

○ 전 화 : 052-217-3716

○ 이메일 : dlim@unist.ac.kr

​

2. 학력

2012년: KAIST, 산업공학 학사

2014년: KAIST, 산업공학 석사

2019년: KAIST, 산업공학 박사

​

3. 경력사항

○ 2022-현재: UNIST 산업공학과/인공지능대학원, 조교수

○ 2020-2022: 영국 에딘버러 대학교 수학과, Marie Skłodowska-Curie 박사후 연구원,

○ 2019-2020: 삼성화재, 데이터사이언티스트

​

4. 전문 분야 정보

○ AI 모델 최적화 알고리즘

○ 시계열 데이터 모델링 및 확률적 분석

○ 금융공학, 금융수학, 금융AI

​

5. 연구지원정보

○ 한국연구재단 개인연구사업 기본연구 (RS-2023-00253002)