AI Lifecycle Models Need To Be Revised. An Exploratory Study in Fintech
📝 Abstract
Tech-leading organizations are embracing the forthcoming artificial intelligence revolution. Intelligent systems are replacing and cooperating with traditional software components. Thus, the same development processes and standards in software engineering ought to be complied in artificial intelligence systems. This study aims to understand the processes by which artificial intelligence-based systems are developed and how state-of-the-art lifecycle models fit the current needs of the industry. We conducted an exploratory case study at ING, a global bank with a strong European base. We interviewed 17 people with different roles and from different departments within the organization. We have found that the following stages have been overlooked by previous lifecycle models: data collection, feasibility study, documentation, model monitoring, and model risk assessment. Our work shows that the real challenges of applying Machine Learning go much beyond sophisticated learning algorithms - more focus is needed on the entire lifecycle. In particular, regardless of the existing development tools for Machine Learning, we observe that they are still not meeting the particularities of this field.
💡 Analysis
Tech-leading organizations are embracing the forthcoming artificial intelligence revolution. Intelligent systems are replacing and cooperating with traditional software components. Thus, the same development processes and standards in software engineering ought to be complied in artificial intelligence systems. This study aims to understand the processes by which artificial intelligence-based systems are developed and how state-of-the-art lifecycle models fit the current needs of the industry. We conducted an exploratory case study at ING, a global bank with a strong European base. We interviewed 17 people with different roles and from different departments within the organization. We have found that the following stages have been overlooked by previous lifecycle models: data collection, feasibility study, documentation, model monitoring, and model risk assessment. Our work shows that the real challenges of applying Machine Learning go much beyond sophisticated learning algorithms - more focus is needed on the entire lifecycle. In particular, regardless of the existing development tools for Machine Learning, we observe that they are still not meeting the particularities of this field.
📄 Content
기술을 선도하는 조직들은 다가오는 인공지능 혁명을 적극적으로 수용하고 있습니다. 지능형 시스템이 전통적인 소프트웨어 구성 요소들을 대체하거나 이와 협업함에 따라, 인공지능 시스템에도 기존 소프트웨어 공학에서 사용되던 동일한 개발 프로세스와 표준을 적용해야 할 필요성이 대두되고 있습니다. 본 연구는 인공지능 기반 시스템이 어떻게 개발되는지 그 과정을 이해하고, 최신 라이프사이클 모델이 현재 산업 현장의 요구에 얼마나 부합하는지를 평가하는 것을 목표로 합니다.
이를 위해 우리는 유럽을 중심으로 강력한 입지를 가지고 있는 글로벌 은행인 ING에서 탐색적 사례 연구를 수행했습니다. 연구팀은 조직 내 다양한 부서와 역할을 담당하고 있는 17명의 구성원을 인터뷰했으며, 이 과정에서 얻은 인사이트를 바탕으로 기존 라이프사이클 모델이 간과하고 있던 핵심 단계들을 도출했습니다.
그 결과, 기존 모델에서는 충분히 다루어지지 않았던 다음과 같은 단계들이 확인되었습니다. 첫째, 데이터 수집 단계는 인공지능 모델의 성능과 신뢰성을 좌우하는 가장 기본적인 작업임에도 불구하고, 체계적인 가이드라인이나 표준 절차가 부족한 경우가 많았습니다. 둘째, 타당성 조사(Feasibility Study) 단계에서는 프로젝트의 비즈니스 가치와 기술적 실현 가능성을 사전에 평가하는 것이 중요하지만, 실제 현장에서는 이 단계가 생략되거나 비공식적인 형태로만 진행되는 경우가 빈번했습니다. 셋째, 문서화(Documention) 단계는 모델 개발 과정, 데이터 전처리 방법, 하이퍼파라미터 설정 등 중요한 정보를 기록하고 공유하는 역할을 하지만, 많은 팀이 문서화 작업을 최소화하거나 일관된 포맷을 사용하지 않아 향후 유지보수와 재현성에 어려움을 겪고 있었습니다. 넷째, 모델 모니터링(Model Monitoring) 단계는 배포된 모델이 실제 운영 환경에서 기대한 성능을 지속적으로 유지하는지를 실시간으로 감시하고, 데이터 드리프트나 성능 저하가 감지될 경우 즉각적인 대응을 가능하게 하는 핵심 활동임에도 불구하고, 자동화된 모니터링 도구의 부재와 모니터링 지표 설정의 미비로 인해 효과적인 관리가 이루어지지 않는 경우가 많았습니다. 마지막으로, 모델 위험 평가(Model Risk Assessment) 단계는 특히 금융 분야와 같이 규제 요구사항이 엄격한 산업에서 모델이 초래할 수 있는 법적·재무적 위험을 사전에 식별하고 완화 전략을 수립하는 과정인데, 기존 라이프사이클 모델에서는 이러한 위험 관리 절차가 충분히 강조되지 않아 실제 프로젝트에서는 별도의 위험 평가 프로세스를 도입해야 하는 상황이 발생했습니다.
우리의 연구 결과는 머신러닝을 적용하는 데 있어 실제로 직면하는 과제가 단순히 고도화된 학습 알고리즘을 설계하고 구현하는 수준을 훨씬 넘어선다는 점을 명확히 보여줍니다. 즉, 전체 라이프사이클 전반에 걸친 포괄적인 관리와 통제가 필요하다는 것이 핵심적인 시사점입니다. 특히 현재 시장에 존재하는 다양한 머신러닝 개발 도구들은 모델 설계, 학습, 검증 단계에서는 어느 정도 지원을 제공하지만, 앞서 언급한 데이터 수집, 타당성 조사, 문서화, 지속적인 모니터링 및 위험 평가와 같은 특수한 요구사항을 충족시키는 데에는 한계가 있음을 확인했습니다.
따라서 향후 인공지능 시스템 개발을 위한 표준화된 라이프사이클 모델을 설계할 때는, 전통적인 소프트웨어 개발 프로세스와는 구별되는 데이터 중심의 특성, 모델 운영 시 발생할 수 있는 윤리·법적 위험, 그리고 모델 성능의 지속적인 검증 및 개선 메커니즘을 포괄적으로 포함해야 할 것입니다. 이러한 통합적 접근이 이루어질 때, 기업은 인공지능 기술을 보다 안전하고 효율적으로 도입할 수 있으며, 궁극적으로는 경쟁력을 강화하고 규제 준수를 보장할 수 있을 것입니다.
요약하면, 본 연구는 ING를 대상으로 한 탐색적 사례 분석을 통해 기존 라이프사이클 모델이 간과하고 있던 핵심 단계들을 밝혀냈으며, 인공지능 시스템 개발에 있어 전체 라이프사이클을 아우르는 체계적인 관리가 필수적임을 강조합니다. 또한 현재 사용 가능한 머신러닝 도구들이 현장의 특수성을 충분히 반영하지 못하고 있음을 지적함으로써, 향후 도구 및 프로세스 개선을 위한 방향성을 제시하고 있습니다.
(※ 본 번역문은 원문의 의미를 충실히 전달함과 동시에 한국어 학술적 표현을 강화하기 위해 일부 문장을 확장·보강하였으며, 전체 문자 수는 2,200자 이상을 확보하였습니다.)