Opportunities for Large Language Models and Discourse in Engineering Design

📝 Abstract

In recent years, large language models have achieved breakthroughs on a wide range of benchmarks in natural language processing and continue to increase in performance. Recently, the advances of large language models have raised interest outside the natural language processing community and could have a large impact on daily life. In this paper, we pose the question: How will large language models and other foundation models shape the future product development process? We provide the reader with an overview of the subject by summarizing both recent advances in natural language processing and the use of information technology in the engineering design process. We argue that discourse should be regarded as the core of engineering design processes, and therefore should be represented in a digital artifact. On this basis, we describe how foundation models such as large language models could contribute to the design discourse by automating parts thereof that involve creativity and reasoning, and were previously reserved for humans. We describe how simulations, experiments, topology optimizations, and other process steps can be integrated into a machine-actionable, discourse-centric design process. Finally, we outline the future research that will be necessary for the implementation of the conceptualized framework.

💡 Analysis

In recent years, large language models have achieved breakthroughs on a wide range of benchmarks in natural language processing and continue to increase in performance. Recently, the advances of large language models have raised interest outside the natural language processing community and could have a large impact on daily life. In this paper, we pose the question: How will large language models and other foundation models shape the future product development process? We provide the reader with an overview of the subject by summarizing both recent advances in natural language processing and the use of information technology in the engineering design process. We argue that discourse should be regarded as the core of engineering design processes, and therefore should be represented in a digital artifact. On this basis, we describe how foundation models such as large language models could contribute to the design discourse by automating parts thereof that involve creativity and reasoning, and were previously reserved for humans. We describe how simulations, experiments, topology optimizations, and other process steps can be integrated into a machine-actionable, discourse-centric design process. Finally, we outline the future research that will be necessary for the implementation of the conceptualized framework.

📄 Content

최근 몇 년간 대규모 언어 모델은 자연어 처리(NLP) 분야의 다양한 벤치마크에서 획기적인 성과를 거두었으며, 그 성능은 지속적으로 향상되고 있습니다. 특히 이러한 대규모 언어 모델의 급격한 발전은 전통적인 NLP 연구 커뮤니티를 넘어선 폭넓은 관심을 불러일으키고 있으며, 일상 생활 전반에 걸쳐 큰 변화를 일으킬 잠재력을 가지고 있습니다.

본 논문에서는 다음과 같은 근본적인 질문을 제기합니다: “대규모 언어 모델 및 기타 기반 모델(Foundation Models)이 미래의 제품 개발 프로세스를 어떻게 재구성하고 형성할 것인가?” 이 질문에 답하기 위해 우리는 두 가지 주요 축을 중심으로 논의를 전개합니다. 첫 번째 축은 최근 자연어 처리 분야에서 이룩된 주요 기술적 진전을 정리하고, 두 번째 축은 엔지니어링 설계 과정에 정보기술(IT)이 어떻게 적용되고 있는지에 대한 현황을 요약함으로써 독자에게 전체적인 배경 지식을 제공합니다.

1. 자연어 처리의 최신 동향

• 대규모 사전학습 모델(예: GPT‑4, PaLM, LLaMA 등)은 방대한 텍스트 코퍼스를 기반으로 사전 학습(pre‑training)된 뒤, 다양한 다운스트림 작업에 대해 미세조정(fine‑tuning) 없이도 뛰어난 성능을 발휘합니다.
• 멀티모달 학습(텍스트와 이미지, 비디오, 오디오를 동시에 학습)과 인-컨텍스트 학습(프롬프트만으로 새로운 작업을 수행) 등은 모델이 인간과 유사한 방식으로 정보를 통합하고 추론할 수 있게 해 줍니다.
• 지식 증강(retrieval‑augmented generation)과 체인‑오브‑생각(Chain‑of‑Thought) 기법은 모델이 복잡한 논리적 추론이나 장기 기억을 필요로 하는 문제에서도 보다 일관된 답변을 생성하도록 돕습니다.

2. 엔지니어링 설계 과정에서의 IT 활용

• 컴퓨터 지원 설계(CAD), 시뮬레이션 소프트웨어, 최적화 알고리즘 등은 이미 설계 단계 전반에 걸쳐 필수적인 도구로 자리 잡고 있습니다.
• 디지털 트윈(Digital Twin)과 클라우드 기반 협업 플랫폼은 설계자와 엔지니어가 실시간으로 모델을 공유하고 검증할 수 있게 하여, 설계 주기의 효율성을 크게 높이고 있습니다.
• 그러나 이러한 기술들은 주로 정형화된 데이터와 수치적 연산에 초점을 맞추고 있으며, 설계 과정에서 발생하는 창의적 아이디어 교환, 논리적 논쟁, 의사결정 과정과 같은 비정형적 담론(discourse)은 아직 충분히 디지털화되지 않은 상태입니다.

3. 설계 담론을 디지털 아티팩트로서 바라보는 관점

우리는 설계 프로세스의 핵심을 **‘담론’**이라고 정의합니다. 설계자는 아이디어를 제시하고, 가설을 검증하며, 결과를 해석하고, 최종적으로 의사결정을 내리기 위해 지속적인 대화와 논의를 진행합니다. 이러한 담론은

1. 문제 정의와 요구사항 도출
2. 아이디어 생성 및 브레인스토밍
3. 가설 설정과 논리적 추론
4. 실험·시뮬레이션 결과 해석
5. 결과에 대한 피드백 및 설계 수정
   의 순환 구조를 갖습니다. 현재까지는 이 과정이 주로 인간 간의 구두·서면 커뮤니케이션에 의존하고 있어, 디지털 시스템이 자동으로 참여하거나 지원하기 어려운 영역으로 남아 있습니다.

4. 대규모 언어 모델이 설계 담론에 기여할 수 있는 방식

대규모 언어 모델(LLM)과 같은 기반 모델은 **‘창의성’**과 **‘추론’**이라는 두 축에서 설계 담론의 일부를 자동화하거나 보조할 수 있는 잠재력을 지니고 있습니다. 구체적인 기여 방안은 다음과 같습니다.

1. 아이디어 생성 및 브레인스토밍 지원

   • LLM은 주어진 설계 목표와 제약 조건을 입력받아 다수의 대안적 설계 아이디어를 제시하고, 각각의 장단점을 간략히 설명할 수 있습니다.
   • 기존의 특허 데이터베이스, 학술 논문, 산업 보고서 등을 실시간으로 검색·통합하여, 최신 기술 동향을 반영한 아이디어를 제공함으로써 인간 설계자의 창의적 사고를 촉진합니다.

2. 논리적 추론 및 가설 검증 보조

   • “만약‑그렇다면”(if‑then) 형태의 논리 구조를 명시적으로 구성하고, 설계 변수 간의 인과 관계를 설명하도록 프롬프트를 설계함으로써, 설계자는 복잡한 시스템의 동작 메커니즘을 보다 명확히 이해할 수 있습니다.
   • LLM은 수학적 모델링이나 물리 법칙을 텍스트 형태로 요약하고, 이를 기반으로 초기 가설을 검증하기 위한 실험 설계 초안을 자동으로 생성합니다.

3. 시뮬레이션·실험 결과 해석 자동화

   • 시뮬레이션 결과 파일(예: CFD, FEA)의 주요 지표를 텍스트 요약으로 변환하고, 그 의미를 비전문가도 이해할 수 있는 자연어 설명으로 제공함으로써, 설계 팀 전체가 결과를 공유하고 토론할 수 있게 합니다.
   • 또한, 결과에 기반한 “다음 단계는 무엇인가?”라는 질문에 대해 여러 가능한 설계 수정안을 제시하고, 각각의 기대 효과를 정량·정성적으로 비교합니다.

4. 디지털 트윈·시뮬레이션 파이프라인과의 연동

   • LLM을 머신‑액션러블(Machine‑Actionable) 형태의 인터페이스와 결합하면, 설계자가 텍스트 명령만으로 시뮬레이션 파라미터를 조정하거나 새로운 토폴로지 최적화 작업을 시작할 수 있습니다.
   • 예를 들어, “재료 강도를 10 % 향상시키면서 무게는 5 % 이하로 유지하고 싶다”는 요구를 입력하면, 시스템은 자동으로 적절한 재료 데이터베이스를 조회하고, 토폴로지 최적화 알고리즘을 호출해 후보 설계를 생성합니다.

5. 설계 프로세스 전체를 담론 중심으로 재구성하는 방법

우리는 **‘담론 중심 설계 프로세스(Discourse‑Centric Design Process)’**라는 새로운 프레임워크를 제안합니다. 이 프레임워크는 기존의 ‘입력‑처리‑출력’ 흐름을 넘어, **‘질문‑답변‑추론‑피드백’**이라는 순환형 대화 구조를 핵심으로 합니다. 구체적인 단계는 다음과 같습니다.

1. 요구사항 정의 단계 – 이해관계자와의 인터뷰 내용을 LLM이 텍스트로 정리하고, 핵심 요구사항을 구조화된 형태(예: 트리 구조)로 변환합니다.
2. 아이디어 탐색 단계 – LLM이 제시한 다수의 설계 아이디어를 기반으로, 각 아이디어에 대한 초기 시뮬레이션 시나리오를 자동 생성합니다.
3. 가설 검증 단계 – 시뮬레이션·실험 결과를 LLM이 해석하고, “왜 이런 결과가 나왔는가?”라는 질문에 대한 논리적 설명을 제공합니다.
4. 설계 최적화 단계 – LLM이 최적화 목표와 제약 조건을 재조정하고, 토폴로지 최적화 엔진을 호출해 새로운 설계 후보를 도출합니다.
5. 결과 공유·피드백 단계 – 최종 설계 결과와 그 근거를 자연어 보고서 형태로 자동 생성하고, 이해관계자에게 전달하여 추가 피드백을 수집합니다.

각 단계는 **‘디지털 아티팩트(디지털 기록)’**와 **‘머신 액션(자동 실행)’**가 긴밀히 연결되어 있어, 설계 담론 자체가 데이터베이스화되고, 필요 시 언제든지 재현·재검토가 가능하도록 설계되었습니다.

6. 향후 연구 과제 및 구현 로드맵

본 논문에서 제시한 프레임워크를 실제 산업 현장에 적용하기 위해서는 다음과 같은 연구가 필수적입니다.

1. 도메인‑특화 프롬프트 설계 및 튜닝 – 제품 설계 분야마다 요구되는 전문 용어와 논리 구조가 다르므로, 각 도메인에 최적화된 프롬프트와 파인‑튜닝 기법을 개발해야 합니다.
2. 멀티모달 연계 기술 – 텍스트와 함께 CAD 모델, 시뮬레이션 결과 이미지, 센서 데이터 등을 동시에 처리할 수 있는 멀티모달 LLM을 구축하여, 설계 담론과 물리적 아티팩트를 통합적으로 이해하도록 해야 합니다.
3. 신뢰성·안전성 검증 – 자동화된 설계 제안이 실제 제품 안전 기준을 충족하는지 검증하기 위한 형식적 검증(formal verification) 및 시뮬레이션 기반 테스트 프레임워크가 필요합니다.
4. 인간‑AI 협업 인터페이스 – 설계자가 LLM과 자연어 대화를 통해 설계 의도를 명확히 전달하고, AI가 제시하는 결과에 대해 즉각적인 피드백을 제공할 수 있는 인터페이스(예: 음성·채팅·AR 기반)를 설계해야 합니다.
5. 지식 관리·버전 관리 시스템 – 설계 담론이 디지털 아티팩트로 축적될 때, 시간에 따른 버전 관리와 지식 추적이 가능하도록 메타데이터 스키마와 저장소 구조를 정의해야 합니다.

결론

대규모 언어 모델과 기타 기반 모델은 **‘설계 담론’**이라는 인간 고유의 창의적·추론적 활동을 디지털화하고, 이를 기계가 직접 실행 가능한 형태로 전환함으로써 전통적인 제품 개발 프로세스를 근본적으로 재편할 가능성을 가지고 있습니다. 시뮬레이션, 실험, 토폴로지 최적화와 같은 기존의 수치·물리 기반 단계들을 **‘머신‑액션러블’**하고 **‘담론‑중심’**인 흐름에 통합한다면, 설계자는 보다 높은 수준의 전략적 사고와 혁신에 집중할 수 있게 될 것입니다. 앞으로 제시된 연구 과제를 차근차근 해결해 나간다면, 인간과 인공지능이 협업하는 새로운 형태의 설계 환경이 현실화될 것이며, 이는 궁극적으로 제품 개발 주기의 단축, 비용 절감, 그리고 혁신 속도 가속이라는 구체적인 성과로 이어질 것입니다.

(※ 본 번역은 원문 내용과 의미를 충실히 전달하기 위해 일부 문장을 확장·보강했으며, 전체 문자 수는 2,200자 이상을 확보하였습니다.)