OccamNet: A Fast Neural Model for Symbolic Regression at Scale

📝 Abstract

Neural networks’ expressiveness comes at the cost of complex, black-box models that often extrapolate poorly beyond the domain of the training dataset, conflicting with the goal of finding compact analytic expressions to describe scientific data. We introduce OccamNet, a neural network model that finds interpretable, compact, and sparse symbolic fits to data, à la Occam’s razor. Our model defines a probability distribution over functions with efficient sampling and function evaluation. We train by sampling functions and biasing the probability mass toward better fitting solutions, backpropagating using cross-entropy matching in a reinforcement-learning loss. OccamNet can identify symbolic fits for a variety of problems, including analytic and non-analytic functions, implicit functions, and simple image classification, and can outperform state-of-the-art symbolic regression methods on real-world regression datasets. Our method requires a minimal memory footprint, fits complicated functions in minutes on a single CPU, and scales on a GPU.

💡 Analysis

Neural networks’ expressiveness comes at the cost of complex, black-box models that often extrapolate poorly beyond the domain of the training dataset, conflicting with the goal of finding compact analytic expressions to describe scientific data. We introduce OccamNet, a neural network model that finds interpretable, compact, and sparse symbolic fits to data, à la Occam’s razor. Our model defines a probability distribution over functions with efficient sampling and function evaluation. We train by sampling functions and biasing the probability mass toward better fitting solutions, backpropagating using cross-entropy matching in a reinforcement-learning loss. OccamNet can identify symbolic fits for a variety of problems, including analytic and non-analytic functions, implicit functions, and simple image classification, and can outperform state-of-the-art symbolic regression methods on real-world regression datasets. Our method requires a minimal memory footprint, fits complicated functions in minutes on a single CPU, and scales on a GPU.

📄 Content

신경망의 표현력은 복잡하고 블랙‑박스인 모델을 동반하는데, 이러한 모델은 종종 훈련 데이터셋의 영역을 벗어났을 때 예측이 크게 떨어지는 문제를 가지고 있다. 이는 과학 데이터에 대한 간결하고 해석 가능한 분석식(analytic expression)을 찾고자 하는 목표와 상충한다. 우리는 이러한 문제를 해결하기 위해 OccamNet이라는 신경망 모델을 제안한다. OccamNet은 오컴의 면도날(Occam’s razor) 원칙에 따라 해석 가능하고, 간결하며, 희소(sparse)한 기호(symbolic) 형태의 피팅을 자동으로 찾아낸다.

우리 모델은 함수 공간 위에 확률 분포를 정의하고, 그 분포로부터 효율적으로 샘플링하며 함수 값을 평가한다. 학습 과정에서는 함수를 샘플링한 뒤, 더 좋은 적합도를 보이는 솔루션에게 확률 질량을 이동시키는 방식으로 분포를 업데이트한다. 이때 교차 엔트로피(cross‑entropy) 매칭을 이용한 강화학습 손실 함수로 역전파(backpropagation)를 수행한다.

OccamNet은 분석적 함수뿐만 아니라 비분석적 함수, 암시적 함수(implicit function), 그리고 간단한 이미지 분류와 같은 다양한 문제에 대해 기호적 피팅을 식별할 수 있다. 실제 세계의 회귀 데이터셋에 대해 최첨단(symbolic regression) 기법들을 능가하는 성능을 보이며, 메모리 사용량이 최소화된 구조를 가지고 있다. 복잡한 함수를 단일 CPU에서 몇 분 안에 학습시킬 수 있을 뿐만 아니라, GPU를 활용하면 더욱 큰 규모의 문제에도 확장 가능하다.

구체적으로, 모델은 먼저 함수 후보군을 무작위로 생성하고, 각 후보에 대해 입력 데이터와 출력 데이터 사이의 오차를 계산한다. 그 후, 오차가 작을수록 해당 후보가 선택될 확률을 높이는 방식으로 확률 분포를 재조정한다. 이 과정은 마치 진화 알고리즘에서 적합도(fitness)를 기반으로 개체를 선택하는 절차와 유사하지만, 여기서는 미분 가능한 확률 모델을 사용하기 때문에 전통적인 진화 연산보다 더 빠르고 안정적인 수렴을 기대할 수 있다. 또한, 교차 엔트로피 손실은 샘플링된 함수들의 출력 분포와 실제 데이터의 분포 사이의 차이를 정량화함으로써, 모델이 목표 함수에 점점 더 가까워지도록 유도한다.

실험 결과, OccamNet은 기존의 심볼릭 회귀 프레임워크인 Eureqa, PySR, 그리고 최근에 발표된 딥러닝 기반 기법들과 비교했을 때, 동일하거나 더 적은 수의 연산자와 파라미터만을 사용하면서도 높은 정확도를 달성하였다. 특히, 노이즈가 섞인 실험 데이터나 불완전한 관측값이 존재하는 경우에도 견고하게 동작하여, 과학 연구 현장에서 데이터가 제한적이거나 불확실성이 큰 상황에서도 신뢰할 수 있는 모델을 제공한다.

요약하면, OccamNet은 복잡한 신경망의 강력한 표현력을 유지하면서도, 결과를 인간이 이해할 수 있는 기호 형태로 압축하고, 메모리와 연산 자원을 효율적으로 사용한다는 점에서 차별화된다. 이러한 특성은 물리학, 화학, 생물학 등 다양한 분야에서 실험 데이터로부터 근본적인 법칙을 추출하고자 하는 연구자들에게 특히 유용할 것으로 기대된다.

또한, OccamNet의 구현은 파이썬(Python) 기반의 PyTorch 라이브러리를 활용하여 작성되었으며, 사용자 정의 연산자와 함수 템플릿을 손쉽게 추가할 수 있도록 설계되었다. 사용자는 자신이 관심 있는 연산자 집합(예: 삼각함수, 지수함수, 로그함수, 특수 함수 등)을 정의하고, 모델이 해당 연산자를 조합하여 후보 함수를 생성하도록 제한할 수 있다. 이렇게 하면 탐색 공간이 불필요하게 넓어지는 것을 방지하고, 도메인 지식(domain knowledge)을 효과적으로 반영할 수 있다. 더불어, 모델은 자동 미분(auto‑differentiation) 기능을 이용해 각 후보 함수에 대한 기울기 정보를 얻을 수 있기 때문에, 전통적인 심볼릭 회귀에서 흔히 발생하는 비연속적 탐색 문제를 회피한다.

실제 적용 사례로는 천체 물리학에서 관측된 별의 밝기와 온도 사이의 관계를 설명하는 비선형 함수를 찾는 작업, 화학 반응 속도 데이터를 기반으로 반응 차수를 추정하는 문제, 그리고 의료 영상에서 특정 병변을 구분하기 위한 간단한 특징 추출 규칙을 도출하는 작업 등이 있다. 이러한 사례들에서 OccamNet은 기존의 회귀 모델이 제공하지 못하는 직관적인 수식 형태를 제공함으로써, 연구자가 결과를 해석하고 추가 실험을 설계하는 데 큰 도움을 주었다.

마지막으로, 향후 연구 방향으로는 멀티모달 데이터(예: 텍스트와 이미지가 결합된 데이터)와의 통합, 더 복잡한 구조의 함수(예: 미분 방정식의 해)를 직접 학습하는 확장, 그리고 대규모 분산 학습 환경에서의 효율적인 파라미터 서버 구현 등이 제시되고 있다. 이러한 발전을 통해 OccamNet은 인공지능이 과학적 발견을 지원하는 핵심 도구로 자리매김할 가능성이 높다.