[논문 리뷰] Accurate structure prediction of biomolecular interactions with AlphaFold 3

 

 

 

 

 

AlphaFold 3

 

 

Diffusion으로의 전환

AlphaFold 2에서 3로. 무엇이 바뀌었나.

 

 

 

AlphaFold 3는 AlphaFold 2의 큰 틀을 유지하면서도 두 가지 근본적인 변화를 도입했습니다.

 

MSA 처리의 대폭 축소

AlphaFold 2의 Evoformer는 MSA representation과 pair representation을 48 블록에 걸쳐 함께 진화시켰습니다. AlphaFold 3에서는 MSA 처리를 단 4블록으로 줄이고, 나머지 정보는 모두 pair representation으로 전달합니다. 이후 주된 처리는 Pairformer(48 blocks)가 담당하는데, pair representation과 single representation만 다루죠.

즉, MSA 정보의 비중이 크게 줄었습니다. 이것은 단백질 - 리간드나 단백질 - 핵산 같은 상호작용에서는 cross-entity MSA가 존재하지 않기 때문에 보다 범용적인 구조를 위한 설계 선택입니다.

 

Structure Module에서 Diffusion Module로의 교체

이것이 아키텍처적으로 가장 큰 변화입니다. 이에 대해서 후술할 내용을 통해 자세히 알아보도록 하죠.

 

 

Diffusion Module

왜 Diffusion인가?

 

 

AlphaFold 2의 Structure Module은 아미노산 backbone의 rigid frame과 side-chain torsion angle을 예측했습니다.

이 방식은 단백질에는 잘 작동하지만, 리간드, 핵산, 이온 같은 다양한 화학적 entities를 처리하기 어려워요. 각각에 대해 특수한 표현(representation)을 설계해야 하기 때문입니다.

 

AlphaFold 3의 Diffusion Module은 이를 근본적으로 단순화하죠.

모든 원자의 raw 3D 좌표를 직접 예측합니다. 학습 방식은 이미지 생성에서 검증된 diffusion model과 동일합니다. 정답 좌표에 노이즈를 더한 뒤, 네트워크가 원래 좌표를 복원하도록 학습하죠. 추론 시에는 랜덤 노이즈에서 시작해서 반복적으로 denoising하여 최종 구조를 얻습니다.

 

이 설계의 우아한 점은 multi-scale learning이 자연스럽게 일어난다는 겁니다.

 

• 높은 노이즈 수준에서의 denoising → 네트워크가 전체적인 fold / topology를 학습
• 낮은 노이즈 수준에서의 denoising → 네트워크가 결합 길이, 결합 각도 같은 국소적 화학 구조를 학습

이것은 AlphaFold 2가 별도의 stereochemical violation loss를 통해 강제해야 했던 것을 diffusion의 multi-scale 특성이 자연스럽게 해결한 것이죠.

 

그리고 흥미로운 점이 하나 더 있습니다.

AlphaFold 3의 diffusion module은 SE(3)-equivariance를 명시적으로 사용하지 않습니다. AlphaFold 2의 IPA가 SE(3) - invariance를 핵심 설꼐 원칙으로 삼았던 것과 대조적입니다. 연구진은 equivariance 없이도 충분한 정확도를 달성할 수 있음을 발견했고, 이를 통해 단순화 했습니다.

 

 

Generative Model의 도전

Hallucination과 Confidence

 

 

 

 

Diffusion model의 생성적(generative) 특성은 새로운 문제를 야기합니다.

 

Hallucination

 

AlphaFold 2는 구조가 불확실한(disordered) 영역을 리본 보양의 extended loop로 예측했는데, 이는 불확실함을 시각적으로 명확히 전달했습니다. 반면 AlphaFold 3의 diffusion model은 불확실한 영역에서도 그럴듯해 보이는 compact한 구조를 '환각' 할 수 있죠.

 

 

이 문제를 해결하기 위해 AlphaFold 3는 cross-distillation이라는 기법을 사용합니다.

AF-Multimer v2.3이 예측한 구조, disordered region이 extended loop로 표현된 구조를 AlphaFold 3의 추가 학습 데이터로 사용하여, AlphaFold 3가 불확실한 영역에서 AlphaFold 2와 유사한 행동을 보이도록 유도합니다.

 

이것은 AI 분야 전반에서 중요한 교훈을 줍니다.

생성 모델의 능력(다양하고 사실적인 출력)과 신뢰성(불확실성의 정직한 전달) 사이에는 근본적인 trade-off가 있습니다. 3D reconstruction에서도 NeRF나 3DGS가 관측이 부족한 영역에서 그럴듯하지만 실제와 다른 기하 구조를 생성하는 것은 같은 맥락의 문제라고 할 수 있겠죠.

 

---

하나의 통합 프레임워크로

 

AlphaFold 3의 가장 인상적인 성과는 하나의 통합된 딥러닝 프레임워크라는 겁니다.

단백질, 핵산, 리간드, 이온, 변형된 잔기를 모두 다룬다는 거죠. 기존에는 단백질-리간드 도킹, 단백질-핵산 구조 예측, RNA 구조 예측 등이 각각 별도의 특화된 도구를 필요로 했습니다.

 

AlphaFold 3는 대부분의 카테고리에서 이러한 특화 도구들을 능가했습니다.

 

 

단백질 - 리간드

전통적인 도킹 도구(e.g. AutoDock Vina)를 protein pocket 정보 없이도 크게 능가합니다.

 

단백질 - 핵산

RoseTTAFold2NA 대비 높은 정확도를 보여줍니다.

 

단백질 - 단백질

AlphaFold-Multimer v2.3 대비 향상되었을 보여줍니다.

 

항체 - 항원

특히 큰 폭의 개선되었고 다만 많은 수의 seed가 필요합니다.

 

이것이 시사하는 바는 범용적인 딥러닝 아키텍처가 도메인 특화 지식을 대체할 수 있다는 겁니다. AlphaFold는 수소결합 scoring function 없이도 수소결합을 올바르게 예측하고, 명시적인 물리 시뮬레이션 없이도 물리적으로 타당한 구조를 생성합니다.

 

 

---

AlphaFold로부터 얻은 컴퓨터 그래픽스 / 비전 관점에서의 인사이트

 

이 AlphaFold 논문들을 읽으면서 structural biology의 전문 지식보다는 방법론적 수준에서 내 연구 관심사와의 교차점을 보았습니다.

 

Representation 설계의 중요성

AlphaFold 시리즈가 주는 교훈에는 문제에 맞는 representation을 설계하는 것이 거의 전부라는 것이었어요.

• AlphaFold 2는 pair representation ($N_{res} * N_{res}$)으로 잔기 간 관계를 표현하고, residue gas(per-residue rigid body) 로 3D 구조를 표현했습니다.
• AlphaFold 3는 raw atom coordinates를 직접 다루는 diffusion으로 전환했습니다.

 

3DGS가 explicit point-based representation으로 NeRF의 implicit representation 대비 장점을 얻는 것처럼 같은 문제에 대해서도 representation의 선택이 성능, 유연성, 계산 효율에 결정적 영향을 미칩니다.

 

 

기하학적 제약의 내재화

AlphaFold 2의 triangle operations은 세 점간의 거리는 삼각 부등식을 만족해야 한다는 기하학적 제약을 attention 메커니즘에 내재화한 겁니다. AlphaFold 2는 IPA의 SE(3)-invariance를 아키텍쳐에 녹인 거죠.

 

이것은 3D 비전에서 multi-view geometry의 epipolar constraint를 네트워크에 내재화하거나 3DGS에서 splatting의 미분 가능성을 활용하는 것과 같은 설계 철학입니다. 도메인의 기하학적 구조를 네트워크 아키텍처에 녹이면, 데이터 효율성이 극적으로 향상됩니다.

 

Iterative Refinement와 Coarse-to-Fine

전체 네트워크를 3회 반복하는 AlphaFold 2의 recycling, Evoformer의 48 블록에 걸친 점진적 구조 형성, AlphaFold 3의 diffusion denoising 과정, 모두 coarse-to-fine iterative refinement의 변주입니다.

 

NeRF의 coarse-to-fine sampling, 3DGS의 densification / pruning, SuGaR의 Gaussian에서 Mesh로, 그리고 Mesh에서 refined Gaussian 파이프라인도 같은 패턴을 따릅니다. 복잡한 3D 구조를 한 번에 예측하기보다 점진적으로 정제하는 것이 더 효과적이라는 것은 도메인을 넘어서는 보편적 원칙이죠.

 

생성 모델의 양면성

AlphaFold 3가 diffusion을 도입하면서 얻은 것은 범용성과 local structure의 선명함.

잃은 것은 hallucivation 경향, confidence 측정의 복잡화.

이 둘은 생성 모델을 3D reconstruction에 적용할 때 반드시 고려해야 할 trade-off라는 것을 잘 보여주는 것 같습니다.

 

---

마치며

 

생물학과 학부생으로서 저에게 AlphaFold는 컴퓨터 공학은 생물학에도 융합될 수 있다는 것이었어요. 언제나 실험 부스와 함께할 줄만 알았던 본투비 아날로그 과목인줄만 알았던, 내가 아는 주변은 모두 우물이었을 지도 모른다는 것.

AI가 3D 구조를 이해하고 예측할 수 있다는 가능성을 구체적으로 보여주었고, AI는 그만큼 그당시부터해서 엄청 빠르게 액체처럼 우리의 빈 공간 구석구석을 채워놓을 훌륭한 도구가 탄생했음을 그때서야 비로소 체감했습니다. 단백질의 아미노산 서열이라는 1D 정보로부터 3D 구조를 복원하는 task가 딥러닝으로 원자 수준의 정확도에 도달할 수 있다는 것은 정말 인상적이었어요.

 

이 경험인 자연스럽게 제가 또 다른 질문을 던지게 합니다.

 

 컴퓨터 영역이 대체 어디까지 할 수 있지?

 

 

이것이 NeRF와 3D Gaussian Splatting을 공부하는 지점까지 오게된 것 같아요. 그러기 위해서는 오랫동안 놓았던 수학과 한 번도 해보지 못했던 코딩을 한땀한땀 해나가야 했죠.

 

공학을 공부하는 것에 후회는 없습니다. 오히려 제 성격에 추상적이기만 했던 생물학 공부에서 실생활 문제를 해결하는 훨씬 직관적인 문제를 해결해나가는 이 공학은 새로운 도파민을 저에게 선사해주고 있다는 것. AlphaFold는 이 여정의 출발점이고, 동기였기에 저에게는 의미가 있습니다.