분기학 (계통분류학)

분기학의 지적 토대는 독일의 곤충학자 빌리 헤니히(1913~1976)에게로 거슬러 올라간다. 헤니히는 파리목(Diptera)과 화석 곤충 분류를 전문으로 연구한 학자였다. 제2차 세계대전 말기, 이탈리아에서 포로 신분으로 영국군 말라리아 방역 업무에 투입되었던 시기에 그는 이후 기념비적 저작이 될 원고를 작성하였다. 1950년 Grundzüge einer Theorie der phylogenetischen Systematik(「계통분류학 이론의 개요」)로 출간된 이 책은 처음에는 독일어권 밖에서 큰 주목을 받지 못하였다. 전 세계적 채택의 촉매가 된 것은 1966년 일리노이대학교 출판부에서 발행된 대폭 개정 영어판 Phylogenetic Systematics였다. 헤니히는 생물학적 분류가 반드시 계통 관계를 반영해야 하며, 공유파생형질(synapomorphy)만이 단계통군을 식별하는 데 유효한 증거라고 주장하였다. 이 원칙은 당시 지배적이던 분류 방법론과 근본적으로 대조되는 것이었다.

1960년대 중반부터 1980년대까지, 체계학은 생물학사에서 '분류학 전쟁(Systematist Wars)'이라 불리는 격렬하고 때로는 감정적인 논쟁의 시기를 겪었다. 에른스트 마이어와 조지 게일러드 심프슨이 주도한 진화분류학(evolutionary taxonomy)은 분류가 계통적 분지와 적응 분화의 정도를 모두 반영해야 한다고 주장하며, 전문가 판단과 형질 가중치 부여에 크게 의존하였다. 1950년대 말부터 피터 스니스와 로버트 소칼이 발전시킨 수치분류학(numerical taxonomy, 표현분류학 phenetics)은 UPGMA 같은 통계적 군집 방법을 사용하여 전반적 표현형 유사성에 기초한 분류를 수행함으로써 객관성을 추구하였으며, 의도적으로 계통 추론을 배제하였다. 세 번째 학파인 분기학은 계통 관계—구체적으로 공유파생형질의 패턴—만이 분류를 결정해야 한다고 주장하였다. 이는 분기학에서 인정하는 분류군이 엄격하게 단계통적(monophyletic)이어야 함을 의미했다: 분지군에는 반드시 공통 조상과 그 모든 후손이 포함되어야 한다. 일부 후손을 배제하는 군은 측계통군(paraphyletic)으로 간주되어 분기학적 원칙하에서는 인정되지 않았으며, 수렴 형질을 공유하는 무관한 계통들을 모은 군은 다계통군(polyphyletic)으로 분류되어 역시 거부되었다.

이 논쟁은 단순히 학술적인 것이 아니었다. 객관성, 체계학에서의 컴퓨터 역할, 분류의 철학적 기반에 관한 분쟁이 포함되었다. 분기학자와 표현분류학자 모두 수리화와 컴퓨터 보조 분석을 지지하였으나, 분류가 무엇을 표상해야 하는가에 대해서는 근본적으로 의견이 달랐다. 1980년대에 이르러 분기학이 우위를 차지하게 되었는데, 이는 그 명시적 논리 체계가 검증 가능하고 재현 가능했기 때문이며, 이러한 특성은 생물학 전반의 엄밀성 추구 경향과 부합하였다.

분기학적 분석은 대부분 헤니히가 도입하거나 정립한 전문 용어에 의존한다. 공유파생형질(apomorphy)은 파생된(진화적으로 변형된) 형질 상태이며, 원시형질(plesiomorphy)은 조상적 상태이다. 공유파생형질(synapomorphy)은 둘 이상의 분류군이 공유하며 가장 최근의 공통 조상으로부터 물려받은 파생 형질 상태로, 분지군을 뒷받침할 수 있는 유일한 유형의 형질 증거이다. 자기공유파생형질(autapomorphy)은 단일 말단 분류군에 고유한 파생 상태로, 해당 계통의 독특성에 대한 정보를 제공하지만 관계 추론에는 쓸 수 없다. 공유원시형질(symplesiomorphy)은 여러 분류군이 공유하는 조상적 형질로, 가까운 유연관계를 나타내지 않는다(예를 들어 '척추를 가진다'는 모든 척추동물이 공유하지만, 척추동물 내 어떤 특정 하위군을 결합하는 데 사용할 수 없다). 동형형질(homoplasy)은 공통 조상에 의한 것이 아닌 유사성을 말하며, 수렴(유사 형질의 독립적 진화)과 역전(조상 상태로의 회귀)을 포함한다. 이는 분기학적 방법이 최소화하고자 하는 '잡음'에 해당한다.

분기학적 분석의 결과물은 분지도(cladogram)이다. 이는 분류군 간 추정되는 관계를 나타내는 분지형 계통수 다이어그램으로, 내부 마디(node)는 가설적 공통 조상을, 분지 패턴은 공유파생형질의 중첩 집합을 반영한다. 자매군(sister group)은 단일 마디에서 갈라지는 두 분지군으로, 서로 가장 가까운 근연 관계에 있다.

최대절약법(Maximum Parsimony)은 분기학에서 가장 먼저 도입되어 수십 년간 지배적이었던 알고리즘적 접근법이다. 형질 상태 변화 횟수가 가장 적은 계통수 배열(가장 절약적인 계통수)을 선택하며, 반대 증거가 없는 한 가장 단순한 설명이 우선한다는 논리에 기반한다. PAUP*, TNT(Tree analysis using New Technology), 이전의 Hennig86 같은 절약법 소프트웨어는 분기학의 기초 도구로 자리 잡았다. 절약 원리는 수학적으로 명시적 정의가 가능하고 컴퓨터로 자동화할 수 있어 체계학자들에게 매력적이었다.

1990년대 이후로는 모형 기반 방법(model-based methods)이 점차 두각을 나타냈다. 최대우도법(Maximum Likelihood, ML)은 특정 형질 진화 모형 하에서 관찰된 데이터의 확률을 계산하여 이 확률을 최대화하는 계통수 배열을 선택한다. 베이지안 추론(Bayesian inference)은 베이즈 정리를 적용하여 계통수의 사후확률(posterior probability)을 추정하며, 매개변수에 대한 사전 분포를 통합하고 마르코프 연쇄 몬테카를로(MCMC) 표본추출로 계통수 공간을 탐색한다. 폴 루이스가 2001년에 도입한 Mk 모형은 우도 기반 추론을 이산적 형태 형질에까지 확장하여, 분자 데이터를 활용할 수 없는 고생물학적 데이터셋에도 모형 기반 접근법을 적용할 수 있게 하였다.

O'Reilly 등(2017), Puttick 등(2017)의 시뮬레이션 연구에 따르면, 이산적 형태 데이터를 분석할 때 Mk 모형의 베이지안 및 최대우도 구현이 특히 비대칭 계통수와 마디 지지도를 고려할 때 대체로 절약법보다 계통학적 정확도에서 우수한 것으로 나타났다. 그러나 절약법도 여전히 널리 사용되고 있으며, 형태 진화의 명시적 모형이 정당화되지 않은 가정을 수반할 수 있다고 주장하는 연구자들의 지지를 받고 있다. 절약법 지지자와 모형 기반 방법 지지자 간의 논쟁은 계속되고 있으나, 확률론적 방법이 점차 표준이 되어가는 추세이다.

분기학은 고생물학에 변혁적인 영향을 미쳤다. 분기학 도입 이전에는 공룡 분류가 주로 전반적 형태 유사성과 전문가의 직관에 의존하였는데, 이러한 접근법은 진화적 관계가 아닌 조상적 체형을 반영하는 측계통군을 빈번하게 생산하였다. 1980년대 이후 자크 고티에, 폴 세레노 등의 연구자가 분기학적 방법을 적용하면서 공룡 체계학에 혁명이 일어났고, 인정되는 모든 분류군이 입증 가능한 단계통군이어야 한다는 요구가 정립되었다.

분기학적 방법론이 공룡학에서 가장 극적으로 시연된 사례 중 하나는 2017년 Baron, Norman, Barrett가 Nature에 발표한 연구이다. 74개 분류군에 걸친 457개 형태 형질의 분기학적 분석을 통해, 이들은 수각류(Theropoda)와 조반류(Ornithischia)를 오르니토스켈리다(Ornithoscelida, 토머스 헨리 헉슬리가 1870년에 만든 이름을 부활시킨 것)라는 분지군으로 묶고, 용각형류(Sauropodomorpha)와 분리하는 급진적 계통수 재편을 제안하였다. 이는 해리 고비어 실리가 1887년에 확립하고 130년 이상 유지되어 온 전통적 용반류(Saurischia)–조반류(Ornithischia) 구분에 도전한 것이었다. 이후 분석들은 전통적 체계를 지지하는 결과와 오르니토스켈리다를 지지하는 결과가 상충하고 있지만, 이 논쟁 자체가 분기학적 방법론이 아무리 오래 굳어진 분류 가설이라도 엄밀하게 검증하고 잠재적으로 수정할 수 있게 해줌을 잘 보여준다.

분기학은 총합 증거(Total Evidence) 접근법에서도 핵심적이다. 이 방법에서는 화석의 형태 형질 데이터와 현생 근연종의 분자 서열 데이터를 통합하여 단일 계통 분석을 수행한다. 화석 분류군을 계통수의 말단 끝(tip)으로 배치하고 계통수 배열과 분기 시점을 화석화 출생-사멸(Fossilized Birth-Death, FBD) 과정을 이용하여 동시에 추정하는 베이지안 끝단연대측정(tip-dating) 방법은, 화석 증거와 분자 증거를 통합하는 현재의 최전선을 대표한다.

빌리 헤니히 학회(Willi Hennig Society)는 계통분류학의 발전을 촉진하기 위해 1980년에 설립되었다. 이 학회는 분기학 이론과 방법론을 연구하는 전 세계 연구자들의 교류 장으로 기능하고 있다. 학회는 1985년에 창간된 격월간 동료심사 학술지 Cladistics를 발행하며, 이 저널은 계통분류학 연구의 최고 권위 학술지 중 하나로 남아 있다. 학회는 또한 다양한 분류학적 배경의 체계학자들이 모이는 연례 학술대회를 개최하고 있다.

분기학의 지배적 위치에도 불구하고, 여러 가지 인정된 도전 과제가 존재한다. 수평적 유전자 전달(HGT)이 빈번한 생물—특히 원핵생물—에서는 엄격한 이분적 분지 계통수 가정이 위배되며, 단순한 계통수 다이어그램보다 망상 네트워크 모형이 더 적절할 수 있다. 식물과 일부 동물 그룹에서의 교잡(hybridization)도 유사한 어려움을 제기한다. 고생물학적 데이터셋의 경우, 형태 형질에 대한 의존은 형질 선택, 코딩의 주관성, 높은 수준의 동형형질과 관련된 문제를 야기한다. 절약법과 모형 기반 방법 간의 선택은 여전히 논쟁 중인데, 일부 연구자들은 Mk 모형의 가정이 형태 데이터에 비현실적이라고 주장하고, 다른 연구자들은 특정 진화 조건하에서 절약법이 통계적으로 비일관적(inconsistent)이라고 반박한다(1978년 펠젠슈타인이 처음 밝힌 '긴 가지 끌림(long-branch attraction)' 문제).

또 다른 개념적 도전은 조상의 취급과 관련된다. 분기학적 분석은 특정 조상을 식별하지 않는다. 모든 분류군은 말단 끝으로 처리되며, 내부 마디는 가설적 공통 조상을 나타낸다. 이는 화석 해석 방식에 영향을 미친다: 화석 종은 말단 분류군으로 배치되어 다른 분류군에 대한 상대적 위치가 추론되지만, 분석 내 다른 어떤 분류군의 조상으로 가정되지는 않는다.

분기학은 생물학과 고생물학 전반에 걸쳐 계통 추론의 표준 체계로 널리 받아들여지고 있다. 명시적 방법론, 검증 가능한 가설, 단계통적 분류에 대한 분기학의 고집은 분류학, 비교생물학, 생물지리학, 진화생태학을 근본적으로 재편하였다. 새로운 공룡 종을 제안하거나, 기존 분류군을 재분류하거나, 멸종 생물에 관한 진화적 가설을 검증하는 모든 현대 출판물은 근본적으로 분기학적 방법론에 의존한다. 더욱 정교한 모형, 더 큰 형질 행렬, 계산 능력이 강력한 베이지안 접근법의 지속적 발전은 분기학적 추론의 정확성과 범위를 계속 정제하고 있으며, 생명의 계통수에 대한 우리의 이해를 이끄는 핵심 분석 엔진으로서의 위상을 보장하고 있다.