집합과 함수는 현대적 논리학에서 가장 기초적이고 필수적인 개념이다. 내가 지난번 칼럼에 우리나라 학생들에게 논리교육 강화가 필요한데 중학교 수학교육과정에서 집합과 함수의 개념을 없앤 것이 안타깝다는 얘기를 썼더니, 역사학자 한 분이 “집합과 함수가 논리에 있어서 그렇게 중요한 것인 줄 몰랐다”는 글을 보내왔다.

수학자인 나에게는 당연한 사실이지만 대다수의 사람들에게는 수학적 개념들이 논리와 어떻게 그렇게 깊은 연관이 있는지 잘 이해가 되지 않을 것도 같다. 나 자신도 대학생 때 당시 철학과에 다니던 친구가 수학과 전공과목인 집합론을 수강하러 왔을 때 말해주어 알게 되었다.

19세기 유럽에서는 수학과 과학의 발전 속도가 빨라지기 시작하고, 각 학문 분야의 전문성이 높아지며 분야도 세분화되기 시작한다. 2000년 이상 모든 학문의 기초적 바탕을 이루어 온 논리학도 19세기 후반부터 프레게, 칸토어와 같은 독일의 수학자들을 중심으로 그전보다 더 독립적이고 체계적인 학문 분야로 거듭나게 된다. 프레게는 수학적 개념들, 심지어는 수(數)조차도 완전하고 구체적인 논리에 의해 정의되어야 한다고 주장하였다. 또한 그는 논리적 서술에 필요한 형식적(주로 기호화된) 언어를 만들고자 했으며, 산술의 체계를 논리학으로부터 유도하려고 노력하였다. 집합론의 창시자 칸토어는 오랫동안 수학과 논리학에서 금기시되어 오던 ‘무한’이라는 개념을 자연스럽게 논리적으로 다룰 수 있다는 것을 보여주었고, 집합이 논리학에서 얼마나 중요한 개념인가를 알려 주었다.

독자들의 이해를 돕기 위해 수학과 논리학의 관계를 한마디로 말하자면, 현대적인 논리학은 수학의 부분집합이라고 할 수 있다. 체계적이고 엄밀한 현대적 논리학을 철학자와 수학자가 공유하던 고전적 논리학과 구별하기 위해 수리논리학 또는 기호논리학이라고도 부른다. 수리논리학은 집합, 연산, 함수, 무한 등과 같은 수학적 개념을 포함한 집합론을 근간으로 하고 있기 때문에, 그러한 배경 지식을 갖고 있지 않은 사람들은 그 내용을 이해하기 어려운 학문이 되었다.

수학 내에서는 논리학을 ‘수학기초론’이라고도 부른다. 논리학은 지난 100년간 힐베르트의 형식주의 철학에 입각하여 수학의 최선의 기초를 만들기 위해 발전해 왔기 때문이다. 수학기초론에는 중요한 결점이 있다. 논리적으로 완벽한 산술체계는 존재하지 않는다는 점이다.

1931년 오스트리아의 젊은 수학자 괴델은 불완전성정리를 발표하여 세상을 깜짝 놀라게 하였고 그는 이것으로 아인슈타인만큼이나 유명한 사람이 되었다. 그는 힐베르트, 페아노, 러셀, 화이트헤드 등 현대적 논리학을 개척한 최고의 수학자들이 달성하고자 하던 완벽한 논리체계의 구성은 불가능하다는 것을 증명해 보인 것이다. 당시에 물리학의 새로운 패러다임인 양자역학이 물리학의 주류로 자리 잡기 시작한 데다가, 하이젠베르크의 불확정성원리가 나온 직후에 불완전성정리가 발표되었기 때문에 당시의 지식인들은 “세상에는 완전하고 확실한 진리는 존재하지 않는다”는 새로운 세계관을 갖게 되었다. 이것은 자연과학에서만이 아니라 철학이나 경제학과 같은 학문에도 커다란 영향을 미치게 된다.

완벽함과 엄밀함을 추구하는 논리학이 좋은 수학의 기초를 만들기 위해 발전해 왔지만 논리적으로 완벽한 수학의 기초 자체가 존재할 수 없다는 것을 논리적으로 증명한 것은 참으로 아이러니하다. 논리의 불완전성에 대해 논하기 위해서는 실은 굳이 어려운 괴델의 이론까지 거론할 필요도 없다. 우리가 학교에서 배우는 ‘집합’의 개념조차도 완벽하게 정의하는 것이 쉽지 않다. 한 집합의 원소가 엄청나게 많은 경우, 러셀의 패러독스와 같은 문제가 발생하기 때문이다. 그러면 집합의 원소가 어느 정도 많을 때 문제가 생기지 않을까? 수학자들은 아직까지 그 기준을 잘 모른다.

수학자들은 논리의 세계 안에서만 연구 활동을 하지는 않는다. 직관과 관찰이 엄밀한 논리적 사고나 서술보다 우선시되는 경우도 많다. 논리의 세계는 완벽하지도 않고 수학자들이 논리에만 의존하지도 않지만, 수학의 좋은 기초를 찾기 위해 지금도 전 세계적으로 많은 논리학자들이 활발하게 연구하고 있다. 대다수의 수학자들은 의식적이든 무의식적이든 힐베르트가 추구하던 수학의 형식주의의 방향을 따르고 있다. 그 길의 끝에 수학자들이 찾는 최종 목표가 존재하지 않는다는 것을 알고 있지만 그 방향이 옳은 방향이라고 믿고 가고 있는 것이다.