아주 많은 걸 표현할 때 ‘셀 수 없이 많다’라고 한다. 하지만 수학의 세계에서는, 유한한 건 다 셀 수 있고, 무한도 ‘셀 수 있는’ 경우가 있다. 무한의 개념은 신기루 같은 것이어서, 인류 역사에서 많은 사람을 혼란에 빠트렸다. 영원이라거나 무한한 윤회 같은, 종교에서나 나옴 직한 무한의 개념이 수학과 무슨 관련이 있을까.

무한의 개념에 처음 다다른 것은 인도 문명이었다. 기원전 10세기의 인도인들은, 우주의 원자 수보다 더 큰 수를 표현하는 숫자를 발명했고, 끝없이 계속되는 수를 이해하고 있었다. 하나, 둘을 세면서 나오는 수가 아니라 우주의 광활함을 수로 표현하려는 사색의 결과물이었다. 기원전 3세기의 인도는 셀 수 있는 무한과 셀 수 없는 무한을 구별하는 수준에 다다랐다. 살면서 경험할 수 없는 수들이 튀어나온 것인데, 무한의 개념은 힌두교와 불교 우주관의 핵심이었다.

유럽에서 셀 수 있는 무한과 셀 수 없는 무한의 차이를 분명히 이해하게 된 것은 19세기 수학자 게오르그 칸토르에 이르러서였다. 동양보다 2000년 이상 늦었다. 현대의 수학은, 무한에도 종류가 있어서 어떤 무한은 다른 무한보다 더 크다고 말한다.

어느 정도 커야 무한하다고 할 수 있는 걸까? 셈의 기본인 자연수의 집합처럼, ‘어떤 수를 잡아도 그것보다 더 큰 수가 있다면’ 무한히 크다. 자연수 집합의 크기는 무한 중에서 가장 작아서, 흔히 ‘셀 수 있는 무한’이라고 부른다. 자연수 집합과 일대일 대응이 되는 모든 집합은 같은 크기다. 정수나 유리수가 더 많아 보이긴 하지만 사실은 자연수와 일대일 대응이 되므로 역시 셀 수 있는 무한만큼 많다. 그럼 ‘셀 수 없는 무한’은 무얼까? 대표적인 예가, 유리수에다 무리수까지 추가한 실수의 집합이다. 자연수 집합에서 실수 집합으로 가는 일대일 대응은 없으니 실수는 자연수보다 본질적으로 더 많다. 즉 ‘셀 수 없는 무한’의 크기를 가졌다.

천체에 대한 관심이 컸다고 하는 고대 아테네의 철학자들은 우주의 무한함보다는 우주의 기본 단위에 관심이 많았다. 물질의 기본 단위로 4원소(元素)를 제안했고 수의 기본 단위로 소수(素數)의 개념을 발전시켰다. 하지만 무한의 개념은 그리스 수학에서 찾아보기 힘들다.

‘소수(素數)’는 1과 자기 자신으로만 나누어지는 자연수다. 영어로는 prime number, 즉 ‘주요 수’다. 자연수는 모두 이 소수들의 곱으로 표현될 수 있다. 자연수를 소수로 쪼개는 소인수분해는, 물질을 원소로 쪼개는 것과 흡사하다. 그래서 소수는 수의 요소 역할을 하는 ‘주요 수’라 불린다.

놀랍게도 소수의 세계는 아직도 인류가 정복하지 못한 미지의 영역으로 남아있다. 2, 3, 5, 7, 11…로 이어지는 소수의 분포는 어떤 때는 밀집해 있다가 어떤 때는 뚝 떨어지는 등 규칙 없이 제멋대로인 것 같다. 이와 관련된 리만 가설은 아직도 현대 수학의 미해결 난제다. (3, 5), (5, 7) 같은 쌍둥이 소수가 유한한지 무한한지도 2000년 넘게 풀리지 않고 있다. 큰 수의 소인수분해는 어려운데, 이 난해함을 이용해서 만들어진 RSA 암호는 인터넷 보안에 쓰이며 당신의 금융거래를 보호 중이다.

그리스인들은 기본 단위에 대한 관심에 비해서, 무한대에 대해서는 큰 진전을 이루지 못했다. 문명사의 명저인 <유클리드 원론>도 유한한 선분만을 다룬다. 그래서 ‘평면의 평행한 두 선분은 만나지 않는다’고 말한다. 물론 유한하다면…. 하지만 끝없이 긴 평행한 두 철로는 지평선 언저리에서 만나는 것처럼 보이지 않나? 유한한 세상에 천착한 그리스 철학자들은 이런 모순을 제대로 보지 못하고 지나쳤다. 15세기 화가들이 원근법을 만들고 파스칼이 무한을 집어넣은 사영기하학을 만들 때까지 이 문제는 미해결의 난제였다.