중세 유럽에서는 수학과 과학의 경계가 분명하지 않았고, 아마추어 수학자의 활약도 잦았다.

17세기 프랑스의 법률가였던 피에르 페르마는 본업이 무엇인지 의심스러울 정도로 수학에 심취했던 경우다. 여가에 수학을 연구했고 주로 편지로 자신의 결과를 남겼는데, 블레즈 파스칼과 서신 교환을 하면서 확률의 개념을 정립하여 근대 확률론의 창시자가 되었다. 정수론의 디오판토스 문제를 연구하다가 유명한 ‘페르마의 마지막 정리’라는 미해결 문제를 남겼는데, 이게 350년 동안 수학자들을 괴롭힌 난제가 되었다. 1994년에 이 문제를 해결한 수학자 앤드루 와일즈는 20세기 최고의 수학자 반열에 올랐지만, 정작 수학 분야 최고상인 필즈상을 받지는 못했다. 와일즈가 이 해에 41세가 되는 바람에, 만 40세 이하라는 필즈상 수상 조건을 아슬아슬하게 못 맞췄기 때문이다.

1887년생인 스리나바스 라마누잔도 전문적인 교육을 받지 못한 아마추어가 위대한 수학자의 경지에 오른 예로 꼽히지만, 현대에 와서는 이런 사례가 흔하지 않다. 난해한 수학 이론의 도움 없이 아마추어의 빛나는 아이디어와 재기발랄함으로 접근 가능한 연구 주제도 여전히 있긴 하지만, 타 분야에 미치는 효과가 미미한 경우가 대부분이라서 큰 관심을 받지 못한다. 전문가들은 고립된 문제보다는 여러 문제와 연계된 고리에 더 관심을 두는데, 어떤 문제가 전문가들의 노력에도 불구하고 잘 안 풀린다면 이유가 있기 마련이다. 진입장벽이 높은 난해한 수학 이론을 필요로 하는 경우가 잦다 보니 아마추어가 기여할 기회가 점점 희귀해지는 것 같기도 하다.

물론 예외는 항상 있다. 올해 40세인 크리스토퍼 해븐스(Christopher Havens)는 미국 시애틀 근처의 감옥에서 9년간 복역 중인 죄수다. 마약 중독과 범죄로 점철된 10대를 보내다 고등학교를 중퇴했다. 마약 관련 총격전을 벌이다가 사망자가 나오는 바람에 살인죄로 25년형을 선고받았으니 아직도 16년의 수감 생활을 더 보내야 한다. 감옥에서도 사고뭉치였던 탓에 1년간의 독방 생활을 하게 됐는데, 주로 퍼즐 맞추기를 하며 지냈다. 어느 날 감옥을 방문한 자원봉사자가 재소자들에게 서류 봉투를 나눠주길래 받았는데, 열어보니 수학 문제들로 가득했다. 어차피 많은 게 시간이라 들여다보다가 어느 순간부터 ‘문제 풀이 삼매경’에 푹 빠졌다. 이후에 수학책들을 구해서 공부하기 시작하더니, 학습의 수준을 넘어서 연구의 수준에 다다르게 됐다. 연구 저널에 접근이 제한된 상황에서, 수학 분야 최고의 학술지인 수학연보(Annals of Math) 출판사에 편지를 보내서 학술지를 볼 수 있게 해달라고 요청했다. 이 과정에서 알게 된 이탈리아 수학자인 움베르토 세루티가 연구 주제를 제안했고, 해븐스는 ‘연속 분수(continued fraction)’ 개념을 확장해서 이 문제를 성공적으로 풀어냈다. 이 결과는 올해 1월에 두 사람의 공저 논문으로 학술지에 출간됐다. 감옥에서 데뷔한 수학자인 셈이다.

질풍노도의 시기를 보내는 청소년의 일탈은 새로운 게 아니지만 일탈에서의 복귀는 중요하다. 영화배우인 앤젤리나 졸리도 자해와 마약으로 점철된 험난한 청소년기를 보내다가 캄보디아 난민의 삶을 목격하고 대오각성했다지 않는가. 점점 아마추어의 역할을 찾아보기 힘든 수학에서 여전히 빛나는 아마추어 수학자가 탄생한다는 것은 즐겁다. 게다가 아예 수학에 무지하던 고등학교 중퇴자가 홀로 공부해서 연구자의 수준에 다다른 해븐스의 경우는, 늦게 출발해서 따라잡은 사례라서 유쾌하다. 해븐스는 최근에 ‘감옥 수학 프로젝트’를 시작했고, 그의 수학 클럽에는 15명 정도의 재소자가 꾸준히 참여한다고 한다. 우리 각자도 자신의 직장에서 수학 클럽을 조직해 보면 어떨까.