5장 — 무한: 크기, 구조, 과정

이 장에서 배우는 것 — 무한은 하나의 개념이 아니라 세 개의 층이다. 첫째, 크기: 무한에도 등급이 있고(칸토어의 대각선 논법), 그 등급 사이의 어떤 질문은 현재의 수학 규칙집(ZFC)으로는 결정할 수 없다. 둘째, 구조: 동전 던지기로 아무렇게나 만든 무한 그래프가 확률 1로 단 하나의 울트라호모지니어스 구조가 된다(라도 그래프). 셋째, 과정: 무리수의 끝나지 않는 연분수 전개가 행렬 하나라는 유한한 대칭 데이터로 압축된다(라그랑주 정리). 이 장의 새 도구는 전단사·기수·대각선 논법, 확장 성질, 연분수, 코시 열, 그리고 계산 가능 실수다.

들어가며 — 만실인데 손님을 더 받는 호텔

어느 호텔이 있다. 방 번호는 1, 2, 3, … 끝없이 이어지고, 오늘 밤 모든 방이 찼다. 그런데 손님이 한 명 더 온다. 지배인은 태연하다. 안내 방송 한 번이면 된다: "모든 투숙객께서는 자기 방 번호에 1을 더한 방으로 옮겨 주십시오." 1호실 손님은 2호실로, 2호실 손님은 3호실로, $n$호실 손님은 $n+1$호실로. 모두가 방을 갖고, 1호실이 비고, 새 손님이 들어간다. 만실인데 자리가 났다.

유한한 호텔에서는 절대 일어날 수 없는 일이다. 방 100개가 다 찼으면 끝이다. 그러니까 이 호텔 이야기는 무한이 유한의 "아주 큰 버전"이 아니라 질적으로 다른 규칙으로 작동하는 세계임을 보여주는 첫 신호다.

이 블로그의 저자는 무한을 정면으로 다룬다. 무한을 "유한한 시간에 끝나지 않는 변화의 반복과정"으로 재정의하고(글 7, 22, 24), "무리수는 무한 위에 쌓은 수"(글 35)라고 말하며, 수 체계의 확장을 무한의 등급과 대응시키려 하고(글 21), "랜덤한 무한 + 대칭 → 수 체계"라는 창발의 그림을 그린다(글 8, 18, 29). 이 장은 이 직관들을 표준 수학의 지도 위에 올려놓는다. 그러자면 무한을 한 덩어리로 다루면 안 되고, 세 층으로 갈라 읽어야 한다.

• 크기의 층 — 무한 집합의 "개수"를 비교하는 이론. 칸토어의 기수와 대각선 논법.
• 구조의 층 — 무한 구조가 갖는 대칭의 이론. 랜덤한 구성이 확장 성질과 울트라호모지니티를 낳는 라도 그래프.
• 과정의 층 — 끝나지 않는 전개를 유한한 데이터로 압축하는 이론. 연분수와 $SL_2(\mathbb{Z})$ 대칭.

무한 연구의 계보는 "무한은 있는가"라는 철학적 질문이, "어떻게 비교하는가", "어떤 공리로 결정되는가", "유한 조각이 전체를 얼마나 결정하는가", "과정을 유한 데이터로 압축할 수 있는가"라는 수학적 질문들로 갈라진 역사다.

연구 계보 | 질문이 어떻게 자랐는가

각 층에서 저자의 직관이 어디까지 증명된 정리로 구제되고, 어디서 교정이 필요한지를 하나씩 확인한다. 미리 말해 두면: 구제되는 부분이 놀랄 만큼 많고, 교정되는 부분(특히 '알레프₂ = 초월수')조차 그 직관의 알맹이는 다른 사다리 — 계산 가능성의 위계 — 로 살아남는다.

크기의 층 — 무한에도 등급이 있다

세지 말고 짝을 지어라

유한 집합의 크기는 세면 된다. 그런데 무한 집합은 셀 수가 없다 — 세는 일이 끝나지 않으니까. 칸토어의 첫 번째 통찰은 세지 않고도 크기를 비교할 수 있다는 것이다. 양치기가 양의 수를 몰라도 양 한 마리당 조약돌 하나를 대응시키면 양 떼와 조약돌 무더기의 크기를 비교할 수 있듯이, 두 집합 사이에 "하나도 빠짐없이, 하나도 겹치지 않게" 짝을 지을 수 있으면 두 집합은 크기가 같다고 선언하는 것이다.

이 정의를 받아들이는 순간 이상한 일이 벌어진다. 짝수 전체 $\{2, 4, 6, \dots\}$는 자연수 전체 $\{1, 2, 3, \dots\}$의 일부인데, $n \mapsto 2n$이라는 짝짓기(1↔2, 2↔4, 3↔6, …)는 완벽한 전단사다. 즉 짝수는 자연수와 크기가 같다. 부분이 전체와 크기가 같은 것 — 이것이 바로 앞의 호텔에서 일어난 일이고, 유한 세계에서는 불가능한 무한의 고유한 성질이다.

자연수 집합 $\mathbb{N}$과 전단사로 짝지어지는 집합의 기수를 $\aleph_0$(알레프-제로)라 쓴다. 이런 집합을 가산(countable)이라 부른다 — "번호를 붙여 나열할 수 있다"는 뜻이다. 짝수도, 정수 전체도(0, 1, −1, 2, −2, … 순서로 나열하면 된다), 심지어 유리수 전체도 가산이다. 여기까지 보면 "무한은 결국 다 같은 크기 아닌가?" 하는 의심이 들 만하다.

대각선 논법 — 목록보다 항상 하나 더

여기서 잠깐 멈추자. 지금부터 나오는 것은 이 책 전체에서 가장 중요한 증명 기법이다. 6장에서 정지 문제의 결정불가능성을 증명할 때 똑같은 논법이 다시 나온다. 손으로 한 번 완전히 따라가 두면 6장이 공짜가 된다.

질문: 0과 1로 된 무한 수열 전체의 집합은 가산인가? 즉, 모든 0/1 무한 수열에 1번, 2번, 3번, … 하고 번호를 붙여 빠짐없이 나열할 수 있는가?

칸토어의 답: 불가능하다. 누가 어떤 목록을 가져와도, 그 목록에 없는 수열을 즉석에서 만들어 보일 수 있다.

실수에 대해서도 같은 결론이 성립한다. 실수를 소수 전개로 쓰면 자릿수의 무한 수열이 되기 때문이다(전개가 두 가지인 수 — $0.4999\dots = 0.5000\dots$ 같은 — 를 피하는 약간의 손질이 필요한데, 표준적인 처리가 있으므로 여기서는 0/1 수열 버전을 공식 시연으로 삼는다). 역사적 순서를 정확히 말하면: 칸토어는 1874년에 (대각선이 아닌 다른 논증으로) 실수 전체가 자연수와 일대일 대응될 수 없음을 처음 증명했고, 1891년에 위의 대각선 논법을 도입했다 정리.

대각선 논법의 진짜 위력은 일반화에 있다. 집합 $X$의 멱집합(power set) $2^X$ — $X$의 모든 부분집합의 집합 — 을 생각하자. 예컨대 $X = \{a, b, c\}$이면 부분집합은 공집합부터 전체까지 $2^3 = 8$개다. 칸토어는 대각선 논법으로 임의의 집합 $X$에 대해

$$|X| < |2^X|$$

를 증명했다 정리. 즉 어떤 집합도 자기 멱집합보다 작다. 논증은 두 줄이면 된다: 짝짓기 $f: X \to 2^X$가 있다고 하고, $D = \{x \in X : x \notin f(x)\}$ — "자기 짝에 자기가 안 들어 있는 원소들의 집합" — 를 만들자. 어떤 $x$에 대해 $f(x) = D$라면, $x \in D$인지 물어보라. $x \in D$이면 $D$의 정의에 의해 $x \notin f(x) = D$, 모순. $x \notin D$이면 같은 정의에 의해 $x \in D$, 또 모순. 그러므로 $D$는 어떤 $x$의 짝도 아니고, $f$는 빠짐없는 짝짓기가 못 된다. 위의 표에서 대각선을 뒤집던 것과 완전히 같은 구조다 — "$n$번째 것과 $n$번째 자리에서 다르게 만들기"를 집합의 언어로 쓴 것뿐이다.

이 정리 하나로 무한의 사다리가 열린다. $\mathbb{N}$보다 $2^{\mathbb{N}}$이 크고(0/1 수열 = 부분집합이므로 이것이 바로 위의 시연이다), $2^{\mathbb{N}}$보다 $2^{2^{\mathbb{N}}}$이 크고, … 무한의 등급은 끝없이 올라간다. "무한은 하나"라는 소박한 그림은 여기서 완전히 무너진다. 실수 전체의 기수는 $2^{\aleph_0}$이고, 이를 연속체(continuum)라 부른다.

한 가지 구분을 짧게 해 두자. 무한을 재는 축은 사실 둘이다. 기수는 '크기'를 재고, 서수(ordinal)는 '순서의 모양'을 잰다. 예컨대 자연수를 보통 순서로 늘어놓은 것과, "1, 2, 3, … 을 다 늘어놓은 다음에 0을 맨 뒤에 두는" 배열은, 집합으로서 크기는 같지만($\aleph_0$) 순서의 모양은 다르다 — 후자에는 '모든 것 다음에 오는 원소'가 있다. 이 책에서 서수는 이 구분 이상으로는 쓰지 않는다. 이하 "무한의 등급"은 전부 기수 이야기다.

그런데 이 "크기" 이야기가 왜 대칭의 책에 들어와 있는가? 1장의 언어로 다시 읽을 수 있기 때문이다. 어떤 큰 세계 안의 모든 전단사 변환은 합성에 대해 군을 이룬다(1장). 두 집합의 "크기가 같다"는 것은 "전단사라는 변환으로 서로 옮겨진다"는 것, 즉 1장의 언어로 같은 궤도에 있다는 것이다. 그러면 기수란 이 전단사군의 작용이 바꾸지 못하는 것 — 궤도 불변량(1장) — 이다. "크기"라는 가장 원초적인 개념조차 "어떤 변환을 허용할 때 무엇이 안 변하는가"라는 대칭 진술이었던 것이다. 이것은 2장에서 본 에를랑겐 프로그램의 정신이 집합론의 바닥까지 내려간 모습이다.

연속체 가설 — 규칙집이 답하지 못하는 질문

사다리가 열렸으니 자연스러운 질문이 나온다. $\aleph_0$(자연수의 크기)과 $2^{\aleph_0}$(실수의 크기) 사이에 다른 등급이 있는가? 칸토어는 "없다"고 믿었다. 이것이 연속체 가설(CH)이다: "$\aleph_0$과 $2^{\aleph_0}$ 사이에 다른 기수는 없다."

이 질문의 운명은 수학사에서 가장 기묘한 것 중 하나다. 답을 말하기 전에 무대를 정리하자. 현대 수학의 표준 규칙집은 ZFC라 불리는 공리계다 — 집합에 대해 허용되는 기본 규칙들(합집합을 만들 수 있다, 멱집합을 만들 수 있다, …)을 명시한 목록이라고 생각하면 된다. 수학의 정리는 원리적으로 이 규칙들로부터의 논리적 귀결이다.

그런데 괴델은 1940년에 ZFC로부터 CH를 반증할 수 없음을 보였고, 코언은 1963년에 ZFC로부터 CH를 증명할 수 없음을 보였다. 합치면: CH는 ZFC와 독립이다 정리. 규칙집을 아무리 정직하게 따라가도, "사이에 등급이 있다"에도 "없다"에도 도달할 수 없다.

여기서 흔한 오독을 하나 막아야 한다. CH의 독립성은 "CH는 참도 거짓도 아니다"라는 뜻이 아니다. 정확한 내용은 "ZFC 공리계로는 결정할 수 없다"는 것이다. 전자는 진리에 대한 형이상학적 주장이고, 후자는 특정 규칙집의 도달 범위에 대한 수학적 정리다 — 이 구분은 뒤에서(6장, 스텝형 $S(n)$과 ZFC의 증명 한계) 다시 필요해진다.

이 층의 결론을 저자의 언어로 돌려주면: 크기의 무한은 대칭(전단사)으로 완전히 등급화되지만, 그 등급 체계의 내부 질문 하나(CH)는 현재의 규칙집이 결정하지 못한다. 압축은 성공했고, 압축된 목록의 어떤 항목은 미결정이다.

구조의 층 — 랜덤한 구성이 확장 성질을 낳는다

유한은 뻣뻣하고, 무한은 — 골라 만들면 — 한없이 유연하다

이제 크기가 아니라 모양을 보자. 질문을 이렇게 바꾼다: 무한 구조는 유한 구조보다 대칭이 많은가? 여기서 "대칭"은 1장에서 정식으로 만든 개념, 즉 구조를 지키는 가역 변환 — 자기동형(1장) — 을 뜻한다.

유한 쪽부터. 원소 5개를 한 줄로 세운 순서 구조 $1 < 2 < 3 < 4 < 5$를 생각하자. 이 구조의 자기동형, 즉 순서를 지키는 재배열은 몇 개인가? 가장 작은 원소는 가장 작은 원소로 가야 하고(순서를 지켜야 하니까), 그다음은 그다음으로, … 결국 항등변환 하나뿐이다. 원소가 몇 개든 유한한 줄 세우기의 자기동형군은 자명군이다. 유한 전순서는 비자명한 대칭이 하나도 없는, 완전히 뻣뻣한 구조다. (여기서 전순서란 어느 두 원소든 크기 비교가 가능한 순서를 말한다.)

그럼 무한하게만 만들면 유연해지는가? 아니다 — 이 점이 중요하다. 자연수의 줄 세우기 $(\mathbb{N}, <)$도 자기동형이 항등뿐이다: 가장 작은 원소 1은 1로 가야 하고, 그다음 2는 2로, … 귀납적으로 전부 고정된다. 무한한데도 비자명한 대칭이 전혀 없다. 이렇게 자기동형이 항등뿐인 구조를 강직(rigid)하다고 부른다. 그러니 "무한집합은 유한집합보다 대칭적이다"는 그 자체로는 정리가 아니다 — 강직한 무한 구조도 얼마든지 있다. 무한은 대칭의 가능성을 열 뿐, 보장하지 않는다.

유연함의 챔피언은 유리수의 순서 구조 $(\mathbb{Q}, <)$다. 유리수 줄 세우기는 두 가지 점에서 자연수와 다르다: 끝점이 없고(가장 작은/큰 유리수가 없다), 조밀하다 — 어떤 두 유리수 사이에도 또 다른 유리수가 있다. 칸토어의 순서 동형 정리에 의해, 끝점 없는 가산 조밀 전순서는 전부 $(\mathbb{Q}, <)$와 동형이다 정리. 여기서 동형이란 두 구조 사이의 전단사 중 구조(여기서는 순서)를 보존하는 것 — 즉 "원소들의 이름만 바꿔 붙이면 완전히 같은 구조"라는 뜻이다(자기동형(1장)의 '두 구조 사이 버전'이다).

$(\mathbb{Q}, <)$의 대칭은 압도적이다. 임의의 두 유한 부분집합 사이에 순서를 지키는 대응이 있으면, 그 대응을 전체의 자기동형으로 항상 확장할 수 있다. 유한 조각의 대칭이 하나도 버려지지 않고 전체의 대칭으로 승격되는 것이다. 그 결과 $\mathrm{Aut}(\mathbb{Q}, <)$은 농도(기수와 같은 말이다 — 무한집합의 크기를 이렇게도 부른다) $2^{\aleph_0}$의 거대한 군이다 정리 — 자기동형이 연속체 크기만큼 많다. 순서 구조만 볼 때 유리수들은 개별 정체성 없이 상대 배치만 갖는다는 뜻이고, 이는 "수는 관계 속의 자리일 뿐"이라는 저자의 구조주의(글 10, 23)에 표준 수학이 부여할 수 있는 가장 정확한 의미다.

라도 그래프 — 동전 던지기가 매번 같은 도시를 만든다

이제 이 층의 주인공이 나온다. 저자의 삼각 구도 "랜덤한 무한 + 대칭 → 수 체계"(글 8, 18, 29)에 표준 수학이 내놓는 가장 정밀한 사례다.

구성은 고등학교 확률만으로 서술된다. 가산 무한 개의 정점 $v_1, v_2, v_3, \dots$을 준비하고, 모든 정점 쌍마다 독립적으로 동전을 던져(앞면 확률 $p$, 단 $0 < p < 1$이기만 하면 됨) 앞면이면 그 두 정점을 변으로 잇고 뒷면이면 잇지 않는다. 이렇게 만든 무한 그래프를 "랜덤 그래프"라 부르자. 완전히 무작위로 만들었으니, 만들 때마다 다른 그래프가 나올 것 같다.

그런데 놀랍게도 — 정리 (에르되시–레니 1963) — 이 구성은 확률 1로 동형인 단 하나의 그래프를 낳는다. 오늘 던진 동전과 내일 던진 동전이 낳는 두 그래프는, 확률 1로, 정점 이름만 바꾸면 완전히 같은 그래프다. 이 유일한 그래프를 라도 그래프라 부른다.

라도 그래프의 성질은 결과만 나열해도 충격적이다. 모든 가산 그래프를 부분 그래프로 품는 보편성을 갖고, $(\mathbb{Q},<)$처럼 유한 조각 사이의 대응이 전체의 자기동형으로 확장되는 성질을 가지며, 자기동형군은 농도 $2^{\aleph_0}$의 단순군이다(단순성은 Truss 1985) 정리. (단순군이란 대략 "더 작은 정상적인 조각으로 분해되지 않는 군"을 말한다 — 정확한 정의는 이 책의 범위 밖이고, 여기서는 "대칭군으로서 극히 견고한 한 덩어리"라는 신호로만 읽으면 된다.)

여기서 잠깐, 왜 이것이 놀라운지 짚고 가자. 우리는 모든 쌍마다 독립 동전 던지기로 그래프를 만들었다. 그 결과물이 확률 1로 확장 성질을 가진 하나의 동형류에 들어간다. 그 결과 유한 유도부분그래프 사이의 모든 동형이 전체 자기동형으로 확장되는 울트라호모지니티가 성립한다 정리. 유한 세계의 직관 — 랜덤하게 만들면 보통 서로 다른 비대칭 그래프가 나온다 — 이 가산 무한 그래프에서는 다른 모습으로 바뀐 것이다. 저자의 "랜덤한 무한 + 대칭"이라는 짝은 이 정확한 성질을 가리킬 때 수학적 내용이 생긴다.

이 현상은 라도 그래프만의 요행이 아니다. $(\mathbb{Q},<)$와 라도 그래프가 공유하는 "유한 조각의 대칭이 전부 전체로 확장된다"는 성질에는 일반 이론이 있다.

다만 균형을 위해 이 층의 한계를 다시 명시한다. 라도 그래프와 $(\mathbb{Q},<)$는 무한이 허락하는 대칭의 상한을 보여주지만, 앞서 본 $(\mathbb{N},<)$처럼 무한하면서 강직한 구조도 얼마든지 있다. 무한에서 대칭이 창발하는 것은 "유한 조각들이 서로 잘 이어붙는 종류의 구조"라는 조건이 갖춰졌을 때이지, 무한 그 자체의 효과가 아니다.

과정의 층 — 끝나지 않는 전개를 유한한 데이터로

연분수: 진법보다 정직한 무한 전개

세 번째 층은 저자의 "무리수는 무한 위에 쌓은 수"(글 35)를 정면으로 다룬다. 무리수가 "끝나지 않는 전개"라는 직관을 가장 흔히 접하는 형태는 십진 전개다: $\sqrt2 = 1.41421356\dots$ 끝도 규칙도 안 보인다. 그런데 십진 전개에는 흠이 있다. 밑 10이라는 선택이 인간의 손가락 개수라는 우연에 기대고 있고, 같은 수라도 밑을 2로, 3으로 바꾸면 자릿수 열이 전혀 달라진다. 수 자체의 전개라 부를 만한, 밑 선택에 의존하지 않는 표준적 전개는 없는가?

있다. 연분수(continued fraction)다. 절차는 초등적이다: 수에서 정수 부분을 떼어 적고, 남은 소수 부분의 역수를 취한 뒤, 같은 일을 반복한다. 그 결과 수는

$$x = a_0 + \cfrac{1}{a_1 + \cfrac{1}{a_2 + \cfrac{1}{a_3 + \cdots}}}$$

꼴로 전개되고, 이를 $x = [a_0; a_1, a_2, a_3, \dots]$로 줄여 쓴다. 자릿수 $a_1, a_2, \dots$는 모두 1 이상의 자연수다. 이 전개는 진법과 달리 어떤 밑도 선택하지 않는다 — 재료가 "정수 부분 떼기"와 "역수"뿐이니까.

연분수의 첫 번째 정리는 저자의 직관을 그대로 수학으로 만든다: 전개가 유한하다 ⟺ 그 수는 유리수다. 전개가 무한하다 ⟺ 무리수다 정리. (유리수 쪽은 손으로 확인할 수 있다 — 분수 $\tfrac{p}{q}$에 위 절차를 적용하면 분모가 매 단계 확실히 작아져서, 최대공약수를 구하는 유클리드 호제법과 똑같은 이유로 유한 단계에 끝난다.) "무리수 = 끝나지 않는 전개"는 이렇게 진법 표기보다 표준적인 방식으로 구현된다.

방금 목격한 것이 이 층의 핵심 현상이다. $\sqrt2$의 연분수 전개는 무한하지만 주기적이고, 주기적이라는 것은 전개 전체가 유한한 데이터(주기 블록)로 압축된다는 뜻이다. 어떤 수들이 이런 특권을 누리는가?

라그랑주 정리(1770) 정리: 연분수 전개가 궁극적으로 주기적이다 ⟺ 그 수는 이차 무리수다. 여기서 이차 무리수란 정수 계수 이차방정식의 근이 되는 무리수 — $\sqrt2$, $\sqrt3$, $1+\sqrt5$ 같은 수 — 를 말한다. (귀속을 정확히: '주기적 ⇒ 이차'라는 쉬운 방향은 오일러가 먼저 보였고, 어려운 역방향을 라그랑주가 증명했다. 갈루아(1829)는 한 걸음 더 나아가 순수 주기적 — 시작부터 반복되는 — 전개가 특정한 꼴("축약된")의 이차 무리수와 정확히 대응함을 밝혔다.)

$e$나 $\pi$ 같은 수(이차방정식의 근이 아닌 무리수)의 전개는 절대 주기적이 되지 않는다. 즉 연분수는 무리수들을 "전개의 압축 가능성"으로 등급화하기 시작한다: 유리수(유한) → 이차 무리수(주기 = 유한 데이터) → 그 너머. "무한 위에 쌓은 수"에도 층이 있는 것이다.

한 자리 벗기기 = 행렬 하나 — 뫼비우스 변환

주기성이 왜 "대칭"인가? 이 질문에 답하려면 연분수 절차를 변환의 언어로 다시 써야 한다.

이제 주기적 전개를 읽어 보자. $x = [\overline{a_1; a_2, \dots, a_m}]$처럼 블록이 영원히 반복된다는 것은, "블록 한 번 붙이기"라는 변환을 $x$에 적용해도 $x$ 자신이 나온다는 뜻이다. 즉 $x$는 행렬 $M = \begin{pmatrix} a_1 & 1 \\ 1 & 0 \end{pmatrix} \cdots \begin{pmatrix} a_m & 1 \\ 1 & 0 \end{pmatrix}$이 정의하는 변환의 고정점이다(고정점은 1장). 무한히 긴 전개가 정수 성분 $2\times2$ 행렬 하나에 통째로 들어갔다.

이 행렬들은 아무 데나 사는 것이 아니다. 정수 성분에 행렬식이 $\pm1$인 $2\times2$ 행렬들은 곱셈에 대해 군(1장)을 이루고, 행렬식 $+1$인 것들의 군을 $SL_2(\mathbb{Z})$ — 모듈러 군 — 라 부른다. (여기서 행렬식은 $2\times2$ 행렬 $\begin{pmatrix} a & b \\ c & d \end{pmatrix}$에 대해 $ad-bc$라는 수 하나를 말한다 — 행렬식이 $\pm 1$이면 역행렬도 정수 성분이 되어, "정수 세계 안에서 되돌릴 수 있는" 변환이 된다.) 연분수 한 자리 벗기기/붙이기는 전부 이 군의 (그리고 행렬식 $-1$을 허용한 $GL_2(\mathbb{Z})$의) 작용이다. 그러므로 라그랑주 정리는 이렇게 다시 읽힌다: "무한 위에 쌓은 수"의 첫 계단(이차 무리수)은, 무한 과정이 유한한 대칭 데이터 — $SL_2(\mathbb{Z})$의 원소 하나 — 로 압축되는 수다. 이것이 "대칭이 무한을 압축해 계산 가능하게 만든다"(글 19)의 정확한 사례다.

자릿수의 통계 — 가우스 사상과 힌친 상수

주기적이지 않은 대부분의 무리수는 어떤가? 자릿수열이 압축되지 않는다면, 최소한 그 통계라도 법칙을 따르는가? 여기서 연분수는 4장의 콜라츠에서 본 것과 놀랍도록 닮은 그림을 보여준다.

연분수 자릿수를 하나 벗기는 조작은 하나의 사상으로 쓸 수 있다. 구간 $(0,1)$의 수 $x$에 대해

$$G(x) = \left\{ \frac{1}{x} \right\}$$

를 가우스 사상이라 한다.(문헌에서는 이 사상도 $T$로 쓰는 일이 많다. 이 책에서는 4장의 콜라츠 사상 $T(n)$과 구분하기 위해 가우스 사상은 항상 $G$로 쓴다.) 여기서 $\{y\}$는 $y$의 소수 부분, 즉 $y$에서 정수 부분 $\lfloor y \rfloor$(바닥, $y$ 이하의 최대 정수)를 뺀 것이다. 말로 읽으면: "역수를 취하고 정수 부분을 버려라." 버려지는 정수 부분 $\lfloor 1/x \rfloor$가 바로 다음 연분수 자릿수이고, $G$를 반복 적용하면 자릿수가 차례로 출력된다. 손으로 한 번: $x_0 = \sqrt2 - 1 \approx 0.4142$에서 $\tfrac{1}{x_0} = \sqrt2 + 1 \approx 2.4142$이므로 자릿수 2가 나오고 $x_1 = \{2.4142\dots\} = \sqrt2 - 1 = x_0$ — 고정점이다. $\sqrt2$의 자릿수가 전부 2인 것을 사상의 언어로 다시 본 것이다.

가우스 사상은 (가중치 $\frac{1}{\log 2}\frac{dx}{1+x}$를 주는 가우스 측도에 대해) 에르고딕하다 정리. 에르고딕은 4장에서 표어 — "시간 평균 = 공간 평균" — 로만 만난 개념인데, 여기서의 함의는 이것이다: 거의 모든(측도 1 — 대략 "수직선에서 총 길이로 잴 때 예외가 길이 0"이라는 뜻) 실수에 대해, 한 수의 자릿수열을 따라가며 낸 통계가 공간 전체의 통계와 일치한다. 그 따름정리로 거의 모든 실수의 연분수 자릿수는 가우스–쿠즈민 분포라는 하나의 보편 분포를 따르고(자릿수 1이 나올 비율 약 42%, 2가 약 17%, … 큰 자릿수일수록 드묾 — 결과만 인용한다), 자릿수들의 기하평균(곱의 $n$제곱근)은 하나의 보편 상수

$$\sqrt[n]{a_1 a_2 \cdots a_n} \;\longrightarrow\; K_0 \approx 2.6854520$$

— 힌친 상수 $K_0$ — 로 수렴한다 정리. 어떤 수를 "무작위로" 집어도 그 자릿수 통계는 미리 정해진 하나의 법칙을 따른다는 것 — 개별 전개는 압축 불가능해 보여도 통계 법칙은 대칭 기하(위의 더 깊이 박스의 세계)가 완전히 지정한다는 것이다.

단, 한정어가 필수다: 유리수, 이차 무리수, $e$는 예외집합(측도 0)에 속하고, $\pi$를 포함해 명시적으로 주어진 어떤 자연스러운 상수도 힌친 상수를 만족함이 증명된 바 없다. "거의 모든 수"에 대한 정리가 정작 우리가 이름을 아는 수들에 대해서는 침묵한다 — 우리가 아는 수 대부분이 예외 집합에 산다는 것이 이 주제의 아이러니다. ($\pi$의 자릿수를 수치로 굴려 보면 힌친 상수로 수렴하는 것처럼 보인다 — 그러나 증명은 없다. 이런 "수치적 증거 vs 증명 부재"의 간극은 7장의 $\pi$ 정규성 문제에서 다시 만난다.)

무한을 계산으로 읽기 — 저자의 존재론, 표준 수학의 좌표

잠재적 무한과 실무한 — 2,300년 된 논쟁의 컴퓨팅 버전

이제 세 층을 관통하는 저자의 근본 입장을 자리매김할 차례다. "무한 = 유한한 시간에 끝나지 않는 변화의 반복과정"(글 7, 22, 24)이라는 재정의는, 무한을 완성된 대상이 아니라 진행 중인 과정으로 보는 태도다. 이 태도에는 유서 깊은 이름이 있다: 잠재적 무한(potential infinity)주의. 아리스토텔레스가 실제로 완성된 무한(실무한, actual infinity)을 거부하고 잠재적 무한만 인정한 이래, 가우스("무한은 말하는 방식일 뿐", 1831), 브라우어의 직관주의, 비숍의 구성주의로 이어지는 실존하는 노선이다. 저자의 재정의는 이 노선의 컴퓨팅 버전이다 — 그리고 저자가 대비시킨 "칸토어(상태의 무한) vs 튜링(과정의 무한)"(글 25)은 실무한(집합론) vs 잠재적 무한(계산주의)이라는 수학기초론의 표준 축과 정확히 정합한다.

흥미로운 것은, 실무한의 심장부인 실수 체계조차 그 표준 구성을 들여다보면 저자의 문장이 그대로 발견된다는 점이다.

코시 열 — '과정의 묶음'이 수가 되는 순간

2장에서 보편 구성의 사다리 $\mathbb{N} \to \mathbb{Z} \to \mathbb{Q} \to \mathbb{R}$을 조감하면서, "새 수의 창조에 무한한 계산이 필요한 단계는 $\mathbb{Q} \to \mathbb{R}$ 하나뿐이며 그 정식 구성은 5장에서" 라고 약속했었다. 지금이 그 자리다.

유리수만으로는 부족하다 — $\sqrt2$에 다가가는 유리수열 $1, 1.4, 1.41, 1.414, \dots$은 분명히 어딘가로 가고 있는데, 그 목적지가 유리수 안에 없다. 코시 열 구성(메레 1869, 칸토어 1872)의 발상은 대담하다: 목적지가 없다면, 다가가는 과정 자체를 수로 삼자.

절차는 두 단계다. 첫째, "다가가는 과정"을 정식화한다: 항들이 뒤로 갈수록 서로 얼마든지 가까워지는 유리수열(임의의 오차 한계보다 항 간 차이가 결국 작아지는 열)을 코시 열이라 부른다. 둘째 — 여기가 요점인데 — 서로 다른 열이라도 차이가 0으로 가면 같은 목적지를 겨냥한 것이므로, "두 열의 차가 0으로 수렴한다"라는 관계로 코시 열들을 동치류(1장)로 묶는다. 실수란, 문자 그대로, "수렴 과정들의 집합에서 실질적으로 동일한(차이가 0으로 가는) 과정들을 하나로 묶은 것"이다. 이것이 실수의 표준 구성 중 하나이고, "실무한 = 유한으로 가는 실질적으로 동일한 과정"(글 24)은 이 구성의 재발견이다.

이 관점에서 오래된 수수께끼 하나가 즉시 풀린다. $1 = 0.999\dots$인가? 그렇다 — 두 표기는 열 $1, 1, 1, \dots$과 열 $0.9, 0.99, 0.999, \dots$에 해당하고, 두 열의 차 $0.1, 0.01, 0.001, \dots$은 0으로 간다. 즉 둘은 같은 동치류의 두 대표원, 같은 수의 두 이름이다. 논쟁할 것이 없다.

미적분학에서 배운 $\varepsilon$–$\delta$ 극한 정의도 이 자리에서 재조명된다. "임의의 $\varepsilon > 0$에 대해 …인 $\delta$가 존재한다"라는 유한한 논리식은, 무한히 진행되는 과정의 종착 행동을 유한한 문장으로 못 박는 장치 — 저자의 표현대로 "무한한 시간이 지나면 발생할 일을 유한한 시간 안에 알 수 있는 도구"(글 24) — 다. 잠재적 무한주의자의 요구 사항을 실무한 진영의 표준 커리큘럼이 이미 충족하고 있는 셈이다.

계산 가능 실수 — '수 = 계산 과정'의 정확한 범위

저자의 존재론을 끝까지 밀면 자연스러운 수 체계가 하나 나온다. 수가 과정이라면, 그 과정은 실행 가능해야 하지 않는가?

계산 가능 실수 전체는 얼마나 큰가? 프로그램은 유한한 문자열이다. 유한 문자열 전체는 길이순·사전순으로 빠짐없이 나열할 수 있으므로 가산이고, 따라서 계산 가능 실수 전체는 가산집합이다 정리. 그런데 실수 전체는 — 이 장의 첫 층에서 증명했듯 — 비가산이다. 결론이 따라온다: 거의 모든 실수는 계산 불가능하다. 어떤 프로그램도 그 자릿수를 출력해 주지 못하는 수들이, 이름 붙일 수 있는 수들보다 압도적으로 많다.

계산 가능 실수들은 수 체계로서도 훌륭하게 작동한다: 사칙연산에 닫혀 있고, 나아가 실수가 갖는 대수적 성질(홀수 차수 다항방정식의 근 존재 등)을 그대로 갖춘 실폐체를 이룬다(라이스 1954) 정리 — "실폐체"는 이 성질 묶음의 전문 명칭으로, 여기서는 "대수 계산의 관점에서 실수의 완전한 축소판"으로 읽으면 된다. 그러나 어두운 면이 하나 있다: 두 계산 가능 실수가 같은지 판정하는 문제는 결정 불가능하다 정리. 두 프로그램이 자릿수를 아무리 오래 똑같이 뱉어도, "영원히 똑같을 것"인지는 유한한 관찰로 확정되지 않는다 — 이 비대칭의 정식화(그리고 왜 그것이 원리적 한계인지)는 6장의 주제다.

여기서 칸토어의 비가산 연속체와의 긴장이 정직하게 드러난다. "수 = 계산 과정" 존재론은 가산 개의 계산 가능 실수까지는 완전히 정식화되지만, 나머지 비가산 개의 계산 불가능 실수는 이 관점에서 '수'의 자격을 잃거나 다른 정당화를 요구한다. 이 긴장을 은폐하지 않는 것이 중요하다 — 잠재적 무한주의는 공짜가 아니고, 그 대가는 고전 실수 연속체의 거의 전부를 "이름 없는 어둠"으로 남겨 두는 것이다. (자연이 이 어둠을 실제로 사용하는지는 8장의 질문이다.)

'알레프₂ = 초월수'의 교정 — 그리고 직관의 구제

마지막으로, 이 장의 도구가 다 모였으니 저자의 사변 하나를 정면으로 검토할 수 있다. 글 21은 수 체계의 확장(대수적 수 → 초월수)을 알레프 위계($\aleph_1$, $\aleph_2$)와 대응시켰다: 초월수는 $\aleph_2$ 쪽의 무한이 아니냐는 것이다. 용어부터: 대수적 수는 정수 계수 다항방정식의 근이 되는 수($\sqrt2$, $\sqrt[3]{5}$, 황금비 등 — 유리수 포함)이고, 초월수는 그렇지 않은 수($e$, $\pi$가 대표적 예)다.

이 대응은 표준 집합론에서 성립하지 않는다 정리. 교정은 세 개다.

1. 초월수의 농도는 정확히 $|\mathbb{R}| = 2^{\aleph_0}$이다. 다항방정식은 유한 데이터(계수 목록)이므로 대수적 수 전체는 가산집합이고(칸토어 1874), 비가산인 실수에서 가산집합을 덜어내도 크기는 그대로다. 초월수는 알레프 사다리의 새로운 계단이 아니라 실수 연속체와 같은 크기다.
2. $2^{\aleph_0}$이 $\aleph_1$인지 $\aleph_2$인지는 ZFC로 결정 불가능하다. 이것이 바로 이 장 첫 층에서 본 CH의 독립성이다. "실수의 크기가 알레프 사다리의 몇 번째 칸인가"부터가 규칙집이 결정하지 못하는 질문이므로, 특정 수 부류를 $\aleph_2$에 대응시키는 것은 출발부터 표준 이론이 지지할 수 없는 서술이다.
3. 수 체계의 확장은 농도를 키우지 않는다. $\mathbb{N}$부터 실대수적 수까지 전부 $\aleph_0$이고, $\mathbb{R}$, $\mathbb{C}$, 초월수, 계산 불가능 실수 전부 $2^{\aleph_0}$이다. 확장 사다리에서 기수가 뛰는 곳은 단 한 곳 — 2장에서 본 대로 $\mathbb{Q} \to \mathbb{R}$의 완비화(이 장의 코시 열 구성) — 뿐이다.

그러나 살릴 직관이 있다. "확장 단계마다 무한 계산의 질이 달라진다"는 알맹이는 옳은 방향을 보고 있었다 — 다만 그것을 재는 자는 농도(기수)가 아니라 계산 가능성·정의 가능성의 위계다. 이 장의 재료로 이미 사다리가 보인다:

$$\underbrace{\text{유리수}}_{\text{유한 데이터}} \;\to\; \underbrace{\text{대수적 수}}_{\text{유한 데이터 + 근 찾기}} \;\to\; \underbrace{\text{계산 가능 초월수 } (e,\ \pi)}_{\text{알고리즘적 무한 과정}} \;\to\; \underbrace{\text{계산 불가능 실수}}_{\text{어떤 알고리즘도 없음}}$$

이 네 칸 중 앞의 세 칸은 전부 가산이고 마지막 칸만 비가산이다 — 즉 이 사다리는 기수로는 거의 보이지 않고, "그 수를 산출하는 과정의 종류"로만 보인다. 저자가 찾던 사다리는 기수의 사다리가 아니라 이쪽이며, 실제로 존재하는 표준 이론이다. 이 사다리를 정밀하게 등급화한 것이 산술적 위계와 튜링 차수인데, 그 정확한 좌표는 6장에서 만든다.

무엇이 증명되었고, 무엇이 열려 있는가

저자의 한 문장 "대칭이 랜덤한 무한을 압축해 계산 가능하게 만든다"(글 19)는 이 장의 세 층 각각에서 정리 수준의 대응물을 갖는다. 전단사 대칭이 크기를 압축하고(기수 — 무한의 등급화), 호모지니티(유한 조각의 대칭이 전체로 확장되는 울트라호모지니어스 성질)가 랜덤 구성을 유일 구조로 압축하며(라도 그래프/Fraïssé 극한), $SL_2(\mathbb{Z})$ 대칭이 무한 전개를 유한 행렬로 압축한다(라그랑주 정리). 사변으로 들리는 문장에 이만한 담보가 붙는 일은 드물다.

동시에, 압축이 실패하는 지점 세 곳이 이 프레임의 정직한 경계선이다: CH의 결정 불가능성(크기의 층 내부 질문 하나가 ZFC 밖에 있다), 계산 불가능 실수의 존재(과정 존재론이 포괄하지 못하는 비가산의 어둠), 힌친 상수를 만족함이 증명된 명시적 상수의 부재(통계 법칙은 완벽한데 이름 있는 수 하나도 그 법칙 아래 있음이 증명되지 않았다).

5장 요약

• 무한 집합의 크기는 전단사(완벽한 짝짓기)로 비교한다. 자연수 크기($\aleph_0$)의 무한은 "부분이 전체와 같은 크기"라는, 유한에 없는 성질을 갖는다(힐베르트 호텔).
• 대각선 논법은 어떤 목록에도 없는 원소를 자동 생산하여 $|X| < |2^X|$를 증명한다 — 무한에는 끝없는 등급이 있고, 실수($2^{\aleph_0}$)는 자연수보다 진짜로 크다. 이 논법은 6장에서 정지 문제에 재사용된다.
• $\aleph_0$과 $2^{\aleph_0}$ 사이에 등급이 있는지(연속체 가설)는 ZFC와 독립이다 정리 — "참도 거짓도 아니다"가 아니라 "이 규칙집으로는 결정 불가"라는 뜻이다.
• 무한은 대칭을 보장하지 않는다(강직 구조 존재). 그러나 라도 그래프에서는 독립 동전 구성이 확률 1로 확장 성질을 만족하고, 그 결과 유일한 동형류와 울트라호모지니티가 나온다 정리.
• 연분수는 밑 선택 없는 표준 전개로, 유한 ⟺ 유리수, 궁극적 주기 ⟺ 이차 무리수(라그랑주 정리)다. 주기 전개는 $SL_2(\mathbb{Z})$ 행렬 하나로 압축된다 — "대칭이 무한을 압축한다"(글 19)의 증명된 사례.
• 자릿수의 통계는 가우스 사상의 에르고딕성이 지배한다: 거의 모든 실수의 자릿수 기하평균은 힌친 상수 $K_0$으로 수렴한다 정리 — 그러나 그 법칙을 만족함이 증명된 이름 있는 상수는 하나도 없다.
• 실수의 코시 열 구성에서 수 = 실질적으로 동일한 수렴 과정들의 동치류이며($1 = 0.999\dots$는 같은 동치류의 두 대표원), 저자의 "무한 = 끝나지 않는 계산"은 잠재적 무한주의의 컴퓨팅 버전으로 표준 계보에 정합한다.
• 계산 가능 실수(자릿수를 출력하는 프로그램이 있는 수)는 가산 개뿐이다 — '수 = 계산 과정' 존재론의 정확한 유효 범위이자, 비가산 개의 계산 불가능 실수라는 정직한 경계. '알레프₂ = 초월수'는 교정되지만, 그 직관은 계산 가능성의 위계로 구제된다(→ 6장).

쉬운 출구 — 직관 카드

깊은 출구 — 대학원으로 가는 길