3장 — 소수: 패턴은 대상이 아니라 좌표계에 산다

이 장에서 배우는 것 — 소수의 목록은 아무리 들여다봐도 랜덤해 보인다. 그런데 소수를 적절한 대칭 구조 위에 올려놓고 읽으면 정확한 법칙이 나타난다. 이 장의 뼈대는 그 법칙들을 세 층으로 가르는 일이다: (1) 완전히 증명된 정리의 층, (2) 함수체라는 평행 세계에서만 증명된 층, (3) 강한 증거는 있으나 미해결인 프로그램의 층. 새로 만나는 개념은 산술의 기본정리, 소수정리와 $\pi(x)$, 자연밀도, 오일러 $\varphi$, 콜모고로프 복잡도, 디리클레 지표, 프로베니우스, 체보타레프 밀도 정리, 리만 제타함수와 영점, 고유값, 랜덤 행렬(GUE), 크라메르 모형이다. 군·모듈러 산술은 1장, 갈루아 군·푸리에 비유는 2장에서 가져온다.

들어가며 — 랜덤해 보이는 목록, 시계처럼 정확한 통계

소수를 순서대로 적어 보자.

$$2,\ 3,\ 5,\ 7,\ 11,\ 13,\ 17,\ 19,\ 23,\ 29,\ 31,\ 37,\ 41,\ 43,\ 47,\ \dots$$

다음 소수가 언제 나올지 말해 주는 간단한 공식은 없다. 간격은 2였다가(11, 13), 갑자기 벌어졌다가(23, 29), 다시 좁아진다. 목록만 보면 동전 던지기 기록 같다. 그런데 이 목록에서 한 걸음 물러나 통계를 물으면 상황이 급변한다. "100만 이하에 소수가 몇 개냐"는 질문에는 오차가 갈수록 줄어드는 근사 공식이 있고(잠시 뒤에 보는 소수정리), "소수를 4로 나눈 나머지가 1인 것과 3인 것 중 어느 쪽이 많으냐"는 질문에는 "장기적으로 정확히 반반"이라는 증명된 답이 있다.

개별 소수는 예측 불가능한데 소수의 통계는 시계처럼 정확하다 — 이 긴장이 이 장 전체의 주제다.

이 블로그의 저자는 소수를 "숫자를 압축하여 나타내는 노력의 최전선"(글 3)으로, "곱셈으로 도달할 수 없는 수들의 집합"(글 21)으로 읽었고, "소수의 규칙 발견 = 압축의 혁신"(글 3, 21, 35)이라는 정보이론적 재해석을 제안했다. 그리고 소수의 패턴이 대칭 구조의 확장이라는 맥락 속에서 의미를 갖는다고 직관했다. 표준 수학은 이 직관에 놀랄 만큼 정확한 좌표를 제공한다. 핵심 테제를 먼저 말해 두자.

소수 분포의 패턴은 소수 자신이 아니라, 소수가 놓인 대칭 구조 — 유한 아벨 군의 지표, 갈루아 군, 유니터리 군, 프로베니우스 작용 — 를 좌표계로 삼을 때 비로소 법칙으로 읽힌다.

단, 이 테제는 통째로 참이거나 통째로 추측인 것이 아니다. 정확히 세 층으로 갈라진다.

1. 증명된 정리의 층 — 디리클레, 체보타레프, 리만–폰 망골트 명시 공식. 여기는 의심의 여지가 없다.
2. 함수체에서만 증명된 층 — 유한체 위의 평행 세계에서는 "영점 = 대칭의 고유값"까지 정리다(들리뉴). 우리 세계(수체)로의 이식은 미완이다.
3. 강한 증거를 가진 미해결 프로그램의 층 — 몽고메리–다이슨 GUE, 힐베르트–폴리아, 랭글랜즈. 방대한 수치 증거와 부분 결과가 있으나, 증명된 정리가 아니다.

이 장은 이 순서로 올라간다. 어느 층에 있는 주장인지를 한 번도 흐리지 않는 것 — 그것이 이 장이 독자와 맺는 약속이다.

연구 계보 | 질문이 어떻게 자랐는가

소수 연구는 목록을 더 오래 들여다본 역사가 아니다. 직접 세기 어려울 때마다 새 좌표계가 발명되었고, 그 좌표계가 질문 자체를 바꾸었다.

곱셈의 원자 — 산술의 기본정리

곱셈의 눈으로 자연수를 보자. $12 = 2 \times 2 \times 3$, $60 = 2 \times 2 \times 3 \times 5$, $97$은… 더 쪼개지지 않는다. 소수(prime)란 1과 자기 자신 외의 약수가 없는, 곱셈으로는 더 쪼갤 수 없는 수다.

그래서 소수를 "곱셈의 원자"라고 부른다. 이 비유는 "더 쪼갤 수 없는 기본 단위이고, 모든 수가 그 조합으로 유일하게 지어진다"는 뜻까지 정확하다 — 물리학의 원자처럼 내부 구조가 또 있는 것은 아니니, 거기까지 끌고 가지는 말자. 1장의 레고 비유로 말하면, 자연수의 곱셈 구조는 소수라는 블록들로 자유롭게 조립되는 체계(자유 가환 모노이드 — 1장)이고 소수는 그 자유 생성자다. 문자 그대로 "숫자의 원자"다.

저자가 소수를 "곱셈으로 도달할 수 없는 수들의 집합"(글 21)이라 부른 것은 이 그림의 정확한 언어화다: 다른 수들의 곱으로는 만들어지지 않기에, 목록에 새로 추가될 수밖에 없는 수들.

소수의 개수 세기 — 소수정리와 자연밀도

소수가 무한히 많다는 것은 유클리드 이래 알려진 정리다. 그렇다면 다음 질문은 "얼마나 촘촘히 있는가"다. 이를 위해 세기 함수를 하나 정의한다.

$\pi(x)$ — $x$ 이하의 소수의 개수를 세는 함수. 예를 들어 $\pi(10) = 4$다(2, 3, 5, 7). 표기 주의: 원주율 $\pi$와 소수 세기 함수 $\pi(x)$는 괄호의 유무로 구분한다. 괄호가 붙어 있으면 함수, 없으면 3.14159…다. 관례가 이렇게 굳어 버렸으니 어쩔 수 없다. 또 하나의 관례: 이 책에서 $\log$는 밑이 $e$인 자연로그다.

$\pi(x)$의 행동에 대한 답이 해석적 수론의 출발점인 소수정리다.

정리 소수정리(1896): $\pi(x) \sim x/\log x$. 즉 $x$가 커질수록 두 양의 비율이 1로 수렴한다.

물결표 $\sim$는 미적분학의 극한 언어다: $\lim_{x\to\infty} \pi(x) \big/ \frac{x}{\log x} = 1$. 실제 숫자로 체감해 보자.

소수정리를 확률의 언어로 다시 읽으면 이 장 전체에서 반복될 직관이 나온다: $n$ 근방에서 아무 수나 하나 찍었을 때 그것이 소수일 "확률"은 약 $1/\log n$이다. $n = e^{10} \approx 22{,}000$ 근방이면 약 10분의 1, $n = e^{100}$ 근방이면 약 100분의 1. 소수는 갈수록 희박해지지만, 사라질 만큼 빠르게 희박해지지는 않는다.

"희박하다"를 정확한 개념으로 만들어 두자. 이 개념은 4장(콜라츠)에서 그대로 재사용된다.

압축의 최전선 — 콜모고로프 복잡도가 소수의 무한성을 증명한다

저자의 "소수 = 압축의 최전선"(글 3) 직관에 가장 가까운 표준 수학은 콜모고로프 복잡도다. 이 개념은 7장(랜덤에서 질서로)에서 주역으로 재등장하니 여기서 정식으로 정의해 둔다.

기본 사실 하나가 필요하다. 대부분의 수는 압축되지 않는다. 이유는 비둘기집 논법이다: 길이가 $m$비트 미만인 프로그램은 다 합쳐도 $2^m$개가 안 되므로, $m$비트짜리 대상 $2^m$개 전부에게 더 짧은 프로그램을 하나씩 배정할 수 없다. 압축 프로그램이 아무리 영리해도 자리 자체가 모자란다.

이제 소수의 무한성을 이 언어로 증명할 수 있다. 차이틴(Chaitin) 류의 논증이다.

원문 리포트의 요약이 정확하다: "소수가 부족하면 자연수 전체가 과도하게 압축 가능해진다." 소수의 무한성이 정보량 보존과 동치 수준으로 묶이는 것이다. 저자의 압축 직관은 이 지점에서 표준 수학과 정확히 만난다.

다만 교정 하나를 붙여야 한다. "소인수분해 = 압축"은 무조건적 명제가 아니다. 위 논증이 보여주듯 그것은 귀류법의 형태로 — "소수가 유한하다면 압축이 된다, 그런데 그러면 안 된다" — 성립하는 것이고, 콜모고로프 관점에서 거의 모든 정수는 어떤 표현으로도 유의미하게 압축되지 않는다. 게다가 소인수분해를 실제로 구하는 일 자체는 계산적으로 어렵다고 믿어진다 — 인터넷 암호 체계 RSA가 바로 이 어려움에 기대어 서 있다. 압축 표현이 존재한다는 것과 그것을 빨리 찾을 수 있다는 것은 다른 문제다.

층위 1 — 증명된 정리들: 대칭 좌표계가 소수를 읽는다

이제 이 장의 본론이다. 소수 자체에는 보이지 않던 패턴이, 소수를 대칭 구조 위에 올려놓는 순간 법칙이 되는 사건들 — 그것도 완전히 증명된 정리들 — 을 셋 본다.

디리클레(1837) — 시계 판 위에 소수를 뿌리면

1장의 시계 산술을 소환하자. 자연수를 4로 나눈 나머지로 분류하면 네 개의 칸(잉여류 — 나머지가 같은 수들의 묶음, 1장)이 생긴다: 나머지 0, 1, 2, 3. 소수들은 어느 칸에 사는가? 나머지 0 칸(4의 배수)에는 소수가 없고, 나머지 2 칸(짝수)에는 2 하나뿐이다. 그러니 2를 제외한 모든 소수는 나머지 1 칸과 나머지 3 칸에 산다. 어느 쪽이 더 붐빌까?

정리 디리클레의 등차수열 정리(1837): $\gcd(a,q) = 1$이면(즉 $a$와 $q$가 서로소이면) 등차수열 $a,\ a+q,\ a+2q,\ \dots$ 안에 소수가 무한히 많다.

정리 후대의 등차수열 소수정리: 서로소인 각 잉여류의 소수 개수는 점근적으로 전체의 $1/\varphi(q)$을 차지한다. 즉 “무한히 존재한다”와 “정확한 비율로 균등분배된다”는 같은 계보에 있지만, 디리클레가 1837년에 확립한 범위와 후대에 완성된 정밀한 점근식은 구분해야 한다.

여기서 $\varphi(q)$는 오일러 파이 함수다: $q$ 이하의 자연수 중 $q$와 서로소인 것의 개수. $\varphi(4) = 2$(1과 3), $\varphi(10) = 4$(1, 3, 7, 9), $\varphi(12) = 4$(1, 5, 7, 11). 요컨대 $\varphi(q)$는 “mod $q$의 시계 판에서 소수가 입주할 수 있는 칸의 개수”이고, 후대의 등차수열 소수정리는 소수들이 장기적으로 각 칸에 $1/\varphi(q)$씩 배분된다고 말한다.

여기서 잠깐 — 왜 이것이 놀라운지 보자. 소수는 곱셈의 언어로 정의된 대상이다. "4로 나눈 나머지"는 소수의 정의 어디에도 없는, 우리가 밖에서 들이댄 좌표계다. 그런데 소수는 그 좌표계의 눈금에 대해 완벽한 균등 분배라는 법칙을 따른다. 소수 자체에는 mod $q$ 구조가 없지만, 대칭 좌표계를 외부에서 씌우면 소수가 그 성분들에 균등 분배된다 — 원문 리포트의 표현으로 "패턴은 대상이 아니라 대상을 읽는 대칭 구조에 속한다"는 저자 관점의 최초 사례다. 그리고 역사적으로도 최초다: 소수의 패턴이 대칭(군의 표현론)을 통해 읽힌 첫 사건.

증명의 엔진이 무엇이었는지가 핵심이다. 디리클레의 증명은 유한 아벨 군(1장) $(\mathbb{Z}/q\mathbb{Z})^\times$ — mod $q$의 잉여류 중 $q$와 서로소인 것들을 곱셈으로 묶은 군 — 의 지표를 사용한다. 2장에서 푸리에 분석을 "신호를 순수 진동들의 합으로 분해하는 기술"로 만났는데, 지표는 정확히 그 순수 진동의 군 버전이다: 군 위에 정의된 주파수 성분. 디리클레의 증명은 유한 아벨 군 위의 푸리에 분석이다.

체보타레프(1926) — 소수는 대칭군을 굴리는 주사위

디리클레의 시계 판은 아벨 군, 즉 순서를 바꿔도 되는 대칭(1장)의 세계였다. 이것을 비아벨 대칭 — 2장에서 만난 갈루아 군 — 으로 확장한 것이 체보타레프 밀도 정리이고, 여기서 이 장의 제목이 완성된다.

2장의 복습 한 줄: 다항식의 갈루아 군이란 그 다항식의 근들을 서로 바꿔치기해도 근들 사이의 대수 관계가 깨지지 않는 "허용된 섞기"들의 군이었다($x^2 - 2$의 $\pm\sqrt2$ 맞바꾸기). 여기에 새 등장인물 하나를 더한다.

프로베니우스(Frobenius). 소수 $p$마다, mod $p$의 세계에는 $x \mapsto x^p$라는 특별한 변환이 있다(이 사상이 유한체의 구조를 보존하는 대칭이라는 것이 출발점인데, 정의는 이 한 줄만 가져가면 된다). 이 변환은 다항식의 분해체 — 근을 전부 집어넣어 만든 확장된 수 체계 — 의 갈루아 군 $G$ 안에서 원소 하나를 지정한다. 그것을 $\mathrm{Frob}_p$라 쓴다. 직관적으로: 소수 $p$는 갈루아 군이라는 대칭 구조 안에서 측정값 하나를 뽑아내는 측정 장치다. $p$를 바꾸면 측정값도 바뀐다.

이제 정리를 말할 수 있다.

정리 체보타레프 밀도 정리(1926): 갈루아 군 $G$를 갖는 유한 갈루아 확장에서, 비분기 소수(유한 개의 예외적 소수 — 분기 소수 — 를 뺀 나머지 전부) 중 프로베니우스 켤레류가 주어진 $C \subset G$와 일치하는 것들의 자연밀도는 정확히 $|C|/|G|$다.

말로 다시 읽자: 갈루아 군을 몇 개의 방(켤레류)으로 나누면, 소수들은 각 방을 그 방의 크기에 비례하는 빈도로 방문한다. 어떤 방도 편애받지 않고, 어떤 방도 버려지지 않는다.

표준 예제가 $x^3 - 2$다. 이 다항식의 분해체의 갈루아 군은 $S_3$ — 1장에서 카드 3장 섞기로, 또 정삼각형의 대칭 6개로 만난 그 군이다. $S_3$의 원소 6개는 세 방으로 나뉜다: 항등원 1개, 회전형 2개, 뒤집기형 3개. 방 크기의 비율은 $1:2:3$, 따라서 밀도는 $1/6,\ 1/3,\ 1/2$. 그리고 소수 $p$가 어느 방에 있는가는 $x^3-2$를 mod $p$로 인수분해했을 때의 모양과 일대일로 대응한다 — 완전 분해되는 소수의 밀도가 $1/6$, 기약으로 남는(전혀 인수분해되지 않는) 밀도가 $1/3$, 일차×이차로 쪼개지는 밀도가 $1/2$이다(이 대응 자체의 유도는 이 책의 범위 밖이라 결과만 인용한다).

원문 리포트의 정식화가 이 장의 제목을 그대로 담고 있다: "각 소수는 대칭군의 원소(켤레류)를 하나 지정하는 측정 장치이고, 소수열 전체는 그 대칭군을 균등하게 훑는다." 소수 $p$의 '의미'가 $p$라는 값이 아니라 갈루아 군 안에서 $\mathrm{Frob}_p$가 차지하는 위치라는 점에서, "수는 구조 속의 자리"라는 저자의 구조주의(글 10, 23)와 정확히 공명한다. "소수는 대칭 구조 속에서 의미를 갖는 패턴"이라는 저자 명제의 가장 직접적이고 완전히 증명된 정식화가 바로 이 정리다.

리만–폰 망골트 — 소수 계단의 주파수 분해

층위 1의 마지막 정리는 규모가 다르다. 소수의 분포 전체를, 진동들의 합으로 남김없이 분해한다.

먼저 주인공인 함수부터. 리만 제타함수는 미적분학에서 본 $p$-급수의 형제다:

$$\zeta(s) = \sum_{n=1}^{\infty} \frac{1}{n^s} = 1 + \frac{1}{2^s} + \frac{1}{3^s} + \frac{1}{4^s} + \cdots$$

$s > 1$에서 수렴한다는 것은 적분 판정법으로 확인했던 그대로다. 이 급수가 소수와 무슨 상관인가? 오일러의 발견을 손으로 재현해 보자.

그러니 $\zeta$는 소수 전체의 정보를 하나의 함수에 압축해 담고 있다. 문제는 이 함수의 진짜 비밀 — 영점, 즉 $\zeta(s) = 0$이 되는 지점들 — 이 급수가 수렴하는 $s > 1$ 영역 바깥에 산다는 것이다. 거기에 가려면 정의역을 넓혀야 한다.

확장된 $\zeta$의 영점 중 $-2, -4, -6, \dots$에 놓인 것들은 확장 공식에서 기계적으로 생기는 "자명 영점"이고, 진짜 정보는 $0 < \mathrm{Re}(s) < 1$ 띠 안의 비자명 영점들에 있다. 이제 층위 1의 대미를 장식하는 정리를 적는다. 소수 세기의 기술적 변형이 하나 필요하다: 체비쇼프 함수 $\psi(x) = \sum_{p^k \le x} \log p$ — $x$ 이하의 소수 거듭제곱마다 $\log p$만큼 점프하며 올라가는 계단 함수로, $\pi(x)$의 사촌이다(각 소수를 1 대신 $\log p$의 무게로 세는 것인데, 이렇게 세어야 공식이 가장 깨끗해진다).

정리 리만–폰 망골트 명시 공식(리만 1859 제시, 폰 망골트 1895 증명):

$$\psi(x) = x - \sum_{\rho} \frac{x^{\rho}}{\rho} - \log 2\pi - \tfrac{1}{2}\log(1 - x^{-2})$$

합은 제타함수의 비자명 영점 $\rho$ 전체에 걸친다. 말로 다시 읽자: 소수 계단 $\psi(x)$ = 매끈한 주항 $x$ − 영점들이 만드는 진동의 총합 − 상수 보정 − ($x$가 커지면 사라지는) 잔여 보정.

항별로 뜯어 보자. 주항 $x$는 "소수는 평균적으로 밀도 $1/\log n$로 나온다"는 소수정리의 몸통이다. 진동 항이 핵심이다: 영점은 켤레쌍 $\rho = \beta \pm i\gamma$로 나타나고, 각 쌍은

$$\frac{2x^{\beta}}{|\rho|}\cos(\gamma \log x - \arg\rho)$$

라는 진동 성분 하나를 기여한다. 이 식도 말로 읽어 두자: 진폭은 약 $2x^{\beta}/|\rho|$ — 영점의 실수부 $\beta$가 진폭이 자라는 속도를 결정하고 — 진동수는 (로그 눈금에서) $\gamma$ — 영점의 허수부가 얼마나 빨리 떨리는지를 결정한다. 복소수 거듭제곱이 낯설면 한 줄 환기: $x^{i\gamma} = \cos(\gamma\log x) + i\sin(\gamma\log x)$ (오일러 공식) — 크기 1로 빙글빙글 도는 순수 진동이다.

이 공식이 말하는 바를 원문 리포트는 이렇게 요약한다: "'소수 분포의 요동 ⟺ 영점의 위치'는 추측이 아니라 무조건적 정리다." 이 문장은 아무리 강조해도 지나치지 않다 — 리만 가설이 미해결이라는 말을 들어 본 독자는 "영점과 소수의 관계"가 통째로 추측이라고 오해하기 쉽지만, 관계 자체는 층위 1의 완전히 증명된 정리다. 미해결인 것은 영점들이 정확히 어디에 있느냐다.

저자의 "소수의 규칙 발견 = 압축의 혁신"(글 3, 21)이 여기서 정확한 의미를 얻는다: 소수 목록이라는 겉보기 랜덤 데이터가 영점 목록이라는 다른 좌표계로 손실 없이 재표현된다. 다만 원문의 교정을 그대로 보존하자 — 이는 압축이라기보다 기저 변환(같은 정보를 다른 좌표축으로 다시 쓰기)이며, 영점 목록 자체가 유한한 규칙으로 압축된다는 증거는 없다. 정보가 줄어든 것이 아니라 옮겨 적힌 것이다.

그리고 그 미해결 문제의 이름이 나올 차례다.

추측 리만 가설(RH): 모든 비자명 영점이 $\mathrm{Re}(s) = 1/2$ 위에 있다 — 미해결.

$\mathrm{Re}(s) = 1/2$인 수직선을 임계선이라 부른다. 명시 공식의 언어로 번역하면 RH의 뜻이 생생해진다: 진폭이 $x^{\beta}$로 자라므로, 영점의 실수부 $\beta$는 그 진동 성분의 "성장률"이다. RH는 모든 주파수 성분의 성장률이 $x^{1/2}$로 똑같다는 주장 — 소수의 요동이 어느 한 진동에 지배되지 않고 최대한 고르게, 가능한 한 작게 유지된다는 주장이다. 지금까지 계산된 수조 개 이상의 영점은 전부 임계선 위에 있지만, 증명은 없다.

층위 2 — 함수체: 평행 세계에서는 이미 정리다

여기서 잠깐 — 이 장의 정직성 구조가 갈리는 지점이니 호흡을 고르자. 층위 1의 정리들은 "영점의 위치가 소수의 요동을 지배한다"까지 왔다. 그럼 영점의 위치는 무엇이 지배하는가? "영점은 어떤 대칭 작용의 고유값이다"라는 답이 유력한 후보인데, 이 답의 지위가 세계에 따라 다르다. 우리 세계(자연수와 리만 제타의 세계 — 수체라 부른다)에서는 프로그램이고, 평행 세계(함수체)에서는 정리다.

먼저 "고유값"이라는 도구를 정식으로 장만하자. 이 개념은 8장(루프 양자중력의 스펙트럼)에서 재사용된다.

이제 평행 세계 이야기다. 유한체 $\mathbb{F}_p$(2장 — 사칙연산이 닫히는 유한한 수 체계) 위에서도 다항식과 도형과 "제타함수"를 만들 수 있고, 놀랍게도 그 세계에는 리만 제타의 세계에 없는 무기가 하나 있다: 프로베니우스 $x \mapsto x^q$라는, 세계 전체를 관통하는 근본 대칭이 눈앞에 손으로 만져지게 존재한다.

정리 들리뉴(1974, 베유 추측의 리만 가설 부분): 유한체 위 (매끄러운 사영) 대수다양체의 제타함수의 영점과 극점은 프로베니우스 작용의 고유값이고, 그 절댓값은 정확히 예측된 크기($i$번째 층에서 $q^{i/2}$)를 갖는다.

세부 용어는 아래 "더 깊이" 상자로 미루고 알맹이만 새기자. 함수체 세계에서는 "영점 = 대칭 작용소의 고유값"이 문자 그대로 증명된 정리다. 영점의 절댓값이 $q^{i/2}$라는 결론은 그 세계 버전의 리만 가설이다 — 즉 평행 세계에서 RH는 이미 증명되었고, 증명의 방법이 바로 "영점을 대칭의 고유값으로 실현하기"였다.

이것이 저자 테제 — 소수의 패턴은 대칭 구조 속에서 의미를 갖는다 — 의 최강 증거이자, 동시에 한계 표시선이다: 수체(리만 제타)로의 이식은 미완이다. 우리 세계에는 프로베니우스에 해당하는 "만져지는 대칭"이 아직 발견되지 않았다.

층위 2에는 통계 버전도 있다. Katz–Sarnak(1999)은 제타함수의 친척들인 L-함수(2장의 랭글랜즈 소절에서 이름만 만난 그 대상)를 하나씩 보지 않고 족(family) — 같은 출신 성분의 L-함수 무리 — 으로 모아서 보면, 임계점 근방 낮은 높이 영점들의 통계가 세 가지 고전 콤팩트 군(유니터리 $U$, 직교 $O$, 심플렉틱 $Sp$ — 여기서는 이름만 두자) 중 하나의 랜덤 행렬 통계로 분류됨을 보였다. 지위를 정확히 나누면: 함수체에서는 정리 — 정확히는 $q \to \infty$ 극한에서 족의 기하가 대칭 유형을 결정한다는 등분포 정리 — 이고, 수체에서는 밀도 추측이며, 테스트 함수의 푸리에 지지를 제한한 부분 결과만 있다(이 한정어의 뜻은 다음 절의 몽고메리 정리에서 설명한다). "패턴은 개체의 속성이 아니라 그 개체가 속한 대칭 유형의 속성"이라는, 저자의 구조주의를 통계 수준에서 구현한 분류학이다.

층위 3 — 강한 증거를 가진 미해결 프로그램

이제 가장 극적이고, 가장 조심해야 하는 층이다. 여기 나오는 주장들은 수치 증거가 압도적이고 부분 결과도 있지만, 증명된 정리가 아니다. 문장마다 지위를 명시하며 간다.

몽고메리–다이슨 GUE — 영점들은 서로 밀어낸다

임계선 위의 영점들을 아래에서부터 순서대로 나열하고 이웃 간의 간격을 관찰하면 무엇이 보일까? 1972년, 수론학자 몽고메리가 계산해 낸 영점 쌍의 통계를 물리학자 다이슨이 보고 한마디로 알아맞힌 일화가 이 프로그램의 출발점이다: "그것은 랜덤 행렬의 고유값 통계다."

먼저 랜덤 행렬이 무엇인지부터.

랜덤 행렬과 GUE. 큰 정사각 행렬의 성분을 랜덤으로(가우스 분포로) 채우되, 켤레 전치(행과 열을 맞바꾼 뒤 각 성분에 복소켤레를 취한 것)에 대해 대칭이 되도록 — 이런 복소 행렬을 에르미트 행렬이라 하며, 고유값이 모두 실수가 된다는 좋은 성질이 있다 — 채운 앙상블(행렬들의 확률적 모둠)을 생각한다. 그중 통계 분포가 유니터리 변환(길이를 보존하는 복소 회전)으로 기저를 바꿔도 변하지 않는 표준 모형이 GUE(가우스 유니터리 앙상블)다. 이런 행렬의 고유값들은 실수축 위에 흩어지는데, 완전히 제멋대로 흩어지는 것이 아니라 독특한 버릇이 있다: 서로 밀어낸다. 두 고유값이 아주 가까이 붙는 일이 통계적으로 억제된다.

몽고메리가 증명한 것을 한정어까지 정확히 적자.

정리 RH를 가정하고, 푸리에 변환의 지지가 $(-1,1)$에 제한된 테스트 함수 클래스에 대해: 몽고메리(1973)는 임계선 위 영점들의 쌍상관(간격 통계를 요약하는 함수)이 GUE 고유값의 쌍상관

$$1 - \Big(\frac{\sin \pi u}{\pi u}\Big)^2$$

과 일치함을 증명했다.

추측 일반형: 위 제한을 벗어난 몽고메리–다이슨 쌍상관은 미해결이다.

식부터 말로 읽자: $u$는 (평균 간격으로 정규화한) 두 영점 사이 거리이고, 위 식은 "거리 $u$에서 이웃 영점을 발견할 상대적 확률"이다. $u \to 0$이면 $\sin \pi u / \pi u \to 1$이므로 확률이 $0$으로 죽는다 — 영점들이 서로 밀어낸다는 버릇이 식에 그대로 박혀 있다. 완전히 무관하게 뿌려진 점들(포아송형)이라면 이 값은 $1$로 일정했을 것이다.

한정어 두 개도 풀어 두자. "RH를 가정하고"는 말 그대로 조건부라는 뜻이다. "테스트 함수의 푸리에 지지 제한"은, 통계를 관측할 때 쓰는 창(테스트 함수)의 주파수 성분이 좁은 범위 $(-1,1)$에 들어 있는 경우만 다뤘다는 뜻이다 — 좁은 창으로 본 풍경만 증명되었고, 창을 넓히는 순간 미해결이 된다. 앞 절 Katz–Sarnak의 "부분 결과만 있다"의 한정어도 정확히 같은 종류다.

증거는 어디까지 왔는가? 오들리즈코(1987, 이후 $10^{20}$번째 영점 근방까지의 대규모 계산)의 수치 실험에서 영점 간격 통계는 GUE 예측과 놀랍게 일치한다. 그래프를 겹쳐 그리면 눈으로 구분이 안 될 정도다. 그럼에도 — 이 판정을 그대로 새기자 — "제타 영점이 GUE를 따른다"는 증명된 정리가 아니다. (RH 가정 + 제한된 클래스에서의) 부분 정리와 수치 증거의 결합일 뿐이다.

여기서 잠깐, “랜덤”이라는 말의 정체에 주목하자. GUE는 아무 랜덤이 아니다. 정리 큰 행렬의 벌크(고유값 목록의 중앙부)에서: 사인 커널 보편성은 예컨대 일반화 Wigner 에르미트 앙상블이라는 큰 모형군에서, 행마다 분산 규모를 맞추고 분산이 한쪽으로 찌그러지지 않으며 극단적으로 큰 성분이 충분히 드물다는 조건 아래 증명되어 있다. 이는 임의의 유니터리 불변 또는 “유니터리 대칭” 모형 전체에 무조건 적용되는 명제가 아니며, 벌크와 가장자리도 구분해야 한다. 따라서 “영점이 GUE처럼 행동한다”는 관측은 특정한 정규화 뒤의 국소 통계가 닮는다는 뜻이지, 영점 문제에 숨은 행렬 모형이 이미 발견되었다는 뜻은 아니다. “랜덤함이 대칭의 산물”이라는 문장은 이 연구 방향을 압축한 유추로 읽어야 한다.

힐베르트–폴리아 — 아직 발견되지 않은 연산자를 찾아서

영점 통계가 고유값 통계를 닮았다면, 자연스러운 꿈은 이것이다: 영점이 실제로 어떤 것의 고유값이라면?

비자명 영점을 $\rho = \tfrac{1}{2} + i\gamma$ 꼴로 쓰면, RH는 "$\gamma$가 모두 실수"라는 주장과 같아진다. 그런데 행렬의 무한차원 일반화 중 자기수반 연산자라 불리는 종류(대칭적인 행렬의 사촌)는 고유값이 반드시 실수다 — 위의 2×2 예제 $A$도 대칭 행렬이라 고유값 1, 3이 실수였다. 따라서:

추측 힐베르트–폴리아 프로그램: 비자명 영점의 허수부 $\gamma$들이 어떤 자기수반 연산자의 고유값 목록과 일치한다면, 고유값의 실수성으로부터 RH가 따라온다.

이 방향으로 베리–키팅의 $H = xp$ 제안(1999), 콘의 비가환기하 트레이스 공식(1998) 등 진지한 시도들이 있으나, 원문 리포트의 판정을 토씨까지 보존한다: 이것은 "증명으로 이어지지 않은 프로그램이며, '영점은 연산자의 고유값이다'라고 단정하면 오류다." 지금까지 그런 연산자는 발견되지 않았고, 존재한다는 증명도 없다. GUE 통계는 이 프로그램의 정황 증거일 뿐이다.

저자의 언어로 번역하면 이 프로그램의 매력과 위험이 동시에 보인다. "소수(를 지배하는 영점)는 아직 발견되지 않은 어떤 전이 규칙의 고유 진동"이라는 추측 — 방향은 저자의 직관(수학의 밑바닥에 상태-전이 기계가 있다)과 정확히 같으나, 그 규칙의 실체가 미발견이라는 것이 현재 상태의 전부다. 3층 구분이 여기서 가장 절실하다: 함수체(층위 2)에서는 이 꿈이 실현된 정리이고, 수체(층위 3)에서는 꿈이 아직 꿈이다.

랭글랜즈 상호법칙 — 두 세계의 사전

층위 3의 마지막 항목은 2장 끝에서 "더 깊이" 상자로 만난 랭글랜즈 프로그램의 소수 버전이다. 여기서는 좌표만 확인한다.

추측 랭글랜즈 상호법칙: 갈루아 군의 $n$차원 표현(2장 — 군을 행렬로 실현하기)에서 나오는 L-함수와, 해석학 쪽 대상($\mathrm{GL}_n$의 보형 표현)에서 나오는 L-함수가 일치한다는 주장. 각 비분기 소수 $p$에서 대칭 쪽 데이터(프로베니우스 고유값)와 해석 쪽 데이터(사타케 매개변수)가 일치하며 — 유한 개의 분기 소수는 제외하고 — 분기점까지 포함한 완전한 대응은 국소-대역 호환성이라는 이름으로 정식화된다.

증명된 사례들: $\mathrm{GL}_1$(유체론類體論 — 아벨 확장의 갈루아 이론이라는 이름만 두자), $\mathrm{GL}_2$의 큰 부분(모듈러성 정리 — 페르마 마지막 정리 증명의 엔진), 그리고 라포르그가 증명한 전역 함수체 위 $\mathrm{GL}_n$ 대응이 있다. 이를 “함수체 랭글랜즈 전체”로 넓혀 말해서는 안 된다. 일반 수체 케이스는 광대한 미해결 영역이다.

디리클레(아벨 지표)에서 체보타레프(갈루아 군)로, 다시 랭글랜즈(임의 차원 표현)로 — 같은 문장의 점점 거대한 일반화다: 소수는 대칭 구조를 훑는 측정 장치다. 다만 일반화가 커질수록 증명은 얇아진다. 이 장의 3층 구분은 그 정직한 기록이다.

랜덤과 대칭은 동전의 양면 — 크라메르의 동전, 마이어의 경고

장을 닫기 전에, 처음의 긴장 — 개별 소수는 랜덤 같고 통계는 법칙 같다 — 으로 돌아가 정면으로 답하자. "소수는 랜덤한가?"

크라메르 모형은 유용하다. 그러나 1985년, 마이어가 이 모형의 한계를 무조건적으로 증명했다.

정리 마이어(1985): 짧은 구간 $[x,\ x + \log^M x]$에서의 소수 개수는, 크라메르 모형이 예측하는 값 주위로 수렴하지 않고 초과/미달 진동이 사라지지 않는다 — 모형의 예측이 실패한다.

실패의 원인이 무엇인지가 이 장의 결정타다: 정확히, 대칭(합동) 구조의 무시다. 실제 소수는 독립 동전이 아니다 — 2보다 큰 소수는 짝수 칸에 못 들어가고, 3보다 큰 소수는 3의 배수 칸에 못 들어가고, … 모든 $q$에 대해 mod $q$ 시계 판의 서로소 칸에만, 그것도 디리클레–체보타레프가 정한 비율로 들어가야 한다. 이 합동 제약들의 누적 효과가 짧은 구간에서는 지워지지 않아서, "완전 독립" 가정이 틀린 답을 낸다. 랜덤 항 단독으로는 실패한다는 것이 정리로 확정된 것이다.

그래서 현대 해석적 수론이 그리는 소수의 초상은 이렇다:

[휴리스틱] 다음 식은 단일 정리가 아니라 현대 수론의 작업 원리를 압축한 해석 도식이다. 합동 제약과 체보타레프 등분포는 정리지만, “제약 안에서의 최대 랜덤”은 문제에 따라 휴리스틱·추측·부분 정리의 지위를 갖는다.

$$\text{소수} = \underbrace{\text{대칭이 지정하는 구조적 제약}}_{\text{합동 조건, 체보타레프 등분포}} + \underbrace{\text{그 제약 안에서의 최대 랜덤}}_{\text{크라메르형 독립성, GUE 요동}}$$

“소수는 랜덤한가, 대칭적인가”는 잘못된 이분법이다. 디리클레·체보타레프는 대칭 항의 일부를 정리로 만들고, 마이어는 순수 독립 모형만으로 부족함을 정리로 보인다. 그러나 실제 소수가 정확히 어떤 의미에서 “제약 안의 최대 랜덤”인지 한 번에 규정하는 단일 정리는 없다.

이것은 저자의 창발 서사, "대칭이 랜덤한 무한을 압축해 계산 가능하게 만든다"(글 8, 18, 29의 종합 — 프롤로그의 한 문장 세계관)의 소수 버전이다. 소수라는 무한하고 랜덤해 보이는 대상에서 우리가 계산 가능한 법칙을 얻는 유일한 통로가, 소수를 읽는 대칭 좌표계였다는 것 — 이 장의 제목이 말하려던 전부다.

무엇이 증명되었고, 무엇이 열려 있는가

이 장의 정확성 보증을 한곳에 모은다. 원문 리포트의 "열린 문제의 경계"를 눈높이로 다시 쓴 것이다.

지지되는 부분. "소수 패턴은 대칭 구조 속에서 의미를 갖는다"는 명제는 디리클레·체보타레프에서 정리다. 소수 분포의 요동이 영점의 위치와 동치라는 것(명시 공식)도 무조건적 정리다. 그리고 함수체라는 평행 세계에서는 "영점 = 대칭의 고유값"까지 정리다(들리뉴).

한계. 우리 세계의 리만 제타에 대해서는: 힐베르트–폴리아는 미증명 프로그램이고, GUE 일치도 정리가 아니며(RH 가정 + 제한 클래스의 부분 정리 + 수치 증거), Katz–Sarnak의 수체 버전은 밀도 추측, 랭글랜즈 일반형도 미해결이다. 원문 리포트의 판정 그대로 — 저자의 통합 비전에 해당하는 수학의 가장 극적인 부분은 아직 "프로그램" 단계다.

이 표가 곧 이 장의 결론이다. 원문 리포트의 마지막 문장을 그대로 옮긴다: "이 3층 구분(정리 / 함수체 정리 / 프로그램)을 글에서 유지하는 것이 이 주제에서 가장 중요한 정확성이다."

3장 요약

• 소수는 곱셈의 원자다: 산술의 기본정리에 의해 모든 자연수가 소수의 곱으로 유일하게 지어진다. 정리 소수의 개수는 $\pi(x) \sim x/\log x$(소수정리)를 따르며, "$n$ 근방에서 소수일 확률 $\approx 1/\log n$"이라는 밀도 감각이 장 전체를 관통한다.
• 저자의 "소수 = 압축의 최전선" 직관은 콜모고로프 복잡도의 차이틴류 논증으로 정식화된다: 소수가 부족하면 자연수 전체가 과도하게 압축 가능해진다. 정리 단 "소인수분해 = 압축"은 귀류법 형태로만 성립하고, 거의 모든 정수는 압축되지 않는다.
• 층위 1(정리): 디리클레는 서로소 등차수열마다 소수가 무한함을 증명했고, 후대의 등차수열 소수정리가 mod $q$의 각 서로소 칸에 $1/\varphi(q)$씩 점근 균등분배됨을 확립했다. 증명의 엔진은 군 위의 주파수 성분인 지표다. 체보타레프 — 소수는 갈루아 군의 방(켤레류)들을 크기 비율 $|C|/|G|$로 방문하는 측정 장치다. 명시 공식 — 가중된 소수 계단은 적절한 수렴 방식 아래 제타 영점의 진동으로 재표현된다(압축이 아니라 기저 변환).
• 층위 2(함수체 정리): 평행 세계에서는 "영점 = 대칭(프로베니우스)의 고유값"이 문자 그대로 증명된 정리다(들리뉴 1974). 수체로의 이식은 미완이다.
• 층위 3(미해결 프로그램): 리만 가설, 몽고메리–다이슨 GUE(부분 정리 + 압도적 수치 증거 — 그러나 "영점이 GUE를 따른다"는 정리가 아니다), 힐베르트–폴리아(연산자는 미발견 — 단정하면 오류), 랭글랜즈 일반형. 방향은 저자의 직관과 같으나, 전부 열려 있다.
• 종합: 소수 = 대칭이 지정하는 구조적 제약 + 그 제약 안에서의 최대 랜덤(크라메르 모형은 휴리스틱, 그 단독 실패는 마이어의 정리). 대칭이 확률 법칙을 지정하고, 소수는 그 법칙 안에서 등분포한다 — 패턴은 대상이 아니라 좌표계에 산다.

쉬운 출구 — 직관 카드

깊은 출구 — 대학원으로 가는 길