일리야 수츠케버의 30 Papers: 현대 AI를 읽는 압축된 학습 지도

30papers.com은 일리야 수츠케버가 존 카맥에게 추천했다고 알려진 AI 핵심 논문 목록을 바탕으로, 현대 딥러닝의 중요한 흐름을 한곳에 모은 사이트다. 별도의 원 논문만 나열하는 방식이 아니라, 강의 노트와 해설 글, 코드 기반 설명까지 함께 묶어 둔 점이 좋다.

이 목록을 볼 때 중요한 것은 “정말 이 30개가 전부인가”가 아니다. 더 유용한 질문은 이것이다. 현대 AI를 이해하기 위해 어떤 개념의 계단을 밟아야 하는가?

현재 공개된 사이트는 30개 전체가 아니라 27개 항목을 중심으로 정리되어 있다. 그렇지만 학습 지도라는 관점에서는 충분히 밀도가 높다. 컴퓨터 비전, 순차 모델, attention, Transformer, 그래프 신경망, 스케일링 법칙, 정보이론과 복잡성 이론까지 이어지는 길이 보인다.

첫 번째 축: 공간을 읽는 모델

목록의 앞부분은 합성곱 신경망과 컴퓨터 비전의 발전을 보여준다. CS231n은 기초 입구이고, AlexNet은 대규모 이미지 분류에서 딥러닝이 실제로 판을 바꿀 수 있음을 보여준 사건에 가깝다.

ResNet 계열 논문은 더 깊은 네트워크를 어떻게 학습할 수 있는지 묻는다. 핵심은 “층을 더 쌓으면 좋아진다”가 아니라, 정보와 gradient가 망가지지 않고 흐를 수 있는 구조를 어떻게 만들 것인가다. residual connection은 이 질문에 대한 매우 실용적인 답이었다.

dilated convolution은 이미지의 세밀한 구조를 유지하면서 더 넓은 문맥을 보는 방법을 제공한다. 여기까지 오면 컴퓨터 비전은 단순한 분류기가 아니라, 공간 구조를 보존하고 확장해 읽는 시스템으로 보인다.

두 번째 축: 시간을 기억하는 모델

RNN과 LSTM 관련 자료는 순차 데이터의 문제를 다룬다. 문장, 음성, 시계열은 단순한 점들의 모음이 아니라 순서가 있는 흐름이다. 그래서 모델은 앞에서 본 정보를 기억하고, 뒤에서 다시 사용할 수 있어야 한다.

Andrej Karpathy의 RNN 글과 Christopher Olah의 LSTM 설명은 입문 자료로 자주 언급된다. 이 둘은 논문이라기보다 “왜 순차 모델이 흥미로운가”를 직관적으로 보여주는 해설에 가깝다.

여기서 핵심은 장기 의존성이다. 모델이 가까운 패턴만 보는 것이 아니라, 멀리 떨어진 정보까지 어떻게 유지할 수 있는가. LSTM의 게이트 구조와 RNN regularization은 이 문제를 다루는 서로 다른 방식이다.

세 번째 축: 필요한 정보를 직접 찾아보는 모델

attention은 순차 모델의 병목을 바꿨다. 기계번역에서 attention이 등장하기 전에는 입력 전체를 하나의 고정된 벡터로 압축하는 방식이 큰 제약이었다. attention은 모델이 번역의 각 단계에서 관련 있는 입력 위치를 직접 참조하게 만들었다.

Pointer Networks는 출력이 입력의 특정 위치를 가리켜야 하는 문제를 다룬다. 이것은 언어 생성만이 아니라 정렬, 선택, 조합 최적화 같은 구조적 문제와 연결된다.

그리고 Attention Is All You Need가 나온다. Transformer는 recurrence를 제거하고 self-attention을 중심 구조로 세웠다. 오늘날 대규모 언어모델을 이해하려면 이 전환을 피할 수 없다. The Annotated Transformer 같은 자료가 중요한 이유도 여기에 있다. 원 논문의 수식을 실제 코드와 함께 따라가게 해 주기 때문이다.

네 번째 축: 관계와 메모리

Neural Turing Machines, relation network, relational recurrent network, message passing neural network는 조금 다른 질문을 던진다. 모델은 개별 입력만 처리하는 것이 아니라, 객체 사이의 관계를 계산하고, 필요한 정보를 메모리에 저장하고, 그래프 구조 위에서 메시지를 주고받을 수 있어야 한다.

이 축은 현대 AI의 중요한 감각을 제공한다. 지능형 시스템은 단순히 더 큰 벡터를 만드는 장치가 아니다. 어떤 경우에는 관계를 명시적으로 계산해야 하고, 어떤 경우에는 외부 메모리나 그래프 구조가 더 자연스러운 표현이 된다.

다섯 번째 축: 크게 학습하는 법

Scaling Laws for Neural Language Models와 GPipe는 모델을 키우는 문제를 다룬다. 여기서는 아키텍처의 우아함만으로는 부족하다. 모델 크기, 데이터 크기, 연산량, 병렬 학습 인프라가 함께 움직인다.

스케일링 법칙은 대규모 언어모델 시대의 경험적 나침반이 되었다. 손실이 모델 크기와 데이터, compute에 따라 일정한 경향으로 줄어든다는 관찰은 이후 LLM 개발 전략에 큰 영향을 주었다.

GPipe는 거대한 모델을 여러 장치에 나누어 학습하는 방법을 다룬다. 결국 현대 AI는 아이디어만이 아니라 훈련 시스템의 문제이기도 하다.

여섯 번째 축: 압축과 일반화

목록의 후반부가 흥미로운 이유는 정보이론과 복잡성 이론으로 넘어가기 때문이다. Minimum Description Length, Kolmogorov complexity, complexity dynamics 계열 자료는 “모델이 왜 일반화하는가”라는 더 근본적인 질문을 건드린다.

좋은 모델은 데이터를 외우는 것이 아니라 압축 가능한 구조를 발견한다. 이 관점에서 학습은 단순히 loss를 낮추는 과정이 아니라, 세계를 더 짧고 강하게 설명하는 표현을 찾는 과정이다.

이 축은 직접 모델 구현과는 거리가 있어 보일 수 있다. 하지만 LLM을 오래 다루다 보면 다시 중요해진다. 좋은 표현, 좋은 inductive bias, 압축 가능한 구조, 일반화 가능성은 결국 같은 문제의 다른 얼굴이다.

이 목록을 어떻게 읽을 것인가

이 목록은 순서대로 완독해야 하는 숙제라기보다 현대 AI의 개념 지도에 가깝다. 나는 다음 순서로 읽는 것이 좋다고 본다.

단계	먼저 볼 질문	대표 주제
1	딥러닝은 공간 패턴을 어떻게 읽는가	CNN, AlexNet, ResNet
2	모델은 시간을 어떻게 기억하는가	RNN, LSTM, regularization
3	필요한 정보는 어떻게 선택되는가	attention, pointer, Transformer
4	관계와 구조는 어떻게 표현되는가	memory, relation, graph neural network
5	모델은 어떻게 커지는가	scaling laws, pipeline parallelism
6	학습은 왜 일반화되는가	MDL, Kolmogorov complexity, complexity

이렇게 읽으면 각 논문은 고립된 이름이 아니라 하나의 질문에 대한 답이 된다. CNN은 공간을 읽는 법을, RNN과 LSTM은 시간을 기억하는 법을, attention은 필요한 정보를 찾아보는 법을, Transformer는 그 과정을 병렬화하는 법을 보여준다. 관계 추론과 그래프 신경망은 객체 사이의 구조를 다루고, 스케일링 논문은 그것을 크게 훈련하는 법을 보여준다. 정보이론과 복잡성 이론은 왜 학습이 압축과 일반화의 문제인지 다시 묻게 한다.

결론

30papers.com의 목록은 “AI 입문자가 읽어야 할 논문 목록”이라기보다 “현대 AI가 어떤 문제들을 해결하며 여기까지 왔는지 보여주는 압축 지도”에 가깝다.

이 목록을 따라가면 한 가지 관점이 남는다. 지능형 시스템은 좋은 inductive bias, 안정적인 정보 흐름, 선택적 기억, 관계 계산, 대규모 학습, 그리고 압축 가능한 구조의 발견이 결합될 때 강해진다.

그래서 이 목록은 단순한 논문 큐레이션이 아니다. 현대 AI를 처음부터 다시 읽기 위한 LLM Wiki의 출발 노드로 삼을 만하다.

참고

• 30 papers · The reading list Ilya Sutskever gave John Carmack
• Deep learning reading list from Ilya Sutskever
• Ilya Sutskever’s Top 30 Reading List