영상으로 읽기: Karpathy — Deep Dive into LLMs, ChatGPT를 토큰 시스템으로 해부하기

원본 영상은 Karpathy가 ChatGPT류 LLM을 내부 구조부터 사용상 주의점까지 긴 호흡으로 해부한 강의입니다. 이미 올린 “Intro to LLMs”가 지도라면, 이 영상은 지도를 들고 기계실로 내려가는 편입니다.

YouTube 원본 영상

■ 읽는 법

영상이 한 말은 클립과 짧은 자막 근거로 남기고, 해석과 내 생각은 분리했습니다.

한눈에 보기

• MECE 위치: LLM 내부 구조와 운영 원리의 심화 강의.
• 핵심 질문: ChatGPT는 텍스트 생성기인가, 토큰을 매개로 도구와 생각을 엮는 시스템인가?
• 블로그 연결: 자막 기반 글쓰기, 컨텍스트 윈도우, hallucination mitigation, 도구 사용.

핵심 클립과 해석

1. [1:00] 도구를 만들며 이해하기

“ 자막 근거 · 1:00

“the tools”

이 강의는 개념 설명에 그치지 않고 도구를 직접 열어 보여준다. LLM을 잘 쓰려면 제품 UI만 보면 부족하다. 토큰화, 컨텍스트, 샘플링, 학습 데이터가 실제로 어떻게 보이는지 한 번은 손으로 확인해야 한다.

2. [12:07] 토큰화는 생각보다 거칠다

“ 자막 근거 · 12:07

“tokens”

모델은 문장을 글자 그대로 읽지 않는다. 토큰으로 잘린 입력을 처리한다. 이 사실은 사소해 보이지만, 비용, 문맥 길이, 다국어 처리, 이상한 출력의 원인을 설명한다. 한국어 블로그를 운영할 때도 토큰화는 실제 제약이다.

3. [15:32] 다음 토큰 예측의 훈련 루프

“ 자막 근거 · 15:32

“these tokens”

사전학습은 거대한 텍스트 흐름에서 다음 토큰을 맞히는 반복이다. 여기서 모델은 문법만 배우는 것이 아니라, 세상에 대한 압축된 통계와 패턴을 배운다. 하지만 이 구조 때문에 그럴듯한 거짓도 자연스럽게 나온다.

4. [1:00:00] 포스트트레이닝은 사용자 경험을 만든다

“ 자막 근거 · 1:00:00

“post-training”

좋은 챗봇은 사전학습만으로 나오지 않는다. 지시 따르기, 안전성, 선호 반영, 대화 형식 같은 층이 덧붙는다. 그래서 모델의 “성격”은 순수 지능이 아니라 훈련 이후의 정렬 과정과 제품 하니스가 만든다.

5. [3:08:35] 도구로 쓰되 환각을 완화해야 한다

“ 자막 근거 · 3:08:35

“tools”

카파시는 LLM을 도구로 쓰라고 말한다. 동시에 환각 완화가 필요하다고 한다. 이 둘은 모순이 아니다. 도구로 쓴다는 것은 맹신하지 않는다는 뜻이다. 계산기, 검색, 테스트, 출처 링크, 사람 리뷰를 붙여야 작업 시스템이 된다.

6. [3:10:28] 멀티모달도 토큰의 확장이다

“ 자막 근거 · 3:10:28

“audio and images”

음성, 이미지, 비디오도 결국 모델이 처리할 수 있는 토큰 흐름으로 바뀐다. 이 관점은 블로그에도 중요하다. 글, 스크린샷, 음원, SRT, 다이어그램은 서로 다른 매체처럼 보이지만, 에이전트에게는 재사용 가능한 컨텍스트 묶음이다.

7. [3:27:35] 생각 모델과 RL

“ 자막 근거 · 3:27:35

“thinking models”

마지막부는 RL과 thinking model로 간다. 답을 바로 내는 모델과 생각 과정을 연습하는 모델은 다르다. 검증 가능한 문제에서 RL은 강하다. 하지만 모든 문제가 검증 가능한 것은 아니므로, 블로그 글쓰기처럼 해석이 필요한 작업에는 여전히 사람의 판단과 출처 관리가 필요하다.

내 생각

이 영상은 LLM을 “말 잘하는 AI”로 보는 습관을 깨준다. 실제로는 토큰, 컨텍스트, 데이터, 포스트트레이닝, 도구, 검증이 이어진 시스템이다. 내 블로그의 YouTube Lab이 자막 원문을 짧게 남기고, 해석과 내 생각을 분리하는 이유도 여기 있다.

LLM을 믿는 대신, LLM이 틀려도 복구할 수 있는 구조를 만들어야 한다. 그것이 하니스다.