YouTube 채널 Cloud Codes에서 게시한 “Google OKF + RAG: The Ultimate AI Agent Architecture” 영상의 정리 및 분석 노트입니다.
이 영상은 Google Cloud가 2026년 6월 발표한 새로운 지식 포맷 규격인 **OKF(Open Knowledge Format)**의 개념을 소개하고, 기존 벡터 검색 기반 **RAG(Retrieval-Augmented Generation)**의 한계를 보완하기 위한 하이브리드 지식 스택 설계 및 운영 전략을 제시합니다.
클립 1: RAG 대 OKF의 이분법 타파와 하이브리드 스택 (00:42 - 02:02)
In June 2026, Google Cloud shipped OKF, the Open Knowledge Format, curated knowledge written as plain markdown files. … The answer isn’t one or the other, it’s both. The architecture that actually wins puts OKF and rag together and takes the best of each.
해석
스마트한 에이전트라도 기업 내부 정책에 대해 질문을 받으면 단순 훈련 데이터 기반의 확률적 추측으로 오답을 내기 쉽습니다. 이를 극복하고자 널리 쓰여 온 RAG는 문서를 조각내어 유사도 기준으로 검색하지만, 문맥의 인과관계나 구조적 질서를 깨뜨리는 부작용이 있습니다. Google Cloud가 발표한 **OKF(Open Knowledge Format)**는 정교하게 큐레이션된 마크다운 형식의 지식 포맷으로 정밀한 정답과 확실한 출처 링크를 제공합니다. 그러나 모든 문서를 손으로 큐레이션할 수는 없으므로, 해결책은 RAG와 OKF 중 하나를 선택하는 것이 아니라 두 기술을 병합한 하이브리드 지식 아키텍처를 구축하는 것입니다. 에이전트가 처리하는 지식의 정밀한 80%는 OKF로 관리하고, 직접 큐레이션하기 힘든 방대한 롱테일(Long-tail) 20%는 RAG가 흡수하게 만듭니다.
클립 2: 기존 RAG의 치명적 한계: 청킹 분쇄와 비가시성 (02:50 - 03:37)
chunking comes at a price. Cut a table, a step-by-step procedure, or a contract clause down the middle, and the halves stop making sense. … You can’t diff it in a pull request.
해석
RAG의 근본적 문제는 청킹(Chunking) 단계에 있습니다. 복잡한 표(Table), 순서가 있는 업무 절차서, 혹은 엄격한 계약 조항을 기계적으로 중간에서 잘라버리면 잘려 나간 절반은 독자적인 의미를 상실합니다. 검색 결과로 파편화된 조각들을 건네받은 모델은 누락된 빈틈을 메우기 위해 그럴싸한 거짓말, 즉 확신에 찬 환각(Hallucination)을 유발하게 됩니다. 게다가 RAG 인프라는 블랙박스와 같습니다. 문서가 업데이트되면 파이프라인 전체를 다시 가동해야 하며, 변경 사항을 Git의 Pull Request(PR)를 통해 코드 수준에서 비교(Diff)하거나 변경 이력을 투명하게 감사하기가 불가능합니다.
클립 3: OKF 사양 분석과 Karpathy의 LLM Wiki 계보 (03:38 - 05:00)
OKF takes the exact opposite bet. No pipeline, no embeddings, no vector store, just a folder of markdown files with a little YAML on top. … It’s the LLM wiki Andrej Karpathy keeps pointing at. Context you engineer deliberately by hand. OKF’s contribution is simply writing that pattern down as one shared, open, vendor-neutral spec…
해석
OKF는 복잡한 임베딩 파이프라인이나 벡터 DB를 전혀 사용하지 않는 정반대의 방식을 취합니다. 단지 얇은 YAML 헤더를 탑재한 마크다운 파일들의 디렉토리 구조일 뿐입니다. 각 마크다운 파일은 단 하나의 완결된 개념(Concept)을 담고 있으며, YAML 영역에는 type(필수)을 비롯해 제목, 설명, 태그, 타임스탬프, 그리고 원본 문서 링크인 resource를 기입합니다. 파일들은 서로 표준 마크다운 링크로 참조 관계를 맺어 지식 그래프(Knowledge Graph)를 이룹니다. 이는 인공지능 분야의 석학 Andrej Karpathy가 주창했던 LLM Wiki (또는 claw.md) 아키텍처와 정확히 일치합니다. 즉, 의도적이고 정교하게 설계된 손글씨 문맥(Context Engineering)을 벤더 독립적이고 오픈된 공통 표준 포맷으로 공식화한 것이 OKF 스펙입니다. Git 환경에서 완벽히 작동하므로 리뷰, 감사, 롤백이 완벽히 지원됩니다.
클립 4: 하이브리드 라우팅과 상호 보완 시너지 (05:01 - 06:52)
OKF gives rag ground truth. When a curated concept exists for a question, the agent trusts that over a fuzzy retrieved chunk, and that single rule makes a real measurable dent in hallucinations.
해석
하이브리드 지식 아키텍처에서는 전면에 가벼운 라우터(Router)를 두고 질문을 분기합니다. “환불 기간은 며칠인가?”처럼 명확한 정답이 필요한 정규 질문은 OKF로 우회시켜 정확한 출처 링크와 함께 확정적(Deterministic)인 답을 냅니다. 반면 “과거에 이런 과금 에러를 겪은 티켓이 있는가?” 같은 탐색적 질문은 수만 개의 티켓 아카이브를 보관한 RAG 인프라로 전송합니다. 이 둘은 유기적으로 동작합니다. **OKF가 RAG에게 기준점(Ground Truth)**을 제공합니다. 에이전트는 검색된 모호한 벡터 조각보다 OKF 큐레이션 스펙을 최우선 신뢰하므로 환각 수치가 극적으로 하락합니다. 또한, OKF의 인덱스 구조는 에이전트에게 지식 지도를 제공하여(Progressive Disclosure), 아무 맥락 없이 처음부터 탐색하는 대신 지도의 안내를 받아 필요한 RAG 영역에만 깊숙이 들어가게 설계할 수 있습니다.
클립 5: 하이브리드 경제학과 컨텍스트 윈도우의 환상 (06:53 - 09:32)
Now, let’s kill two myths. First, OKF does not make RAG obsolete. … Second, no, you can’t just dump everything into one giant context window and call it solved. Irrelevant knowledge actively degrades the answer and quietly burns tokens.
해석
영상은 대규모 상용 에이전트를 위한 지식 설계에서 두 가지 환상을 경고합니다. 첫째, OKF가 RAG를 전면 대체할 수는 없습니다. 기하급수적으로 늘어나는 대용량 텍스트 더미를 사람이 전부 큐레이션하는 것은 불가능하기에 벡터 검색은 필수적입니다. 둘째, 최근 수백만 토큰으로 확장된 거대 컨텍스트 윈도우에 기업의 모든 백서를 쏟아붓는(Brute Force) 방식은 답이 될 수 없습니다. 관련 없는 지식이 무작위로 적재되면 모델 내부의 주의력 분산으로 인해 정답률이 도리어 하락하고 토큰 비용만 기하급수적으로 낭비됩니다. 비용 효율 면에서도 Git 텍스트 파일 저장 수준인 OKF와 달리, 24시간 가동되는 벡터 데이터베이스 인프라(RAG)는 높은 운영 비용을 요구하므로 핵심 코어 지식은 OKF로 저렴하게 통제하고 롱테일 정보 처리에 한해서만 RAG 스택을 비용 결제하는 하이브리드 최적화가 필수적입니다.
내 생각
Google Cloud의 OKF 스펙 공개는 에이전트의 지식 적재를 기계 학습 기반의 블랙박스 알고리즘에 전부 외주 주었던 엔지니어들에게 강력한 제어권의 탈환(Regaining Control) 신호를 보냅니다.
에이전트가 실시간 환경에서 신뢰받기 위한 핵심은 **출처 검증성(Source Provenance)**과 **경계 한계(Bounded Context)**입니다. 에이전트가 컨텍스트 윈도우에 가져올 정보는 언제나 명확하고 엄격하게 선별되어야 합니다. RAG는 모든 지식을 통계적 픽셀 조각으로 해체하여 유사도를 추출하지만, 업무의 가이드라인, 내부 코딩 가이드, 보안 수칙처럼 모호성을 허용하지 않는 코어 지식은 파편화되는 순간 맹점을 만들어냅니다.
이를 해결하기 위해 에이전트의 하네스를 설계할 때, 우리는 OKF 파일 형태의 정형 지식 세트를 마치 코드와 동일한 가치를 지닌 기여 자산으로 승격해야 합니다. 지식의 업데이트가 마크다운 편집과 Git Commit 형태로 이루어지게 설계하면, 사람이 수작업으로 지식의 정합성을 QA할 수 있는 인간 주도 루프(Human-in-the-loop) 구조가 확보됩니다. 에이전트가 잘못된 답변을 내놓을 때 프롬프트를 고치거나 벡터 임베딩 모델을 바꾸는 낭비를 범하는 대신, 지식 소스의 마크다운 한 줄을 고치는 것으로 디버깅을 즉각 끝낼 수 있는 지름길이 열리는 것입니다.
결국 미래의 완벽한 에이전트 아키텍처는 구조화된 텍스트 그래프(OKF)가 이루는 뼈대 위에, 비정형 문서의 의미적 공간(RAG)이 붙인 살이 조화를 이루는 하이브리드 스택으로 정착될 것입니다. 에이전트의 뇌가 무제한의 텍스트에 오염되지 않도록 얇고 강건한 컨텍스트 필터를 구축하는 것, 이것이 우리가 지향해야 할 진정한 지식 엔지니어링의 모습입니다.
댓글
GitHub 계정으로 의견을 남길 수 있습니다. 댓글은 GitHub Discussions에 저장됩니다.