AI데이터 깎는 청년, Notion
Notion의 AX이야기가 재밌어서 퍼왔습니다.
[주말잡상 : AI데이터 깎는 청년, 노션]
요즘 노션을 주로 사용한다. PC에서도 작업하기 편하고, 휴대폰으로도 확인하기 편하기 때문이다.
얼마 전부터 노션에 AI기능이 있는 걸 확인했다. 클로드도 제미나이도 있는데 굳이?? 라는 생각이 먼저 들었다.
그래도 혹시나 뭔가 기능이 있겠지 하고 호기심에 사용을 해보기 시작했다.
햐. 이거 생각보다 괜찮더라.
클로드코드나 코덱스로 MCP를 사용해서 노션과 연결해서 쓸 수도 있겠지만, 이건 자체 앱에서 돌아가기 때문에 훨씬 더 빠르고 정확하게 답변을 하더라.
RAG같이 내가 기록한 부분에서만 검색해서 답변을 가지고 오고, 어디서 가져왔는지 Reference도 꼬박꼬박 가져온다.
물론 노션이 AI모델을 직접 만들었을리는 만무하다. 이들은 그냥 앤트로픽이나 오픈AI가 만든 AI모델을 적용해서 답변을 하는 것이다.
그런데 무슨 차이가 있을까.
문득 노션의 엔지니어들이 뭔가를 한게 아닌가 하는 생각이 들었다.
과연 노션 홈페이지를 들어가보니 그 궤적이 보였다. (댓글에 링크 참조)
이들은 노션AI를 출시한 지 2년 만에 규모는 10배로 늘렸고, 비용은 1/10로 줄였다고 자랑을 하고 있었다.
이들이 노션AI를 런칭한 시점은 2023년 11월이었다. 하지만 이들은 출시한 지 한 달 만에 기존 인덱스 저장용량의 한도에 다다랐다고 한다.
노션 AI 검색 인덱스는 애초부터 데이터를 여러 개의 샤드(shard)로 나누어 저장하고 있었다.
샤드란 거대한 항아리를 깨뜨려 나온 조각 같은 것이다.
모든 것을 하나의 데이터베이스에 우겨 넣는 대신, 워크스페이스 ID를 기준으로 여러 DB에 나누어 담았다는 말이다.
저장공간이 차오르자 이들은 새 인덱스 세트를 증설해서 신규 고객을 그쪽으로 받는 식으로 버텼다.
그리고 새로운 고객이 노션AI를 시작하면 대량의 문서가 들어오기 때문에 ‘아파치 스파크’로 대량의 가공을 맡겼다.
그 다음부터 해당 페이지가 수정될 때에는 아파치 스파크가 아닌 ‘카프카 컨슈머’로 실시간으로 검색 인덱스를 가공했다.
그런데도 사용자들이 몰려드는 속도는 너무 빨라서, 이 속도로는 수십 년이 걸려도 대기자들을 다 수용하지 못할 상태가 되었단다.
노션은 데이터 처리 구조를 계속 손봤다.
‘에어플로’로 작업 순서를 조정해서 각 작업이 지체 없이 이어지게 하고, 아파치 스파크가 여러 컴퓨터에 작업을 고르게 나눠주도록 조정했다.
그 결과 하루 온보딩 처리능력을 무려 600배나 늘렸고, 활성 워크스페이스는 15배, 벡터 DB 용량은 8배나 증가했다한다.
다행히 이들은 반년 만에 밀려있던 대기자를 모두 받아들일 수 있었다.
문제는 비용이었다.
노션이 처음 사용한 벡터DB는 ‘포드’라는 전용 서버 묶음에서 돌아갔다. 쉽게 말하자면 호텔건물을 전체 장기임대로 빌린 방식이었다. 공실이 발생해도 비용은 나갔다.
이들은 24년 5월에 이를 ‘서버리스’ 구조로 변경했다.
필요한 순간에 필요한 만큼 사용하고, 그만큼만 돈을 내는 방식이었다. 덕분에 매년 수십억원이 절약되었다고 한다.
그럼에도 불구하고 벡터 검색에 들어가는 비용은 연간 수십억원이었다.
다시 데이터베이스를 뜯어봤다.
그리고 ‘터보푸퍼’라는 이름도 희한한(Puffer:복어) 신생 벡터 검색업체를 찾아냈다.
터보푸퍼는 기존 업체들이 비싼 서버(RAM+SSD)에 벡터DB를 상시 올려두던 것과 달리, 처음부터 데이터를 싼 창고(아마존 보관창고, S3)에 보관해두고 필요 시 불러오는 방식으로 설계된 물건이었다.
노션은 수십억 개의 벡터 데이터를 이곳으로 옮겼다.
오래간만에 부르는 DB는 수백 ms 걸려서 소환되는 단점이 있었지만, 비용이 엄청 낮아지게 되었다.
이로 인해 검색 엔진 비용이 60%나 줄었다고 한다. 연산 비용도 35% 줄었는데, 되려 검색 속도는 더 빨라졌다.
마치 서울시내 도로 위에 불법주차된 차량을 지하 주차장으로 다 보낸 것과 같다. 주차장에서 차를 다시 빼는 데는 시간이 좀 걸리지만, 도로가 한산해지니 정작 달리는 버스는 더 빨라진 것이다.
여기서 끝이 아니었다.
노션 페이지는 길다. AI는 긴 문서를 한번에 이해하기 어려우니 작은 문단으로 잘라서 임베딩을 한다.
문제는 기존 방식은 사용자가 글자 하나만 고쳐도 페이지 전체를 다시 잘라서 임베딩하고 DB에 올렸다는 것이다.
100 페이지 짜리 보고서에 오타 하나 수정했는데 100 페이지 전체를 다시 복사하는 셈이다.
노션 엔지니어들은 각 문단에 해시값을 설정했다.
덕분에 이제는 일부만 바꾸면 해시값 비교를 통해 일부만 임베딩을 다시 했다. 이것만으로 처리하는 데이터양이 70% 줄었다.
임베딩 하는 방식도 다시 한번 변화를 줬다.
기존에는 외부AI 업체로 API를 보내서 임베딩을 했는데, ‘레이’라는 오픈소스 시스템을 도입해 자체 서버에서 임베딩을 돌리기 시작했다.
이 전환을 통해 임베딩 인프라 비용을 90% 이상 줄이고 있다고 한다.
이쯤 되니 왜때문에 노션AI가 나에게 그렇게 훌륭한 기능으로 느껴졌는지 이해되기 시작했다.
노션의 엔지니어들은 비록 앤트로픽이나 오픈AI에서 두뇌를 만드는 사람들은 아니었다.
하지만 이들은 이 두뇌가 읽을 자료들을 잘게 자르고, 분류하고, 닦고, 필요한 순간에 바로바로 넘겨주는 시스템을 효율적으로 만든 것이다.
데이터가 차면 나누고, 너무 비싸면 싼 곳으로 옮겨놓고, 같은 일을 반복하면 바뀐 부분만 찾아내고, 외부 서비스가 병목이 되면 그것을 내재화하는 것.
뭔가 빛나지는 않지만 차근차근 원하는 바를 장인정신으로 만들어 나가는 폼이 방망이 깎던 노인과 비슷하다.
그런데 장인정신은 만드는 쪽에만 있는 게 아니다.
AI를 사용하면 할수록 사용자에 따라 얼마나 효율적으로 사용할 수 있는지 달라지는 게 눈에 보인다.
이는 마치 아무리 똑똑한 사람이 공사판에 가더라도, 거기서 오랜 기간 철근을 맨 철근반장님보다 더 빨리 철근을 맬 수 없는 것과 비슷하다.
대학에서 토목공학을 전공해서 외부 하중과 재료의 응력을 감안한 설계를 하는 사람도 필요하고, 해당 설계도면을 바탕으로 단도리를 잘하고 야리끼리를 적절히 활용해서 데나오시가 없도록 만드는 철근반장님도 필요한 것이다.
그러니까 질문을 어떻게 쪼개서 던지는지(단도리), 어디까지 맡기고 어디부터 직접 하는지(야리끼리), 그럴싸한 답을 어디서 의심해야 재작업이 안 나오는지(데나오시 방지), 이건 AI모델에 대한 지식보다는 AI를 부리는 숙련이고, 숙련은 써본 시간에서만 나오는 것이다.
AI 산업, 그것 참 보면 볼수록 무궁무진한 시장이 아닌가 싶다.
단순히 제미나이나 클로드, 챗GPT와 같은 AI모델들의 승자를 가르는 시장은 아니다.
그들이 만든 두뇌에 어떤 손발을 달아줄지, 이 서브시장의 승자가 누가 될지도 흥미진진한 관전포인트다.
이러나 저러나 나는 노션AI를 계속 돈주고 써야겠다. 엔지니어들이 또 정말 쓸만한 놈을 만들어 냈다.
*본문의 모든 수치는 노션 공식 블로그 "Two years of vector search at Notion: 10x scale, 1/10th cost, 2026.02.20”를 바탕으로 함
2026.07.12 작성
