전력의 힘을 따라 이동하는 AI 쿼리

^{source https://spectrum.ieee.org/distributed-inference-data-centers}

다음 AI 질의는 전력이 있는 곳으로 향할지 모른다

Nvidia와 파트너들이 변전소 바로 옆에 소형 데이터센터 클러스터 구축

• 전기를 집어삼키는 데이터센터가 급증하면서 AI 업계가 전력 확보 묘안을 짜내는 중.

• 최근 아이디어는 변전소 옆에 마이크로 데이터센터를 짓고, 전력 여건에 맞춰 연산을 이리저리 옮기는 방식.

• Nvidia와 협력사들은 올해 후반 이 파일럿을 시작할 계획.

  • 미국의 5개 전력 유틸리티에 걸쳐 소형 데이터센터 약 25개 구축 예정.

  • 각 센터 규모는 5~20 MW.

  • 한 변전소에 수요가 몰리거나 정전이 나면, 여유 용량이 남은 다른 변전소 인근 센터로 연산 이동.

• 이 클러스터 구축에는 데이터센터 빌더 InfraPartners, 부동산 서비스 기업 Prologis, 비영리기관 EPRI가 참여.

• 목표는 데이터센터를 전력 가용성에 더 유연하게 맞추는 새 방식을 입증하는 것.

  • 데이터센터 개발사가 점점 귀해지는 계통 전력을, 비록 작은 단위라도 더 빨리 확보하는 통로이기도 함.

• EPRI의 Ben Sooter 추산으로 개별 변전소의 미사용 전력은 평균 약 5 MW, 최대 20 MW.

• 이 정도 용량만 보면 대부분의 데이터센터 운영사에겐 매력적이지 않지만, 이런 소형 센터 여러 개를 묶어 하나의 큰 센터처럼 운영하면 충분히 쓸모가 생김.

• 과부하 변전소의 연산을 여유가 있는 변전소로 옮기면 전체적으로 쓸 수 있는 전력을 두 배 가까이 늘릴 여지도 있음.

• Nvidia의 Marc Spieler 말처럼 미국에는 변전소가 5만5,000개 있고, 각 변전소에 5·10·20 MW씩만 남아 있어도 총량은 금방 불어남.

데이터센터에 에너지 유연성 넣기

• 데이터센터 건설이 계속 가속되면서, 전력망의 남는 MW를 끝까지 짜내는 일이 점점 중요해짐.

• 미국은 신규 데이터센터의 절반이 지어지는 곳이고, EPRI 추산으로 데이터센터 전력소비는 2030년까지 전체 발전량의 9~17퍼센트를 차지할 수 있음.

  • 현재 사용량의 두 배를 훌쩍 넘는 규모.

  • AI 모델 훈련용 시설은 기가와트급으로 커지고 있고, 미국 중형 도시 하나와 맞먹는 전력을 끌어씀.

• 계통 운영자가 이런 초대형 신규 부하를 어떻게 수용할지 정리하는 동안, 데이터센터 개발사는 계통 접속 승인만 최대 10년 기다리기도 함.

• 그래서 개발사들은 불과 2년 전만 해도 상상하기 어려웠던 전력 결정을 내리는 중.

  • 직접 가스 발전소를 부지 안에 짓기도 함.

  • 신규 송전선과 기타 계통 인프라 비용을 스스로 부담하겠다고 나서기도 함.

  • 10년 뒤 전력 수요를 맞추려는 기대 아래, 핵융합과 차세대 핵분열 스타트업에 투자하는 곳도 있음.

• 그런데 실제로는 매일 쓰이지 않는 전력이 계통 안에 꽤 많음.

  • Duke University Nicholas Institute의 2025년 대표 보고서 기준, 미국 계통 운영자는 평균적으로 발전 용량의 약 53퍼센트만 사용.

• 이유는 미국 전력공급 체계가 연중 최고 수요를 맞추도록 설계됐기 때문.

  • 가장 더운 여름날처럼 피크 수요 시간대는 온화한 날의 부하보다 거의 두 배까지 커질 수 있음.

  • 이런 시간은 보통 연간 200시간도 안 됨.

  • 나머지 시간에는 발전소 전체가 놀고 있음.

• AI 데이터센터가 이런 피크 시간대에 전력 사용을 줄이거나 다른 시간대로 옮길 수만 있다면, 부지 내 발전설비를 따로 짓는 극단적 선택이 늘 필요한 건 아닐 수 있음.

• Brattle Group의 3월 보고서 기준, 데이터센터 같은 대형 부하가 단지 0.25퍼센트의 시간 동안만 전력 사용을 줄여도 미국 전력망은 추가로 76 GW 제공 가능.

  • 피크 수요의 약 10퍼센트 규모.

• 에너지 유연성이 있으면 새 발전소가 지어질 때까지 기다리지 않아도 되므로, 데이터센터가 계통에 더 빨리 접속 가능.

• 소형 데이터센터를 변전소 바로 옆에 두면 송전선, 전주, 변압기·개폐장치 업그레이드 같은 신규 계통 인프라도 덜 필요.

• 변전소에는 이미 고속 인터넷용 광섬유가 깔려 있어, 소형 데이터센터가 기존 회선에 바로 연결 가능.

추론이 유리한 이유

• 데이터센터가 제공할 수 있는 유연성은 결국 어떤 워크로드를 돌리느냐에 크게 좌우됨.

• 주요 워크로드는 두 가지.

  • AI 훈련: 대형 언어모델이나 이미지 생성 모델을 만드는 과정.

  • 추론: 그렇게 만든 모델로 사용자의 챗봇 질문이나 이미지 요청에 응답하는 과정.

• 훈련은 GPU가 촘촘히 연결된 초대형 데이터센터를 요구.

  • 예를 들어 Meta의 Llama 3.1 405B는 GPU 1만6,000개로 약 두 달 반 훈련.

  • 훈련 중에는 매 단계마다 모델 가중치를 한꺼번에 조정해야 해서, GPU끼리 NVLink나 InfiniBand 같은 고속 링크로 묶여 있어야 함.

• 그래서 AI 훈련 워크로드를 미니 데이터센터 클러스터에 분산하는 건 현실적이지 않음.

• 대신 훈련은 몇 달씩 이어지므로, 피크 수요 시간에 맞춰 짧게 멈춰 전력 사용을 줄일 여지는 있음.

• 추론은 GPU 수도, 고급 네트워킹도 훈련만큼 많이 필요하지 않음.

  • 거대한 데이터 뭉치 대신 단일 사용자 질의를 모델에 넣고, 모델이 답을 내놓는 구조.

  • backpropagation이 없어서 입력 데이터 조각 사이의 대규모 동기화도 필요 없음.

  • 그래서 추론은 더 작은 데이터센터와 잘 맞음.

• 다만 추론은 타이밍이 핵심.

  • 내 얼굴을 귀여운 고양이에 합성해 달라고 이미지 생성기에 요청했는데 결과가 바로 안 나오면 곤란함.

  • 피크 수요 때 잠깐 멈추는 대신, 워크로드를 다른 위치로 옮겨야 이런 유연성이 나옴.

• Mod42의 Valerie Crafton 말처럼, 추론은 동적 라우팅이 가능한 몇 안 되는 워크로드.

  • 실제로 전력이 남는 곳에 맞춰 연산을 보낼 수 있음.

  • 이 점이 전력이 있는 곳에 더 작은 데이터센터를 짓는 흐름을 강하게 밀고 있음.

• Nvidia와 EPRI는 이런 종류의 데이터센터 유연성을 여러 방식으로 입증하려고 몰아붙이는 중이고, 변전소 기반 전략에는 "distributed inference"라는 이름을 붙임.

• 이 프로젝트는 2월에 발표됐고, 파일럿 소형 데이터센터 클러스터는 2026년 말까지 착공하는 것이 목표.

• Nvidia와 EPRI 추산으로는, 연산을 다른 변전소로 옮겨야 하는 경우가 전체 시간의 약 0.1퍼센트에 그칠 전망.

• 데이터센터 규모를 마이크로 단위로 줄이는 흐름도 점점 속도가 붙는 중.

• 지금은 모두가 5 GW급 초대형 데이터센터를 짓는 흐름이지만, 그 뒤에는 추론을 처리하는 훨씬 작은 데이터센터 중심의 두 번째 흐름이 온다는 관측.

• 기술 기업들이 이 점을 강하게 미는 이유는, 추론용 연산 수요가 2027년에 본격적으로 치솟을 것으로 보기 때문.