전국 지식산업센터와 상업용 빌딩이 ‘임대 딱지’로 신음하고 있다. 고금리와 부동산 경기 침체 여파로 공실률이 치솟으며 도심 슬럼화 현상마저 우려되는 상황이다. 모두가 골칫덩이로 여기는 이 빈 공간을 ‘인공지능(AI) 시대의 금싸라기 땅’으로 보는 역발상의 기업이 있다. ‘바로AI(BARO AI)’가 그 주인공이다.

바로AI는 최근 경기도 평택의 한 지식산업센터에 ‘HACC(하이브리드 AI 컴퓨팅센터)’를 구축해 업계의 비상한 관심을 끌고 있다. HACC는 막대한 전력 설비와 넓은 부지가 필수였던 기존 데이터센터와 달리, 해당 건물이 보유한 가용 전력량에 맞춰 규모를 자유자재로 적용할 수 있는 새로운 개념의 AI 데이터센터다. 400개의 GPU가 들어가는 하나의 셀을 표준화해, 대학 캠퍼스나 연구소 등 어디서든 레고 블록처럼 복제·확장할 수 있다. 수년이 걸리는 대형 프로젝트가 아닌, 5개월 만에 바로 가동되는 AI 전용 센터인 셈이다.

바로AI를 이끄는 이용덕 대표는 국내 AI GPU 인프라 1세대 전문가다. 브로드컴 코리아 초대 지사장과 엔비디아 코리아 지사장을 역임하며 13년간 GPU 기술의 진화를 가장 가까이에서 지켜봤다. 이 대표는 AI 컴퓨팅 수요가 급증할 것을 예측했지만, 현실의 인프라는 극히 미약했다고 회상한다. 그는 “대학 연구실은 예산이 부족하고, 중소기업은 클라우드 비용이 부담스러우며, 대기업은 보안 문제로 외부 클라우드를 꺼리는 상황이었다”고 지적했다.

결국 “누구나 AI를 바로 시작할 수 있는 인프라가 필요하다”는 결론에 도달했고, 이것이 HACC의 출발점이 됐다. 이 대표는 “안정된 자리보다, 이 문제를 내가 해결해야 한다는 사명감이 더 컸다”고 강조했다. 그는 저전력·저소음 고효율 GPU 서버 설계부터 시작해 특허를 출원하고, 순차적으로 프라이빗 클라우드 구축을 위한 소프트웨어를 개발해 HACC를 선보이게 됐다. 놀라운 점은 창업 후 단 한 번의 외부 투자 유치 없이 매년 흑자 기조를 이어오고 있다는 사실이다. 이미 국내 500여 개 대학·연구기관에서 6년간 실증 운용을 마쳤고, 재구매율 77%라는 높은 수치가 기술 신뢰성을 입증한다.

HACC가 도심 공실에 들어설 수 있는 비결은 바로AI가 특허를 보유한 ‘수냉식’ 기술에 있다. 데이터센터에서 가장 많은 전기를 소비하는 부분은 냉방이다. 바로AI의 수냉식 기술은 액체로 열을 직접 흡수하는 방식으로, 공기로 식히는 공랭식 대비 냉각 전력 사용량을 30~35% 절감할 수 있다.

이 대표는 “전력 인프라는 모든 데이터센터의 숙제”라며 “그래서 처음부터 소형·모듈형 구조로 접근했다”고 설명했다. 하나의 HACC 셀은 250~500kW급 전력으로 운영되는데, 이는 일반 빌딩이나 지식산업센터가 보유한 전력망으로도 충분히 수용 가능한 수준이다. 또한 AI 학습을 야간 저부하 시간대에 스케줄링해 피크 부하를 분산시키는 방식으로 도심 내에서도 안정적 운영이 가능하다.

이런 효율 덕분에 GPU 온도를 50~60도로 안정적으로 유지하고, 풀 부하로 가동해도 소음이 39dB 수준으로 도서관보다 조용하다. 비용 측면에서도 경쟁력이 있다. 400 GPU 기준 1셀을 구축하는 데 약 100억~300억원이 들지만, 장기적으로는 퍼블릭 클라우드보다 훨씬 경제적이라는 게 이 대표의 설명이다. 그는 “클라우드는 자주 사용하면 렌트비가 눈덩이처럼 불어나지만, HACC는 데이터 전송료나 보안관리비 같은 숨은 비용이 사라진다”고 덧붙였다.

바로AI는 HACC를 통해 국내외 시장을 동시에 공략한다. 주요 고객층은 LLM 등 첨단 연구를 수행하는 대학·연구기관, 제조·의료·금융처럼 산업 특화 AI 모델을 개발하는 기업, 그리고 지역 중소기업들이 공동으로 사용할 인프라를 구축하려는 지자체와 공공 부문이다.

특히 이 대표는 HACC가 ‘소버린 AI’의 현실적 해법이라고 강조한다. 그는 “대한민국의 소버린 AI는 하나의 거대한 탑이 아니라, 중앙과 현장이 함께 움직이는 균형 구조여야 한다”고 말했다. 국가 단위의 초대형 센터가 기초 연구의 ‘허브’ 역할을 한다면, HACC는 데이터 보안과 응답 속도가 중요한 산업·도시·기관의 ‘현장 거점’ 역할을 한다는 것이다. 중앙의 대형 인프라와 지역·산업 현장의 HACC가 유기적으로 연결될 때 진정한 의미의 데이터 주권 확보가 가능하다는 비전이다.

해외 시장, 특히 전력 인프라가 부족한 중남미, 동남아, 중동 등의 개발도상국은 더 큰 기회의 땅이다. 바로AI는 표준화된 HACC 셀 설계에 운영·교육 패키지를 더한 ‘수출형 패키지 모델’을 ODA(공적개발원조) 등과 연계해 제안하고 있다. 이 대표는 “HACC는 AI 인프라의 K-방식 수출 모델이 될 수 있다”고 자신했다.

이 대표는 미래의 데이터센터가 ‘인류의 지능을 저장하고 훈련시키는 공장’으로 진화하고 있으며, 온사이트 AI 데이터센터(기업이나 기관이 자체 시설 내에 직접 구축해 운영하는 데이터센터)와 클라우드가 공존하는 하이브리드 시대로 돌아올 것이라고 예측했다. 특히 현실 세계 데이터를 수집하는 휴머노이드 로봇 시대가 열리면, 핵심 데이터를 즉시 학습시키기 위한 온사이트 인프라가 필수적이라는 것이다.

그는 “우리가 꿈꾸는 세상은 AI가 전기·수도처럼 자연스럽게 흐르는 세상”이라며 “AI를 하고 싶을 때 수도꼭지를 틀듯 필요한 만큼 컴퓨팅을 끌어다 쓰는 사회를 만드는 것이 목표”라고 밝혔다. 이 대표는 HACC가 AI가 필요한 곳에 즉시 연결되는 “AI 시대의 전력망”이 될 것이라고 강조했다.

“작게 시작해, 빠르게 확장한다. 이 단순한 문장이 바로AI가 지향하는 철학이자, HACC가 만들어갈 미래입니다.”