Harvey가 보여준 AI 서비스 기업의 원가 구조

9월 21일 Bloomberg가 법률 AI 기업 Harvey의 실적을 보도했습니다.

 

올해 초 약 50%였던 매출총이익률이 6월에는 -50%가 됐다는 내용입니다.

기업가치 156억 달러로 평가받는 법률 버티컬 AI의 대표 기업입니다.

그 회사가 몇 달 만에 매출 1달러를 만들 때마다 1.50달러의 원가가 발생하는 상태가 되었습니다.

 

그 동안 무슨 일이 있었는지는 다음과 같습니다.

Harvey는 좌석 기반 정액제로 고객에게 변호사 한 명당 정해진 금액을 받습니다.

그런데 OpenAI와 Anthropic에 내는 모델 비용은 종량제로 사용한 만큼 나갑니다.

3월 AI 에이전트를 업데이트하자 고객 사용량이 급증했고, 올해 토큰 사용량은 20배까지 늘었습니다.

고객이 더 많이 써도 좌석당 매출은 크게 달라지지 않는 상황에서 모델에 사용되는 원가는 사용량을 따라 증가했습니다.

 

제품이 잘될수록 손실이 커지는 구조였습니다.

마진을 되돌리기 위해 선택한 방법은 가격 인상이 아니었습니다.

 

8월 Harvey는 자체 모델 Tenet을 내놨습니다.

처음부터 만든 모델은 아닙니다.

중국 Moonshot AI의 오픈웨이트 모델 Kimi K3를 법률 업무에 맞게 후속 훈련한 것입니다.

Harvey 자체 벤치마크에서 Tenet은 기본 Kimi K3 대비 전체 통과율을 10.8%에서 19.7%로 높였고, 과제당 비용은 5.92달러로 기본 모델의 5.62달러와 거의 같았습니다.

프론티어 모델만 사용할 때와 비교하면 비용은 최대 10분의 1 수준입니다.

자체 모델로의 전환과 몇 가지 사용 방식 조정으로 현재 마진은 다시 플러스로 돌아섰습니다.

 

다만 가장 어려운 작업에는 여전히 Opus를 사용합니다.

전부 갈아탄 것이 아니라 작업의 난이도에 따라 모델을 나눈 것입니다.

 

저는 이 사례가 AI 서비스 기업의 원가 구조에 대해 세 가지를 보여준다고 생각합니다.

첫째, 매출 모델과 원가 모델이 어긋나면 서비스의 성장이 오히려 적자를 키웁니다.

전통적인 소프트웨어는 사용자가 더 많이 사용해도 한계비용이 크게 늘지 않았기에 정액제 서비스가 자연스러웠습니다.

그러나 AI 서비스는 다릅니다. 사용자의 사용량이 그대로 모델 청구서로 이어집니다.

정액으로 팔면서 종량으로 조달하는 회사는 고객이 제품을 많이 사용할수록 매출보다 원가가 더 빠르게 늘어날 수 있습니다.

Harvey는 그 구조를 가장 극단적인 숫자로 보여준 사례입니다.

 

둘째, 해자라고 생각했던 것이 원가가 되었습니다.

가장 좋은 모델을 쓴다는 것이 한동안 AI 서비스의 경쟁력으로 여겨졌습니다.

그런데 그 모델은 빌려온 것이고, 빌리는 값은 공급사가 정합니다.

경쟁사도 같은 API를 사용할 수 있고 가격 결정권도 나에게 없습니다.

Anthropic과 OpenAI는 올해 엔터프라이즈 고객에게 구독료 위에 사용량 요금을 추가로 받기 시작했습니다.

작년에 더 많이 쓰라고 권하던 팀들이 사용량이 실제로 늘어나자 그 비용이 그대로 역풍으로 돌아오기 시작한 것입니다.

Harvey 공동창업자 Gabe Pereyra도 예전에는 최고의 모델을 사는 것이 당연한 선택이었지만 비용 압박이 커지면서 그 논리가 흔들리기 시작했다고 말했습니다.

 

셋째, 구원투수가 오픈웨이트였다는 점이 프론티어 랩에는 더 큰 문제입니다.

Harvey만의 움직임이 아닙니다.

Abridge, Decagon, Ramp, Rogo 등이 같은 방향으로 움직이고 있고,

Sequoia와 General Catalyst도 이 전환에 자금을 대고 있습니다.

응용 서비스 기업의 입장에서는 서비스 규모가 커질수록 모델 비용을 직접 통제해야 할 이유가 커집니다.

그리고 오픈웨이트 모델의 성능이 올라오면서 이제는 비용을 통제할 수 있는 새로운 방법도 생겼습니다.

가장 큰 고객인 응용 서비스 기업들이 떠날 이유와 떠날 방법을 동시에 얻기 시작한 것입니다.

 

그런데 프론티어 랩은 고객이 덜 써도 내야 하는 비용을 안고 있습니다.

Anthropic의 상장 신청서에 명시된 향후 10년 인프라 의무 지출은 5,180억 달러이고, 약 80%가 취소 불가능합니다.

응용 기업이 자체 모델이나 오픈웨이트로 전환하면 랩의 매출은 줄어듭니다.

하지만 이미 약정한 인프라 비용은 같은 속도로 줄지 않습니다.

고객의 원가 절감이 곧 랩의 매출 감소가 되고, 랩의 원가는 그대로 남는 구조입니다.

 

컨설팅에서 AI 서비스를 기획하는 팀을 만나면 기능과 모델 이야기가 먼저 나옵니다.

어떤 모델을 쓸지, 어떤 기능을 넣을지, 정확도를 얼마나 높일지가 먼저입니다.

 

그런데 Harvey 사례 이후 저는 순서를 바꿔 묻습니다.

 

고객에게 어떻게 비용을 받을 것인지,

모델에는 어떻게 비용을 낼 것인지,

그리고 그 둘이 사용량이 열 배가 됐을 때도 맞물리는지입니다.

 

여기에 답이 없다면 제품이 실패하는 순간보다 성공하는 순간이 더 위험할 수 있습니다.

사용자가 늘고, 사용량이 늘고, 에이전트가 더 많은 일을 하는 순간

원가가 매출보다 빠르게 증가할 수 있기 때문입니다.

 

AI 모델 위에서 서비스를 운영한다면 기능보다 원가를 먼저 봐야 합니다.