테스트 코드가 해자가 되는 시대, 과연 그럴까

최근 Cloudflare가 AI를 활용해 Next.js를 일주일 만에 Vite 기반으로 재구현한 vinext 프로젝트와 테스트 코드가 새로운 해자가 된다는 논의가 주목받고 있다. 이에 대해 몇 가지 생각을 정리했다.

Cloudflare의 한 엔지니어는 Claude의 도움을 받아 Next.js 인프라를 Vite 기반으로 완전히 새로 작성했다. 비용은 약 1,100달러의 AI 토큰 비용이 들었고 개발 기간은 일주일이었다. 그 결과물은 Next.js 대비 빌드 속도가 최대 4배 빠르고 클라이언트 번들 크기는 57% 더 작았다. 핵심은 1,700개 이상의 Vitest 테스트와 380개의 Playwright E2E 테스트로 Next.js 16 API surface의 94%를 통과했다는 점이다.

이 사례를 통해 일부에서는 테스트 코드가 새로운 해자가 되는 시대가 왔다고 주장한다. 과거에는 코드 자체가 중요했다면 이제는 소프트웨어 계약과 테스트 케이스가 가장 비싼 자산이 되었다는 것이다. 실제로 SQLite는 소스 코드는 공개하되 소스 코드의 590배에 달하는 9,200만 라인의 테스트 스위트는 비공개로 유지하고 있다. 이것이 그들이 오픈소스 생태계를 유지하면서도 상업적 방어력을 갖추는 해자가 되었다는 주장이다.

이 논의에 동의하는 부분도 있지만 한 가지 의문이 든다. AI가 테스트 코드를 기반으로 프레임워크를 복제할 수 있다면, 반대로 기존 코드로부터 테스트 코드를 뽑아내는 것도 AI가 충분히 잘하지 않을까.

현재 TDD 방식으로 개발하더라도 종종 AI가 자기 입맛에 맞게 테스트 코드를 변경하는 경우가 발생한다. 예상치 못한 엣지 케이스를 놓치거나 의도와 다른 방향으로 테스트를 수정하기도 한다. 이는 아직 AI가 코드의 맥락과 의도를 완벽히 이해하지 못한다는 증거다.

하지만 AI의 발전 속도를 고려할 때 이 부분이 개선될 가능성은 충분하다. 만약 AI가 기존 코드베이스를 분석해 정확한 테스트 케이스를 자동으로 도출할 수 있게 된다면 테스트 코드 자체가 해자가 되는 것은 아닐 수 있다.

내가 보기에 테스트 코드의 진정한 가치는 명세이자 문서이자 회귀 방지 장치에 있다. AI가 테스트를 복제할 수 있다고 해서 그 가치가 없어지는 것은 아니다. 다만 비즈니스적 해자로서의 지속 가능성은 AI 기술 발전에 따라 달라질 수 있다.

결국 중요한 것은 테스트를 숨기느냐가 아니다. 비즈니스 로직의 의도를 정확히 담은 테스트를 작성하느냐다. AI가 복제할 수 없는 도메인 지식이 담긴 테스트, 그것이 해자다.