[뉴스레터] Salesforce가 AI로 SQL 방언 개발을 4배 가속한 방법

요즘 데이터 파이프라인에서 새로운 데이터베이스나 데이터 레이크를 연동해야 할 때, 각 시스템마다 SQL 방언(dialect)이 달라 번번이 수동으로 변환 규칙을 맞춰야 하는 경험, 다들 있으실 겁니다. Snowflake, Redshift, BigQuery 등 겉보기엔 비슷해도 함수, 연산자, 타입 처리 방식이 미묘하게 달라서 문서 하나하나 뒤적이며 직접 코드를 짜거나 설정을 만지는 일은 끝이 없죠. 개발 속도를 늦추고, 휴먼 에러를 유발하는 고질적인 페인 포인트이기도 하고요.

Salesforce Data 360 팀도 이런 문제에 직면했습니다. 고객 데이터 이동 없이 100개가 넘는 외부 시스템에서 SQL 쿼리를 직접 실행하는 'Zero Copy' 전략을 구현해야 했거든요. 처음에는 C++로 수동 변환 로직을 만들었지만, 커넥터가 늘어날수록 개발 비용이 기하급수적으로 증가하는 한계에 부딪혔습니다. 하나의 방언을 추가하는 데만 40일이 걸리는 비효율적인 방식으로는 도저히 확장할 수 없었죠.

그래서 Salesforce 엔지니어링 팀은 이 복잡하고 시간 소모적인 작업을 AI의 힘으로 해결하기로 했습니다. 이 글에서는 Salesforce가 어떻게 AI 지원 개발과 자동화된 25,000개 쿼리 테스트 워크플로우를 결합하여 SQL 방언 개발을 획기적으로 가속화하고, Zero Copy 커넥터 지원을 20배나 확장했는지 자세히 살펴볼 거예요. 특히 다음 내용을 중심으로 알아봅시다.

• AI 도입 전, SQL 방언 개발의 3가지 고통 - 수동 C++ 코딩과 2000라인 JSON 설정의 비효율성
• AI 에이전트가 2000라인 JSON 설정을 뚝딱 만드는 원리 - 문서 분석부터 테스트 기반 반복 수정까지
• "AI가 만든 SQL, 믿을 수 있을까?" 25,000개 쿼리 자동 검증 시스템의 비밀 - 실제 엔진 동작 기반의 피드백 루프
• 4배 빨라진 개발 속도와 20배 확장된 커넥터 커버리지의 비결 - AI와 자동화의 시너지 효과

Zero Copy 커넥터 확장을 막던 SQL 방언의 고질적인 문제점

Salesforce Data 360은 고객 데이터 이동 없이 Snowflake, Redshift, BigQuery 등 100개 이상의 외부 시스템에서 SQL 쿼리를 직접 실행해야 합니다. 이를 위해 Hyper Database 팀은 각 엔진의 SQL 방언에 맞춰 Data 360의 SQL을 변환하는 최적화 프레임워크를 구축하고 있어요.

초기 5개 커넥터를 지원할 때만 해도, 엔지니어들은 각 SQL 엔진의 방대한 문서를 일일이 검토하고, Hyper의 의미론과의 차이점을 분석한 다음, C++ 코드로 변환 규칙을 수동으로 구현해야 했습니다.

이 방식은 하나의 새로운 방언을 추가하는 데 무려 40일의 엔지니어링 작업이 필요했습니다. SQL은 표준처럼 보이지만, 연산자 처리, 함수 지원, 타입 변환, 정밀도, 에러 처리 방식 등에서 엔진별로 미묘하고 복잡한 차이가 많기 때문이죠. 새로운 커넥터가 추가될 때마다 이러한 디테일을 반복해서 재발견해야 했으니, 개발 비용은 기하급수적으로 증가할 수밖에 없었습니다.

C++ 코딩의 병목 현상을 해결하기 위해 JSON 기반의 방언 설정 언어로 전환했지만, 여전히 2000라인에 달하는 JSON 설정 파일을 수동으로 작성하는 데 한 달 이상이 걸리는 비효율성은 남아있었습니다. 5개의 커넥터로는 충분했지만, 100개 이상의 커넥터로 확장하려면 새로운 접근 방식이 절실했죠.

40일 걸리던 SQL 방언 설정, AI가 10일로 단축한 비결

방대한 SQL 방언 설정을 수동으로 처리하는 것은 엄청난 시간과 노력이 드는 작업이었습니다. 각 방언별로 약 2,000라인의 JSON 설정을 작성해야 했고, 여기에는 함수, 연산자, 타입 규칙 등이 포함됩니다. 엔지니어들은 각 원격 시스템의 SQL 문서를 직접 읽고, Data 360 SQL과의 차이점을 파악한 다음, 손수 JSON 설정을 코딩했습니다. 이 과정에는 기능 분석, 테스트, 에러 검토, 그리고 수많은 반복 개선이 필요했죠.

Salesforce 팀은 이 반복적인 작업을 AI 에이전트에 맡기기로 했습니다. 이제 엔지니어는 AI 에이전트에게 원격 SQL 참조 문서, JSON 방언 사양, 기존 방언 예시, 그리고 정렬된 테스트 스위트를 제공합니다.

AI 에이전트는 이 정보를 바탕으로 방언 설정을 섹션별로 구축하고 개선해 나갑니다. 테스트에 실패하면 원격 에러 메시지와 문서를 분석하고, 기존 방언의 상속 및 힌트를 활용하여 스스로 설정을 수정합니다. 덕분에 엔지니어들은 이제 수동 설정 작업 대신, AI가 놓칠 수 있는 의미론적 격차를 검토하는 데 집중할 수 있게 되었습니다.

이 AI 기반의 테스트 중심 워크플로우 덕분에 하나의 방언을 구축하는 데 걸리는 시간이 40일에서 약 10일로 단축되었습니다.

AI 생성 SQL의 정확성을 99.9% 보장하는 25,000개 쿼리 자동화 테스트

AI가 문법적으로는 완벽하지만 의미론적으로 부정확한 SQL을 생성할 수 있다는 우려 때문에, AI 생성 변환에 대한 철저한 검증이 필수적이었습니다. 수동 검토만으로는 이 규모의 정확성을 보장할 수 없었죠.

Salesforce 팀은 이를 해결하기 위해 Hyper와 모든 원격 엔진에서 25,000개의 기능 SQL 쿼리를 실행하는 자동화된 워크플로우를 구축했습니다. 이 워크플로우는 각 시스템의 쿼리 실행 결과를 비교하여, 불일치를 '예상된 차이', '허용 가능한 대안', '진정한 정확성 오류'로 분류합니다.

이 워크플로우의 핵심은 강력한 피드백 루프입니다. 원격 엔진의 에러 메시지와 실제 동작의 편차는 AI 모델에 직접 피드백됩니다. 이를 통해 AI는 관찰된 엔진 동작에 맞춰 방언을 반복적으로 개선합니다. 덕분에 우리는 단순히 문서만으로 검증하는 것이 아니라, 실제 실행 결과를 기반으로 번역의 정확성을 확신할 수 있게 되었습니다.

또한, 테스트 워크플로우는 원격 엔진의 실제 출력에 기반하여 기대 결과를 자동으로 업데이트합니다. 엔지니어는 전체 테스트 케이스의 20% 미만에 해당하는 소수의 시스템별 근본 원인 오류만 검토하고 수정하면 됩니다. 이는 수동 테스트 유지보수 부담을 없애고 개발 주기를 극적으로 단축시켰습니다.

그림 1. Data 360에서 외부 데이터를 이동 없이 가상화하고 활용

AI와 자동화, SQL 방언 개발 생산성을 4배, 커버리지를 20배 높이다

AI 지원 방언 생성과 자동화된 검증 워크플로우의 결합은 개발 생산성을 획기적으로 향상시켰습니다. 자동화된 테스트 워크플로우는 AI에게 즉각적인 실행 피드백을 제공하여, AI가 번역 오류를 자율적으로 수정할 수 있도록 돕습니다. 이는 인간 검토자가 정확성 문제를 찾아내는 부담을 없앴죠.

엔지니어는 이제 AI가 스스로 해결하지 못하는 의미론적 격차에만 집중할 수 있게 되었습니다. 이러한 방식은 병렬 개발과 훨씬 빠른 반복 주기를 가능하게 했고, 결과적으로 약 4배의 처리량(throughput) 개선을 가져왔습니다.

DIALECT BUILD TIME

40일 → 10일

하나의 SQL 방언 구축 시간 75% 단축

DEVELOPMENT THROUGHPUT

4배↑

AI + 자동화로 전체 개발 처리량 증대

CONNECTOR COVERAGE

20배↑

5개에서 100개 이상으로 확장

이러한 성과 덕분에 Hyper 팀은 단 3개월 만에 16개의 새로운 방언을 추가로 지원할 수 있었습니다. 이는 Data 360의 Zero Copy 커넥터 지원을 기존 5개에서 100개 이상으로, 무려 20배나 확장하는 결과로 이어졌습니다. Data 360은 이제 더 넓은 범위의 외부 엔진에서 분석 워크로드를 직접 실행하면서도, Salesforce가 기대하는 높은 신뢰성 표준을 유지할 수 있게 되었습니다.

실전 적용 인사이트

Salesforce의 AI 기반 SQL 방언 개발은 단순한 자동화를 넘어, 엔지니어링 워크플로우를 재정의했습니다. 방대한 SQL 문서 분석부터 25,000개 쿼리 자동 검증까지, AI가 복잡한 규칙 기반 작업을 처리하며 엔지니어는 고부가가치 문제에 집중하게 되었죠. 4배 빨라진 개발과 20배 확장된 커넥터 커버리지는 이 혁신적인 접근법이 가져온 실제 결과입니다.

원문 읽기 →

핵심 요약: Salesforce는 AI 지원 개발과 25,000개 쿼리 자동 테스트 시스템을 결합하여, 40일 걸리던 SQL 방언 구축 시간을 10일로 단축하고 Zero Copy 커넥터 커버리지를 20배 확장했습니다. 이로써 Data 360은 100개 이상의 외부 시스템에서 안정적으로 SQL 분석 워크로드를 처리하게 되었습니다.