Cortex: 워크플로우 인식 리소스 풀링 및 에이전트 서빙 스케줄링

기본 정보

• 논문 ID: 2510.14126
• 제목: Cortex: Workflow-Aware Resource Pooling and Scheduling for Agentic Serving
• 저자: Nikos Pagonas (Columbia University), Yeounoh Chung (Google), Kostis Kaffes (Columbia University), Arvind Krishnamurthy (Google & University of Washington)
• 분류: cs.DC (분산, 병렬 및 클러스터 컴퓨팅)
• 발표 시간: 2025년 10월 15일 (arXiv 프리프린트)
• 논문 링크: https://arxiv.org/abs/2510.14126

초록

본 논문은 에이전트 워크로드를 위해 설계된 워크플로우 인식 서빙 플랫폼 프로토타입인 Cortex를 소개한다. Cortex의 핵심 원리는 단계 격리(stage isolation)이다: 에이전트 워크플로우의 각 서로 다른 단계에 전용 리소스 풀을 제공한다. 이 간단하면서도 강력한 전략은 계산 및 메모리의 단계 간 간섭을 완화하여 더 나은 KV 캐시 활용률, 더 높은 처리량 및 더 예측 가능한 성능을 실현한다. 에이전트 워크플로우의 각 서로 다른 단계 내에서 리소스 할당 및 스케줄링을 맞춤화함으로써, Cortex는 가소성 리소스 관리, 워크플로우 분기의 추측 실행 및 "에이전트 상태"를 위한 공유 다층 캐시를 포함한 더 고급 에이전트 네이티브 서빙 패러다임의 기초를 마련한다.

연구 배경 및 동기

문제 정의

에이전트 워크플로우는 대규모 언어 모델(LLM)의 추론을 반복적인 도구 사용과 결합한다: 모델이 중간 결과를 관찰하고, 생각하고, 다른 도구를 호출하고, 작업이 해결되거나 예산이 소진될 때까지 반복한다. 이러한 폐루프 모드는 자연어-SQL(NL2SQL) 에이전트와 같은 프로덕션 수준 애플리케이션에서 점점 더 중요해지고 있다.

기존 방법의 한계

현재 LLM 서빙 플랫폼은 다음과 같은 문제가 있다:

1. 워크플로우 무감각성: 인기 있는 LLM 서빙 프레임워크(예: vLLM)는 각 단계를 독립적인 LLM 호출로 취급하며 선착순(FCFS) 스케줄링을 채택한다
2. 구조 인식 부족: 기존 에이전트 서빙 플랫폼(예: Autellix)은 복잡한 우선순위 정책을 사용하지만 내부 워크플로우 구조를 이해하지 못한다
3. 캐시 기회 낭비: 동일한 패턴에 대한 다섯 번의 개선 시도는 다섯 번의 동일한 프롬프트 구성과 다섯 번의 동일한 핫 캐시 SQL 실행을 생성한다
4. 스케줄링 맹목성: 남은 워크플로우를 이해하지 못한 채 LLM 호출을 스케줄하여 다운스트림 비용을 무시한다

연구 동기

저자들은 이질적인 단계를 포함하는 에이전트 워크플로우에는 단일 공유 "범용" LLM 엔진 풀이 적합하지 않음을 관찰했다. 각 단계(SQL 생성, 실행, 오류 수정)는 서로 다른 지연 프로필, 메모리 요구사항 및 캐시 기회를 가진다.

핵심 기여

1. Cortex 아키텍처 제안: 각 워크플로우 단계에 전용 엔진 풀을 제공하는 첫 번째 단계 격리 기반 워크플로우 인식 서빙 플랫폼
2. 현저한 KV 캐시 최적화 구현: 단계 격리를 통해 KV 캐시 메모리 사용을 크게 감소시키고 GPU 메모리 활용률 향상
3. 단계 간 간섭 제거: 안정적인 단계 로컬 지연 모델 복원, 성능 예측 가능성 향상
4. 에이전트 네이티브 서빙 프레임워크 설계: 가소성 워크플로우, 추측 실행 및 에이전트 상태 관리의 기초 마련

방법론 상세 설명

작업 정의

NL2SQL 워크플로우를 예로 들면, 입력은 자연어 쿼리(예: "유럽의 지난 분기 판매액은 얼마인가?")이고, 출력은 성공적으로 실행된 SQL 쿼리 결과이다. 워크플로우는 다음을 포함한다:

1. 대상 스키마 검색
2. 자회귀 후보 쿼리 생성
3. 쿼리 실행
4. 결과 집합 검증
5. 쿼리 실패 시 수정 및 재시도

핵심 아키텍처 설계

단계 격리 원리

Cortex는 각 워크플로우 단계에 전용 엔진 풀을 제공한다. 엔진 풀은 동질적인 워커 그룹(예: LLM 디코딩용 GPU 또는 SQL용 CPU 실행기)으로, 자체 큐, 캐시 및 확장 정책을 가진 단계 로컬 스케줄러에 의해 관리된다.

시스템 구성 요소

1. 오케스트레이터(Orchestrator):
   • 워크플로우 인식, 각 요청의 그래프 내 위치 추적
   • 다음 적격 연산자 집합 예측
   • SLO 여유도, 단계 선택성 및 예상 서비스 시간을 기반으로 우선순위 키 추가
2. 엔진 할당 계층(Engine Allocation Layer):
   • 서브 호출을 로컬성을 최대화하는 구체적인 풀 인스턴스로 라우팅
   • 복제본 간 부하 균형
   • 우선순위에 따라 요청 재정렬
   • 단계가 병목이 될 때 허용 제어 실행
3. 리소스 차용 메커니즘: 부하 및 메모리 압력이 충분히 낮을 때, 오케스트레이터는 호환 가능한 단계가 유휴 엔진을 차용하여 단편화를 줄이고 활용률을 높일 수 있도록 한다.

기술 혁신 포인트

KV 캐시 최적화

단계 격리를 통해 각 엔진은 자신의 단계별 컨텍스트만 유지하는 반면, 공유 엔진은 각 복제본에서 두 단계의 컨텍스트를 핫 캐시로 유지해야 하므로 KV 캐시 메모리 사용을 효과적으로 중복시킨다. 회수된 GPU 메모리는 유효 배치 크기를 증가시켜 더 높은 처리량과 더 타이트한 꼬리 지연으로 직접 변환된다.

성능 예측 가능성

단계 격리는 예측 가능성을 해치는 단계 간 간섭을 제거한다. 이질적인 호출이 엔진을 공유할 때, 배치는 실행 시간을 결합하고 토큰 방출을 지연시켜 LLM 호출의 지연을 배치 파트너에 의존하게 만든다.

독립적 확장

독립적 확장 및 구성 활성화: 빠른 모니터는 SLO를 위협하는 풀만 확장하여 일회용 실행 단계를 경량으로 구성하면서 중요 경로 풀에 더 많은 가중치를 할당할 수 있다.

실험 설정

실험 시나리오

논문은 NL2SQL 워크플로우를 주요 실험 시나리오로 사용하며, 다음을 포함한다:

• SQL 생성기
• SQL 오류 수정기
• SQL 실행기(비-LLM 단계)

평가 지표

• KV 캐시 메모리 사용량
• 총 메모리 점유
• 시스템 처리량
• 꼬리 지연

비교 기준

• 공유 엔진 풀 방식: 모든 단계가 동일한 LLM 엔진 집합 공유
• Cortex 단계 격리 방식: 각 단계가 전용 엔진 풀 사용

실험 결과

주요 결과

KV 캐시 최적화 효과

실험 결과는 Cortex에서 NL2SQL 워크플로우의 LLM 단계를 실행할 때 총 KV 점유가 크게 감소함을 보여준다. 각 단계가 자신의 Cortex 풀에서 실행될 때, 총 KV 풋프린트는 명확히 더 낮다: 각 엔진은 자신의 단계별 컨텍스트만 유지한다.

성능 향상

1. 메모리 효율성: 단계 격리를 통해 KV 캐시의 중복을 피하고 귀중한 GPU 메모리 해제
2. 처리량 향상: 회수된 GPU 메모리는 더 높은 유효 배치 크기로 직접 변환
3. 지연 개선: 더 타이트한 꼬리 지연과 더 예측 가능한 성능

시스템 우위 검증

실험은 Cortex의 세 가지 주요 우위를 검증한다:

1. 개선된 KV 캐시 활용률: 메모리 점유 현저히 감소
2. 단계 간 간섭 제거: 안정적인 단계 로컬 지연 모델 복원
3. 독립적 확장 능력: 세분화된 리소스 관리 지원

관련 연구

LLM 서빙 프레임워크

• vLLM: 효율적인 대규모 언어 모델 서빙, PagedAttention을 사용한 메모리 관리
• SGLang: 구조화된 언어 모델 프로그램의 효율적 실행

에이전트 서빙 플랫폼

• Autellix: LLM 에이전트의 효율적 서빙 엔진, 복잡한 우선순위 정책 사용
• HEXGEN-TEXT2SQL: 남은 마감 시간 여유도 및 예상 실행 시간을 기반으로 한 NL2SQL 워크플로우 요청 스케줄링

기술적 차이

기존 플랫폼은 내부 워크플로우 구조에 대한 인식이 부족하며, Cortex는 단계 격리를 통해 이 공백을 메운다.

결론 및 논의

주요 결론

Cortex는 간단하면서도 효과적인 단계 격리 전략을 통해 에이전트 워크로드의 서빙 성능을 크게 향상시킨다. 이 방법은 리소스 활용 효율성을 높일 뿐만 아니라 더 고급 에이전트 네이티브 서빙 패러다임의 기초를 마련한다.

향후 방향

가소성 워크플로우 및 리소스

1. 계산 적응성: 지연이 SLO 경계에 가까워질 때 경량 변형으로 무거운 모델 대체
2. 리소스 탄력성: 팬아웃 패턴에서 더 강력한 엔진을 사용하여 낙오자 추진

추측 실행

• 워크플로우에서 가장 가능성 높은 분기에 대한 추측
• 관련 엔진 사전 가열 또는 다음 단계 사전 실행
• 여러 후보 쿼리의 병렬 생성 및 평가

에이전트 상태 관리

• 중간 데이터를 일급 객체로서의 다층 "에이전트 상태"
• 워크플로우 범위의 공유 계층을 발행/구독 구조로
• 반복되는 도구 및 LLM 호출을 영비용 히트로 변환

제한 사항

1. 프로토타입 단계: 현재 개념 증명 단계이며 더 포괄적인 구현 및 평가 필요
2. 시나리오 제한: 주로 NL2SQL을 예로 하며 더 많은 에이전트 워크플로우에서 검증 필요
3. 복잡성 관리: 워크플로우가 자신의 가소성을 선언할 수 있는 인터페이스를 설계하는 방법은 여전히 개방된 과제

심층 평가

장점

1. 높은 혁신성: 워크플로우 인식 에이전트 서빙 아키텍처를 처음 제안
2. 정확한 문제 정위: 기존 LLM 서빙 플랫폼의 핵심 문제를 정확히 파악
3. 간결하고 효과적인 솔루션: 단계 격리 전략은 간단하지만 효과적
4. 전향적 사고: 향후 에이전트 네이티브 서빙의 명확한 발전 경로 제시

부족한 점

1. 제한된 실험 검증: 주로 하나의 NL2SQL 시나리오에 기반하며 대규모 다양화 실험 부족
2. 불충분한 정량화 결과: 그래프는 추세를 보여주지만 구체적인 성능 향상 수치 부족
3. 구현 세부사항 부족: 스케줄링 알고리즘 및 리소스 할당 전략의 구체적 구현 설명 부족
4. 불충분한 비교 실험: 주로 단순한 공유 풀 방식과 비교하며 다른 고급 방법과의 비교 부족

영향력

1. 학술적 가치: 에이전트 서빙 분야에 새로운 연구 방향 제시
2. 실용적 가치: 실제 프로덕션 환경의 중요한 문제 해결
3. 영감 제공: 후속 관련 연구에 귀중한 아이디어 제시

적용 시나리오

1. 다단계 에이전트 워크플로우: 특히 명확한 단계 구분이 있는 에이전트 애플리케이션에 적합
2. 리소스 제약 환경: GPU 메모리 등 리소스가 제한된 환경에서 효과 현저
3. 고성능 요구 시나리오: 지연 및 처리량에 엄격한 요구사항이 있는 프로덕션 환경

참고 문헌

논문은 다음 핵심 문헌을 인용한다:

1. vLLM: PagedAttention 메모리 관리 메커니즘
2. SGLang: 구조화된 언어 모델 프로그램 실행
3. Autellix: LLM 에이전트 서빙 엔진
4. HEXGEN-TEXT2SQL: 에이전트 워크플로우 스케줄링
5. 관련 NL2SQL 및 클라우드 서비스 문헌

전체 평가: 이는 에이전트 서빙 분야의 중요한 문제를 제시하고 효과적인 솔루션을 제공하는 혁신적이고 전향적인 논문이다. 현재 프로토타입 단계이지만 해당 분야의 발전 방향을 명확히 하며 중요한 학술적 및 실용적 가치를 가진다.