AI Agent의 Context는 정말 가장 비싼 자원인가?

Scope

핵심 질문

Agent에서 컨텍스트 유지가 늘 가장 비싼 자원인지 검증됐는가? 아니면 어떤 작업에서 token 비용·지연·오류 수정 비용이 커지고, 모델 추론·검색·사람의 재작업 비용과 어떻게 비교해야 하는가?

Draft

컨텍스트가 언제나 Agent의 가장 비싼 자원이라는 근거는 없다. 모델 추론, 검색, 재시도와 사람의 수정 비용이 작업마다 달라 일률적으로 순위를 매길 수 없다. 필요한 정보를 놓치거나 무관한 문맥을 과하게 넣는 문제는 모델 성능과 별개로 점검할 중요한 후보이지만, 실제 병목은 같은 과제의 비용·지연·성공률을 나눠 측정해야 판단할 수 있다.

컨텍스트가 비싼 이유

긴 repository와 대화, tool log를 모두 넣으면 사용 token과 지연이 늘 수 있다. 반대로 너무 많이 줄이면 이전 결정과 중요한 조건을 잃는다. Lost in the Middle의 읽힌 초록은 특정 긴 문맥 과제에서 관련 정보의 위치가 성능에 영향을 준다고 설명한다. 이는 모든 Agent 비용의 1순위를 측정한 결과가 아니다.

품질 비용

잘못된 파일을 넣으면 큰 모델에서도 잘못된 구현이 나올 수 있다. LongLLMLingua의 읽힌 초록은 특정 과제에서 prompt 압축에 따른 token·지연 이점을 보고하지만, 모든 모델이나 Agent 작업에 같은 효과가 난다는 뜻은 아니다. 같은 과제·모델과 성공 기준에서 검색 품질 또는 압축만 바꾼 경우, 모델만 바꾼 경우를 나눠 비교해야 한다.

장기 작업

오래된 내용을 요약하고 현재 상태를 구조화하며 필요할 때 원문을 다시 검색해야 한다. 이 과정 자체가 별도의 시스템이다.

결론

Context는 Agent가 사용할 수 있는 제한된 작업 문맥이지만 항상 가장 비싼 자원이라고 판정할 수는 없다. 같은 업무에서 입력·출력 token 비용, 검색 시간, 재시도·실패율, 사람의 재작업 시간과 추론 자원을 동일한 기준으로 기록한 뒤 문맥 선택 변경의 이득을 비교한다. 무엇을 넣고 버리고 재검색할지 설계하는 것은 이 측정에서 개선할 한 요소다.