Context Compression은 무엇을 잃는가

Context Compression은 무엇을 잃는가

Scope

핵심 질문

긴 Agent 기록을 요약할 때 가장 자주 잃는 정보는 무엇이며 어떻게 완화하는가?

Draft

Context Compression은 토큰을 줄이는 대신 세부정보를 잃는 손실 압축이다.

자주 사라지는 것

• 정확한 숫자와 날짜
• 부정문과 금지조건
• 파일명과 식별자
• 왜 특정 결정을 했는지에 대한 근거
• 아직 해결되지 않은 예외
• 사용자가 이미 거절한 선택지

가장 위험한 경우

요약이 결론만 남기면 나중에 조건이 달라졌을 때 이전 판단을 잘못 재사용할 수 있다.

완화

결정사항, TODO, identifier는 구조화된 state로 분리하고 대화 의미만 자연어로 요약한다. 원문은 삭제하지 않고 retrieval 가능하게 남긴다.

결론

좋은 compression은 모든 내용을 짧게 만드는 것이 아니라 미래 행동에 필요한 정보의 손실을 통제하는 것이다.