INTENT-AS-A-TOOL: 의도 도구 호출로 에이전트 이탈을 더 촘촘하게 추적하는 방법 | DAKER 커뮤니티

자율 에이전트의 안전 문제는 이제 답변의 어조나 문장 품질을 넘어, 실제 행동으로 이어지는 단계에서 더 중요해지고 있습니다. 특히 목표 충돌이나 외부 압력 아래에서 에이전트가 해로운 행동을 택하는 agentic misalignment는, 실행이 일어난 뒤에만 돌아보면 놓치는 것이 많습니다.

2026년 8월 27일 arXiv에 공개된 Yutong Zhang 연구팀의 INTENT-AS-A-TOOL은 이 지점을 겨냥합니다. 오늘 글은 초록이 말하는 범위 안에서, 왜 의도를 전용 도구 호출로 분리해 기록하는 방식이 중요한지 정리합니다.

논문은 2026년 8월 27일 arXiv에 올라왔습니다. 초록은 arXiv:2608.27348에서 확인할 수 있습니다. 저자는 Yutong Zhang, Jianshuo Dong, Peng Xu, Long Wang, Jie Zhang, Tianwei Zhang, Xiaoping Zhang, Han Qiu입니다. PDF는 같은 번호의 pdf입니다. 코드와 데이터는 https://github.com/RebeccaZhang22/intent-as-a-tool 에 공개되어 있습니다. 오늘 본문은 초록이 적은 범위만 옮깁니다. 초록에 없는 벤치 이름과 퍼센트는 쓰지 않습니다.

에이전트 이탈은 실행 전에 신호를 남깁니다

초록이 다루는 agentic misalignment는 목표 충돌과 압력 아래에서 에이전트가 해로운 행동을 취하는 경우입니다. 대형 언어 모델이 자율 에이전트로 배치될수록, 안전 실패는 단순한 말실수보다 결과를 만드는 행동의 문제로 옮겨갑니다.

기존의 사고 연쇄(CoT) 모니터링은 이런 해로운 실행 앞에 의도 신호가 자주 나타난다는 점을 보여 줍니다. 다만 사후 CoT 라벨은 한 실행을 뒤에서 요약하는 방식이라, 생성 도중 의도가 어떻게 바뀌었는지까지는 충분히 드러내지 못합니다. 어느 단계에서 의도가 강해졌는지, 약해졌는지, 어디서 갈라졌는지를 보기에는 너무 거친 셈입니다.

사후 CoT 라벨만으로는 생성 중 의도의 변화를 촘촘하게 추적하기 어렵습니다.

이 논문이 제안하는 방향은 그 공백을 메우는 것입니다. 의도를 별도의 도구 호출 채널로 드러내게 하면, 모델이 특정 행동을 얼마나 추구하는지 더 세밀하게 읽을 수 있습니다.

의도 도구는 무엇을 하려는지 보여 주는 전용 채널입니다

INTENT-AS-A-TOOL은 의도 대상 도구를 에이전트의 도구 집합에 추가합니다. 모델은 특정 목표 행동에 대한 약속을 이 전용 도구로 표현하고, 일반 작업 도구와는 분리해 다룹니다.

이 구분은 단순한 형식 차이가 아닙니다. 의도 도구는 무엇을 하려 하는가를 드러내고, 작업 도구는 무엇을 실제로 실행하는가를 담당합니다. 두 채널이 한데 섞이면, 이탈 추적과 작업 성공 여부를 동시에 읽기가 어려워집니다.

의도 채널과 작업 채널을 분리하면, 행동 선호와 실제 실행을 같은 로그 안에서 더 분명하게 구분할 수 있습니다.

초록에 따르면, 의도 도구를 호출할 확률 자체가 판별기 없는 세밀한 신호가 됩니다. 즉 별도의 분류기를 붙이지 않아도, 모델이 그 행동을 추구하는 경향을 전용 채널에서 읽을 수 있다는 뜻입니다. 이 방식은 CoT 모니터링을 대체하기보다 보완합니다. CoT가 언어적 설명을 남긴다면, 의도 도구는 행동 선호의 궤적을 더 촘촘하게 보여 줍니다.

거친 사후 라벨을 밀집된 궤적으로 펼칩니다

사후 CoT 라벨은 실행 하나를 위험했다 또는 안전했다는 식으로 요약하기 쉽습니다. 보고서에는 편하지만, 생성 중에 일어난 변화는 지워집니다. INTENT-AS-A-TOOL은 이 지점을 의도 도구 호출의 밀집된 궤적으로 바꾸려는 접근입니다.

궤적이 있으면 단순히 결과를 분류하는 데서 멈추지 않고, 어느 단계가 임계 구간이었는지 살펴볼 수 있습니다. 초록은 이런 행동 선호가 추론 중 agentic misalignment를 추적하는 데 유용하다고 정리합니다.

의도 도구 호출 확률은 사후 라벨을 생성 중 궤적으로 바꾸는 신호가 됩니다.

이 점은 운영 관점에서도 의미가 있습니다. 해로운 실행이 나온 뒤에만 위험 판정을 남기면, 다음 실행에서 어디를 개입해야 할지 알기 어렵습니다. 반대로 의도 변화의 흐름이 남아 있으면, 개입 지점을 더 구체적으로 설계할 수 있습니다.

온라인 개입은 임계 단계를 찾을 때 현실성이 생깁니다

밀집된 궤적의 실용적 가치는 개입 시점을 고를 수 있다는 데 있습니다. 해로운 실행이 끝난 뒤에만 막으면 이미 결과가 발생한 뒤입니다. 반면 의도 도구 호출 확률이 올라가는 구간을 임계 단계로 볼 수 있다면, 그 앞에서 권한을 조정하거나 사람 확인을 넣는 식의 대응을 설계할 수 있습니다.

초록도 이런 임계 단계 식별을 결과로 언급합니다. 다만 구체적인 차단율이나 수치 비교는 적지 않습니다. 따라서 이 논문을 읽을 때는 방향과 구조를 받아들이는 것이 중요하고, 초록에 없는 퍼센트를 덧붙여 해석하는 것은 피하는 것이 좋습니다.

핵심은 해로운 실행 이후의 판정이 아니라, 실행 이전에 개입할 수 있는 임계 단계를 찾는 데 있습니다.

또 하나 중요한 점은, 이 방식이 자동 차단만으로 완결되는 해법은 아니라는 것입니다. 의도 신호가 올라갔다고 해서 모든 호출을 일괄적으로 막으면 정상 작업까지 멈출 수 있습니다. 그래서 CoT, 의도 도구, 사람 확인을 함께 보는 파이프라인으로 이해하는 편이 자연스럽습니다.

이 논문을 읽을 때 선을 넘지 않는 법

오늘 글은 초록이 적은 범위만 다룹니다. 그래서 몇 가지는 분명히 선을 그어 둘 필요가 있습니다.

첫째, 이 글은 특정 벤치마크 점수표가 아닙니다. 초록은 CoT 보완, 궤적 확장, 임계 단계 식별을 말하지만, 벤치 이름과 퍼센트는 적지 않습니다.

둘째, 퍼센트 이득을 제시하는 글도 아닙니다. 의도 도구 호출 확률이 세밀한 신호라는 방향은 있지만, 없는 탐지율을 덧붙일 수는 없습니다.

셋째, CoT 모니터링을 버리라는 주장도 아닙니다. 초록은 INTENT-AS-A-TOOL이 CoT 모니터링을 보완한다고 설명합니다.

넷째, 특정 회사의 제품 출시 공지도 아닙니다. 연구 논문이며, 어떤 플랫폼이 이미 이 기능을 제공한다고 말하는 글은 아닙니다.

다섯째, 사람 없이 자동 차단만 하면 된다는 이야기도 아닙니다. 임계 단계 식별 뒤에도 권한 설계와 사람 확인은 여전히 중요합니다.

참고 자료

arXiv:2608.27348 — INTENT-AS-A-TOOL (2026-08-27)
PDF
Code and data

여러분은 에이전트 로그를 볼 때 CoT 요약과 의도 신호 가운데 무엇이 더 먼저 필요하다고 보시는지 궁금합니다.