Gemini 에이전트 비디오 이해, 토큰은 줄이고 긴 영상 분석은 어떻게 달라지나 | DAKER 커뮤니티

긴 영상을 모델에 넣을 때 가장 먼저 부딪히는 문제는 비용과 정확도입니다. 고정 FPS로 처음부터 끝까지 읽히면 단순하고 예측 가능하지만, 정말 중요한 장면을 놓치거나 반대로 불필요한 구간까지 모두 처리하게 되기 쉽습니다.

Google DeepMind가 2026년 9월 1일 Google Blog에 공개한 이번 업데이트는 바로 그 지점을 겨냥합니다. Gemini에 에이전트 비디오 이해를 넣어, 영상을 고정 프레임률로 일괄 처리하는 대신 필요한 구간을 동적으로 찾고 검사하도록 했다는 내용입니다. 원문은 Introducing agentic video understanding with Gemini입니다.

Gemini는 이제 비디오를 고정 FPS로 모두 읽는 대신, 목표에 맞는 구간과 모달리티를 동적으로 찾아 분석합니다.

이번 발표에서 나온 핵심

대상 모델은 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite입니다. 원문은 latest models 전반에 에이전트 비디오 이해를 출시한다고 설명하지만, 이를 구형 모델 전체 지원으로 넓혀 쓰면 안 됩니다.

핵심 차이는 처리 방식입니다. 정적 처리는 기본 1 FPS를 기준으로 영상을 읽고, API에서 이를 조정할 수 있습니다. 반면 에이전트 비디오는 질문이나 목표에 따라 시각 프레임, 오디오, 트랜스크립트를 오가며 필요한 구간을 검색하고 스캔하고 검사합니다. 다시 말해 무엇을 어떤 속도로 어떤 모달리티로 볼지를 모델이 고르는 구조입니다.

정적 처리가 고정된 속도로 영상을 읽는 방식이라면, 에이전트 비디오는 필요한 장면을 찾아가며 보는 방식에 가깝습니다.

Google이 제시한 상한 수치는 토큰 최대 88% 감소, 비용 최대 66% 감소, 정확도 최대 7% 향상입니다. 다만 이 수치는 어디까지나 up to 기준입니다. 모든 영상과 모든 모델에서 항상 같은 결과가 나온다는 뜻은 아닙니다.

이런 이점은 특히 장문 영상에서 크게 나타난다고 설명합니다. 10분 가이드부터 90분 강의, 수시간 분량 녹화까지 길이가 늘어날수록 정적 처리는 토큰 비용과 세부 정보 손실 사이에서 타협해야 하는 경우가 많습니다. 원문은 LongVideoBench 예시를 통해 토큰 감소와 정확도 개선을 함께 보여 준다고 적고 있습니다.

어디서 쓸 수 있고, 어떻게 켜나

제공 채널은 Gemini API, Google AI Studio, Gemini Enterprise Agent Platform입니다. 업로드한 영상과 YouTube 모두 대상이며, 별도 기능 요금은 없고 표준 Gemini API 토큰 가격이 적용됩니다. 다만 이것이 무료 기능이라는 뜻은 아닙니다. 토큰 사용량 자체는 표준 가격으로 청구됩니다.

활성화는 processing을 agentic으로 설정하면 됩니다. 원문 코드 예시는 gemini-3.7-flash를 사용하고, 같은 input 배열 안에 type video와 type text를 함께 두며, 비디오 URI로 YouTube 링크를 넣습니다. 여기서 설정 이름을 agent나 agentic_video처럼 바꿔 쓰면 안 됩니다. 원문은 processing을 agentic으로 적고 있습니다.

processing 키를 빠뜨리면 정적 처리로 남을 수 있으므로, 설정 확인이 중요합니다.

업로드 파일과 YouTube URI를 같은 파이프라인에서 다룰 때는 콘텐츠 정책과 보존 기간을 각각 따로 확인하는 것이 좋습니다. 공개 YouTube와 내부 업로드 권한을 같은 기준으로 보면 운영 단계에서 혼선이 생길 수 있습니다.

어떤 작업에서 차이가 커지나

원문이 제시한 대표 유스케이스는 서브초 순간 검색, 장문 needle-in-haystack, 이상 탐지, 동작·객체 카운팅입니다.

서브초 순간 검색은 자동 편집 같은 작업에 연결될 수 있습니다. 다만 이것이 완성된 편집 제품 출시를 뜻하는 것은 아닙니다. 개발자가 매우 짧은 경계와 순간을 더 정밀하게 찾을 수 있다는 의미로 이해하는 편이 맞습니다.

장문 needle-in-haystack은 수시간 영상에서도 복잡한 질의에 답하면서 토큰 사용을 크게 줄이는 데 초점이 있습니다. 핵심은 정적 분석과 비슷한 답을 더 적은 토큰으로 얻는 비교입니다.

이상 탐지는 흥미로운 시간창을 더 높은 FPS로 다시 샘플링해 빠른 움직임이나 미세한 아티팩트를 보는 방식으로 설명됩니다. 카운팅은 반복되는 신체 동작이나 구분 가능한 객체를 시간에 따라 추적하는 사례입니다. 유스케이스별로 평가 세트를 나눠 보는 것이 적절합니다.

성능 수치를 읽을 때 주의할 점

에이전트 비전과 에이전트 비디오는 형제 개념이지만 같은 기능은 아닙니다. 원문도 similar to agentic vision이라고 연결할 뿐, 이미지 전용 설정을 비디오에 그대로 복사한 것처럼 설명하지는 않습니다. 입력과 도구가 다릅니다.

토큰, 비용, 정확도 수치는 표준 비디오 분석 벤치 기준입니다. 자사 프로덕션 로그에서도 같은 비율이 재현된다고 약속하면 안 됩니다. 특히 정확도 최대 7% 향상 역시 표준 벤치 기준 상한이므로, 실제 도메인에서는 동일 질의로 다시 측정하는 편이 좋습니다.

비용 최대 66% 감소와 토큰 최대 88% 감소는 함께 제시되지만, 실제 견적에서는 가격표, 캐시, 지역 조건에 따라 비율이 달라질 수 있습니다. 견적서에는 실측 토큰을 우선 반영하고, 공개 수치를 인용할 때는 최대와 벤치 조건을 함께 적는 편이 안전합니다.

이번 발표의 숫자는 보장값이 아니라 상한값입니다.

또한 3.7 Flash가 정확도-비용 파레토 전선에 있다는 문장은 테스트한 모델 비교 안에서의 설명입니다. 원문에 없는 타사 모델명을 끼워 넣어 순위를 확장하면 사실 관계가 달라집니다.

이번 발표가 아닌 것

이번 소식은 Gemini 에이전트 팀워크나 Gemini Omni 40초 오디오 발표와는 다른 주제입니다. 오늘의 초점은 비디오 이해 처리 모드입니다.

또한 고정 FPS 방식이 사라졌다는 뜻도 아닙니다. 정적 모드는 그대로 남아 있고, 필요할 때 agentic을 켜는 선택지가 추가된 것입니다.

마찬가지로 Ask YouTube가 오늘 전 세계 시청 페이지에 켜졌다는 공지도 아닙니다. 원문은 Gemini 앱의 Flash·Flash-Lite 확대를 soon으로, Ask YouTube 적용을 coming months로 적고 있습니다. 둘을 오늘 동시 GA처럼 묶어 쓰면 안 됩니다.

실제로 확인해 볼 포인트

원문과 개발자 가이드를 먼저 함께 보는 것이 좋습니다. 특히 모델 목록, processing="agentic" 설정, 상한 수치를 정확히 확인해 두면 이후 문서화가 쉬워집니다. 출발점은 Google — Agentic video in Gemini (2026-09-01)입니다.

그다음에는 장문 영상 파이프라인에서 정적 1 FPS와 agentic을 같은 질의로 A/B 비교해 보면 됩니다. 토큰, 비용, 정답 품질을 나란히 기록하면 공개 수치와 내부 결과의 차이를 빠르게 파악할 수 있습니다.

유스케이스는 서브초 검색, 카운팅, 이상 탐지 가운데 우선순위가 높은 하나부터 잡는 편이 좋습니다. 여러 목표를 한 프롬프트에 한꺼번에 넣으면 비교가 흐려질 수 있습니다.

운영 측면에서는 YouTube URI와 업로드 파일의 권한, 보존 정책을 구분해 확인하는 것이 필요합니다. Enterprise Agent Platform 경로와 AI Studio 경로도 같은 것으로 취급하지 않는 편이 좋습니다.

로드맵 문서에는 앱 확대와 Ask YouTube 일정을 예정으로만 적는 것이 맞습니다. 오늘 바로 제공되는 기능처럼 고객 일정에 반영하면 오해가 생길 수 있습니다.

한 번에 정리하면

2026년 9월 1일 Google는 Gemini 3.7 Flash, 3.6 Flash, 3.5 Flash-Lite에 에이전트 비디오 이해를 공개했습니다. 고정 FPS 기반 정적 처리 대신, 모델이 필요한 구간과 모달리티를 동적으로 찾아 분석하는 방식입니다. 원문은 토큰 최대 88%, 비용 최대 66% 감소와 정확도 최대 7% 향상을 제시하지만, 모두 상한 수치입니다. 제공 채널은 Gemini API, Google AI Studio, Gemini Enterprise Agent Platform이며, 업로드 영상과 YouTube 모두 지원합니다. 활성화는 processing을 agentic으로 설정하면 되고, 별도 기능 요금은 없지만 표준 토큰 과금은 그대로 적용됩니다. Gemini 앱과 Ask YouTube 확대는 이후 일정으로 예고돼 있습니다.

참고 자료

Google — Introducing agentic video understanding with Gemini (2026-09-01)

긴 영상 분석 파이프라인에서 정적 처리와 agentic 처리의 차이를 이미 비교해 보셨다면, 어떤 지점에서 가장 큰 차이가 났는지 궁금합니다.