Уявіть, що вам треба знайти один момент у двогодинному записі наради. Ви можете переглянути всі дві години на швидкості 1x. А можете відкрити транскрипт, знайти потрібне місце і подивитись лише його. Донедавна ШІ працював за першим сценарієм. 1 вересня Google випустила функцію, яка навчила Gemini другому.

Як було раніше

Коли ви віддавали моделі відео, вона розбирала його статично: нарізала на кадри з фіксованою частотою за замовчуванням один кадр на секунду і згодовувала їх собі повністю. Плюс окремо транскрибувала аудіодоріжку.

Двогодинний запис - це 7200 кадрів. Кожен кадр займає токени. Кожен токен коштує грошей. І неважливо, що 7100 із цих кадрів - це нерухома презентація, на якій нічого не відбувається.

Ще одна проблема: якщо подія тривала менше секунди, вона могла просто випасти між кадрами. Модель її не бачила.

Що змінилось

Нова функція називається agentic video understanding - агентне розуміння відео.

Замість того щоб пасивно поглинати все підряд, модель сама вирішує стратегію: що дивитись, з якою швидкістю і через який канал. Вона може звернутись до транскрипту, до кадрів або до аудіо - залежно від того, що потрібно для відповіді на конкретний запит. Може перемотати, може повернутись назад і переглянути фрагмент із вищою частотою кадрів, якщо там щось відбувається швидко. По суті, модель отримала можливість поводитись із відео так, як поводиться людина: не дивитись усе, а шукати.

Цифри

Google наводить такі показники порівняно зі статичною обробкою:

  1. до 88% менше токенів
  2. до 66% нижча вартість аналізу
  3. до 7% вища точність

Цікаво, що точність зросла одночасно зі зменшенням обсягу оброблених даних. Логіка тут така: контекстне вікно не забивається тисячами беззмістовних кадрів, і модель не губить потрібне серед шуму.

Нюанс, про який не пишуть

На коротких роликах агентний режим може працювати повільніше. Для відео до п'яти хвилин час до першого токена зростає: моделі спершу треба подумати, вирішити стратегію навігації і зробити кілька звернень до інструментів і лише потім починати відповідати. Тобто це не «покращення за замовчуванням для всього». Це інструмент під конкретний сценарій: довгий матеріал і запит про конкретний момент. Для тридцятисекундного ролика стара статична обробка залишається кращим вибором. Google у документації рекомендує починати з агентного режиму, якщо ви оптимізуєте якість відповіді або витрату токенів. Але саме для довгого контенту.

Другий нюанс - облік токенів став складнішим. Роздуми моделі під час навігації рахуються як thought tokens, а завантажені на вимогу кадри, аудіо і транскрипт як tool use tokens. Якщо ви рахуєте бюджет, це варто врахувати: структура витрат інша, ніж раніше.

Що доступно і кому

Функція працює на трьох моделях: Gemini 3.7 Flash, 3.6 Flash і 3.5 Flash-Lite. Доступ через Gemini API в Google AI Studio і Gemini Enterprise Agent Platform. Окремої плати за функцію немає, адже діють стандартні тарифи на токени. Підтримуються і завантажені файли, і відео з YouTube за посиланням. Для звичайних користувачів поки що ні. У застосунку Gemini функція обіцяна «незабаром», а в YouTube, у вигляді функції Ask YouTube на сторінці перегляду «протягом найближчих місяців». Конкретних дат і країн Google не називала.

Навіщо це на практиці

Google перелічує чотири основні сценарії: пошук моментів коротших за секунду, включно зі змінами стану, які губилися при одному кадрі на секунду; пошук по багатогодинних відео зі складними запитами; виявлення аномалій із перевибіркою підозрілих ділянок; і робота з довгим контентом загалом. Найочевидніше застосування - те, з чим стикається кожен, хто працює віддалено. Двогодинна нарада, яку ніхто не хоче переглядати. Запис вебінару. Лекція, у якій потрібні три хвилини з середини. Тут варто врахувати технічне обмеження: на платформі Gemini Enterprise максимальна довжина відео зі звуком - близько 45 хвилин, без звуку - близько години. Тож «розібрати двогодинний дзвінок» одним запитом не вийде, доведеться ділити на частини.

Друга категорія - усе, де відео багато і воно однорідне: відеоспостереження, контроль якості на виробництві, модерація контенту. Там економія в кілька разів на обробці - це не зручність, а різниця між «проєкт окупається» і «не окупається».

Це не проривна новина про нову модель - це інфраструктурна оптимізація. Але саме такі оптимізації частіше змінюють те, що реально роблять із технологією.

Коли аналіз години відео коштував дорого, його робили вибірково. Коли він дешевшає втричі - з'являються сценарії, які раніше не мали сенсу економічно.


Джерела: офіційний блог Google (blog.google), документація Gemini API (ai.google.dev/gemini-api/docs/video-understanding).