Текст опубликован в личном блоге и его автор не имеет отношения к администрации сайта

Компания «Яндекс» представила обновлённый алгоритм поиска по изображениям. Он способен одновременно анализировать текст и изображение, тогда как прежде анализ выполнялся раздельно.

Теперь поиск «Яндекса» улучшит распознавание в случаях, если изображение и его текстовое описание не совпадают. Например, если указана фотография определённого смартфона, автомобиля, одежды, бытовой техники, а описание ошибочно говорит о другой модели.

Изображение: Gemini 

Введение нового алгоритма в строй увеличило число релевантных изображений наверху выдачи. В результате пользователям всё реже требуется задавать уточняющие запросы, поскольку правильное изображение показывается в первый же раз.

Точность выросла благодаря применению мультимодальной нейросети, обученной именно под эту задачу. Чтобы поиск не стал медленнее из-за совместного анализа текста и изображения, большую модель разделили на несколько компактных, каждая из которых занимается обработкой своего участка. Наиболее требовательные вычисления происходят заранее, а в остальном технология работает в режиме реального времени и не замедляет получение ответов.