Яндекс Браузер с нейросетями: обзор новых функций и возможностей

Зачем нейросети в браузере

Современные нейросети решают множество задач: от генерации изображений до написания текстов. Однако обычно для этого приходится открывать отдельные сервисы, регистрироваться и платить. Яндекс решил встроить свои нейросети прямо в браузер, чтобы пользователи могли выполнять частые задачи без лишних действий. Это шаг к тому, чтобы ИИ стал неотъемлемой частью повседневного веб-серфинга.

В обновлённом Яндекс Браузере нейросети работают в фоне: они помогают исправлять ошибки в тексте, сокращать и улучшать его, переводить видео, распознавать QR-коды и даже генерировать изображения. Всё это доступно без установки дополнительных расширений и в большинстве случаев бесплатно. Такой подход делает технологии ИИ доступными для широкой аудитории.

Исправление ошибок: как это работает

Одна из ключевых функций — автоматическое исправление орфографических и пунктуационных ошибок. Она работает в любом текстовом поле на любом сайте, кроме строки поиска. Чтобы воспользоваться функцией, нужно выделить текст мышкой и выбрать в контекстном меню пункт «Помочь с текстом», а затем «Исправить ошибки». Нейросеть проанализирует текст и предложит исправления, которые можно применить одним нажатием.

Разработчики обучали модель на датасете из 5000 текстов, включающих сленг, матерные выражения и специальные символы, чтобы она умела отличать ошибки от разговорной речи. Для проверки использовали учебник Розенталя. Сейчас модель исправляет около 97% ошибок, пропуская примерно одну ошибку на 5000 знаков. Для сравнения: профессиональный корректор допускает до 8 ошибок на 40 000 знаков. В планах — повысить точность до 99%.

Сокращение и улучшение текста

Помимо исправления ошибок, браузер умеет сокращать текст и улучшать его стиль. Сокращение позволяет получить краткую выжимку, сохраняя ключевые факты и тон автора. В 95% случаев модель успешно сокращает текст, не теряя смысла. Улучшение стиля — это переработка текста в более понятную и структурированную форму, что полезно для превращения заметок в полноценные посты или описания задач.

Эти функции работают в любых текстовых полях, включая мессенджеры, соцсети и почту. Пока улучшение доступно только для русского языка, но в планах — английский. Также рассматривается возможность изменения стилистики, например, сделать текст более весёлым или серьёзным. Пользователи могут влиять на развитие функций, оставляя отзывы и предложения.

Перевод видео и субтитры

Браузер получил поддержку перевода видео с японского и корейского языков в дополнение к уже существующим английскому, немецкому, французскому, итальянскому, испанскому и китайскому. Перевод работает в реальном времени: достаточно нажать кнопку «Перевести» над видео, и через несколько секунд зазвучит синхронный перевод на русский. Это особенно полезно для просмотра зарубежных лекций, конференций и развлекательного контента.

Также улучшены нейросетевые субтитры: теперь они определяют смену говорящих и начинают реплики новых спикеров с новой строки и тире. Это значительно повышает читаемость и доступность для людей с нарушениями слуха. Кроме того, браузер умеет пересказывать видео с YouTube, VK, Zen и Rutube, создавая краткий конспект с таймкодами.

Распознавание QR-кодов в видео

Новая функция распознаёт QR-коды прямо в видео. Это удобно, когда код мелькает в кадре и его сложно считать с экрана. Браузер делает скриншоты раз в секунду, обрабатывает их локально и, если находит QR-код, показывает кнопку для перехода по ссылке или копирования текста. Скриншоты нигде не сохраняются, что обеспечивает приватность.

Разработчики использовали библиотеку ZXing, но доработали её: добавили апскейлинг изображения, исправили баг с повторным распознаванием и улучшили алгоритм поиска якорей. Это позволило повысить точность распознавания с 70% до почти 100%, включая нестандартные QR-коды с круглыми или фигурными якорями.

Генерация изображений с помощью Шедеврума

В браузер интегрирована нейросеть Шедеврум, которая генерирует изображения по текстовому запросу. Чтобы создать картинку, нужно нажать кнопку Алисы в левом нижнем углу и выбрать режим YaART. После ввода описания через несколько секунд появится готовое изображение в хорошем разрешении. Его можно сохранить или скопировать в буфер обмена.

Ограничение — 10 картинок в день. Если нужно больше, придётся использовать мобильное приложение. Эта функция пригодится для создания иллюстраций к постам, презентациям или просто для творчества.

Чат с нейросетью на всех страницах

Яндекс Браузер получил режим сплитвью с нейросетью Алиса AI. Экран делится на две части: слева остаётся сайт, видео или документ, а справа открывается чат. Пользователь может задавать вопросы по содержанию страницы, просить подготовить текст на основе увиденного или получать подсказки. Функция работает с видео, PDF-файлами и даже с текстом, который нельзя скопировать.

Открыть чат можно через кнопку «Спросить Алису AI» в правом верхнем углу. Нейросеть также может сама предлагать вопросы на основе содержимого страницы. Пока режим доступен части пользователей, но вскоре появится у всех.

Как это работает под капотом

За текстовые функции отвечает модель YandexGPT, которая также используется в Алисе. Для генерации изображений применяется нейросеть Шедеврум. Перевод видео основан на технологии ASR (распознавание речи) и машинного перевода. Все процессы, кроме генерации изображений, выполняются на серверах Яндекса, что позволяет экономить ресурсы устройства.

Интересно, что для обучения модели исправления ошибок использовали учебник Розенталя, а для субтитров — специальные модели, определяющие смену дикторов. Разработчики отмечают, что добавление японского и корейского языков заняло вдвое меньше времени, чем китайского, благодаря накопленному опыту.

Ограничения и недостатки

Несмотря на впечатляющий функционал, есть некоторые ограничения. Функция пересказа страниц, заявленная на промо-сайте, на практике может не работать — в редакции The Code не удалось найти сайт, где она бы сработала. Возможно, она включается постепенно. Также исправление ошибок не работает в строке поиска, а выделение текста с помощью Ctrl+A не активирует контекстное меню с нейроопциями — нужно выделять мышкой.

Генерация изображений ограничена 10 картинками в день, а улучшение стиля пока доступно только для русского языка. Кроме того, для работы некоторых функций требуется стабильное интернет-соединение, так как обработка происходит на серверах.

Перспективы и будущее

Яндекс продолжает развивать нейросетевые функции браузера. В планах — расширение языковой поддержки, интеграция с текстовыми редакторами, такими как Google Docs, и добавление новых инструментов для работы с текстом. Компания открыта к идеям пользователей и готова адаптировать функции под их потребности.

Внедрение нейросетей в браузер — это тренд, который будет развиваться. Уже сейчас пользователи могут выполнять сложные задачи, не покидая браузер, что экономит время и упрощает работу. В будущем можно ожидать появления аналогичных функций в других браузерах, но пока Яндекс находится в авангарде.

Вопросы и ответы