Яндекс представил обновленную версию фотоперевода текста. При обучении технологии компания создала языковую модель, чтобы переводить текст с учетом контекста. Модель обучали на множестве пар переводов, как плохих, так и хороших, чтобы нейросеть могла отвергать переводы низкого качества. Помимо повышения качества перевода, Яндекс улучшил его визуализацию — текст теперь легче читается и больше похож на оригинал благодаря автоматическому подбору шрифта и его размера.
Сервис может быть полезен в зарубежных поездках для мгновенного перевода объявлений, меню ресторанов и кафе, названий книг, информационных табличек.
Новая технология уже доступна в Яндекс.Переводчике и Яндекс.Браузере, вскоре появится в умной камере.
Новая языковая модель YandexGPT понимает стиль языка оригинала, может сохранить при переводе фразеологизмы и игру слов. Перевод на основе большой языковой модели работает только оригинальными изображениями на английским языке.
