Как я научил MacBook озвучивать субтитры с PS5

Значимый прорыв формирует отрасль ИИ: zubinator 31 минуту назад Как я научил MacBook озвучивать субтитры с PS5 Простой 13 мин 976 macOS * Игры и игровые консоли Лайфхаки для гиков Ненормальное программирование * Кейс Из песочницы Мы с женой хотели вместе поиграть в Split Fiction на PS5. Но с английским у нас обоих не очень: понимать диалоги на слух трудно, а хочется следить за историей и слышать реплики на понятном нам языке. Так появилась идея: пусть MacBook читает игровые субтитры по-русски, пока мы играем на телевизоре.

С этого и начался проект. К телевизору уже была подключена карта видеозахвата с HDMI-входом, HDMI-выходом и USB. Оставалось получить картинку на MacBook, вырезать нижнюю треть экрана, распознать текст и прочитать его вслух.

Технические детали

Главное — не повторять одну реплику всё время, пока она висит на экране. Потом выяснилось, что субтитры могут быть английскими. Что в игре на двоих одна фраза появляется сразу в двух местах.

Что героиня должна говорить «я была готова». И что русский перевод иногда можно найти вообще без переводчика — по контрольной сумме исходной строки. Так получилось приложение PS5 Voice.

Собирал его вместе с Codex, а требования и проверки приходили из самой игры: запускал сцену, слушал результат и разбирался, что пошло не так. Мы уже играли с женой с этой озвучкой. Ниже расскажу, как она устроена и какие задачи пришлось решить по дороге.

Отраслевые последствия

В конце оставлю промпт, с которым можно попробовать собрать такое приложение в своём агенте. Приставка играет, ноутбук читаетСхема подключения такая:Подключение: PS5 передаёт HDMI-сигнал карте захвата, карта выводит его на телевизор и по USB на MacBookИгра остаётся на телевизоре. На Mac приходит копия изображения, а из динамиков ноутбука звучит русский текст.

Оригинальная английская дорожка продолжает играть на телевизоре. Громкость оригинала и русской речи регулируется отдельно. Я использовал OEM 4K HDMI USB 3.

0 Video Capture Card с Kaspi. Со стороны macOS она называется USB3. 0 Video и выглядит как камера.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.