Сделал для Twitch “Детектор смеха”, где ИИ считывает эмоции. Рассказываю, как оно устроено внутри и делюсь цифрами

Значимый прорыв формирует отрасль ИИ: MrKholov 17 минут назад Объяснить с Сделал для Twitch “Детектор смеха”, где ИИ считывает эмоции. Рассказываю, как оно устроено внутри и делюсь цифрами Простой 6 мин 335 JavaScript * Node. JS * Разработка игр * Веб-разработка * Кейс Из песочницы Решил сделать для друзей игру, где нельзя смеяться, чтобы ИИ распознавал эмоции и определял, кто засмеялся первым.

Пример того, как работает «Детектор смеха»Я не программист, по профессии маркетолог. Всё это написано с ИИ‑агентами примерно за шесть недель: сейчас в проекте больше пятисот коммитов. Как выглядит такая работа изнутри и что агент ломал по дороге, расскажу отдельно и честно.

Технические детали

А в этой статье — карта: из каких частей состоит шоу и какие задачи в каждой из них оказались неожиданно сложными. Как всё началосьЯ уволился и решил повайбкодить. Начать хотел с чего‑то весёлого.

У меня есть друзья, которые живут в разных странах, и я захотел сделать для нас игру. Сам формат не новый — игра вроде «Большого шоу» или японского Hitoshi Matsumoto Presents Documental: разные раунды, но единое правило — нельзя смеяться. Сначала я попробовал посмотреть рилсы через демонстрацию экрана в Zoom, но видео приходило с опозданием: один уже смеётся, у другого ещё середина.

Когда решил эту проблему (расскажу позже как), надо было понять, кто засмеялся первым и что считать смехом. Нужно было как‑то судить. Попробовали классику с водой во рту — судит она идеально, но с водой во рту нельзя разговаривать, а часто смешны не сами видео, а разговоры и взаимодействие.

Отраслевые последствия

Плюс, кроме просмотра видео, есть и другие раунды. Тогда решил поискать, как можно отлавливать смех в реальном времени: камера же всё равно включена. Из чего состоит шоуОбщая схема логики шоу.

Видео стартует у всех одновременноГлавное решение проекта: по сети не передаётся видео. Каждый участник заранее скачивает ролик, а сервер присылает только одно — в какой момент его нулевая секунда. Дальше у каждого свои часы, сверенные с серверными, и своя подстройка скорости, чтобы не разъехаться.

Расхождение между участниками — меньше одного кадра. Чтобы не делать полотно, подробности про каждую большую фичу расскажу в следующих статьях. Если коротко: синхронизацию я сделал сам (общие часы и WebSocket), а камеры и голос участников идут через LiveKit — там тоже было много нюансов.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.