Как мы делаем онлайн звонки: Введение в WebRTC и LiveKit

В сфере искусственного интеллекта произошло заметное событие. Hramoff 29 минут назад Как мы делаем онлайн звонки: Введение в WebRTC и LiveKit Простой 9 мин 1. 1K Сетевые технологии * Веб-разработка * Обзор Коллеги, здарова! Меня зову Храмов Максим и я с командой делаем сервис для онлайн звонков и видео конференций с ИИ, приложение по итогам звонка составляет summary где отражаются какие были проблемы или темы озвучены, к каким результатам пришли, и все такое, в общем помогает фиксировать ключевые решения live-call.

И мы хотели бы рассказать подробнее о технической части этого проекта, как он работает, как мы его деплоим, какая инфраструктура используется и как мы стараемся обеспечить отказоустойчивость, чтобы вы всегда могли проводить созвоны без проблем. Мы хотим начать с самого низкоуровневого решения и рассказать о том, как работает WebRTC, какие механизмы используются для создания соединения и как это все работает. Технология довольно обширная и рассказывать можно бесконечно, но для написания этой статьи мы ставим цель, чтобы вы поняли все необходимое за наименьшее время.

Технические детали

Развертывание и поддержание работы инфраструктуры для WebRTC в режиме реального времени задача не самая простая. Звонки и видеоконференции требуют минимальных сетевых задержек, а также возможности прохождения UDP пакетов через NAT разных видов. Сегодня сделаем небольшое введение в механизм работы LiveKit сервера и поговорим о том, как работают современные онлайн звонки, видеоконференции и войс чаты в играх.

Обзор WebRTC:Технология, благодаря которой появляется возможность одноранговой передачи видео и аудио называется WebRTC, а расшифровывается как Web Real-Time Communication. Для начала давайте разберемся что значит одноранговой. Обычно WebRTC реализует только Peer to Peer соединение между двумя клиентами, ему важно выбрать наиболее кротчайший и быстрый путь.

Вот бы было все так просто. Во-первых, в игру вступает NAT. Как вы знаете в подавляющем большинстве случаев все клиенты используют трансляцию сетевых адрес.

Отраслевые последствия

Клиент, не может получить доступ к устройству, использующему частный IP-адрес из-за пределов его сети. Нам нужно узнать публичный адрес и его порт, для этого используется STUN сервер. STUN:STUN это сетевой протокол, который позволяет клиенту, находящемуся за NAT определить свой внешний IP-адрес и порт.

Сами STUN серверы очень легковесные. Можно использовать публичные, например stun. Либо можно поднимать свой.

Стоит ли запускать свой собственный STUN? Сложный вопрос, для большинства случаев достаточно общедоступных серверов. STUN не хранит состояние и не требует больших ресурсов.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.