Как я не купил терменвокс и сделал его в браузере или Air Theremin

Значимый прорыв формирует отрасль ИИ: lucius только что Краткое содержание статьи Как я не купил терменвокс и сделал его в браузере или Air Theremin Простой 3 мин 1 JavaScript * Веб-разработка * Звук Ненормальное программирование * Обработка изображений * Кейс Играю на Air Theremin: Слева - экран телефона: между ладонями натянута струна-осциллограф. Доча посмотрела серию из «Кати и Эфа» и сказала, что видела там прикольный инструмент под названием терменвокс. Я вспомнил, что давно хотел тоже попробовать поиграть на нём.

Загуглил, и цены оказались какие-то негуманные для инструмента на полчаса игры. Тут мне пришла мысль сделать аналог терменвокса для телефона, чтобы для игры можно было использовать гироскоп. В современном мире расстояние от идеи до воплощения сильно сократилось, хотелось вот прям сразу пойти и вайбкодить, но я чутка притормозил себя и сперва загуглил аналоги.

Технические детали

Оказалось, что существует прекрасный где можно водить мышкой и генерировать прекрасные звуки. Но мне хотелось использовать именно гироскоп, поэтому я быстро создал прототип и поиграл с ним. Air Theremin в режиме гироскопа: наклон влево-вправо — громкость, вперёд-назад — высота.

На ноутбуке вместо гироскопа работает мышка. Поиграв с гироскопом, я понял, что это не шибко весело, а гораздо веселее делать это просто руками в воздухе, как на настоящем терменвоксе. Спустя несколько заклинаний промптов я получил web-приложение, которое считывает движения рук и генерирует потрясающие звуки.

Забегая вперёд: в сентябре проект попал в рассылку The New York Times «The Good List». Я его туда не отправлял и никого об этом не просил — узнал по логам сервера, когда посещаемость за день подскочила со ~150 человек до 3,5 тысяч. Описали его там так:Uses your computer's webcam to read your hand positions and translate them into the theremin's subaqueous tones.

Отраслевые последствия

Как на этом играютЯ не музыкант и не шарю в музыке, однако методом проб и ошибок подобрал удобные комбинации положения рук в пространстве для управления:* Руки поднял выше — нота выше. * Развёл руки в стороны — звук громче. * Перекос рук управляет вибрато.

* Если ладони приблизить к камере — звук ярче, а если отклониться — глуше. Схема жестов - эта же схема показывается в приложении при первом включении камеры. Я пробовал еще добавлять пальцы, но как-то не получалось красиво и просто, да к тому же мои заскорузлые пальцы двигались не слишком плавно.

Поэтому решил остановиться на ладонях. ГраблиБыло много мелких, но парочка запомнилась. Самая первая проблема — рука пропадает из трекинга.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.