Яnetes — Kubernetes для тех, у кого свои масштабы (и для страданий, конечно)

Вот важная новость с фронта ИИ: Оказывается, в аду зачитываются фанфиком про Gachinetes. Они давно хотели улучшить систему своих пыток, сделать ее более клиентоориентированной и подстроенной под каждого посетителя. По словам Сатаны, им необходим был подходящий инструмент для пыток продуктовых команд Яндекса.

Взамен он обещал, что после смерти найдет мне местечко в подземелье Вана, чтобы я не слишком страдал в аду, а даже радовался загробной гачи-жизни под Venus in Furs. Предложение было слишком привлекательным, чтобы отказываться. Да и Веельзевул мужичонка солидный, иметь таких в пуле должников весьма полезно.

Технические детали

В Kubernetes есть довольно фундаментальный архитектурный недостаток: его придумали не в Яндексе. С этим, конечно, можно жить, но тогда для оркестрирования контейнеров придётся пользоваться чужим API-сервером, чужим планировщиком и какой-то etcd, хотя у тебя уже есть свои базы данных, свой фреймворк и люди, которые способны полтора часа объяснять на конференции, почему готовое решение не подходит для их масштабов. Вообще, яндексовский подход к разработке давно заслуживает отдельного дистрибутива.

Компания успела обзавестись собственной системой контроля версий, собственными контейнерами и собственным внутренним облаком, а некоторые разработки, вроде CatBoost, вполне успешно живут за пределами Я. Вот и мне захотелось собрать Kubernetes, в котором привычка делать всё по-своему доведена до логического завершения: снаружи можно оставить знакомые команды и объекты, а внутри написать заново всё, что решает, как кластер будет работать. Однако для большинства людей Яндекс начинается с гораздо более приземленных вещей.

Ты хочешь уехать домой, а спрос уже повышенный, так что ведьмаку заплатите чеканной монетой чеканной монетой. Ищешь что-нибудь, будь добр поглазей на рекламу. Собираешься устроиться на работу, пройди 85 этапов интервью, стань боссом качалки литкода, а потом еще подожди полгодика, когда тебе найдут подходящую команду.

Отраслевые последствия

И где бы ты ни оказался, Плюс наверняка сделает твою жизнь немного лучше, и тебе об этом многократно будут напоминать. Так что было бы странно, если бы сегодншний дистрибутив Kubernetes унаследовал от Я только технический стек и проигнорировал кадровые и продуктовые решения, по отношению к пользователям мы так поступить не имеем права. Ну, все мы знаем этот ЛОР и мемы:) Они и стали основной материала.

В итоге получился Яnetes. В нём API-сервер написан на C++ с userver, объекты хранятся в YDB, а новые поды проходят собеседования и ждут, пока их возьмут в команду. Деплой надо согласовать через Трекер, место в выдаче зависит от ранжирования и рекламного размещения, а баллы Плюса можно потратить на CPU.

Всё это работает на живом кластере. В ходе создания сего творения пришлось разбираться с довольно обычными проблемами: пропавшими полями protobuf, потерянными результатами нагрузочного теста и тем, сколько памяти съедает база, пока мы радуемся компактному API-серверу.

Этот прогресс даёт важные сигналы о будущем отрасли, и технологический мир внимательно наблюдает.