Две нейросети по 15 КБ: тернарный KAN и рассуждение без LLM

Значимый прорыв формирует отрасль ИИ: Fakeonomics 13 минут назад Две нейросети по 15 КБ: тернарный KAN и рассуждение без LLM Сложный 3 мин 710 Искусственный интеллект Кейс Из песочницы Июнь 2026. Две недели экспериментов, 90% точности многошагового рассуждения и 15‑килобайтная модель, которая бьёт FP32‑аналог. Без единого хардкод‑правила.

Ternary GraphKAN — первый тернарный KANKolmogorov‑Arnold Networks (KAN) - альтернатива MLP, предложенная в 2024. Все существующие реализации используют FP32 или 4‑битные веса (QuantKAN, KANtize). До трёх бит никто не опускался.

Технические детали

Что сделаноТернарные веса {-1, 0, +1} — 1. 79 800 параметров упаковываются в 15. Это первый KAN с квантованием ниже 4 бит.

МодельВесаРазмерMNISTFashion‑MNISTGraphKAN 256→100→10float15. 1%GraphKAN 256→100→10 15. 68%MLP 256→100→10float106.

4 КБ — самый маленький KAN с >95% на MNIST. Эффект регуляризации квантованиемНеожиданное открытие: точность растёт в процессе квантования. 77%) → STE ternary → hard clamp → finetune (96.

Отраслевые последствия

06% Дискретные веса работают как регуляризатор, отсекая шум в градиентах. В литературе по KAN такой эффект не описан. Как это устроеноАрхитектура.

Граф из 366 нейронов, 26 600 направленных связей. Каждая связь — интерполяция по трём контрольным точкам на позициях . Точки — тернарные {-1,0,+1}.

Tanh активация, синхронные циклы обновления. 4-фазный QAT:Float clamp — веса в STE ternary — прямой проход тернарный, обратный floatHard clamp — принудительная фиксация {-1,0,+1}Finetune — только scale+biasУпаковка. Для деплоя тернарные значения упаковываются по 4 штуки в uint8: {-1}→00, {0}→01, {+1}→10.

Событие, по словам экспертов, усилит конкуренцию в сфере ИИ.