Nvidia’ya meydan okuyan yeni nesil “bellek” odaklı AI sunucusu

Teknoloji gündeminde öne çıkan son gelişme: Editör Hakkında Diğer Haberleri 357 Takipçi Metin Akpınar Teknoloji Editörü Teknoloji ve bilim dünyasını seven ve takip etmekten büyük zevk alan Metin, öğrendiklerini ise DonanımHaber okuyucuları ile paylaşır. Samsung’da yaşanan grev bellek fiyatlarını yükseltebilir 44 dk. Tesla Türkiye, Supercharger şarj ücretlerine zam yaptı 5 sa.

Tartışma yaratan çalışma: “Yapay zeka asla bilinçli olamaz” 4 sa. Tümünü Göster Teknoloji Editörü Bildirimi Aç Bildirim Açık a'). preventDefault();"> Tam Boyutta Gör Yapay zeka modelleri milyon parametrelerden başlayıp trilyonlarca parametrelere ulaşırken sektör, genel olarak eğitimde ihtiyaç duyulan hesaplama gücüne odaklandı.

Teknolojik Detaylar

Bu süreçte ise hesaplama gücünden çok belleğin belirleyici hale gelmesi göz ardı edildi. Bu kritik darboğazı aşmak isteyen eski Google ve Meta mühendisleri tarafından kurulan Majestic Labs AI , geliştirdiği yeni nesil sunucu mimarisiyle Nvidia ’nın GPU merkezli yaklaşımına alternatif sunmayı hedefliyor. Ofer Shacham, Masumi Reynders ve Sha Rabii tarafından kurulan şirket, geçtiğimiz aylarda aldığı 100 milyon dolarlık yatırımla dikkatleri çekmişti.

Girişim, modern yapay zeka sistemlerinde sıkça dile getirilen ve “ bellek duvarı ” olarak adlandırılan soruna doğrudan çözüm üretmeye odaklanıyor. Günümüzde yüksek performanslı işlemciler, verinin bellek ile işlem birimleri arasında taşınmasını beklerken çoğu zaman atıl kalıyor. Model boyutları büyüdükçe bu gecikmeler katlanarak artıyor ve donanım hızındaki gelişmelerin etkisini sınırlıyor.

Majestic Labs kurucu ortağı Sha Rabii’ye göre, mevcut altyapı ile en yüksek kaliteli modeller ticari açıdan sürdürülebilir olmaktan giderek uzaklaşıyor . Prometheus geliyor Şirketin bu soruna yanıtı, tamamen yeni bir sunucu sistemi olan Prometheus oldu. Bu sistem, şirketin geliştirdiği ve “ AIU ” (Artificial Intelligence Unit) olarak adlandırdığı özel bir işlemci etrafında şekilleniyor.

Sektörel Yansımalar

Ancak bu mimarinin en dikkat çekici yönü, işlem gücünden ziyade belleği merkeze alması . Majestic Labs’e göre Prometheus, Nvidia’nın GPU tabanlı sistemlerine kıyasla 1. 000 kata kadar daha fazla bellek kapasitesi sunabiliyor.

Her bir sunucu, 128 terabayta kadar yüksek hızlı bellekle yapılandırılabiliyor. Bu kapasitenin 5 ila 10 trilyon parametreye sahip modellerin bölünmeden ve gecikme yaşamadan çalıştırılmasına olanak tanıdığı belirtiliyor. DRAM bellek tercih ediliyor a').

preventDefault();"> Tam Boyutta Gör Majestic Labs, sektörde yaygın olarak kullanılan yüksek bant genişlikli bellek (HBM) yerine daha erişilebilir olan standart DRAM kullanmayı tercih ediyor. HBM’in üretiminde kullanılan üç boyutlu yığın teknolojisinin karmaşıklığı ve tedarik kısıtları, bu kararda belirleyici olmuş durumda. Şirket, DRAM kullanımını kendi geliştirdiği özel ara bağlantı (interconnect) teknolojisi ile destekliyor.

Bu haber, yapay zeka alanındaki rekabeti daha da kızıştıracak nitelikte. Sektör uzmanları, gelişmenin uzun vadeli etkilerini değerlendiriyor.