Dünyanın En Süratli Yapay Zeka Arayüzü Cerebras Inference Duyuruldu

0

BEĞENDİM

ABONE OL

News

0

Cerebras Systems tarafından dünyanın en süratli yapay zeka çıkarım tahlili olarak Cerebras Inference duyuruldu. Yeni tahlil, Microsoft Azure dahil olmak üzere hiper ölçekli bulutlarda bulunan NVIDIA GPU tabanlı AI çıkarım tahlillerinden neredeyse 20 kat daha süratli olan Llama 3.1 8B için saniyede 1.800 token ve Llama 3.1 70B için saniyede 450 token sağlıyor.

Yeni çıkarım tahlilinin fiyatı tanınan GPU bulutlarının da çok altında. Örneğin, yalnızca 10 sente bir milyon token elde etmek ve böylelikle yapay zeka iş yükleri için 100 kat daha yüksek fiyat-performans oranı sağlamak mümkün.

Cerebras’ın 16 bitlik doğruluğu ve 20 kat daha süratli çıkarım davetleri, yapay zeka uygulama geliştiricilerinin süratten yahut maliyetten ödün vermeden yeni kuşak yapay zeka uygulamaları oluşturmasına imkan tanıyacak. Bu fiyat-performans oranının Cerebras CS-3 sistemi ve Wafer Scale Engine 3 (WSE-3) yapay zeka işlemcisi sayesinde mümkün olduğu tabir ediliyor. CS-3, NVIDIA H100’den 7.000 kat daha fazla bellek bant genişliğine sahip olup üretken yapay zekanın bellek bant genişliği teknik zorluğunu çözüyor.

Cerebras Inference üç kademede sunuluyor. Bunlar:

• Ücretsiz Kademe, oturum açan herkese fiyatsız API erişimi ve cömert kullanım sonları sunar.
• Esnek, sunucusuz dağıtım için tasarlanan Geliştirici Kademe, kullanıcılara piyasadaki alternatiflerin maliyetinin çok daha azı karşılığında bir API uç noktası sağlar; Llama 3.1 8B ve 70B modelleri sırasıyla milyon token başına 10 sent ve 60 sent fiyatlandırılır.
• Kurumsal Kademe, ince ayarlı modeller, özel hizmet düzeyi mutabakatları ve özel dayanak sunar. Daima iş yükleri için ülkü olan kuruluşlar, Cerebras tarafından yönetilen özel bir bulut yahut müşteri tesisleri aracılığıyla Cerebras Inference’a erişebilir.

Daha süratli ve daha uygun maliyetli yapay zeka çıkarım tahlillerine olan talep ağırlaştıkça NVIDIA’nın hakimiyeti, bilhassa çıkarım alanında bozulabilir.