Tether, yapay zekâyı cihazlara taşıyan TurboQuant teknolojisini kullanıma sundu
Tether tarafından açık kaynak olarak sunulan TurboQuant teknolojisi, yapay zekâ uygulamalarının bellek ihtiyacını azaltarak daha uzun sohbetlerin ve büyük dosyaların cihaz üzerinde işlenmesine imkan sağlayacak.
Haberin Özeti
- • Tether, yapay zekâ modellerinin bellek ihtiyacını önemli ölçüde azaltan açık kaynaklı TurboQuant teknolojisini cihazlara taşıdığını duyurdu.
- • Google Research tarafından geliştirilen TurboQuant, KV Cache belleğini beş kata kadar sıkıştırarak cihazlarda daha uzun sohbetler ve büyük dosya analizleri sağlıyor.
- • Bu teknoloji, hassas verileri buluta göndermeden yerel yapay zekâ kullanımını gazeteciler, doktorlar ve küçük işletmeler için mümkün kılıyor.
Tether AI Araştırma Grubu, Google Research tarafından geliştirilen TurboQuant bellek sıkıştırma algoritmasının açık kaynaklı sürümünü kullanıma sunduğunu duyurdu. Yapay zekâ modellerinin ihtiyaç duyduğu bellek kapasitesini önemli ölçüde azaltan teknoloji, dizüstü bilgisayarlardan akıllı telefonlara kadar birçok cihazda daha gelişmiş yapay zekâ deneyimlerinin önünü açmayı hedefliyor.
Teknoloji dünyasında bir dönem "Silicon Valley" dizisindeki "Pied Piper" teknolojisine benzetilen TurboQuant, Tether’in yerel ve uç cihazlarda çalışan açık kaynaklı yapay zekâ altyapısı QVAC Fabric ile gerçek kullanım senaryolarına taşınıyor.
İlk olarak llama.cpp projesi olarak geliştirilen QVAC Fabric, zaman içerisinde yerel cihazlarda çalışan yapay zekâ sistemlerinin sınırlarını genişleten teknolojilerle desteklendi. Yeni sürümle birlikte TurboQuant, geliştiricilerin test edebileceği, farklı sistemlere uyarlayabileceği ve çeşitli projelerde kullanabileceği açık kaynaklı bir çözüm haline geldi.
Yapay zekâ uygulamalarında en önemli maliyet kalemlerinden biri olarak modelin çalışırken ihtiyaç duyduğu bellek kapasitesi öne çıkıyor. Yapay zekâ sistemleri yalnızca modeli yüklemek için değil, aynı zamanda önceki konuşmaları, belgeleri, kodları ve talimatları hatırlayabilmek için de ek belleğe ihtiyaç duyuyor.
"KV Cache" adı verilen çalışma belleği, kullanım süresi ve veri miktarı arttıkça büyüyor. Özellikle yüzlerce sayfalık belgeler, uzun araştırma raporları, yazılım projeleri veya saatler süren görüşmeler mevcut cihazların bellek sınırlarını zorlayabiliyor.
Tether tarafından sunulan TurboQuant teknolojisi ise KV Cache belleğini beş kata kadar sıkıştırırken model performansını büyük ölçüde koruyabiliyor. Böylece kullanıcılar mevcut cihazlarıyla daha uzun sohbetler gerçekleştirebiliyor, daha büyük dosyaları analiz edebiliyor ve daha karmaşık görevleri yerel olarak çalıştırabiliyor.
Yeni teknoloji sayesinde kullanıcılar yüzlerce sayfalık belgeleri bulut sistemlerine yüklemeden kendi cihazlarında analiz edebilecek. Uzun süreli eğitim oturumlarını hatırlayabilen kişisel eğitim asistanları, daha büyük kod tabanlarını inceleyebilen yazılım yardımcıları ve hassas verileri cihaz dışına çıkarmadan çalışan yapay zekâ çözümleri mümkün hale gelecek.
Gazeteciler, doktorlar, araştırmacılar ve küçük işletmeler de verilerini uzak sunuculara göndermeden yapay zekâ desteğinden yararlanabilecek.
Tether CEO’su Paolo Ardoino, teknolojiye ilişkin değerlendirmesinde şu ifadeleri kullandı:
"Google’ın araştırması, yapay zekâ belleğinin sanılandan çok daha verimli şekilde sıkıştırılabileceğini gösterdi. Biz de bu teknolojiyi geliştiricilerin, girişimlerin ve kullanıcıların doğrudan faydalanabileceği üretim ortamlarına taşıyoruz. Uzun bağlamlı yapay zekâ yalnızca dünyanın en büyük veri merkezlerinde çalışabiliyorsa, yapay zekânın geleceğini de en fazla donanıma sahip şirketler belirler. TurboQuant ise yerel yapay zekânın önündeki en büyük engellerden biri olan bellek sorununu azaltıyor."
Ardoino, teknolojinin kullanım alanlarına ilişkin ise şunları söyledi:
“İnsanlar yapay zekâ asistanlarından uzun belgeleri okumasını, projeleri hatırlamasını, kod yazmasına yardımcı olmasını veya hassas bilgiler üzerinde çalışmasını isteyebilmeli. Üstelik bunu her seferinde uzak veri merkezlerine bağımlı olmadan yapabilmeli. TurboQuant’ın gerçek kullanıma sunulması tam olarak bunu mümkün kılıyor. Yerel yapay zekâya daha fazla bellek, daha fazla bağlam ve günlük yaşamda daha faydalı olabilmesi için daha fazla alan kazandırıyor.”
Yeni sürüm; optimizasyon altyapısı, yapay zekâ çalışma çerçeveleriyle uyumlu entegrasyonlar, geliştirici dokümantasyonları ve gerçek kullanım senaryolarına uygun yapılandırmalar içeriyor. Bu sayede teknoloji yalnızca büyük veri merkezlerinde değil, mobil cihazlar, tüketici sınıfı ekran kartları, uç cihazlar ve merkeziyetsiz ağlarda da kullanılabilecek.
Tether’in açık kaynaklı olarak kullanıma sunduğu TurboQuant teknolojisinin, yapay zekâ uygulamalarının daha erişilebilir, daha verimli ve daha bağımsız çalışmasına katkı sağlaması hedefleniyor.
Bakmadan Geçme
