Dil modellerini kendi çipleri üzerinde çalıştıran Groq, alışık olduğumuz dil modellerine kıyasla çok daha hızlı çalışıyor. Bunun sebebi ise Groq’un ürettiği LPU (Language Processing Unit-Dil İşleme Birimi) birimleri.
Normalde makine öğrenmesi ve yapay zeka uygulamalarında GPU’ların (Graphic Processing Unit) sıkça kullanıldığını görüyoruz. GPU aynı anda birden fazla hesaplamayı yapabilen paralel işlem yeteneğine sahip olduğu için makine öğrenmesinin model eğitimi gerektiren uygulamalarında kullanılıyor.
LPU ise özellikle doğal dil işleme süreci için tasarlanan çiplerden oluşuyor. Yapısı, doğal dil işleme sürecinin önemli gerekliliklerinden biri olan ardışık işleme üzerine tasarlanıyor. Bu sayede yapay zeka, insan dilini daha iyi işleyerek daha iyi ve hızlı sonuçlar üretebiliyor.
ChatGPT’nin sadece dil işleyen sürümü olan GPT 3.5 varyantı, dil işleme sürecinde yaklaşık olarak 100 token/saniye hızına ulaşırken Groq seçilen modele göre 500 token/saniye hızlarına ulaşabiliyor. Bu hız, LPU biriminin dil işleme yeteneğini gösteriyor.
LPU’nun geliştirilme fikir süreci 2016’da AlphaGo yapay zeka ve Lee Sedol arasında oynanan ve AlphaGo’nun kazandığı Go oyununa dayanıyor. Oyundan 1 ay önce yapılan testlerde AlphaGo yeniliyordu. DeepMind şirketinden bazı araştırmacılar AlphaGo’yu Google’ın geliştirdiği TPU (Tensor Processing Unit) birimine entegre ettiler. Böylece AlphaGo 4-1 gibi büyük bir farkla yenebilecek bir kapasiteye erişti. Bunu gören geliştiriciler işlem gücü kısıtlamasının, yapay zekanın büyük potansiyelinde bir darboğaz olduğunu gördüler. Bu olay üzerine o dönem Google’da TPU üzerine çalışan Jonathan Ross, 2016’da Groq’u kurdu.
İsim benzerliğiyle sıkça Elon Musk’ın Premium X kullanıcıları için erken erişime açtığı Grok AI ile karıştırılan Groq, 2016 yılında kuruldu. Groq isminin, Robert Heinlein’ın Yaban Diyarlardaki Yabancı adlı romanında “Derinlemesine ve sezgisel olarak anlamak.” olarak geçen Grok kelimesinden türetildiği belirtiliyor.
Groq AI ile Elon Musk’ın Twitter’ı satın aldıktan sonra Premium X kullanıcıları için erken erişime açtığı xAI Grok ile arasında tek taraflı bir isim tartışması mevcut. Groq yönetimi, Elon Musk’a 2023’te duyurulan Grok ile ilgili isim karışıklıklarına neden olduğu için tepkili. Elon Musk’ın ise bu konuda herhangi bir açıklaması bulunmuyor.
Yönetim dil modeli Groq’u kullanarak; söylem esnasında iki ismin karıştırıldığını, tek bir harf farkının sadece Scrabble oyuncuları ve yazım denetleyicileri için önemli olduğunu ve isim hakkının kendilerinde olduğunu belirten bir mektup yazarak sitelerinde yayınladı. Mektup Groq kullanılarak yazılırken, içeriği oldukça ironik ve alaycı bir şekilde doldurulmuş. Hatta bir isim önerisinde bulunarak Elon Musk’tan kendi yapay zeka modelinin ismini değiştirmesi dahi istenmiş.
Groq’un yazı yazma kabiliyetlerini denemek için SavunmaTR hakkında 3. kişi ağzıyla kısa bir yazı yazmasını istedik. Aldığımız yanıt ise şu şekilde:
“SavunmaTR, Türkiye’nin önemli bir savunma ve güvenlik haberleri websitesidir. Bu website, savunma, güvenlik ve askeri işler konusunda son dakika haberlerini, analizlerini ve yorumlarını sunar. Website, tarafsız bir şekilde haberler paylaşmaktadır. SavunmaTR, Türkiye’deki ve yurt dışındaki savunma ve güvenlik sektöründe son dakika gelişmeleri takip etmek için kullanışlı bir kaynak olarak hizmet verir.”
