Artık notlarınızda kaybolmak yok!
Chatbotlar, milyonlarca insan tarafından her gün kullanılıyor ve NVIDIA GPU tabanlı bulut sunucuları tarafından destekleniyor. Bu çığır açan araçlar şimdi yerel, hızlı ve özel üretken yapay zeka (generative AI) özellikli Windows işletim sistemi bulunan bilgisayarlarınıza NVIDIA RTX ile geliyor.
Nvidia’nın, grafik işlem birimlerindeki (GPU’lar) yapay zekayı herkes tarafından kullanılan bir ana araç haline getirme çabası bize bu teknolojiyi sunuyor. Nvidia, kişisel bir yapay zeka sohbet botu (LLM) oluşturmanıza olanak tanıyan ve bilgisayarınızın kaynaklarını kullanarak çalışan bir uygulama olan “Chat with RTX” ile notlarda veya kayıtlı içeriklerinizde arama yapmak yerine basitçe sorgular yazarak istediğiniz bilgilere ulaşmanıza olanak sağlıyor. Örneğin, birisi “Bursa’dayken arkadaşımın önerdiği restoran hangisiydi?” diye bir soru sorabilir ve Chat with RTX, kullanıcının işaret ettiği yerel dosyaları tarayarak sahip olduğu bağlamla cevap verebilir.
Aracın desteklediği dosya biçimleri arasında .txt, .pdf, .doc/.docx ve .xml olarak yer alıyor. Uygulamayı bu dosyaları içeren klasöre yönlendirdikten sonra sistem dosyaları saniyeler içinde kütüphanesine ilgili dosyaları yüklüyor. Sorulan soruları kütüphanenizdeki dosyaları referans alarak cevaplıyor. Kullanıcılar ayrıca YouTube videolarından ve çalma listelerinden bilgi ekleyebiliyorlar. Uygulama, bir video URL’ini Chat with RTX’e ekleyerek bu bilgiyi chat botunuza entegre etmenize olanak tanıyor. Örneğin, takip ettiğiniz bir gezi/seyahat hesabının videolarından içerikleri yükleyerek seyahat ve mekan önerileri isteyebilir veya en iyi eğitim kaynaklarından hızlı bir şekilde özet bilgilere ulaşabilirsiniz.
Chat with RTX, Windows RTX PC’lerinde ve iş istasyonlarında yerel olarak çalıştığından kullanıcının verileri cihaza kaydediliyor. Bulut tabanlı LLM hizmetlerine güvenmek yerine, Chat with RTX, kullanıcıların hassas verileri üçüncü bir tarafa paylaşmadan veya internet bağlantısı olmadan bilgisayarınızda işlemesine olanak tanıyarak güvenlik anlamında önemli bir problemi çözme teklifiyle öne çıkıyor.
Nvidia Editör Notu: Chat with RTX’deki bir sorun tespit ettik ve kullanıcının farklı bir kurulum dizini seçtiğinde kurulumun başarısız olmasına neden oluyor. Bu, ileriki bir sürümde düzeltilecektir. Bu süre zarfında, kullanıcılar varsayılan kurulum dizinini (“C:\Users<kullanıcıAdı>\AppData\Local\NVIDIA\ChatWithRTX”) kullanmalıdır.
Chat with RTX’in sunduğu ana özellikler ve potansiyel uygulamaların yanı sıra mevcut kısıtlamaları şu şekilde:
Ana Özellikler:
Arama Destekli Üretim (RAG): Metin üretimi için Mistral veya Llama 2 LLM’ler (dil modelleri) kullanır, TensorRT-LLM tarafından hızlandırılır ve daha hızlı yanıt süreleri sağlar.
Donanımsal Gereklilikler: GeForce RTX 30 Serisi GPU veya üstüne sahip en az 8 GB VRAM, Windows 10 veya 11 ve en son NVIDIA GPU sürücülerini gerektirir.
Veri Alma: YouTube video transkriptleriyle birlikte .txt, .pdf, .docx ve .xml gibi çeşitli formatları destekler.
Potansiyel Uygulamalar:
Veri Araştırması: Kişisel belgeleri, transkriptleri veya videoları belirli bilgiler için analiz ederek neredeyse anlık sonuçlar elde etmenize yardımcı olur.
İçerik Özetleme: YouTube videolarından veya uzun belgelerden anahtar noktaları hızlıca kavramanıza yardımcı olur.
Veri Kontrolü: PDF’ler veya diğer kaynaklardaki veri noktalarını doğrulamanıza yardımcı olur.
Mevcut Kısıtlamalar:
Erken Demo: Bilinen sorunlar arasında yanlış kaynak atfı, bağlamdan bağımsız yanıtlar ve büyük veri kümeleriyle çökme bulunmaktadır.
Yoğun Kaynak Kullanımı: Kurulum için 40GB disk alanı gerektirir ve ~3GB RAM tüketir, bu da sistem performansını olumsuz etkileyebilir.
