Yapay zekâ araçları son yıllarda sadece daha yetenekli hâle gelmekle kalmadı, aynı zamanda şirketlerin operasyonlarının da önemli bir parçasına dönüştü. Özellikle yazılım geliştirme süreçlerinde kullanılan Claude Code, Codex ve Gemini gibi araçlar artık binlerce geliştirici tarafından aktif olarak kullanılıyor. Ancak bu dönüşümün beraberinde getirdiği önemli bir sorun da var: Maliyet. Büyük dil modelleri her istekte binlerce, hatta on binlerce token işlediği için, bu araçları yoğun kullanan şirketlerin yapay zekâ faturaları da beklenenden çok daha hızlı artıyor. Öyle ki bazı şirketler artık bu maliyetleri düşürmek için oldukça sıra dışı yöntemlere başvuruyor. Son günlerde gündeme gelen “Caveman” (Mağara Adamı) isimli eklenti de bunun en ilginç örneklerinden biri oldu. Claude Code, OpenAI Codex ve benzeri araçlarla kullanılabilen bu eklenti, yapay zekânın verdiği yanıtları mümkün olduğunca sadeleştirerek gereksiz token tüketimini azaltmayı hedefliyor. Başka bir deyişle yapay zekânın uzun açıklamalar, kibar ifadeler ve gereksiz geçiş cümleleri kurmasını engelleyerek aynı teknik bilgiyi çok daha kısa şekilde sunuyor. “Haklısınız, bu noktada önceki değerlendirmemi yeniden gözden geçirdim.” gibi uzun cümleler yerine, adeta bir mağara adamı konuşuyormuş gibi “Doğru. Değiştir.” tarzı kısa yanıtlar üretiyor.
Caveman’ın geliştiricisi Julius Brussee, eklentiyi Nisan ayında yoğun şekilde Claude Code kullanırken geliştirdiğini söylüyor. Brussee’ye göre özellikle yazılım geliştirme süreçlerinde yapay zekânın kullandığı tokenların önemli bir kısmı aslında kod üretmek yerine nezaket ifadeleri, açıklayıcı geçişler ve sohbet havası oluşturan cümleler için harcanıyor. Oysa geliştiriciler açısından önemli olan teknik bilginin kendisi. Bu yüzden Caveman, kodlar, komutlar, dosya yolları, URL’ler, fonksiyon isimleri ve sayısal veriler gibi hassas içeriklere dokunmadan yalnızca bu gereksiz dili sıkıştırıyor.
Caveman, Token Kullanımını Yüzde 75’e Kadar Azaltabiliyor
Yapılan testlere göre eklenti, kullanılan senaryoya bağlı olarak çıktı tokenlarını yaklaşık yüzde 65 ila yüzde 75 oranında azaltabiliyor. Üstelik Brussee, bunun yalnızca yapay zekâya “daha kısa cevap ver” talimatı vermekten daha etkili olduğunu söylüyor. Çünkü Caveman, modelin sadece daha kısa konuşmasını istemek yerine, hangi bölümlerin kısaltılabileceğini özel kurallarla belirliyor. Eklenti ayrıca kullanıcıya şimdiye kadar kaç token tasarrufu sağladığını da gösteriyor. 404 Media tarafından yapılan testlerde Caveman’ın tek bir kullanım senaryosunda yaklaşık 5.800 token tasarrufu sağladığı ve toplam çıktı maliyetini yüzde 65 civarında düşürdüğü görüldü.
İşin dikkat çekici tarafı ise bu eklentinin sadece bireysel geliştiriciler tarafından kullanılmıyor olması. Brussee’nin aktardığına göre OpenAI, Nvidia ve GitHub bünyesinde çalışan bazı geliştiriciler de Caveman’ı kullanıyor veya test ediyor. Hatta OpenAI’da mühendislik direktörü olarak görev yapan Shayne Sweeney’nin de projeye katkıda bulunduğu ve OpenAI’ın Codex aracı için destek ekleyen kodları yazdığı görülüyor.
Son günlerde yapay zekâ kullanımına yönelik bu tarz kemer sıkma haberleri üst üste geliyor. Tüm bunlar, bu teknolojilerin ekonomik sürdürülebilirliğinin giderek daha önemli bir mesele hâline geldiğini ortaya koyuyor. Artık AI’a yoğun şekilde bel bağlayan şirketler, her gereksiz kelimenin bile maliyet oluşturduğu yeni bir döneme uyum sağlamaya çalışıyor.
