Bugün yaygın olarak kullanılan ChatGPT ve Gemini gibi büyük dil modelleri (LLM), bir nevi sanal asistanlar olarak konumlandırıldıkları için, kullanıcılarla kurdukları iletişim de interaktif bir arama motoru tadında oluyor. Ancak son dönemde yapay zekâ alanında yaşanan gelişmeler, daha özgün deneyimler sunabilecek, daha karakteristik yapay zekâların da zamanla hayatımıza gireceğini gösteriyor. Örneğin Meta, şirketlerin kurumsal kimliklerini yansıtacak özelleştirilmiş yapay zekâlar geliştirmeyi planlıyor. Diğer yandan kullanıcıların yapay zekâları kendi tercihleri doğrultusunda şekillendirebileceği imkânlar da giderek artıyor. Tam da bu dönemde ortaya çıkan ilginç bir proje, yapay zekâların bugünkünden çok farklı deneyimlere de kapı aralayabileceğini gösteriyor.
Reddit’teki r/LocalLLaMA topluluğundan bir geliştirici, yalnızca 1800 ile 1875 yılları arasına ait metinleri kullanarak sıfırdan bir büyük dil modeli eğitti. Neticede ortaya, modern dünyanın büyük bir bölümünden habersiz, bir anda geleceğe atılmış bir zaman yolcusu gibi “gördüklerini” anlamlandırmaya çalışan bir yapay zekâ çıktı. Cep telefonlarının, otomobillerin ya da 1875’ten sonra yaşanan hiçbir gelişmenin farkında olmayan bu yapay zekâyla yapılan konuşmalar ise hem eğlenceli hem de düşündürücü.
TimeCapsuleLLM olarak adlandırılan model, toplam 1,2 milyar parametreye sahip ve yaklaşık 90 GB’lık bir veri kümesiyle eğitildi. Veri seti; dönemin kitapları, akademik dergileri, hukuki metinleri, dini yazılar ve tıbbi makalelerden oluşuyor. Üstelik yalnızca model değil, kullanılan tokenizer ((yazıyı modelin anlayabileceği token’lara ayıran mekanizma) da aynı tarihsel veri üzerinde özel olarak eğitildi. Böylece model, dili yalnızca kelime düzeyinde değil, dönemin yazım biçimi ve kavram dünyasıyla birlikte öğrenmiş oldu. Eğitim süreci yaklaşık 182 bin adım sürdü ve bunun için bulut servisleri üzerinden kiralanan bir H100 SXM GPU kullanıldı. Teknik açıdan bakıldığında bu, günümüzün dev modelleriyle kıyaslandığında mütevazı sayılabilecek bir ölçek. Ancak asıl ilginç olan, bu sınırlı ve tarihsel veri setinin modelin “dünyayı algılayış biçimini” nasıl şekillendirdiği.
Telefonun İcadından Haberdar Olmayan Model, “Telefon” Denince Gizemli Bir Cihaz Olarak Algılıyor
Ortaya çıkan en dikkat çekici örneklerden biri “telefon” kelimesiyle ilgili. Bildiğimiz üzere telefon 1876 yılında icat edildi ve modelin veri seti bu tarihten hemen önce sona eriyor. Dolayısıyla model için “telephone” kelimesi, somut bir icattan ziyade belirsiz ve gizemli bir kavram. Kullanıcılar bu kelimeyle ilgili bir komut verdiğinde, model bunu kimi zaman gizli bir diplomatik aygıt, kimi zaman da devletler arası haberleşmede kullanılan esrarengiz bir cihaz olarak yorumluyor. Yani modern anlamını bilmediği bir kavramı, kendi tarihsel bağlamı içinde “mantıklı” bir yere oturtmaya çalışıyor.
Bu durum ilk bakışta eğlenceli bir deney gibi görünse de, aslında yapay zekâların “düşünme” biçimlerine dair de ilginç ipuçları sunuyor. Baktığımız zaman günümüzdeki modeller, bu tarz durumlarda veri setlerinde ya da internette bulunan bilgilere bel bağlıyor. Geçmişte kalmış bu yapay zekânın ise bahsedilen şeyi anlamlandırabilmek için kendi çabasıyla çıkarımlar yapması gerekiyor. Bu da yapay zekâların kendilerine yabancı olan kavramları nasıl anlamlandırdığını görmemizi sağlıyor.
Diğer yandan bu proje, farklı şekillerde eğitilmiş yapay zekâların kullanım alanlarına dair de yeni fikirlere ilham verebilir. Örneğin tarihsel simülasyonlarda ya da video oyunlarda, sadece belli bilgilerle eğitilmiş yapay zekâlara yer verilebilir. Sadece 19. yüzyılı “bilen” bir yapay zekayla sohbet etmek, o dönemin düşünce yapısını ve dünyayı algılama biçimini anlamak açısından son derece ilginç bir deneyim sunabilir.
Yapay zekânın GitHub sayfasına buradan, Hugging Face sayfasına ise buradan ulaşabilirsiniz.
Kaynak : https://www.donanimhaber.com/gecmisten-gelen-yapay-zeka-19-yuzyila-ait-metinlerle-egitildi–200829
