Bu okuduğunuz da dahil olmak üzere, bir bilim yazarının işi; özel teknik terminolojilerle dolu bilimsel çalışmaları okumak ve daha sonra bunların içeriğini bilimsel geçmişi olmayan okuyuculara anlayabilecekleri bir dilde nasıl açıklayabileceğini düşünmekten ibarettir.
MIT’den bir ekip ve beraberindeki birkaç kişi, yapay zeka formunda (AI) bir tür sinir ağı geliştirerek, bu işi -sınırlı ölçüde de olsa- yaptırabildi.
Bu yapay zeka bilimsel çalışmaları okuyup sonrasında sade bir ingilizce ile çalışmayı bir ya da iki cümlede özetleyebiliyor.
Bu sınırlı formdayken bile, böyle bir sinir ağ; editörlere, yazarlara ve bilim insanlarına kaynak tarama konusunda özet bilgiler çıkararak oldukça yardımcı olabilir.
Ancak ekibin geliştirdiği yaklaşım, makine çevirisi ve konuşma tanıma da dahil olmak üzere dil işlemenin yanı sıra, başka alanlarda için de kendisine uygulamalar bulabilir
Transactions of the Association for Computational Linguistics’de yayımlanan çalışma, her ikisi de MIT lisansüstü öğrencileri olan Rumen Dangovski ve Li Jing, MIT’den fizik profesörü Marin Soljačić,, Katar Bilgisayar Araştırma Enstitüsü’nden (Qatar Computing Research Institute) kıdemli profesör Preslav Nakov ve MIT’den Knight Science Journalism üyesi ve New Scientist dergisinin eski editörlerinden biri olan Mićo Tatalović tarafından kaleme alındı.
Çalışma, sinir ağlarına dayalı yeni yapay zeka yaklaşımları geliştirmeyi içeren ve fizikteki bazı zorlu sorunların üstesinden gelmeyi amaçlayan, ilgisiz bir projenin sonucu olarak ortaya çıktı. Ancak, araştırmacılar kısa sürede aynı yaklaşımın, doğal dil işleme de dahil olmak üzere diğer zorlu hesaplama problemlerini, mevcut sinir ağı sistemlerinden daha iyi performans gösterebilecek şekilde ele almak için kullanılabileceğini anladılar.
Soljačić, “Son birkaç yıldır AI ile çeşitli işler yapıyoruz” diyor. “Araştırmamıza yardım etmek için AI’ı kullanıyoruz, temel olarak daha iyi fizik yapabilmek için. Ve şimdi AI ile daha aşina durumdayız. Fizikten çok iyi bildiğimiz bir şey yüzünden, arada bir AI alanına bir şeyler ekleyebileceğimizi fark ettik: Belirli bir matematiksel yapı ya da belirli bir fizik yasasını kullanırsak ya işe yarıyor ya da AI’yi geliştiriyor.”
Soljačić aynı zamanda bu yaklaşımın çeşitli spesifik görev türlerinde faydalı olabileceğini söylüyor, ancak hepsinde değil. “Bunun tüm AI için faydalı olduğunu söyleyemeyiz, ancak verilen bir AI algoritmasını geliştirmek için fizikten bir içgörü kullanabileceğimiz durumlar var.”
Genel olarak sinir ağları; insanların bazı yeni şeyleri öğrenme şeklini taklit etme çabasıdır. Bilgisayar birçok farklı örneği inceler ve temel kalıpların ne olduğunu “öğrenir”. Bu tür sistemler, fotoğraflarda gösterilen nesneleri tanımlamayı öğrenmek gibi, örüntü tanıma için yaygın olarak kullanılır.
Ancak, genel olarak sinir ağları, bir araştırma belgesinin yorumlanmasında gerektiği gibi, uzun bir veri dizisinden elde edilen bilgileri ilişkilendirmede zorluk çeker. Araştırmacılar, Uzun Kısa — Süreli Bellek (Long Short-Term Memory “LSTM”) ve Kapılı Yineleme Birimleri (Gated Recurrent Units “GRU”) olarak bilinen teknikler de dahil olmak üzere bu yeteneği geliştirmek için çeşitli hileler kullandı. Ancak bunlar hala gerçek doğal dil işleme için ihtiyaç duyulan şeylere karşı yetersiz kaldığımız gerçeğini değiştirmedi.
Ekip, geleneksel sinir ağlarının çoğunda olduğu gibi, matrislerin çarpımına dayanmak yerine, çok boyutlu bir uzayda dönen vektörlere dayanan alternatif bir sistem ortaya koydu. Anahtar kavram; Dönel Bellek Birimi (Rotational Unit of Memory “RUM”) olarak adlandırdıkları bir şey
Temel olarak sistem, metindeki her kelimeyi çok boyutlu uzayda bir vektörle gösterir -yani belirli bir yöne işaret eden belirli bir uzunluktaki çizgiyle. Her takip eden kelime, bu vektörü sonuçta binlerce boyuta sahip olabilecek teorik bir alanda temsil edilen bir yönde kaydırır. İşlemin sonunda, sonuç olan vektör ya da vektör kümesi, karşılık gelen sözcük dizisine geri çevrilir.
Nakov, “RUM, sinir ağlarının 2 şeyi çok iyi yapmasına yardımcı oluyor” diyor. “Daha iyi hatırlamalarına yardımcı oluyor ve bilgileri daha doğru hatırlamalarını sağlıyor.”
Soljačić, RUM sistemini karmaşık mühendislik malzemelerinde ışığın davranışı gibi bazı zorlu fizik problemlerine yardımcı olmak için geliştirdikten sonra, “Bu yaklaşımın faydalı olacağını düşündüğümüz yerlerden birinin, doğal dil işleme olacağını düşündük ”diyor.
Tatalović ile yaptıkları bir sohbeti hatırlatarak, O’nun kendisine böyle bir aracın; hangi makalelerin yazılacağına karar vermeye çalışan bir editör olarak ,çalışması için faydalı olacağını belirttiğini söyledi.
Tatalović, Knight destekli bir proje altında bilim gazeteciliğinde AI’yı araştırıyordu.
Soljačić, “Böylece, birkaç doğal dil işleme görevini denedik” diyor. “Denediğimiz bir konu makaleleri özetlemekti ve oldukça iyi çalışıyor gibi görünüyor.”
Kanıt Okumada
Örnek olarak, aynı araştırma makalesini geleneksel bir LSTM tabanlı sinir ağı ve RUM tabanlı kendi sistemleri aracılığıyla ayrı ayrı denediler. Elde edilen özetler çarpıcı biçimde farklıydı.
LSTM sistemi gereksiz şekilde tekrarlayan ve oldukça teknik bir özet verdi:
“‘Baylisascariasis’, fareleri öldürür, alejenik paket farelerini tehlikeye sokar ve körlük ya da ağır sonuçları olan hastalıklara neden olur.”
“‘Baylisascariasis’ olarak adlandırılan bu enfeksiyon, fareleri öldürür, paket farelerini tehlikeye sokar ve körlük ya da ağır sonuçları olan hastalıklara neden olur.”
“‘Baylisascariasis’ olarak adlandırılan bu enfeksiyon, fareleri öldürür, paket sıçanlarını tehlikeye atar.”
Aynı makaleye dayanarak, RUM sistemi çok daha okunaklı bir özet üretti ve diğeri cümlenin gereksiz tekrarlarını da içermiyordu:
“Kentsel rakunlar insanları daha önce düşünüldüğünden daha fazla etkileyebilirler.”
“Ankete katılan kişilerin % 7’si rakun solucan antikorları için pozitif sonuç verdi.”
“Santa Barbara’daki rakunların yüzde 90’ından fazlası bu parazite ev sahipliği yapıyor.”
Gelelim en eğlenceli kısmına.. araştırmacılar bu sistemi kendi makaleleri için kullandılar…
İşe yeni sinir ağının özeti:
“Araştırmacılar, doğal dil işleme sürecinde sinir devriminin geniş yelpazesini çözmek için kullanılabilecek, tekrarlayan bir hafıza olan RUM’ın dönel birimi üzerine yeni bir proses geliştirdiler.”
Çok zarif bir yazı olmayabilir, ancak bilginin kilit noktalarına isabet ediyor.
Bu çalışmada yer almayan İngiliz AI şirketi Deepmind Technologies’de bir araştırmacı olan Çağlar Gülçehre; bu araştırmanın sinir ağları içinde zaman ya da uzayda geniş ölçüde ayılmış olan bilgi parçalarıyla ilişkili önemli bir problemi ele aldığını söyledi.
Gülçehre; “Bu, sıralama tahmin görevlerinde, uzun zaman gecikmeleri üzerine muhakeme yapma zorunluluğu nedeniyle AI’da çok büyük bir problemdir” dedi. “Her ne kadar bu makalenin bu sorunu tamamen çözmediğini düşünsem bile; soru cevaplama, metin özetleme ve ilişkisel hatırlama gibi uzun vadeli bağımlılık görevlerinde ümit vaat ediyor.”
Araştırma; Ordu Araştırma Ofisi (Army Research Office), Ulusal Bilim Vakfı (National Science Foundation), Yapay Zeka Üzerine MIT — SenseTime Anlaşması (MIT — SenseTime Alliance on Artificial Intelligence) ve Yarıieltken Araştırma Kurumu (Semiconductor Research Corporation) tarafından desteklendi.
Çalışmanın orijinaline aşağıdaki bağlantıdan ulaşabilirsiniz.
Rumen Dangovski, Li Jing, Preslav Nakov, Mićo Tatalović, Marin Soljačić. Rotational Unit of Memory: A Novel Representation Unit for RNNs with Scalable Applications. Transactions of the Association for Computational Linguistics, 2019; 7: 121 DOI: 10.1162/tacl_a_00258
