Bir modern çağ deyimi olan “akıllı çalış, çok değil” sözü (work smarter, not harder), çalışmanın yalnızca üretmek için değil, aynı zamanda kaynakların verimli bir şekilde kullanması için de önemini vurguluyor.
Ve bugünün süper bilgisayarlarını düşündüğümüzde, özellikle de devasa miktardaki veri yönetimi iş yükü düşünüldüğünde, bu deyimi pek de önemsemiz gibi görünmüyoruz.
Ancak, Virginia Tech’in Mühendislik Fakültesi Bilgisayar Bilimi Bölümünde (Virginia Tech’s College of Engineering) çalışan bir araştırmacı ekibi, makina öğrenmesini kullanarak (Machine Learning) süper bilgisayarların bugüne dek düşünülmemiş yeni bir yöntemle, daha verimli çalışmalarına yardımcı olabileceklerini gösterdi. Böylelikle süper bilgisayarlar içeren bir ağda, veri işleme görevleri binlerce sunucuya uygun bir şekilde dağıtılıp, dengelenebilecek.
Önümüzdeki Hafta Sunulacak
Araştırmacılar, yalnızca görevleri değil aynı zamanda görev türlerini de öngörmek için sisteme makine öğrenmesini de dahil ederek, çeşitli sunuculardaki yükün tüm sistem boyunca dengeli tutulabileceğini gösterdi. Ekip, araştırmasını 22 Mayıs 2019’da Brezilya, Rio de Janeiro’da yapılacak olan 33. Uluslararası Paralel ve Dağıtılmış İşleme Sempozyumunda (33rd International Parallel and Distributed Processing Symposium) sunacak.
Süper bilgisayarlardaki mevcut veri yönetimi sistemleri, sunucuya yükleyeceği görev türü ya da miktarına bakılmaksızın, sunuculara “round — robin” şeklinde görevler veren yaklaşımlara dayanır. Sunucular üzerindeki yük dengelenmediğinde ise, sistem aygıtlar tarafından tıkanır ve performans ciddi şekilde düşer.
Bilgisayar Bilimleri Profesörü olan Ali R. Butt, “Süper bilgisayar sistemlerli, yüksek performanslı bilgisayar alanında Amerikan rekabetçiliğinin müjdecisidir” dedi.
“Bu teknolojiler yalnızca bilimsel atılımlar elde etmek için değil, aynı zamanda akış izleme hizmetlerini kullanarak; film izlemeye, çevrimiçi finansal işlemler yapmaya, hava modellemesini kullanarak hava tahmin sistemlerini öngörmeye kadar, bu sistemlerin etkinliğini korumak adına çok önemlidir.”
Makina Öğrenmesi
Makine öğrenimini kullanacak bir sistemi hayat geçirmek için ekip; istemci (Client) tarafı yaklaşımlarının uygulama merkezli güçlerini sunucu (Server) tarafı yaklaşımların sistem merkezli güçleriyle birleştiren yeni bir uçtan uca kontrol alanı inşa etti.
Makalenin baş yazarı ve aynı zamanda Bilgisayar Bilimleri Bölümü’nde doktora öğrencisi olan Bharti Wadhwa, “Bu çalışma, süper bilgisayar sistemlerinin yönetilmesinde dev bir adım oldu. Yaptığımız şey, süper bilgisayar performansının artmasını sağladı ve bu sistemlerin; makine öğrenmesi yoluyla etkin maliyetli bir şekilde akıllıca yönetilebileceğini kanıtladı” dedi.
“Kullanıcılara çok fazla maliyet yükü çıkarmadan sistem tasarlama yeteneği verdik.”
Yeni teknik, ekibe sistemi izlemek için “gözlere” sahip olma yeteneğini verdi ve veri depolama sisteminin; daha büyük yüklerin ne zaman aşağı ineceğini ya da yükün bir sunucu için ne kadar büyük olduğunu öğrenmesini ve tahmin etmesini sağladı.
Sistem ayrıca, sistemde neler olup bittiğine dair genel bir bakış açısı yaratarak, gerçek zamanlı bir bilgiyi uygulama — öngörü şekilde sağladı. Önceden sunucular öğrenemiyordu ve yazılım uygulamaları büyük ölçüde yeniden tasarlanmadan özelleştirilebilecek kadar esnek ve çevik değildi.
Yeni Bir Uçtan Uca Haberleşme Platformu
Yine aynı bölümde doktora öğrencisi olan makalenin 2. yazarı Arnab K., “Bu algoritma, zaman çizelgesi modelini kullanarak gelecekteki uygulama taleplerini öngördü” dedi.
“Bu verilerden elde edilen öğrenme yeteneği, bize gelecekteki talepler hakkında yükü ve dengeli bir şekilde nasıl yerleştirebileceğimizi görme gibi konularda eşsiz bir fırsat verdi.”
Uçtan uca kurgulanan (end-to-end) sistem, aynı zamanda kullanıcıların kaynak kodunu değiştirmeden yük dengeli kurulumdan faydalanmalarını sağlayan benzeri görülmemiş bir yeteneğe de izin verdi. Mevcut geleneksel süper bilgisayar sistemlerinde bu, uygulama kodunun değiştirilmesini gerektirdiğinden, oldukça pahalı bir prosedürdür.
Süper Bilişim Alanındaki Veri Yönetim Problemleri İçin Büyük Doğrulukla Otonom Çözümler Üretti
Heidelberg Üniversitesi Bilgisayar Mühendisliği Enstitüsü’nden doktora sonrası araştırmacı olan Sarah Neuwirth, “Bu ekiple birlikte süper bilgisayarlar alanına katkıda bulunmak bir ayrıcalıktı” dedi.
“21. yüzyıla ait bir toplumu geliştirmek, zorluklarını karşılamak ve süper bilişim için, bunun gibi uluslararası çabalara öncülük etmemiz gerekecek. Süper bilişim sistemlerinin yaygın olarak kullanıldığı kendi bu projeden büyük ölçüde faydalandı.”
Uçtan uca kontrol alanı, kullanım bilgilerini meta veri sunucusuna kaydeden depolama sunucularından oluşuyordu. Gelecekteki talepleri yaklaşık % 99 doğrulukla tahmin etmek için otoregressif bir hareketli ortalama zaman serisi modeli entegre edilerek kullanıldı. Böylece en düşük maliyetli maksimum akışlı grafik algoritması kullanılarak, depolama sunucularına eşlemek için meta veri sunucusuna gönderildi.
Bu araştırma Ulusal Bilim Vakfı (National Science Foundation) tarafından finanse edilmekte olup Oak Ridge Ulusal Laboratuarı’ndaki Ulusal Liderlik Bilgisayar Tesisi (National Leadership Computing Facility) ile işbirliği içinde yapılmaktadır.
Çalışmayla ilgili deaylara aşağıdaki bağlantıdan ulaşabilirsiniz.
https://vtnews.vt.edu/articles/2019/04/Computer-science-load-balance.html
