Son zamanlarda Google Lumiere yapay zekâ modelini duymuş olabilirsiniz. Peki nedir bu Google Lumiere? Lumiere nasıl çalışır? Google Luimere hakkında bilinmesi gereken her şeyi sizin için açıkladık.
Üretken yapay zekâ alanında büyüme son zamanlarda oldukça arttı ve bu hemen herkesi hayrete düşürüyor. Yazılı istemlerimize göre metin üreten ChatGPT’ye artık alıştık. Son zamanlarda, yapay zekanın görüntü üretmesine ek olarak videolar da oluşturduğunu gördük. ChatGPT ve diğer şirketler de artık bunu kolaylıkla yapabiliyor.
Teknoloji devlerinden Google da bu işe el attı. Bu listede Google Lumiere hakkında merak edilen soruların yanıtlarını vermeye çalışacağız. Google Lumiere, yazdığınız komutlardan videolar oluşturuyor ve bunu oldukça iyi yapıyor. İşte Google Lumiere hakkında bilinen her şey…
Lumiere kim tarafından yapıldı?
Google çalışanları 23 Ocak 2024 tarihinde Lumiere’i tanıtan bir makale yayınladı. “Lumiere: Video Üretimi için Bir Uzay-Zaman Difüzyon Modeli” başlıklı makale, modelin çok modluluğuna açıklıyordu.
Çok modlu bir yapay zekâ video modeli, oluşturulan videoyu bilgilendirmek için metin, görüntü, ses örnekleri ve hatta diğer videoların (belki de iki veya daha fazlasının bir kombinasyonu) girdilerini kabul edebilir. Şu anda hiçbir yapay zekâ sohbet robotu video oluşturma açısından çok fazla şey (veya herhangi bir şey) sunmuyor. Lumiere, Google Bard’ı 2024’ün en çok modlu yapay zekâ asistanı haline getirebilir.
Google Lumiere kısa süre önce tanıtıldı. Peki Lumiere tam olarak ne işe yarıyor? Google Lumiere, video üreten bir yapay zekâ modelidir. Space-Time-U-Net ya da STUNet olarak bilinen yeni bir yayılım modeli kullanıyor. Bu STUNet, uzay ve zaman kavramı üzerinde çalışıyor. Yani temelde videoda nesnelerin nerede olduğu ve sonunda nasıl hareket edip değişeceklerini kontrol ediyor. Bu süreç, Lumiere’in videoyu geleneksel küçük kareleri bir araya getirme yöntemi yerine tek bir seferde oluşturmasını sağlıyor.
Basit metin istemleri kullanarak tutarlı, yüksek kaliteli videolar üretir ve stil oluşturma için harikadır. Ayrıca metinden videoya ve görüntüden videoya modelleri ile çok modludur. Sinema grafikleri üretmek ve video boyama için de kullanabilirsiniz.
Lumiere, modelde tek bir geçişle videonun tüm zamansal süresini bir kerede üreten bir “uzay-zaman u-net mimarisi” sayesinde diğer modellerden daha iyi zamansal tutarlılık elde eder. Bu, ana kareleri sentezleyen mevcut video modellerinin aksine zamansal süper çözünürlüğü sunar.
Bu yeni yapay zekâ modeli, daha önce yayınlanan Google yapay zekâ araçlarının bir toplamını temsil ediyor. 15 Aralık 2023’te tanıtılan Style Drop, Google’ın kendi metin-imge oluşturucusudur. Kullanım alanı, metinden görüntü oluşturmak için stili tanımlayan bir veya daha fazla stil referans görüntüsü kullanmasıdır. Bu sayede StyleDrop, metin istemi mühendisliği yükünü etkili bir şekilde ortadan kaldırırken, referansla tutarlı bir stilde görüntülerin oluşturulmasını sağlar. Sonuç olarak StyleDrop, Google Lumiere’de kullanılan bilgisayarla görme araştırmasını zaten içeriyor.
Video Poet, sıfır çekim video üretimi için geniş bir dil modeli olması bakımından Google Lumiere’in öncülüdür. Aradaki temel fark ise kalitesidir. Etkileyici bir şekilde, Video Poet zaten çok modluydu, video girdilerinden ses üretebiliyordu. Bu, çok modluluğun en az yaygın yollarından biridir (en yaygın olanı konuşmadan metne). Aslında, bu “otoregresif” dil modeli video, görüntü, ses ve metin modaliteleri arasında öğrenir.
İsteminizi girdikten sonra sürecin nasıl işlediğinden bahsedelim. Google Lumiere’e komutu verdiğinizde, STUNet çerçevesini kullanıyor ve istediğiniz nesnelerin çerçevede nereye yerleştirileceğini ve sonunda birbirine akan daha fazla kare oluşturmak için nasıl hareket edeceklerini belirliyor. Bu da sonunda videonun daha kesintisiz bir hareket halinde görünmesini sağlıyor. Buradaki farklardan biri, Google Lumiere’in daha çok hareketin kendisine ve oluşturduğu içeriğin belirli bir noktada nerede olması gerektiğine odaklanmasıdır. Diğer modeller genellikle videoyu, hareketin halihazırda gerçekleştiği yerlerde oluşturulan ana karelerden birleştirir.
Google Lumiere ayrıca Stable Video Diffusion’dan 25 kare yerine 80 kare üretiyor. Bu, Google’ın yayınladığı videolardan da anlaşılacağı üzere, videoların neredeyse gerçekçi görünmesine yardımcı oluyor. Bununla birlikte, yapay zekâ olduğu için videonun yapay hissettirdiği anları bize gösteriyor. Fakat yine de oldukça etkileyici görünüyor.
Google Lumiere AI video oluşturucu nasıl kullanılır?
Şu anda Lumiere’e erişmenin veya indirmenin bir yolu yoktur. Lumiere’in yakın gelecekte Google Bard’ın yeteneklerini geliştireceğini tahmin ediyoruz. Aşağıdaki adımları izleyerek yayınlandığında kullanmaya hazır olun:
Adım 1 – Bard aracılığıyla Google Lumiere
Google Lumiere’i kullanmak için Google Bard’a erişmeniz gerekir. Sohbet robotu web sitesini buradan ziyaret edin. Video modelinin entegre edildiğine dair henüz resmi bir açıklama yapılmadı. Ancak, yakın gelecekte Bard’ın kullanılacağı yer olacağını tahmin etmek yanlış olmaz. Google Workspace hesaplarının Google Bard’ı kullanmak için yönetici erişimine ihtiyacı olacaktır.
Adım 2 – Google Lumiere indirme ve kurma
Google Lumiere açık kaynaklı hale gelirse, nasıl indirilip kurulacağını burada açıklayacağız.
