Bengio, Hinton ve LeCun makalelerinde, derin öğrenmenin zorlandığı bazı alanlarda ilerleme kaydetmeye yardımcı olan derin öğrenmedeki son gelişmeleri vurgulamaktadır. Bir örnek, OpenAI'nin GPT-3'ü ve Google’ın Meena'sı gibi dil modellerinin kalbinde yer alan bir sinir ağı mimarisi olan Transformers'dır. Transformers'ın faydalarından biri, etiketlenmiş verilere ihtiyaç duymadan öğrenme yetenekleridir. Dönüştürücüler denetimsiz öğrenme yoluyla temsiller geliştirebilir ve daha sonra bu temsilleri eksik cümlelerdeki boşlukları doldurmak veya bir uyarı aldıktan sonra tutarlı metinler oluşturmak için uygulayabilirler.
Daha yakın zamanlarda, araştırmacılar, Transformers'ın bilgisayarlı görme görevlerine de uygulanabileceğini göstermiştir. Evrişimli sinir ağları ile birleştirildiğinde, transformatörler maskelenmiş bölgelerin içeriğini tahmin edebilir.
Daha umut verici bir teknik, tam piksel değerlerini tahmin etmek yerine eksik bölgelerin vektör temsillerini bulmaya çalışan karşılaştırmalı öğrenmedir. Bu ilgi çekici bir yaklaşımdır ve insan zihninin yaptığına çok daha yakın görünmektedir. Aşağıdaki gibi bir görüntü gördüğümüzde, eksik parçaların foto-gerçekçi bir tasvirini görselleştiremeyebiliriz, ancak zihnimiz bu maskeli bölgelerde neler olabileceğine dair üst düzey bir temsil bulabilir (örn., kapılar, pencereler vb.). Sinir ağlarını insan etiketli verilere daha az bağımlı hale getirme çabası, LeCun'un üzerinde çalıştığı bir kavram olan kendi kendini denetleyen öğrenme tartışmasına uyuyor.
Makale ayrıca Nobel ödüllü psikolog Daniel Kahneman'dan ödünç alınan bir terim olan “ sistem 2 derin öğrenme ”ye de değiniyor. Sistem 2, sembol manipülasyonu, akıl yürütme, çok adımlı planlama ve karmaşık matematik problemlerini çözmeyi içeren bilinçli düşünmeyi gerektiren beynin işlevlerini açıklar. Sistem 2 derin öğrenmesi hâlâ erken aşamalarındadır, ancak bir gerçeklik haline gelirse, dağıtım dışı genelleme, nedensel çıkarım, sağlam transfer öğrenme ve sembol manipülasyonu dahil olmak üzere sinir ağlarının bazı temel sorunlarını çözebilir.
Bilim adamları ayrıca “nesnelere ve onların parçalarına içsel referans çerçeveleri atayan ve geometrik ilişkileri kullanarak nesneleri tanıyan sinir ağları” üzerinde çalışmayı desteklemektedir. Bu, Hinton'un son birkaç yılda odaklandığı bir araştırma alanı olan " kapsül ağlara" bir göndermedir. Kapsül ağları, sinir ağlarını görüntülerdeki özellikleri tespit etmekten nesneleri, fiziksel özelliklerini ve birbirleriyle olan hiyerarşik ilişkilerini tespit etmeye yükseltmeyi amaçlar. Kapsül ağları, insanların ve hayvanların üç boyutlu ortamları anlamasını sağlayan bir yetenek olan “sezgisel fizik” ile derin öğrenme sağlayabilir.
"Sinir ağlarının nasıl gerçekten etkili hale getirileceğine dair anlayışımız açısından daha kat edilecek çok yol var. Hinton, ACM'ye verdiği demeçte, radikal olarak yeni fikirlerin olmasını bekliyoruz.
