Derin Öğrenmenin tarihi, Walter Pitts ve Warren McCulloch'un insan beyninin sinir ağlarına dayalı bir bilgisayar modeli oluşturduğu 1943 yılına kadar uzanabilir. Düşünce sürecini taklit etmek için “eşik mantık” olarak adlandırdıkları bir algoritma ve matematik kombinasyonunu kullandılar. O zamandan beri, Derin Öğrenme, gelişiminde yalnızca iki önemli kırılma ile istikrarlı bir şekilde gelişti. İkisi de kötü şöhrete bağlıydı.
Henry J. Kelley'e 1960 yılında sürekli bir Geri Yayılım Modelinin temellerini geliştirmesi için kredi verildi. 1962'de Stuart Dreyfus tarafından sadece zincir kuralına dayanan daha basit bir versiyon geliştirildi. Geri yayılım kavramı (eğitim amacıyla hataların geriye doğru yayılması) 1960'ların başında varken, beceriksiz ve verimsizdi ve 1985'e kadar kullanışlı olmayacaktı.
Derin Öğrenme algoritmaları geliştirmeye yönelik ilk çabalar 1965 yılında Alexey Grigoryevich Ivakhnenko (Grup Veri İşleme Yöntemini geliştirdi) ve Valentin Grigorʹevich Lapa'dan (Sibernetik ve Tahmin Tekniklerinin yazarı) geldi. Polinom (karmaşık denklemler) aktivasyon fonksiyonlarına sahip modeller kullandılar. Sonra istatistiksel olarak analiz edildi. Her katmandan istatistiksel olarak en iyi seçilen özellikler bir sonraki katmana iletildi (yavaş, manuel bir süreç).
1970'lerde, tutulamayan sözlerin sonucu olarak ilk yapay zeka kışı başladı. Bu finansman eksikliğinin etkisi hem DL hem de AI araştırmalarını sınırladı. Neyse ki, araştırmayı fon almadan sürdüren kişiler vardı.
İlk "evrişimli sinir ağları” Kunihiko Fukushima tarafından kullanıldı. Fukushima, çoklu havuzlama ve evrişim katmanlarıyla sinir ağları tasarladı. 1979'da hiyerarşik, çok katmanlı bir tasarım kullanan Neocognitron adlı bir yapay sinir ağı geliştirdi. Bu tasarım, bilgisayarın görsel kalıpları tanımayı "öğrenmesine" izin verdi. Ağlar modern versiyonlara benziyordu, ancak zamanla güçlenen çoklu katmanlarda tekrarlayan aktivasyonun bir takviye stratejisi ile eğitildi. Ek olarak, Fukushima'nın tasarımı, belirli bağlantıların “ağırlığını” artırarak önemli özelliklerin manuel olarak ayarlanmasına izin verdi.
Kavramlarının pek çoğu kullanılmaya devam edilir. Yukarıdan aşağıya bağlantıların kullanımı ve yeni öğrenme yöntemleri, çeşitli sinir ağlarının gerçekleştirilmesine olanak sağlamıştır. Aynı anda birden fazla model sunulduğunda, Seçici Dikkat Modeli, dikkatini birinden diğerine kaydırarak bireysel modelleri ayırabilir ve tanıyabilir. (Birçoğumuzun çoklu görev yaparken kullandığı aynı süreç). Modern bir Neocognitron, yalnızca eksik bilgi içeren (örneğin, eksik bir sayı 5) kalıpları tanımlamakla kalmaz, aynı zamanda eksik bilgileri ekleyerek görüntüyü tamamlayabilir. Bu, “çıkarım” olarak tanımlanabilir.
Geri yayılım, Derin Öğrenme modellerinin eğitiminde hataların kullanımı, 1970'te önemli ölçüde gelişti. Bu, Seppo Linnainmaa'nın, geri yayılım için bir FORTRAN kodu da dahil olmak üzere yüksek lisans tezini yazdığı zamandı. Ne yazık ki, kavram sinir ağlarına 1985 yılına kadar uygulanmadı. Bu, Rumelhart, Williams ve Hinton'un bir sinir ağındaki geri yayılımın “ilginç” dağıtım temsilleri sağlayabileceğini gösterdikleri zamandı. Felsefi olarak, bu keşif, bilişsel psikoloji içindeki, insan anlayışının sembolik mantığa mı (hesaplamacılık) yoksa dağıtılmış temsillere mi (bağlantıcılık) dayandığı sorusunu aydınlattı. 1989'da Yann LeCun, Bell Laboratuarlarında geri yayılımın ilk pratik gösterimini sağladı. Evrişimli sinir ağlarını aşağıdakilerle birleştirdi: geri yayılım“el yazısı” rakamları okumak üzerine. Bu sistem sonunda elle yazılmış çeklerin sayılarını okumak için kullanıldı.
Bu kez aynı zamanda, sinir ağları ve Derin Öğrenme için araştırmaları da etkileyen ikinci AI kışının (1985-90'lar) başladığı zamandır. Çeşitli aşırı iyimser kişiler, Yapay Zekanın “anında” potansiyelini abartmış, beklentileri kırmış ve yatırımcıları kızdırmıştı. Öfke o kadar yoğundu ki, Yapay Zeka ifadesi sözde bilim statüsüne ulaştı. Neyse ki, bazı insanlar AI ve DL üzerinde çalışmaya devam etti ve bazı önemli ilerlemeler kaydedildi. 1995 yılında Dana Cortes ve Vladimir Vapnik, destek vektör makinesini (benzer verileri haritalamak ve tanımak için bir sistem) geliştirdi. Tekrarlayan sinir ağları için LSTM (uzun kısa süreli bellek) 1997 yılında Sepp Hochreiter ve Juergen Schmidhuber tarafından geliştirilmiştir.
Derin Öğrenme için bir sonraki önemli evrimsel adım, bilgisayarların veri işlemede daha hızlı hale gelmeye başladığı ve GPU'nun (grafik işleme birimleri) geliştirildiği 1999'da gerçekleşti. Resimleri işleyen GPU'larla daha hızlı işleme, 10 yıllık bir süre içinde hesaplama hızlarını 1000 kat artırdı. Bu süre zarfında sinir ağları, destek vektör makineleri ile rekabet etmeye başladı. Bir sinir ağı, bir destek vektör makinesine kıyasla yavaş olabilirken, sinir ağları aynı verileri kullanarak daha iyi sonuçlar verdi. Sinir ağları, daha fazla eğitim verisi eklendikçe gelişmeye devam etme avantajına da sahiptir.
2000 yılı civarında, Kaybolan Gradyan Problemi ortaya çıktı. Alt katmanlarda oluşan “özelliklerin” (derslerin) üst katmanlar tarafından öğrenilmediği, çünkü bu katmanlara hiçbir öğrenme sinyali ulaşmadığı keşfedildi. Bu, tüm sinir ağları için temel bir sorun değildi, sadece gradyan tabanlı öğrenme yöntemlerine sahip olanlar için. Sorunun kaynağının belirli aktivasyon fonksiyonları olduğu ortaya çıktı. Bir dizi etkinleştirme işlevi girdilerini yoğunlaştırdı, sırayla çıktı aralığını biraz kaotik bir şekilde azalttı. Bu, son derece küçük bir aralıkta eşlenen geniş girdi alanları üretti. Bu girdi alanlarında, büyük bir değişiklik çıktıda küçük bir değişikliğe indirgenecek ve bu da yok olan bir gradyanla sonuçlanacaktır. Bu sorunu çözmek için kullanılan iki çözüm, katman, katman ön eğitim ve uzun kısa süreli belleğin geliştirilmesiydi.
2001'de META Group (şimdi Gartner olarak anılıyor) tarafından hazırlanan bir araştırma raporu, veri büyümesinin zorluklarını ve fırsatlarını üç boyutlu olarak tanımladı. Rapor, artan veri hacmini ve artan veri hızını, veri kaynakları ve türlerinin çeşitliliğini artırmak olarak tanımladı. Bu, yeni başlayan Büyük Veri saldırısına hazırlanmak için bir çağrıydı.
2009 yılında, Stanford'da bir yapay zeka profesörü olan Fei-Fei Li, Resim Ağı, 14 milyondan fazla etiketli görselden oluşan ücretsiz bir veri tabanı oluşturdu. İnternet etiketlenmemiş görüntülerle dolu ve öyleydi de. Sinir ağlarını “eğitmek” için etiketli görüntülere ihtiyaç vardı. Profesör Li, “Vizyonumuz, Büyük Verinin makine öğreniminin çalışma şeklini değiştireceğiydi. Veriler öğrenmeyi yönlendirir.
2011 yılına gelindiğinde, GPU'ların hızı önemli ölçüde arttı, bu da konvolüsyonel sinir ağlarını katman katman ön eğitim "olmadan" eğitmeyi mümkün kıldı. Artan bilgi işlem hızıyla, Derin Öğrenmenin verimlilik ve hız açısından önemli avantajları olduğu ortaya çıktı. Bir örnek AlexNet 2011 ve 2012 yıllarında mimarisi birçok uluslararası yarışmayı kazanan evrişimsel bir sinir ağı. Hızı ve düşüşü artırmak için düzeltilmiş doğrusal birimler kullanıldı.
Yine 2012 yılında, Google Brain olarak bilinen olağan dışı bir projenin sonuçlarını yayınladı. Özgür ruhlu proje, “denetimsiz öğrenmenin” zorluklarını araştırdı. Derin Öğrenme, "denetimli öğrenme" kullanır, yani evrişimli sinir ağı, etiketli veriler kullanılarak eğitilir (ImageNet'ten gelen görüntüleri düşünün). Denetimsiz öğrenme kullanılarak, bir evrişimsel sinir ağına etiketlenmemiş veriler verilir ve daha sonra tekrar eden kalıpları bulması istenir.
Kedi Deneyi 1000 bilgisayara yayılmış bir sinir ağı kullandı. YouTube'dan rastgele on milyon "etiketlenmemiş" görüntü alındı, sisteme gösterildi ve ardından eğitim yazılımının çalışmasına izin verildi. Eğitim sonunda en üst katmandaki bir nöronun kedilerin görüntülerine güçlü tepki verdiği tespit edildi. Projenin kurucusu Andrew Ng, “İnsan yüzlerine çok güçlü tepki veren bir nöron da bulduk” dedi. Denetimsiz öğrenme, Derin Öğrenme alanında önemli bir hedef olmaya devam etmektedir.
Cat Experiment, etiketlenmemiş görüntüleri işlemede öncülerinden yaklaşık %70 daha iyi çalışır. Ancak, eğitim için kullanılan nesnelerin %16'sından daha azını tanıdı ve döndürülen veya hareket ettirilen nesnelerle daha da kötüleşti.
Şu anda, Büyük Verinin işlenmesi ve Yapay Zekanın evrimi, Derin Öğrenmeye bağlıdır. Derin Öğrenme hâlâ gelişmekte ve yaratıcı fikirlere ihtiyaç duymaktadır.