🤖 AI Dev Tools

Daha Derin Her Zaman Daha İyi Değildir: İçsel Kovaryant Kayması ve Artık Bağlantılar Açıklanıyor

Herkes daha fazla katmanın daha fazla güç anlamına geldiğini düşünüyordu. Yanlış. 56 katmanlı bir ağ, eğitim verisinde bile 20 katmanlı birinden daha kötü performans gösterdi. Her şeyi değiştiren düzeltmeleri inceleyelim.

Dev Digest Apr 11, 2026 4 min read

Read in: English 日本語 한국어 Русский Türkçe

Derin ağlardaki patlayan gradyanların, yığın normalizasyonu ve artık bağlantılarla dengelenmiş hallerini gösteren illüstrasyon

⚡ Key Takeaways

Daha derin ağlar düzeltmeler olmadan başarısız olur: içsel kovaryant kayması sinyalleri patlatır/çökertir; kaybolan gradyanlar erken katmanları dondurur. 𝕏
Yığın normalizasyonu girdileri sıfır ortalama/birim varyansa normalleştirir, daha yüksek öğrenme oranları ve derinlik sağlar. 𝕏
Artık bağlantılar atlama yolları ekler, gradyan akışını sağlar ve 100'den fazla katmanlı ağların eğitilmesine olanak tanır. 𝕏