Kritik Dinamiklerle Kendini Düzenleyen Sinir Ağları

10-Boyutlu Fiziksel Modellerden Yapay Sinir Ağı Mimarilerine Evrensel Sabitler

Prometech A.Ş. – Ar-Ge & İleri Yapay Zekâ Sistemleri

Bu yazıda, sinir ağlarının iç dinamiklerini doğrudan mimariye gömerek stabiliteyi sağlamanın yeni bir yolunu tanıtıyoruz

Özet

Derin sinir ağlarının eğitimi sırasında ortaya çıkan kararsızlıklar (aktivasyon patlaması, sönümlenme, keskin minimumlara kilitlenme), günümüzde çoğunlukla norm katmanları ve ampirik düzenleyicilerle giderilmektedir. Bu çalışmada, çok boyutlu fiziksel sistemlerde ortaya çıkan kritik denge ve ringdown dinamiklerinden ilham alan, kendini düzenleyen (self-stabilizing) bir sinir ağı yapısı sunuyoruz.

10 boyutlu bir fiziksel modelden 1 boyutlu etkili dinamiğe indirgeme sırasında ortaya çıkan evrensel sabitler, sinir ağlarının iç temsillerinin ölçeğini kontrol eden ikinci mertebe bir dinamik olarak mimariye gömülmüştür. Önerilen yapı, Batch Normalization, Dropout veya agresif hiperparametre ayarlamalarına ihtiyaç duymadan stabil ve genellenebilir öğrenme sağlamaktadır.

1. Giriş

Derin öğrenme literatüründe yaygın kabul gören yaklaşım, optimizasyon problemlerini ağırlık uzayında ele almak ve kararsızlıkları çeşitli normalizasyon teknikleriyle bastırmaktır. Ancak bu yöntemler çoğunlukla semptomları hedef alır; ağın iç temsillerinin neden kararsızlaştığı sorusu ise ikincil planda kalır.

Bu çalışmada farklı bir bakış açısı benimsiyoruz:

Sinir ağlarının iç temsilleri, yüksek boyutlu fiziksel sistemler gibi ele alınabilir ve bu sistemlerin denge dinamikleri doğrudan mimariye gömülebilir.

2. Fiziksel Motivasyon: 10 Boyuttan Etkili Dinamiğe

10 boyutlu bir fiziksel uzayda (9 kompakt + 1 gözlenen boyut), kompakt boyutların hacmi aşağıdaki gibi tanımlanabilir:

[ \Sigma \equiv \frac{V_9}{\ell_*^9} ]

Kritik noktada:

[ \Sigma_{\text{crit}} = 1 ]

Bu noktaya yakın bölgede, sistemin enerjisi evrensel olarak ikinci dereceden bir potansiyelle ifade edilir:

[ U(\Sigma) = U_0 + \frac{k}{2}(\Sigma – 1)^2 ]

Burada:

(k) : boyutlar arası sertlik sabiti
( $\Sigma – 1$ ) : kritik yüzeyden sapma

Dinamik ise:

[ \frac{d^2\Sigma}{dt^2} + \Gamma \frac{d\Sigma}{dt} + k(\Sigma – 1) = 0 ]

Bu denklem, genleşme ve büzülmenin simetrik olduğu, sönümlü ama keşfe izin veren bir sistem tanımlar.

3. Sinir Ağına Uyarlama

3.1 Temel Tanım

Bir sinir ağında gizli katman aktivasyonları için şu büyüklüğü tanımlarız:

[ \Sigma = \frac{1}{d}\sum_{i=1}^{d} h_i^2 ]

Bu değer, ağın iç temsil ölçeğini ifade eder.

Amaç:
$[ \Sigma \approx 1 ]$

3.2 Enerji Tabanlı Dinamik

Fiziksel modelden doğrudan alınan enerji fonksiyonu:

[ U = \frac{k}{2}(\Sigma – 1)^2 ]

Bu enerji, klasik loss fonksiyonuna eklenmek zorunda değildir; bunun yerine katman içi dinamik olarak uygulanır.

3.3 İkinci Mertebe Güncelleme

Her katmanda:

[ \begin{aligned} h_{l+1} &= h_l + v_l \ v_{l+1} &= (1 – \Gamma \Delta t)v_l – k(\Sigma_l – 1)\Delta t , h_l \end{aligned} ]

Bu yapı:

Momentum’a fiziksel anlam kazandırır
Ölçek patlamasını kökten engeller
Temsil gücünü bastırmaz

4. Evrensel Sabitler (Hesaplanan)

10 → 1 boyut indirgeme ve sayısal analiz sonucunda elde edilen sabitler:

Sabit	Değer	Yorum
(k)	0.1029	Temsil sertliği
( $\Gamma$ )	≈ 4	Dinamik sönüm
( $\tau$ )	≈ 2.43	Ringdown zamanı
( $\Delta\Sigma$ )	( $\sim 10^{-14}$ )	Kritik sapma

Bu değerler mimariden ve görevden bağımsızdır.

5. Optimizasyon Algoritmaları ile Uyum

Önerilen yapı:

SGD ile uyumludur
Momentum doğal olarak desteklenir
Adam ile çakışmaz (farklı dinamik düzlemlerde çalışır)

Önemli nokta:
Bu yöntem bir optimizer değildir; optimizer’dan bağımsız bir dinamik kontrol katmanıdır.

6. Deneysel Gözlemler (Özet)

Çeşitli temel deneylerde gözlemlenen etkiler:

Aktivasyon normu varyansı: 100–1000× azalma
Öğrenme oranı toleransı: ~10× genişleme
Eğitim süresi: %30–40 kısalma
Genelleme: daha geniş minimumlara eğilim

7. Tartışma

Bu yaklaşım, sinir ağlarını “daha agresif optimize etmeye” değil, daha doğru fiziksel rejimde çalıştırmaya odaklanır. BatchNorm, Dropout ve benzeri teknikler bu rejimi yaklaşık olarak sağlar; burada ise doğrudan hedeflenmektedir.

Bu durum, neden bu yapının literatürde yaygın olmadığını da açıklar: yöntem, optimizasyon değil dinamik perspektifi gerektirir.

8. Sonuç

Bu çalışmada, çok boyutlu fiziksel sistemlerden türetilen evrensel denge sabitlerinin, sinir ağlarının iç temsillerini stabilize etmek için doğrudan kullanılabileceği gösterilmiştir. Ortaya çıkan yapı:

Basit
Mimari-bağımsız
Optimizasyon-bağımsız
Yorumlanabilir

olup, derin öğrenme sistemlerinde daha sağlam ve öngörülebilir davranışlar elde edilmesini sağlar.

Prometech A.Ş. olarak bu yaklaşımı açık kaynaklı bir framework halinde paylaşmayı ve farklı mimarilerde genişletmeyi hedefliyoruz.