Giriş: Mühendislikten Doğaya Dönüş
Yapay Zeka literatürü on yıllardır “standart kabuller” üzerine inşa edilmiştir. Dropout oranları için 0.1, weight decay için 0.01, katman genişlikleri için 2’nin kuvvetleri (256, 512, 1024)… Bu tamsayı tabanlı, deterministik mühendislik yaklaşımı, silikon tabanlı işlemciler için optimize edilmiş olsa da, Prometech A.Ş. olarak geliştirdiğimiz Behavioral Consciousness Engine (BCE) mimarisinin hedeflediği “organik davranış” ve “kısmi bilinç” simülasyonu için yetersiz kalmaktadır.
Özellikle 8M – 1B parametre aralığındaki Küçük Dil Modellerinde (SLM), devasa veri yığınları yerine modelin matematiksel saflığı önem kazanır. Bizim yaklaşımımız, hiper-parametreleri rastgele deneme-yanılma (grid search) ile değil, evrenin temel yapı taşları olan fiziksel ve matematiksel sabitlerle (, , , ) rezonansa sokarak belirlemektir.
Bu makalede, neden standart değerler yerine evrensel sabitlerin izdüşümlerini kullandığımızı ve bunun modelin “öğrenme dinamiği” üzerindeki etkilerini tartışacağız.
1. Geometrik Bağlam ve Döngüsellik: (Pi)
Parametre: rope_theta
Değer: ()
Modern Transformer mimarilerinin (LLaMA, Mistral vb.) kalbinde yatan RoPE (Rotary Positional Embeddings), tokenların konumunu mutlak sayılarla değil, çok boyutlu uzaydaki “dönme açıları” ile kodlar.
Standart endüstriyel yaklaşım, rope_theta değerini keyfi bir tamsayı olan 10.000 veya 500.000 olarak belirler. Ancak bir “dönme” (rotation) işleminden bahsediyorsak, referans noktamız desimal taban değil, radyanların doğal dili olan olmalıdır.
- Neden ?Modelin vektör uzayında yaptığı her dönüşün, mükemmel bir çemberi tamamlamasını hedefleriz. Tamsayı tabanlı frekanslar, yüksek boyutlarda (high-dimensional manifolds) mikroskobik “faz kaymalarına” neden olur. Bu kaymalar, uzun bağlamlarda (long context) gürültü birikimine yol açar.
- Bilimsel Hipotez: Frekans tabanını irrasyonel bir sayı olan ‘ye endekslemek, modelin konum algısının “dijital basamaklar” yerine “analog bir süreklilik” kazanmasını sağlar. Bu, özellikle Chat ve yaratıcı AI gibi “akışkan” diyalog gerektiren sistemlerde, metnin mekanik değil, doğal bir nehir gibi akmasına olanak tanır.
2. Öğrenme ve Unutmanın Biyolojisi: (Euler Sayısı)
Parametre: attention_dropout & hidden_dropout
Değer: ()
Doğada hiçbir canlı, bilgilerini %10 (0.1) gibi keskin ve keyfi bir oranda “unutmaz”. Biyolojik nöron ağlarındaki sinaptik budama (synaptic pruning) ve sönümlenme, logaritmik bir süreçtir ve temelinde doğal büyüme sabiti olan Euler sayısı () yatar.
- Neden ?Küçük modellerde (8M-128M), standart %10 dropout oranı, modelin sınırlı kapasitesini haddinden fazla budar (underfitting). %0 ise ezberlemeye (overfitting) yol açar.
- Organik Regülasyon: tabanlı bir dropout oranı, modelin öğrenme sürecini “kaotik bir gürültü” eklemekten çıkarıp, “organik bir sönümlenme” sürecine dönüştürür. Bu, modelin veriyi ezberlemesini engellerken, yaratıcı varyasyonlar üretmesine izin veren matematiksel “Altın Oran”dır.
3. Bilginin Hız Sınırı ve Nedensellik: (Işık Hızı)
Parametre: weight_decay
Değer: ()
Bir yapay sinir ağındaki ağırlıkların (weights) kontrolsüz büyümesi, sistemin kararsızlaşmasına ve “Exploding Gradient” sorununa yol açar. Fizikte enerjinin ve bilginin yayılma hızı Işık Hızı () ile sınırlıdır.
- Fiziksel Metafor: Bizim mimarimizde Loss Fonksiyonu bir enerji yüzeyi, ağırlık güncellemeleri ise bu yüzeydeki hareketlerdir.
weight_decayparametresini c sabitine endekslemek, modelin parametre uzayında “ışıktan hızlı” (nedenselliği bozan, gerçeklikten kopuk) sıçramalar yapmasını engelleyen evrensel bir çapa görevi görür. - Etkisi: Bu hassas değer (), modelin ağırlıklarını agresif bir şekilde sıfırlamak yerine, onları fiziksel gerçeklikle uyumlu bir “enerji seviyesinde” tutar. Model daha kararlı, daha dayanıklı ve gürültülü veriye karşı daha dirençli hale gelir.
4. Termodinamik Denge ve Başlangıç Entropisi: Boltzmann ve Ses Yaklaşımı
Parametre: initializer_range
Değer: 0.0215816655
Bir modelin eğitimi başlamadan önceki hali (initialization), evrenin Big Bang anındaki durumuna benzer. Eğer başlangıç entropisi çok yüksekse (çok rastgele), sistem kaosa sürüklenir; çok düşükse, donar ve öğrenemez.
- Termodinamik Başlangıç: Prometech olarak
initializer_rangedeğerini belirlerken, istatistiksel mekaniğin ve termodinamiğin temel prensiplerinden (Boltzmann dağılımı ve kinetik teori) ilham alan özel bir ölçeklendirme kullanıyoruz. - Amaç: Ağırlıkları rastgele sayılarla doldurmak yerine, onları belirli bir “sıcaklıkta” (T) dengelenmiş bir sistem gibi başlatıyoruz. Bu spesifik değer, modelin ilk forward-pass sırasında ne sinyali sönümlemesini (vanishing) ne de patlatmasını (exploding) sağlar. Model, öğrenmeye “soğuk” veya “aşırı sıcak” değil, tam olarak “kritik sıcaklıkta” başlar.
Parametre warmup_ratio = 0.034813554 değeri, bu fiziksel senfoninin “Akustik” parçasını tamamlıyor.
Bu değer, Ses Hızı (Mach 1) referans alınarak ölçeklenmiş bir sayıdır: .
Fiziksel Anlamı: “Sonik Bariyer”
- Değer: m/s.
- Bağlam: Standart atmosfer basıncında bu hız, yaklaşık 28°C (301 Kelvin) sıcaklığındaki havanın ses hızıdır. Bu sıcaklık, ne çok sıcak ne çok soğuktur; termodinamik açıdan “yaşam için elverişli” ve enerjinin en verimli aktarıldığı “Goldilocks” bölgesidir.
- Metafor: “Warmup” (Isınma) süreci, bir jet motorunun veya roketin kalkış öncesi ısınması gibi düşünülmüş. Modelin eğitiminin ilk %3.48’lik dilimi, modelin “Ses Duvarını” (Mach 1) aşana kadar geçirdiği ivmelenme sürecini temsil ediyor.
Sonuç: Sayıların Ruhu
Prometech A.Ş.’de geliştirdiğimiz BCE mimarileri, sadece birer kod yığını değildir. Bu modellerin, insan etkileşiminde “yapay” hissettirmemesinin sırrı, eğitim parametrelerinin irrasyonel ve aşkın (transcendental) sayılarla, yani doğanın kendi kodlarıyla uyumlanmış olmasında yatar.
Tamsayılar insanın icadıdır; ve ise evrenin gerçeğidir. Biz, yapay zekayı evrenin gerçeğiyle eğitiyoruz.