Adaptör-DiLoCo: nasıl çalışır, ne ölçtük#
Bu sayfa Modelen'in kullandığı yöntemi ve bugüne kadar ölçtüğümüz küçük ölçekli sonuçları anlatır. Hepsi araştırma düzeyindedir; yayımlanmış bir model yoktur ve "daha iyi model" iddiası yoktur.
Sorun: bant genişliği#
Ev bağlantılarıyla her adımda tam model ağırlıklarını göndermek mümkün değil. İki fikri birleştiriyoruz:
- LoRA: taban model donuk kalır, yalnızca küçük bir adaptör eğitilir (Qwen3-0.6B-Base için r=16, ~10,1 milyon parametre, ~40 MB). Gönüllünün 8 GB'lık kartı yeter.
- DiLoCo: işçiler her adımda değil, her H yerel adımda bir koordinatörle senkronize olur.
Ağdan yalnızca adaptör geçer; taban model gönüllünün bilgisayarında kalır. Protokol ayrıntısı: Protokol v1.
Bir tur nasıl işler?#
- Koordinatör güncel adaptörü ve bir veri dilimini sunar.
- Gönüllü adaptörü indirir, SHA-256'sını doğrular ve H adım (varsayılan 20) yerelde eğitir.
- Eğittiği adaptörü yükler.
- Koordinatör sonuçları doğrular, aykırı olanları eler, dış adımla (Nesterov momentumlu) birleştirir ve yeni turu yayınlar.
Ne ölçtük?#
Hepsi tek tohum, küçük ölçek; ham veriler ve betikler depoda.
| Soru | Sonuç | Sınır |
|---|---|---|
| 20 dakikalık LoRA Türkçeyi iyileştirir mi? | Türkçe bayt başına bit 1,297 → 1,241 (−%4,3) | Tek koşu; değerlendirme metni eğitimle aynı alandan (Vikipedi) |
| İngilizce unutma var mı? | Bayt başına bit 0,9468 → 0,9597 (+%1,4, hafif kötüleşme) | Tek koşu |
| Bilgi/akıl yürütme kıyasları (TurkishMMLU, 5-shot) | %35,6 → %34,7: fark yok (gürültü içinde) | Çok daha fazla ve çeşitli veri gerekir |
| Seyrek senkronizasyonun bedeli? | 8 turda yalnızca 0,0011 bit/bayt fark (−%0,09); baseline'ın toplam kazancının ~%98'i elde edildi | Tek tohum, 200 adım, 60 bin token ölçüm |
| İletişim ne kadar azalıyor? | Hesap: ≈32 GB → ≈1,3 GB, yaklaşık 25 kat az | Ölçüm değil, hesap |
| Protokol uçtan uca çalışıyor mu? | 2 işçi × 3 tur, hiçbir sonuç reddedilmedi | Tek makine |
Dürüst sınırlar#
- İnce ayar yapıyoruz; sıfırdan model eğitimi ya da tam ağırlık ince ayarı yok.
- Dil modelleme kaybı düşüyor ama bilgi kıyasları kıpırdamıyor. Bunu oynatmak için çok daha fazla veri ve muhtemelen daha büyük bir taban gerekir.
- Gerçek gönüllülerde veri dilimleri farklı dağılımlardan gelir; ağ gecikmesi, işçi kaybı ve kötü niyetli katkı simüle edilmedi.
- DiLoCo ile eğitilmiş ağırlıkların sonradan standart eğitimle uyumsuz kalabileceğini bildiren bir çalışma var (arXiv 2511.13761); adaptör ölçeğinde geçerli olup olmadığı sınanmadı.
- Zehirlenme koruması basittir (Güvenlik).
Yöntemi kendiniz deneyin: Hızlı başlangıç ve Gönüllü kurulumu.