İçeriğe geç

Koordinatör kurulumu (tek komut)#

koordinator-kur.sh, bir Linux sunucuyu birkaç dakikada çalışan bir referans koordinatöre çevirir. Koordinatör yalnızca adaptörleri doğrular ve ortalar; GPU gerekmez, küçük bir sunucu yeter.

Not

Durum (alfa). Betik, GitHub'ın temiz Ubuntu ve Arch Linux makinelerinde (servissiz mod) otomatik olarak sınanır. systemd servisi, güvenlik sınırları ve yönetim komutları gerçek bir Ubuntu sunucuda elle denendi. Caddy ile HTTPS yolu gerçek bir alan adıyla henüz denenmedi (üretilen yapılandırma Caddy ile doğrulanıyor). Sorun yaşarsanız GitHub'da bildirin.

Önce ne gerekir?#

  • Linux sunucu (Ubuntu, Debian, Arch ve diğer glibc tabanlı dağıtımlar; x86_64 ya da aarch64), root (sudo) erişimi, en az ~2 GB bellek ve ~3 GB boş disk (veri büyüdükçe artar).
  • Alan adı ve bu sunucuyu gösteren bir A kaydı (HTTPS için), 80 ve 443 portları açık.
  • Eğitim veriniz: düz metin dosyaları (.txt, .md, .jsonl). Veri kaynağı ve lisansı sizin sorumluluğunuzdadır; Modelen veri sağlamaz ve seçmez. Bkz. Entegrasyon seçenekleri.

Kurulum#

curl -fsSL https://github.com/macbyclp/modelen-tr/releases/latest/download/koordinator-kur.sh -o koordinator-kur.sh
bash koordinator-kur.sh --dene                      # önce ne yapacağına bak (hiçbir şey kurmaz)
sudo bash koordinator-kur.sh --alan-adi koordinator.ornek.org --veri ./metinler/

Betik bitince koordinatör çalışıyor olur, protokol uyum testi kendiliğinden koşar ve ekranda paylaşılan anahtarınız ile sıradaki adımlar yazılır.

SeçenekAnlamı
--alan-adi ADHTTPS için alan adı; Caddy kurulur ve sertifika otomatik alınır. Yoksa yalnızca 127.0.0.1 dinlenir
--veri YOL.txt / .md / .jsonl dosyası ya da klasörü (belirteçlenir) veya hazır .safetensors
--tur NToplam tur (20)
--en-az NTuru kapatmak için gereken sonuç sayısı (2)
--ic-adim NGönüllünün turdaki yerel adımı (20)
--parca NVeri dilimi sayısı (4); her gönüllü yalnızca bir dilimi indirir
--port NKoordinatör portu (8750; yalnızca yerel)
--acikAnahtarsız, herkese açık koordinatör. Varsayılan: rastgele paylaşılan anahtar (kapalı grup)
--hedef DIRKurulum klasörü (varsayılan /opt/modelen-koordinator)
--sistemsizsystemd ve Caddy kurmadan arka planda çalıştır (deneme; root gerekmez)
--surum ETIKETBelirli bir sürüm (varsayılan: en son)

Ne kurulur?#

ParçaAçıklama
Python 3.12 + PyTorch (CPU)uv ile .venv içinde; sistem Python'una dokunulmaz
Koordinatör betikleriSürümün modelen-istemci.zip dosyasından, SHA-256 doğrulanarak
Başlangıç adaptörüModelsiz üretilir (adaptor_uret.py); 1,2 GB'lık taban modeli indirmeniz gerekmez
Eğitim verisiveri_hazirla.py ile taban modelin belirteçleyicisiyle belirteçlenir (yalnızca belirteçleyici dosyaları, ~10 MB iner)
systemd servisimodelen-koordinator.service, ayrı bir modelen-koordinator kullanıcısıyla, bellek sınırlı, istemci/ salt-okunur
HTTPSCaddy (--alan-adi ile), 80/443 boşsa. Sunucuda başka bir web sunucusu varsa kurulmaz; hazır yapılandırma parçası yazdırılır
modelen-koordinatorYönetim komutu (aşağıda)

Kurulumdan sonra: portala bağlanmak#

  1. DNS. Alan adınızın A kaydı sunucunuzu göstersin, 80 ve 443 açık olsun (Caddy sertifikayı o zaman alır).
  2. Başvuru. modelen.tr üzerinde hesap açıp e-postanızı doğrulayın, Panel → Başvuru ile koordinatör başvurusu yapın; adres olarak https://alan-adiniz yazın. Bkz. Koordinatör olmak.
  3. Adres doğrulama. Portal size bir içerik verir; bu komutla sunucunuzda yayınlayın, sonra portaldan doğrulatın: ``bash sudo modelen-koordinator dogrulama modelen-dogrulama-AbC123... `` Ayrıntı: Adres doğrulama.
  4. Nabız. Panel → API anahtarları ile bir anahtar üretin ve nabız servisini başlatın; koordinatörünüz dizinde "çevrimiçi" görünür: ``bash sudo modelen-koordinator nabiz mdl_... `` Koordinatörünüz anahtarlı (kapalı) olsa da nabız çalışır. Bkz. Nabız.
  5. Gönüllüler. Kapalı grupta anahtarı gönüllülere siz verirsiniz (modelen-koordinator anahtar). Herkese açmak için modelen-koordinator acik.

Yönetim komutları#

KomutNe yapar
modelen-koordinator durumServis durumu ve /durum özeti
modelen-koordinator anahtarPaylaşılan anahtarı gösterir
modelen-koordinator acik / kapatAnahtarsız (herkese açık) / anahtarlı (kapalı grup) mod; servis yeniden başlar
modelen-koordinator dogrulama <içerik>Portalın adres doğrulaması için dosyayı yazar
modelen-koordinator nabiz <API_ANAHTARI>Portala nabız göndermeyi başlatır (systemd servisi)
modelen-koordinator uyumProtokol uyum testini çalıştırır
modelen-koordinator gunlukSon günlükler
modelen-koordinator baslat / durdur / yeniden-baslatServis denetimi
modelen-koordinator kaldirServisleri kaldırır (veri klasörü silinmez)

Güvenlik notları#

  • Anahtar, süreç listesinde (ps) görünmez: ortam dosyasında (koordinator.env, yalnızca root ve servis kullanıcısı okuyabilir) durur.
  • Koordinatör yalnızca 127.0.0.1 dinler; dışarıya yalnızca HTTPS vekili açar. IP başına hız sınırı ve işçi sayısı sınırı açıktır (Referans koordinatör).
  • Açık mod (anahtarsız) kimliksiz herkesin sonuç göndermesine izin verir. Zehirlenme koruması yalnızca basit aykırı eleme ve yapısal doğrulamadır; kararlı bir saldırgana karşı yetmez (Güvenlik). Önce kapalı bir grupla başlamanızı öneririz.
  • Eğitim verisinin içeriği ve lisansı sizin sorumluluğunuzdadır.

Güncelleme ve kaldırma#

  • Güncelleme: betiği aynı seçeneklerle yeniden çalıştırın. Mevcut anahtar, tur durumu ve çalışma klasörü korunur.
  • Kaldırma: sudo modelen-koordinator kaldir, sonra isterseniz sudo rm -rf /opt/modelen-koordinator.

Sunucuda zaten bir web sunucusu varsa#

80/443 kullanımdaysa Caddy kurulmaz. Betik sonunda size hazır parçayı yazdırır. Mevcut Caddy için:

koordinator.ornek.org {
    handle /.well-known/modelen-dogrulama.txt {
        root * /opt/modelen-koordinator/dogrulama
        rewrite * /dogrulama.txt
        file_server
    }
    reverse_proxy 127.0.0.1:8750
}

nginx için location / { proxy_pass http://127.0.0.1:8750; } ve doğrulama dosyası için location = /.well-known/modelen-dogrulama.txt { alias /opt/modelen-koordinator/dogrulama/dogrulama.txt; }. Betiğe --alan-adi verdiyseniz koordinatör --vekil ile başlar; böylece IP sınırı vekilin ilettiği gerçek istemci adresini görür (X-Forwarded-For).

Sorun giderme#

BelirtiNe yapmalı
Servis başlamıyorsudo modelen-koordinator gunluk
HATA: 8750 portu kullanımda--port ile başka bir port verin
Sertifika alınmıyorA kaydı doğru mu, 80 ve 443 dışarıdan açık mı? DNS yayılması birkaç dakika sürebilir
veri hazırlanamadı--veri yolunu ve dosya uzantılarını (.txt, .md, .jsonl) kontrol edin; sunucunun Hugging Face'e (belirteçleyici için) erişebildiğinden emin olun
Gönüllüler 401 alıyorKapalı gruptur: anahtarı verin ya da modelen-koordinator acik

Elle (kurulum betiği olmadan)#

Betiği kullanmak istemezseniz her şeyi kendiniz kurabilirsiniz: bkz. Referans koordinatör ve Kendi koordinatörünüzü yazın.