North Mini Code 1.0¶
Bu makalede
Bilgi
North Mini Code 1.0, Cohere Labs tarafından geliştiriciler için özel olarak tasarlanmış; kod üretimi ve yazılım ajanı mühendisliği için optimize edilmiş ilk uzmanlaşmış modeldir. Model, toplam 30 milyar parametreye sahip bir Mixture-of-Experts (MoE) mimarisi kullanır ve bunların yalnızca 3 milyarı her token için aktifleştirilir. Bu durum, nispeten mütevazı bellek gereksinimleriyle yüksek performans sağlar: Ollama'da model yaklaşık 19 GB yer kaplar ve 488K tokene kadar etkileyici bir bağlam penceresini (context window) destekler. Ubuntu 22.04 tabanlı çalıştırma ve Open WebUI entegrasyonu, kullanıcı dostu bir arayüz ve gizli kaynak kodları üzerinde tam kontrol sağlar.
North Mini Code 1.0'ın Temel Özellikleri¶
- Verimli MoE Mimarisi: Sadece 3B aktif parametre ile 30B toplam parametre; yüksek kod üretme hızı ve düşük hesaplama kaynağı tüketimi sağlar;
- Devasa Bağlam Penceresi (Context Window): Ollama'da 488K'ya kadar genişletilebilen, yerel olarak 256K token desteği ile tüm kod tabanlarının ve hacimli dokümantasyonların belleğe yüklenmesine olanak tanır;
- Yazılım Ajanı Mühendisliği: Model, otonom bir yazılımcı ve görev planlayıcısı olarak çalışacak şekilde özel olarak optimize edilmiştir;
- Yerel Çalıştırma: Kompakt boyutu sayesinde bu güçlü model modern GPU'larda çalıştırılabilir hale gelir;
- Open WebUI Entegrasyonu: 8080 portu üzerinden modelle kolay etkileşim için modern bir web arayüzü sağlar, veri ve istek işleme üzerinde tam kontrol sunar;
- Ölçeklenebilirlik: Çoklu GPU konfigürasyonları desteği ve optimal performans için yükleri birkaç GPU arasında dağıtabilme yeteneği;
- Güvenlik ve Kontrol: Tam yerel çalıştırma veri gizliliği sağlar,
OLLAMA_HOSTveOLLAMA_ORIGINSayarları ise ağ güvenliğini garanti eder; - Performans: İstek işlemeyi hızlandırmak ve model operasyonunu optimize etmek için verimli dikkat (attention) mekanizmalarını kullanır;
- Hata Toleransı: Konteynerlar ve servisler için yerleşik otomatik yeniden başlatma sistemi kararlı çalışma sağlar.
Çalıştırma Özellikleri¶
| ID | Yazılım Adı | Uyumlu OS | VM | BM | VGPU | GPU | Min CPU (Çekirdekler) | Min RAM (GB) | Min HDD/SSD (GB) | Özel Alan Adı | Aktif |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 638 | North Mini Code 1.0 | Ubuntu 22.04 | + | + | + | + | 8 | 12 | 40 | Hayır | SİPARİŞ VER |
Not
Aksi belirtilmedikçe, varsayılan olarak yazılımın en son sürümünü geliştiricinin web sitesinden veya işletim sistemi depolarından kurarız.
North Mini Code 1.0 Kurulumundan Sonra Başlangıç¶
Ödeme tamamlandıktan sonra, sunucu hazır olduğuna dair bir bildirim kayıt sırasında verilen e-posta adresine gönderilecektir. Bu e-posta; VPS IP adresini, sunucuya bağlanmak için kullanıcı adı ve şifreyi ve Open WebUI paneline erişim bağlantısını içerecektir. Müşteriler donanımlarını Server Control Panel and API — Invapi üzerinden yönetebilirler.
-
Sunucu işletim sistemine erişim için yetkilendirme bilgileri (örneğin SSH üzerinden), size bir e-posta ile gönderilecektir.
-
Open WebUI web arayüzü ile Ollama kontrol paneline erişim bağlantısı: Invapi kontrol panelinin Configuration >> Tags bölümündeki webpanel etiketi altında bulunur.
https://north-mini<Server_ID_from_Invapi>.hostkey.comşeklinde formatlanmış olan tam bağlantı, sunucu teslimatında sağlanan e-postada gönderilir.
webpanel etiketindeki bağlantıya tıkladıktan sonra, bir yönetici kullanıcı adı, e-posta ve chatbot için şifre oluşturmanız gereken Get started with Open WebUI yetkilendirme penceresi açılacaktır; ardından Create Admin Account düğmesine tıklayın:
Dikkat
İlk kullanıcı kayıt olduktan sonra, sistem onlara otomatik olarak Administrator rolünü atar. Kayıt süreci üzerinde güvenlik ve kontrol sağlamak için, sonraki tüm kayıt isteklerinin bir yönetici hesabı üzerinden Open WebUI arayüzünden onaylanması gerekir.
Not
Open WebUI aracılığıyla Ollama kontrol paneliyle nasıl çalışılacağına dair ayrıntılı açıklama AI Chatbot on Your Own Server makalesinde bulunabilir.
Not
Optimal performans için, büyük bağlamları ve paralel istekleri işlemek için gereken payı sağlamak amacıyla 24 GB VRAM minimum gereksiniminden daha fazla olan bir GPU kullanılması önerilir. Temel Ollama ve Open WebUI ayarları hakkında ayrıntılı bilgi Ollama developer documentation ve Open WebUI developer documentation adreslerinde bulunabilir.