GPU Sunucu Ne İşe Yarar

GPU sunucu, son iki yılda hosting kataloglarının en çok konuşulan ürünü haline geldi ve bu ilginin büyük kısmı yapay zekâdan geliyor. Ama pratikte gördüğüm şu: GPU sunucu talep edenlerin önemli bir bölümü, aslında ihtiyacı olmayan bir donanıma para ödemeye hazırlanıyor. Bunun sebebi basit — GPU'nun her işi hızlandırdığı sanılıyor. Oysa GPU çok dar bir problem sınıfında olağanüstü hızlıdır ve o sınıfın dışında elinizdeki paranın çoğunu boşa harcarsınız.

Bu yazıda GPU'nun CPU'dan hangi mimari farkla hızlandığını, gerçekten fark yarattığı iş yüklerini, işe yaramadığı yerleri, kart seçerken bakmanız gereken ölçütleri, sürücü ve çalışma ortamı kurulumunu, satın almak ile kiralamak arasındaki dengeyi ve sık yapılan hataları anlatacağım. Amaç, "GPU alsak mı" sorusuna somut bir cevap verebilmeniz.

GPU, CPU'dan Hangi Farkla Hızlıdır#

CPU ile GPU arasındaki fark hız değil, mimari felsefedir. CPU birkaç adet çok yetenekli çekirdeğe sahiptir: her biri karmaşık dallanmaları tahmin eder, büyük önbelleklere sahiptir ve tek bir işlem zincirini olabildiğince hızlı bitirmeye çalışır. GPU ise binlerce basit çekirdek barındırır; bunlar dallanmada zayıftır ama aynı işlemi çok sayıda veri üzerinde aynı anda çalıştırmakta olağanüstüdür.

Bunu somutlaştıralım. Bir milyon sayının her birini iki ile çarpmanız gerekiyorsa, GPU bu işi CPU'dan onlarca kat hızlı bitirir çünkü bir milyon bağımsız işlemi paralel dağıtabilir. Ama bir milyon adımdan oluşan ve her adımın bir öncekinin sonucuna bağlı olduğu bir hesap yapmanız gerekiyorsa GPU hiçbir fayda sağlamaz — hatta CPU'dan yavaş kalır, çünkü tek bir GPU çekirdeği tek bir CPU çekirdeğinden yavaştır.

İkinci kritik fark bellek bant genişliğidir. Modern GPU'lar, CPU'nun eriştiği bellek hızının kat kat üzerinde bir bant genişliğine sahiptir. Yapay zekâ ve bilimsel hesaplama gibi iş yüklerinde asıl darboğaz genelde hesap gücü değil, veriyi işlem birimlerine yeterince hızlı taşıyabilmektir; GPU'nun üstünlüğünün büyük kısmı buradan gelir.

GPU Sunucunun Gerçekten İşe Yaradığı Alanlar#

Yapay zekâ modeli eğitimi. Sinir ağı eğitimi, devasa matris çarpımlarından ibarettir ve tam olarak GPU'nun tasarlandığı iş budur. CPU üzerinde haftalar sürecek bir eğitim, uygun bir GPU ile günlere iner. Bu, GPU'nun en tartışmasız kullanım alanıdır.

Model çıkarımı (inference) ve LLM servisi. Eğitilmiş bir modeli üretimde çalıştırmak, eğitimden daha az kaynak ister ama yine GPU ister — özellikle büyük dil modellerinde. Burada belirleyici ölçüt hesap gücü değil, VRAM kapasitesidir: model belleğe sığmıyorsa çalıştıramazsınız ya da sistem belleğine taşarak kabul edilemez derecede yavaşlarsınız. Bu konuyu yapay zeka için sunucu seçimi yazısında ayrıntılı ele aldım.

Video kodlama ve akış (transcoding). Modern GPU'lar üzerinde, genel amaçlı çekirdeklerden ayrı, özel donanımsal video kodlayıcı bloklar bulunur. Çok sayıda akışı aynı anda farklı çözünürlüklere dönüştürmesi gereken bir platform için bu, CPU tabanlı kodlamaya göre hem çok daha hızlı hem de çok daha az elektrik tüketen bir çözümdür.

3B render ve görselleştirme. Mimari görselleştirme, animasyon ve ürün tasarımı gibi alanlarda ışın izleme (ray tracing) tabanlı render motorları GPU üzerinde çalışır ve sahne başına süreyi dramatik biçimde kısaltır. Bu iş yükünde VRAM kapasitesi de belirleyicidir, çünkü tüm sahnenin belleğe sığması gerekir.

Bilimsel hesaplama ve simülasyon. Akışkan dinamiği, moleküler simülasyon, sismik veri işleme, finansal Monte Carlo simülasyonları — hepsi büyük veri kümeleri üzerinde aynı işlemi tekrarlayan yapıdadır ve GPU'da çok iyi ölçeklenir.

Sanal masaüstü ve uzak grafik iş istasyonu. CAD, video kurgu ya da 3B tasarım yapan kullanıcılara uzaktan grafik hızlandırmalı masaüstü sunmak, GPU'nun bölünerek paylaşılmasıyla mümkündür; yöntemi vGPU ile GPU paylaşımı yazısında anlattım.

GPU Sunucunun İşe Yaramadığı Yerler#

Bunu net söylemek gerekiyor, çünkü en pahalı hata burada yapılıyor.

• Web sitesi ve uygulama sunucusu. Nginx, PHP, Node.js, Python web çerçeveleri — hiçbiri GPU kullanmaz. Sitenizin yavaş açılması GPU eksikliğinden değildir; CPU, disk IOPS ya da veritabanı sorgularından kaynaklanır.
• İlişkisel veritabanı. MySQL ve PostgreSQL GPU hızlandırma kullanmaz. Veritabanı performansı için doğru yatırım RAM ve NVMe disktir.
• Genel dosya sunucusu, yedekleme, e-posta. Bu iş yüklerinde GPU tamamen boşta durur ve yalnızca elektrik tüketir.
• Az sayıda eşzamanlı işlem gerektiren küçük ölçekli işler. Birkaç görüntüyü günde birkaç kez işleyecekseniz, CPU üzerinde birkaç saniye fazla beklemek GPU sunucu maliyetinden çok daha ucuzdur.

Kabaca bir eleme sorusu vereyim: iş yükünüz aynı işlemi binlerce bağımsız veri parçası üzerinde tekrarlıyor mu? Cevabınız net bir "evet" değilse, paranızı GPU yerine CPU çekirdeğine, belleğe ya da hızlı diske yatırmak neredeyse her zaman daha iyi sonuç verir. Bu tercihleri sunucu donanım seçimi rehberi yazısında iş yükü profilleriyle birlikte tablolaştırdım.

Kart Seçiminde Bakılacak Ölçütler#

Kart seçerken tek bir "hızlı/yavaş" ekseni yoktur; en az beş ölçüt birlikte değerlendirilir.

VRAM kapasitesi. Bu, sert bir sınırdır — model ya da sahne belleğe sığmazsa iş çalışmaz. Diğer tüm ölçütlerden önce buna bakın. Yetersiz VRAM'i "biraz yavaş çalışır" diye geçiştiremezsiniz; çoğu durumda hiç çalışmaz.

Bellek bant genişliği. Özellikle çıkarım iş yüklerinde belirleyici olan ölçüttür. HBM tipi bellek kullanan kartlar, GDDR kullananlara göre belirgin avantaj sağlar ve büyük modellerde fark doğrudan üretilen belirteç hızına yansır.

Hassasiyet (precision) desteği. Kartın FP32, TF32, BF16, FP16 ve INT8 gibi formatlarda sağladığı verim farklıdır. Düşük hassasiyet formatları hem daha hızlıdır hem de daha az bellek kullanır; çıkarım tarafında niceleme (quantization) ile bu avantaj yoğun biçimde kullanılır. Kartın tensor çekirdeği desteklediği formatları kontrol edin.

Veri merkezi kartı mı, tüketici kartı mı. Aradaki fark fiyatın çok ötesindedir:

Tüketici kartlarını sunucuya koyma denemesi çok yapılır ve genelde soğutmada tıkanır: bu kartlar kendi fanlarıyla önden hava alıp kasa içine üflemek üzere tasarlanmıştır, sunucuların ön-arka tünel akışında ise kızarak hız düşürürler (thermal throttling).

Güç ve fiziksel uyum. Yüksek segment kartlar tek başına yüzlerce watt çeker; sunucunun güç kaynağı, ek güç konnektörleri ve kabin tahsisi buna yetmelidir. Hesabı sunucu güç tüketimi ve maliyeti yazısındaki yöntemle çıkarın. Ayrıca her kartın tam hızda çalışması için gereken PCIe hat sayısını anakartın sağladığından emin olun; kartı x16 yerine x4 hatta takmak veri aktarımını darboğaza sokar.

Sürücü ve Çalışma Ortamı Kurulumu#

GPU sunucuda ilk gün yapılacak iş, sürücü katmanının doğru kurulduğunu doğrulamaktır. Ubuntu tabanlı bir sistemde sürüm tahmin etmek yerine dağıtımın önerdiğini kurmak en sağlıklısıdır:

# Takılı GPU'ları PCI seviyesinde gör
lspci | grep -i -E "vga|3d|display"

# Dağıtımın önerdiği sürücüyü tespit et ve kur
ubuntu-drivers devices
sudo ubuntu-drivers install

# Kurulum sonrası yeniden başlat, sonra doğrula
nvidia-smi

nvidia-smi çıktısı kart adını, sürücü sürümünü, VRAM kullanımını ve sıcaklığı gösterir. İzleme için makine tarafından okunabilir çıktı almak da mümkündür:

# İzleme sistemine beslemek için CSV çıktı
nvidia-smi --query-gpu=index,name,memory.total,memory.used,utilization.gpu,temperature.gpu,power.draw \
  --format=csv,noheader,nounits

# Anlık takip
watch -n 1 nvidia-smi

# Güç sınırı ve tüketim ayrıntısı
nvidia-smi -q -d POWER | grep -E "Power Draw|Power Limit"

Çalışma ortamını konteynerle kurmak, sürücü-kütüphane sürüm çakışmalarından kurtulmanın en pratik yoludur. NVIDIA Container Toolkit kurulduktan sonra konteyner içinden GPU'ya erişimi tek komutla doğrulayabilirsiniz:

# Konteyner içinden GPU görünüyor mu?
sudo docker run --rm --gpus all ubuntu nvidia-smi

# Yalnızca belirli bir kartı konteynere ver
sudo docker run --rm --gpus '"device=0"' ubuntu nvidia-smi

Konteyner tabanlı bir kurulum, aynı makinede farklı CUDA sürümü isteyen projeleri yan yana çalıştırmanızı da sağlar. Disk kullanımı bu ortamlarda hızla büyür; imaj temizliği için Docker diski doldurdu, nasıl temizlenir yazısı işinize yarar.

Satın Almak mı, Kiralamak mı#

GPU donanımı pahalıdır ve hızlı eskir; bu iki özellik birlikte, kiralamayı çoğu senaryoda mantıklı kılar. Karar için üç soruya cevap verin:

1. Kullanım oranınız ne olacak? GPU'yu günün %10'unda kullanacaksanız satın almak, kapasitenin %90'ını boşta beslemek demektir. Sürekli %70 üzerinde kullanacaksanız denklem tersine döner.
2. İhtiyacınız ne kadar süre sabit kalacak? Model geliştirme aşamasındaysanız gereksinim aylar içinde değişir; sabit bir çıkarım yükü çalıştırıyorsanız öngörülebilirdir.
3. Ne kadar hızlı başlamanız gerekiyor? Donanım tedariki haftalar sürebilir; kiralık bir GPU sunucu aynı gün hazır olur.

Pratik yaklaşım şudur: deneme ve geliştirme aşamasında kiralayın, yük stabilleştikten ve doluluk yüksek çıktıktan sonra satın almayı değerlendirin. Kiralama tarafında GPU VDS paketleri, kendi donanımınızı getirmek isterseniz colocation seçeneği bu iki ucu karşılar. Kendi kartınızı alıp barındıracaksanız, kabinin güç ve soğutma tahsisinin GPU'ya yeteceğini önceden doğrulayın — bu, en sık atlanan adımdır.

Sık Yapılan Hatalar#

VRAM yerine hesap gücüne bakmak. Kart karşılaştırmalarında en çok öne çıkarılan sayı işlem gücüdür, ama pratikte iş yükünüzü durduran şey neredeyse her zaman bellek kapasitesidir. Önce "kaç GB gerekiyor" sorusunu cevaplayın, sonra hız karşılaştırmasına geçin.

Tek GPU'yu birden çok ağır işe paylaştırmak. İki eğitim işini aynı karta atarsanız ikisi de yavaşlar ve VRAM taşması riski doğar. Paylaşım gerekiyorsa bunu rastgele değil, MIG ya da vGPU gibi kontrollü bölme yöntemleriyle yapın.

CPU ve disk tarafını ihmal etmek. Güçlü bir GPU'yu veriyle besleyemezseniz kart boşta bekler. Veri yükleme hattı yavaşsa nvidia-smi çıktısında GPU kullanımı sürekli düşük görünür — bu, kartın değil hattın sorunudur. Yeterli CPU çekirdeği ve hızlı NVMe disk, GPU yatırımının görünmeyen ön koşuludur.

Sürücü ve kütüphane sürümlerini karıştırmak. Sürücü, CUDA sürüm setleri ve çerçeve sürümleri arasında uyum gerekir. Bunu her makinede elle yönetmek yerine konteyner imajlarıyla sabitlemek, sonraki altı ayın hata ayıklama süresini ciddi biçimde kısaltır.

Isı ve gürültüyü hesaba katmamak. GPU'lu bir sunucu, aynı kasadaki GPU'suz bir makineden kat kat fazla ısı üretir. Kabin başına ısı yoğunluğu sınırlı olduğu için, veri merkezinin bu yoğunluğu kaldırıp kaldırmadığını yerleştirmeden önce sormanız gerekir.

Sıkça Sorulan Sorular#

GPU sunucu web sitemi hızlandırır mı#

Hayır. Web sunucuları, PHP/Node/Python uygulamaları ve MySQL gibi veritabanları GPU kullanmaz; bu iş yüklerinde kart tamamen boşta durur. Site yavaşlığının kaynağı genellikle CPU, disk IOPS, veritabanı sorguları ya da önbellekleme eksikliğidir. Aynı bütçeyi daha hızlı disk ve daha fazla belleğe ayırmak çok daha görünür bir kazanç sağlar.

Yapay zeka için kaç GB VRAM gerekir#

Cevap tamamen modelin boyutuna ve kullandığınız hassasiyete bağlıdır. Kaba bir yaklaşım olarak, modelin parametre sayısı ile parametre başına bayt miktarını çarpıp üzerine çalışma alanı payı ekleyin; niceleme (quantization) uygulandığında bu ihtiyaç belirgin biçimde düşer. Eğitim, aynı model için çıkarımdan çok daha fazla bellek ister çünkü gradyanlar ve optimizasyon durumları da bellekte tutulur.

Oyun ekran kartı sunucuda kullanılabilir mi#

Teknik olarak çalışır ama üretim ortamı için üç ciddi sorun çıkarır. Birincisi soğutma: tüketici kartları kasa içi hava akışına göre tasarlandığı için sunucunun ön-arka tünel akışında aşırı ısınıp hız düşürür. İkincisi ECC bellek yokluğu, uzun eğitimlerde sessiz veri bozulması riski yaratır. Üçüncüsü, üreticinin sürücü lisans şartları veri merkezi kullanımını kısıtlayabilir.

GPU sunucu kiralamak mı satın almak mı daha ucuz#

Kullanım oranınıza bağlıdır. GPU'yu günün küçük bir bölümünde kullanacaksanız kiralamak açık ara ucuzdur; sürekli yüksek doluluk çalıştıracaksanız satın alma bir ya da iki yıl içinde kendini amorti edebilir. Kararı verirken donanımın hızlı eskidiğini, elektrik maliyetini ve kabin ısı yoğunluğu kısıtını da hesaba katın.

GPU'nun gerçekten kullanıldığını nasıl kontrol ederim#

nvidia-smi komutu kartın anlık kullanım yüzdesini, VRAM doluluğunu ve çalışan süreçleri gösterir. Kullanım sürekli düşük ama işiniz yavaşsa darboğaz GPU'da değil, veri hattındadır: disk okuma hızı, CPU tarafındaki ön işleme ya da ağ gecikmesi kartı aç bırakıyordur. watch -n 1 nvidia-smi ile bir eğitim boyunca izlemek, sorunu hızlıca teşhis etmenizi sağlar.

Tek sunucuda birden fazla GPU nasıl kullanılır#

Çoğu çerçeve birden fazla kartı otomatik olarak veri paralelliğiyle kullanabilir; iş, kartlara bölünür ve sonuçlar birleştirilir. Verimlilik, kartlar arasındaki iletişim hızına bağlıdır: yüksek hızlı doğrudan bağlantıya sahip kartlar, yalnızca PCIe üzerinden haberleşenlere göre çok daha iyi ölçeklenir. Ayrıca sunucunun her karta yeterli PCIe hattı ve güç sağlayabildiğinden emin olun.

Kapanış#

GPU sunucu, doğru iş yükünde bambaşka bir hız sınıfı açar; yanlış iş yükünde ise pahalı bir ısıtıcıdır. Aklınızda kalması gereken dört şey: iş yükünüzün veri-paralel olup olmadığını önce netleştirin; kart seçiminde ilk baktığınız sayı VRAM olsun; GPU'yu besleyecek CPU, disk ve ağ tarafını ihmal etmeyin; ve nvidia-smi çıktısını üretim boyunca izleyip kartın gerçekten çalıştığını doğrulayın.

Deneme aşamasındaysanız donanım almadan başlamak en mantıklısı: GPU VDS paketleriyle sürücüsü hazır bir ortamda hemen çalışmaya başlayabilirsiniz. Yük büyüyüp sabitlendiğinde dedicated sunucu ya da kendi kartlarınızı barındıracağınız colocation seçeneklerine geçiş yapabilir, işletim sistemi ve sürücü bakımını devretmek isterseniz sunucu yönetimi hizmetimizden yararlanabilirsiniz.