Jak opisać serwer GPU do obliczeń AI, żeby dostać konkurencję zamiast jednej oferty

Jak opisać serwer GPU do obliczeń AI, żeby dostać konkurencję zamiast jednej oferty

Uczelnie techniczne i jednostki badawcze coraz częściej ogłaszają postępowania na serwery z kartami GPU do obliczeń sztucznej inteligencji. W ostatnich tygodniach trafiliśmy na kilka takich naraz — i w każdym opis przedmiotu zamówienia miał ten sam problem, który znamy z projektorów: liczby były, ale bez warunku pomiaru. A serwer GPU jest kategorią, w której liczba bez warunku pomiaru znaczy albo wszystko, albo nic — zależnie od tego, kto ją czyta.

Ten wpis jest o trzech błędach, które najczęściej wywracają takie postępowanie, i o parametrach, które naprawdę różnicują oferty.

TOPS bez precyzji to liczba bez jednostki

Najczęstszy zapis w tej kategorii brzmi „min. 3500 AI TOPS”. Sam w sobie nie znaczy nic.

TOPS (tera-operacji na sekundę) zależy od precyzji obliczeń. Ta sama karta poda kilkukrotnie wyższy wynik w formacie FP4 niż w FP8, a w FP16 jeszcze niższy. Do tego dochodzi tryb „sparsity” — wykorzystanie rzadkości macierzy — który potrafi podwoić deklarowaną liczbę. Producent podaje najwyższą możliwą wartość: FP4 with sparsity. To jest liczba marketingowa, nie parametr porównywalny.

Konsekwencja dla oceny ofert jest prosta. Jeżeli w OPZ stoi samo „min. 3500 AI TOPS”, dwaj oferenci mogą mierzyć zupełnie co innego — jeden poda FP4 with sparsity, drugi FP8 bez sparsity — a komisja nie ma podstawy, żeby je porównać ani odrzucić. Poprawny zapis wskazuje format i tryb: „min. … TOPS w FP8, bez sparsity” albo „w FP4 with sparsity” — byle jednakowo dla wszystkich ofert.

PassMark bez daty to próg ruchomy

Wydajność procesora w takich serwerach opisuje się zwykle progiem z benchmarku PassMark — „min. 42 000 pkt Multithread CPU Mark”. To dobry, obiektywny miernik. Ma jednak jedną cechę, o której łatwo zapomnieć: wyniki na cpubenchmark.net są aktualizowane. Ten sam procesor może mieć dziś inny wynik niż pół roku temu, bo baza dolicza nowe pomiary.

Dlatego dobry opis przedmiotu podaje datę migawki: „min. 42 000 pkt PassMark Multithread wg danych z dnia [data]”. Bez daty próg jest ruchomy — a przy odbiorze oferty można się o niego spierać, bo wynik zdążył się zmienić między publikacją postępowania a składaniem ofert.

To ten sam mechanizm, który przy projektorach każe podawać warunki pomiaru jasności zamiast samej liczby lumenów: parametr jest tyle wart, ile warunek, w którym go zmierzono.

Próg przepisany z jednej karty to jeden oferent

Trzeci błąd jest najkosztowniejszy, bo nie widać go z zewnątrz. Zdarza się, że autor OPZ bierze kartę katalogową jednego konkretnego układu i przepisuje jego parametry co do punktu. Powstaje wtedy zapis w rodzaju „PassMark MT ≥ 96 603” albo „≥ 24 000 rdzeni CUDA i dokładnie 96 GB GDDR7”.

Taki próg nie jest już wymogiem wydajności. Jest opisem jednego modelu — numerem seryjnym udającym parametr graniczny. Formalnie postępowanie jest otwarte; praktycznie do wygrania jest przez jedną firmę mającą akurat ten produkt w dobrej cenie.

Ma to jeszcze drugą, gorszą stronę: ryzyko dostępności. Widzieliśmy postępowanie, w którym próg wydajności procesora był tak wąsko dobrany, że spełniał go w zasadzie jeden model — a tego modelu nie było na rynku w terminie realizacji. Zamawiający nie dostał ani konkurencji, ani sprzętu na czas. Im węższy próg, tym większe prawdopodobieństwo, że pojedyncza przerwa w dostawach zamknie całe postępowanie.

Reguła jest odwrotna do intuicji: próg ma odcinać sprzęt za słaby, a nie wskazywać jeden egzemplarz. Jeżeli po napisaniu warunku okazuje się, że spełnia go dokładnie jeden produkt, warunek jest za wąski — trzeba go poluzować, aż zmieści się realna półka modeli o zbliżonej wydajności.

Parametry, które naprawdę różnicują oferty

Karta GPU do obliczeń AI ma kilka parametrów jednoznacznych — i to na nich warto oprzeć opis, zamiast na TOPS:

parametrco opisujejak zapisać
Pojemność pamięci (VRAM)ile modelu zmieści się na karcie„min. 96 GB” — liczba twarda, bez warunków
Przepustowość pamięcirealna szybkość obliczeń AI„min. 1500 GB/s” — jednoznaczna
FP32 (TFLOPS)wydajność w pojedynczej precyzji„min. 100 TFLOPS FP32” — z podanym formatem
Liczba rdzeni CUDAzrównoleglenie obliczeńpróg, nie liczba dokładna
RAM systemowaobsługa dużych zbiorów„min. 512 GB DDR5 ECC, min. 5600 MT/s”
Klasa zasilaczysprawność i koszt eksploatacji„80 PLUS Titanium” (≥96% przy 50% obciążenia)
Klasa dysków NVMetrwałość przy ciągłym zapisie„Enterprise, DWPD ≥ 1 przez 5 lat”

Dwie uwagi do tej tabeli. Pojemność pamięci VRAM i jej przepustowość są dziś ważniejsze dla realnej wydajności AI niż liczba TOPS — to one decydują, czy model w ogóle zmieści się na karcie i jak szybko policzy. Klasa zasilaczy wygląda na drobiazg, a przy serwerze pracującym pod obciążeniem całą dobę różnica między 80 PLUS Titanium (≥96% sprawności przy 50% obciążenia) a Platinum (≥94%) przekłada się na rachunek za prąd przez całe życie sprzętu — dlatego bywa wpisywana jako wymóg, a Platinum wprost wykluczany.

Poza samym sprzętem: dwie rzeczy z procedury

Opis przedmiotu to nie wszystko. Dwie pozycje spoza karty katalogowej potrafią przesądzić o postępowaniu.

Oświadczenie o dostawcach wysokiego ryzyka. Przy sprzęcie ICT dla podmiotów publicznych zamawiający zwykle żąda oświadczenia, że oferta nie obejmuje produktów wskazanych w rekomendacji z art. 33 ust. 4 ustawy o krajowym systemie cyberbezpieczeństwa. To załącznik, o którym łatwo zapomnieć, a jego brak bywa podstawą odrzucenia.

Termin realizacji a finansowanie. Serwery GPU tej klasy mają długi czas dostawy, a wartość zamówienia idzie w setki tysięcy złotych. Jeżeli umowa nie przewiduje zaliczek ani faktur częściowych, wykonawca finansuje całość z własnego kapitału przez cały okres realizacji plus termin płatności. To realnie zawęża pole oferentów — czasem bardziej niż jakikolwiek warunek techniczny. Warto o tym wiedzieć po obu stronach: zamawiający, który chce konkurencji, nie powinien bez potrzeby łączyć długiego terminu realizacji z zerową zaliczką.

Na koniec

Serwer GPU do obliczeń AI jest kategorią młodą dla większości działów zamówień — i dlatego opis przedmiotu najłatwiej w niej napisać tak, że albo nie da się porównać ofert, albo z góry wygrywa jedna. Trzy proste zasady zdejmują większość ryzyka: każdy próg z warunkiem pomiaru (format i sparsity przy TOPS, data przy PassMark), żaden próg przepisany z jednej karty, i parametry oparte na pojemności oraz przepustowości pamięci, a nie na marketingowej liczbie operacji.

Jeżeli przygotowują Państwo takie postępowanie, chętnie przejrzymy projekt opisu przedmiotu zamówienia, zanim trafi do publikacji. Projekt i dokumentację traktujemy jako osobną, płatną usługę — działa również wtedy, gdy sprzęt kupują Państwo u innego dostawcy.