Uczelnie techniczne i jednostki badawcze coraz cz\u0119\u015bciej og\u0142aszaj\u0105 post\u0119powania na serwery z kartami GPU do oblicze\u0144 sztucznej inteligencji. W ostatnich tygodniach trafili\u015bmy na kilka takich naraz \u2014 i w ka\u017cdym opis przedmiotu zam\u00f3wienia mia\u0142 ten sam problem, kt\u00f3ry znamy z projektor\u00f3w: liczby by\u0142y, ale bez warunku pomiaru. A serwer GPU jest kategori\u0105, w kt\u00f3rej liczba bez warunku pomiaru znaczy albo wszystko, albo nic \u2014 zale\u017cnie od tego, kto j\u0105 czyta.<\/p>
Ten wpis jest o trzech b\u0142\u0119dach, kt\u00f3re najcz\u0119\u015bciej wywracaj\u0105 takie post\u0119powanie, i o parametrach, kt\u00f3re naprawd\u0119 r\u00f3\u017cnicuj\u0105 oferty.<\/p>
Najcz\u0119stszy zapis w tej kategorii brzmi \u201emin. 3500 AI TOPS\u201d. Sam w sobie nie znaczy nic.<\/p>
TOPS (tera-operacji na sekund\u0119) zale\u017cy od precyzji oblicze\u0144. Ta sama karta poda kilkukrotnie wy\u017cszy wynik w formacie FP4 ni\u017c w FP8, a w FP16 jeszcze ni\u017cszy. Do tego dochodzi tryb \u201esparsity\u201d \u2014 wykorzystanie rzadko\u015bci macierzy \u2014 kt\u00f3ry potrafi podwoi\u0107 deklarowan\u0105 liczb\u0119. Producent podaje najwy\u017csz\u0105 mo\u017cliw\u0105 warto\u015b\u0107: FP4 with sparsity. To jest liczba marketingowa, nie parametr por\u00f3wnywalny.<\/p>
Konsekwencja dla oceny ofert jest prosta. Je\u017celi w OPZ stoi samo \u201emin. 3500 AI TOPS\u201d, dwaj oferenci mog\u0105 mierzy\u0107 zupe\u0142nie co innego \u2014 jeden poda FP4 with sparsity, drugi FP8 bez sparsity \u2014 a komisja nie ma podstawy, \u017ceby je por\u00f3wna\u0107 ani odrzuci\u0107. Poprawny zapis wskazuje format i tryb: \u201emin. \u2026 TOPS w FP8, bez sparsity\u201d albo \u201ew FP4 with sparsity\u201d \u2014 byle jednakowo dla wszystkich ofert.<\/p>
Wydajno\u015b\u0107 procesora w takich serwerach opisuje si\u0119 zwykle progiem z benchmarku PassMark \u2014 \u201emin. 42 000 pkt Multithread CPU Mark\u201d. To dobry, obiektywny miernik. Ma jednak jedn\u0105 cech\u0119, o kt\u00f3rej \u0142atwo zapomnie\u0107: wyniki na cpubenchmark.net s\u0105 aktualizowane.<\/strong> Ten sam procesor mo\u017ce mie\u0107 dzi\u015b inny wynik ni\u017c p\u00f3\u0142 roku temu, bo baza dolicza nowe pomiary.<\/p> Dlatego dobry opis przedmiotu podaje dat\u0119 migawki<\/strong>: \u201emin. 42 000 pkt PassMark Multithread wg danych z dnia [data]\u201d. Bez daty pr\u00f3g jest ruchomy \u2014 a przy odbiorze oferty mo\u017cna si\u0119 o niego spiera\u0107, bo wynik zd\u0105\u017cy\u0142 si\u0119 zmieni\u0107 mi\u0119dzy publikacj\u0105 post\u0119powania a sk\u0142adaniem ofert.<\/p> To ten sam mechanizm, kt\u00f3ry przy projektorach ka\u017ce podawa\u0107 warunki pomiaru jasno\u015bci zamiast samej liczby lumen\u00f3w: parametr jest tyle wart, ile warunek, w kt\u00f3rym go zmierzono.<\/p> Trzeci b\u0142\u0105d jest najkosztowniejszy, bo nie wida\u0107 go z zewn\u0105trz. Zdarza si\u0119, \u017ce autor OPZ bierze kart\u0119 katalogow\u0105 jednego konkretnego uk\u0142adu i przepisuje jego parametry co do punktu. Powstaje wtedy zapis w rodzaju \u201ePassMark MT \u2265 96 603\u201d albo \u201e\u2265 24 000 rdzeni CUDA i dok\u0142adnie 96 GB GDDR7\u201d.<\/p> Taki pr\u00f3g nie jest ju\u017c wymogiem wydajno\u015bci. Jest opisem jednego modelu \u2014 numerem seryjnym udaj\u0105cym parametr graniczny. Formalnie post\u0119powanie jest otwarte; praktycznie do wygrania jest przez jedn\u0105 firm\u0119 maj\u0105c\u0105 akurat ten produkt w dobrej cenie.<\/p> Ma to jeszcze drug\u0105, gorsz\u0105 stron\u0119: ryzyko dost\u0119pno\u015bci.<\/strong> Widzieli\u015bmy post\u0119powanie, w kt\u00f3rym pr\u00f3g wydajno\u015bci procesora by\u0142 tak w\u0105sko dobrany, \u017ce spe\u0142nia\u0142 go w zasadzie jeden model \u2014 a tego modelu nie by\u0142o na rynku w terminie realizacji. Zamawiaj\u0105cy nie dosta\u0142 ani konkurencji, ani sprz\u0119tu na czas. Im w\u0119\u017cszy pr\u00f3g, tym wi\u0119ksze prawdopodobie\u0144stwo, \u017ce pojedyncza przerwa w dostawach zamknie ca\u0142e post\u0119powanie.<\/p> Regu\u0142a jest odwrotna do intuicji: pr\u00f3g ma odcina\u0107 sprz\u0119t za s\u0142aby, a nie wskazywa\u0107 jeden egzemplarz.<\/strong> Je\u017celi po napisaniu warunku okazuje si\u0119, \u017ce spe\u0142nia go dok\u0142adnie jeden produkt, warunek jest za w\u0105ski \u2014 trzeba go poluzowa\u0107, a\u017c zmie\u015bci si\u0119 realna p\u00f3\u0142ka modeli o zbli\u017conej wydajno\u015bci.<\/p> Karta GPU do oblicze\u0144 AI ma kilka parametr\u00f3w jednoznacznych \u2014 i to na nich warto oprze\u0107 opis, zamiast na TOPS:<\/p> Dwie uwagi do tej tabeli. Pojemno\u015b\u0107 pami\u0119ci VRAM i jej przepustowo\u015b\u0107<\/strong> s\u0105 dzi\u015b wa\u017cniejsze dla realnej wydajno\u015bci AI ni\u017c liczba TOPS \u2014 to one decyduj\u0105, czy model w og\u00f3le zmie\u015bci si\u0119 na karcie i jak szybko policzy. Klasa zasilaczy<\/strong> wygl\u0105da na drobiazg, a przy serwerze pracuj\u0105cym pod obci\u0105\u017ceniem ca\u0142\u0105 dob\u0119 r\u00f3\u017cnica mi\u0119dzy 80 PLUS Titanium (\u226596% sprawno\u015bci przy 50% obci\u0105\u017cenia) a Platinum (\u226594%) przek\u0142ada si\u0119 na rachunek za pr\u0105d przez ca\u0142e \u017cycie sprz\u0119tu \u2014 dlatego bywa wpisywana jako wym\u00f3g, a Platinum wprost wykluczany.<\/p> Opis przedmiotu to nie wszystko. Dwie pozycje spoza karty katalogowej potrafi\u0105 przes\u0105dzi\u0107 o post\u0119powaniu.<\/p> O\u015bwiadczenie o dostawcach wysokiego ryzyka.<\/strong> Przy sprz\u0119cie ICT dla podmiot\u00f3w publicznych zamawiaj\u0105cy zwykle \u017c\u0105da o\u015bwiadczenia, \u017ce oferta nie obejmuje produkt\u00f3w wskazanych w rekomendacji z art. 33 ust. 4 ustawy o krajowym systemie cyberbezpiecze\u0144stwa<\/strong>. To za\u0142\u0105cznik, o kt\u00f3rym \u0142atwo zapomnie\u0107, a jego brak bywa podstaw\u0105 odrzucenia.<\/p> Termin realizacji a finansowanie.<\/strong> Serwery GPU tej klasy maj\u0105 d\u0142ugi czas dostawy, a warto\u015b\u0107 zam\u00f3wienia idzie w setki tysi\u0119cy z\u0142otych. Je\u017celi umowa nie przewiduje zaliczek ani faktur cz\u0119\u015bciowych, wykonawca finansuje ca\u0142o\u015b\u0107 z w\u0142asnego kapita\u0142u przez ca\u0142y okres realizacji plus termin p\u0142atno\u015bci. To realnie zaw\u0119\u017ca pole oferent\u00f3w \u2014 czasem bardziej ni\u017c jakikolwiek warunek techniczny. Warto o tym wiedzie\u0107 po obu stronach: zamawiaj\u0105cy, kt\u00f3ry chce konkurencji, nie powinien bez potrzeby \u0142\u0105czy\u0107 d\u0142ugiego terminu realizacji z zerow\u0105 zaliczk\u0105.<\/p> Serwer GPU do oblicze\u0144 AI jest kategori\u0105 m\u0142od\u0105 dla wi\u0119kszo\u015bci dzia\u0142\u00f3w zam\u00f3wie\u0144 \u2014 i dlatego opis przedmiotu naj\u0142atwiej w niej napisa\u0107 tak, \u017ce albo nie da si\u0119 por\u00f3wna\u0107 ofert, albo z g\u00f3ry wygrywa jedna. Trzy proste zasady zdejmuj\u0105 wi\u0119kszo\u015b\u0107 ryzyka: ka\u017cdy pr\u00f3g z warunkiem pomiaru<\/strong> (format i sparsity przy TOPS, data przy PassMark), \u017caden pr\u00f3g przepisany z jednej karty<\/strong>, i parametry oparte na pojemno\u015bci oraz przepustowo\u015bci pami\u0119ci<\/strong>, a nie na marketingowej liczbie operacji.<\/p> Je\u017celi przygotowuj\u0105 Pa\u0144stwo takie post\u0119powanie, ch\u0119tnie przejrzymy projekt opisu przedmiotu zam\u00f3wienia, zanim trafi do publikacji. Projekt i dokumentacj\u0119 traktujemy jako osobn\u0105, p\u0142atn\u0105 us\u0142ug\u0119 \u2014 dzia\u0142a r\u00f3wnie\u017c wtedy, gdy sprz\u0119t kupuj\u0105 Pa\u0144stwo u innego dostawcy.<\/p>","protected":false},"excerpt":{"rendered":" TOPS bez podanej precyzji, PassMark bez daty odczytu i pr\u00f3g przepisany z jednej karty \u2014 trzy b\u0142\u0119dy, kt\u00f3re zamieniaj\u0105 post\u0119powanie na serwer GPU w konkurs z jednym uczestnikiem. Plus tabela parametr\u00f3w, kt\u00f3re naprawd\u0119 r\u00f3\u017cnicuj\u0105 oferty.<\/p>","protected":false},"author":1,"featured_media":140,"comment_status":"open","ping_status":"","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-137","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sprzet-i-technologie-av"],"_links":{"self":[{"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/posts\/137","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/comments?post=137"}],"version-history":[{"count":2,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/posts\/137\/revisions"}],"predecessor-version":[{"id":139,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/posts\/137\/revisions\/139"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/media\/140"}],"wp:attachment":[{"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/media?parent=137"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/categories?post=137"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/nextav.pl\/en\/wp-json\/wp\/v2\/tags?post=137"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Pr\u00f3g przepisany z jednej karty to jeden oferent<\/h2>
Parametry, kt\u00f3re naprawd\u0119 r\u00f3\u017cnicuj\u0105 oferty<\/h2>
parametr<\/th> co opisuje<\/th> jak zapisa\u0107<\/th><\/tr><\/thead> Pojemno\u015b\u0107 pami\u0119ci (VRAM)<\/td> ile modelu zmie\u015bci si\u0119 na karcie<\/td> \u201emin. 96 GB\u201d \u2014 liczba twarda, bez warunk\u00f3w<\/td><\/tr> Przepustowo\u015b\u0107 pami\u0119ci<\/td> realna szybko\u015b\u0107 oblicze\u0144 AI<\/td> \u201emin. 1500 GB\/s\u201d \u2014 jednoznaczna<\/td><\/tr> FP32 (TFLOPS)<\/td> wydajno\u015b\u0107 w pojedynczej precyzji<\/td> \u201emin. 100 TFLOPS FP32\u201d \u2014 z podanym formatem<\/td><\/tr> Liczba rdzeni CUDA<\/td> zr\u00f3wnoleglenie oblicze\u0144<\/td> pr\u00f3g, nie liczba dok\u0142adna<\/td><\/tr> RAM systemowa<\/td> obs\u0142uga du\u017cych zbior\u00f3w<\/td> \u201emin. 512 GB DDR5 ECC, min. 5600 MT\/s\u201d<\/td><\/tr> Klasa zasilaczy<\/td> sprawno\u015b\u0107 i koszt eksploatacji<\/td> \u201e80 PLUS Titanium\u201d (\u226596% przy 50% obci\u0105\u017cenia)<\/td><\/tr> Klasa dysk\u00f3w NVMe<\/td> trwa\u0142o\u015b\u0107 przy ci\u0105g\u0142ym zapisie<\/td> \u201eEnterprise, DWPD \u2265 1 przez 5 lat\u201d<\/td><\/tr><\/tbody><\/table><\/figure> Poza samym sprz\u0119tem: dwie rzeczy z procedury<\/h2>
Na koniec<\/h2>