Ryzyko się opłaca: Deweloper otrzymuje sprzęt o wartości 80 000 USD z 960 GB pamięci DDR5 i superukładem Nvidia GH200 za jedną dziesiątą ceny
Niecały tydzień temu, opisaliśmy historię pochodzącą z Reddita, w której graczowi udało się zdobyć potężny i dobrze wyposażony komputer do gier o wartości około 3000 USD za jedyne 600 USD. Co zabawne, 64 GB pamięci DDR5 w samym systemie jest warte 880 USD w chwili pisania tego tekstu, dzięki uprzejmości trwającego ograniczenia podaży pamięci DRAM, które spowodowało bezprecedensowy wzrost w cenach pamięci.
sprzęt o wartości 80 tys. dolarów w cenie 8 tys. dolarów: Deweloper AI zgarnia główną wygraną
Teraz deweloper AI, również za pośrednictwem Reddita, zdołał upolować przepyszną ofertę - używany serwer AI z dwoma Nvidia GH200 sprzedawany za jedyne 8 000 dolarów. Gdyby kupić zupełnie nowy system, kosztowałby on około 80 000 USD, a najprawdopodobniej nawet więcej, ponieważ Nvidia H100 jest wart około 40 000 dolarów, jak zauważył autor https://dnhkng.github.io/posts/hopper/. Aha, a także system zawiera aż 960 GB pamięci LPDDR5X. Dokładne szczegóły systemu zostały wyszczególnione poniżej, dzięki uprzejmości kupującego, Davida Noela Ng:
- Podwójny Superchip Nvidia Grace-Hopper GH200 - każdy z 72-rdzeniowym procesorem ARM z 480 GB pamięci LPDDR5X, GPU Hopper H100 z 96 GB pamięci HBM3
- NVlink C2C o przepustowości 900 GB/s
- zasilacz 3 kW
- Dwa gniazda PCIe Gen4 M.2 22110/2280
- Cztery gniazda FHFL PCIe Gen 5 x16
- RJ45, Mini DisplayPort
Superukład Nvidia GH200 w okazyjnej cenie? Jest pewien haczyk
Sprzedawca, w innej odpowiedzi, ujawnił, że system został sprzedany po okazyjnej cenie ze względu na jego zły stanz powodu konwersji z chłodzenia cieczą na chłodzenie powietrzem. Co więcej, wspomniano również, że nie można go zamontować w typowej szafie serwerowej, co jest zazwyczaj warunkiem wstępnym.
David był jednak niezrażony tymi wadami i sam pojechał do sprzedawcy, aby sprawdzić system. Na szczęście odkrył, że sprzedawca cieszył się dobrą reputacją i znajdował się około 2 godziny drogi od jego miejsca zamieszkania.
Po przyniesieniu systemu do domu, David zorganizował odkurzacz i kilka litrów roztworu czyszczącego, zanim zabrał się do pracy. Po wyczyszczeniu serwera zainstalowano nowe chłodzenie wodne i przeprowadzono kilka napraw. Być może największym wyzwaniem było znalezienie wadliwego czujnika temperatury, który wielokrotnie powodował awarię serwera, ale w końcu wszystko zostało rozwiązane.
Masywne modele LLM jak w domu: modele z parametrami 235B działają płynnie
David wydaje się być całkiem zadowolony ze swojego zakupu - i późniejszej możliwości uruchamiania masywnych modeli LLM (235B) w domu. Oczywiście cały proces wymagał mnóstwa pracy, z której większość wykracza poza zakres dla osób zupełnie nowych w sprzęcie klasy korporacyjnej. Biorąc jednak pod uwagę, że 960 GB samej pamięci DDR5 jest teraz warte więcej niż to, co zapłacił za cały system, było to zdecydowanie szczęśliwe zakończenie.
Dla tych, którzy chcą uruchamiać mniejsze modele AI w domu bez konieczności wydawania 8 000 dolarów i kilku godzin więcej na konfigurację, lepszym wyborem może być zasilany przez Strix Halo GMKtec Evo-X2(obecnie 1 529,99 USD na Amazon).
Źródło(a)
David Noel Ng, Redditzauważony przez Tom's Hardware
