Multi-GPU rackløsning for LLM
Kundens behov her var for en kraftig maskin med 4 stk RTX 4090 GPUer levert i et rackformat. Maskinen skulle brukes til AI drevet transkripsjon og diarisering av dialog i forbindelse med TV produksjoner.
Da vi skulle ha 4 store skjermkort inn i et rack kabinett på 5U forsto vi raskt at vi måtte vannkjøle skjermkortene. Dette har vi fått til med kun to radiatorer, sammen med ekstremt kraftige vifter. Vi har benyttet en hurtigkoblingsløsning som gjør at hvert enkelt skjermkort enkelt kan taes ut uten å måtte tømme hele loopen for kjølevæske. Dette er fordelaktig ved vedlikehold eller feilretting, og reduserer nedetiden kraftig i de tilfellene.
Det var utfordrende å få alt til å passe i maskinen, og vi har 3D-printet egne spesialtilpassede braketter for å kunne montere alle nødvendige vannkjølingskomponenter.
Maskinen er høyt spec'et, med en Threadripper Pro 7965WX CPU og 256GB DDR5 ECC minne. Den lager MYE viftelyd, men leverer vanvittig ytelse i et meget kompakt fotavtrykk.
