CERN LHC eksperimentai padidina GPU naudojimą, kad pagerintų skaičiavimo infrastruktūrą


2022 m. vasario 4 d. – Išanalizuoti net vieną milijardą protonų susidūrimų per sekundę arba dešimtis tūkstančių labai sudėtingų susidūrimų su švinu nėra lengvas darbas tradiciniam kompiuterių ūkiui. Kitąmet pradėjus veikti naujausiems LHC eksperimentų atnaujinimams, jų duomenų apdorojimo potencialo poreikis gerokai išaugo. Kadangi naudojant tradicinius centrinius procesorius (CPU) jų naujų skaičiavimo iššūkių gali nepavykti išspręsti, keturi dideli eksperimentai apima grafikos apdorojimo blokus (GPU).

Kandidatas HLT mazgas Run 3, aprūpintas dviem AMD Milan 64 branduolių procesoriais ir dviem NVIDIA Tesla T4 GPU. Kreditas: CERN

GPU yra labai efektyvūs procesoriai, specializuojasi vaizdo apdorojime ir iš pradžių buvo sukurti siekiant pagreitinti trimatės kompiuterinės grafikos atvaizdavimą. Jų naudojimas per pastaruosius porą metų buvo tiriamas atliekant LHC eksperimentus Pasaulinis LHC skaičiavimo tinklelis (WLCG) ir CERN atvira laboratorija. Didėjant GPU naudojimui didelės energijos fizikoje, pagerės ne tik skaičiavimo infrastruktūros kokybė ir dydis, bet ir bendras energijos vartojimo efektyvumas.

„Ambicinga LHC atnaujinimo programa kelia daugybę įdomių kompiuterinių iššūkių; GPU gali atlikti svarbų vaidmenį palaikant mašininio mokymosi metodus sprendžiant daugelį jų“, – sako Enrica Porcari, CERN IT skyriaus vadovė. „Nuo 2020 m. CERN IT skyrius suteikė prieigą prie duomenų centre esančių GPU platformų, kurios pasirodė populiarios įvairiose programose. Be to, CERN openlab atlieka svarbius GPU naudojimo mašininiam mokymuisi tyrimus, bendradarbiaudama su pramonės MTTP projektais, o Mokslinio skaičiavimo bendradarbiavimo grupė stengiasi padėti perkelti ir optimizuoti pagrindinį eksperimentų kodą.

ALICE nuo 2010 m. pradėjo naudoti GPU savo aukšto lygio paleidimo internetinėje kompiuterių fermoje (HLT) ir iki šiol yra vienintelis eksperimentas, kuriame jie naudojami tokiu mastu. Naujai atnaujintame ALICE detektoriuje yra daugiau nei 12 milijardų elektroninių jutiklių elementų, kurie nuolat nuskaitomi ir sukuria daugiau nei 3,5 terabaito per sekundę duomenų srautą. Po pirmojo lygio duomenų apdorojimo išlieka iki 600 gigabaitų per sekundę srautas. Šie duomenys analizuojami internetu didelio našumo kompiuterių ūkyje, įdiegiant 250 mazgų, kurių kiekviename yra aštuoni GPU ir du 32 branduolių procesoriai. Dauguma programinės įrangos, kuri surenka atskirus dalelių detektoriaus signalus į dalelių trajektorijas (įvykių rekonstrukcija), buvo pritaikyta darbui su GPU.

2 ms trukmės Pb-Pb susidūrimų vizualizacija esant 50 kHz sąveikos dažniui ALICE TPC. Įvairių pirminių susidūrimų pėdsakai rodomi skirtingomis spalvomis. Kreditas: ALICE / CERN

Visų pirma, GPU pagrįsta duomenų atkūrimas ir suspaudimas iš laiko projekcijos kameros, kuri yra didžiausia duomenų dydžio dalis, leidžia ALICE dar labiau sumažinti greitį iki daugiausiai 100 gigabaitų per sekundę prieš įrašant duomenis į diską. Be GPU prireiktų maždaug aštuonis kartus daugiau to paties tipo serverių ir kitų išteklių, kad būtų galima apdoroti internetinį švino susidūrimo duomenų apdorojimą 50 kHz sąveikos dažniu.

2021 m. spalio mėn. pabaigoje LHC bandomojo pluošto duomenų gavimo metu ALICE sėkmingai panaudojo internetinę rekonstrukciją GPU. Kai LHC nėra pluošto, atkūrimui neprisijungus naudojama internetinė kompiuterių ferma. Siekiant išnaudoti visą GPU potencialą, visa ALICE rekonstrukcijos programinė įranga buvo įdiegta su GPU palaikymu, o daugiau nei 80% atkūrimo darbo krūvio galės veikti GPU.

Nuo 2013 m. LHCb tyrėjai atliko lygiagrečių skaičiavimo architektūrų, ypač GPU, naudojimo MTTP, kad pakeistų apdorojimo dalis, kurios tradiciškai vyktų CPU. Šis darbas baigėsi tuo Visas projektas, pilnas pirmojo lygio apdorojimas realiuoju laiku, visiškai įdiegtas GPU, kuris gali susidoroti su LHCb duomenų sparta naudojant tik apie 200 GPU kortelių. Allenas leidžia LHCb rasti įkrautų dalelių trajektorijas nuo pat apdorojimo realiuoju laiku, kurios naudojamos duomenų perdavimo spartai sumažinti 30–60 kartų, kol detektorius sulygiuotas ir kalibruojamas, ir pilnesnis CPU pagrįstas pilnas detektorius. atliekama rekonstrukcija. Tokia kompaktiška sistema taip pat leidžia žymiai sutaupyti energijos vartojimo efektyvumo.

Nuo 2022 m. LHCb eksperimentas realiu laiku apdoros 4 terabaitus duomenų per sekundę, kiekvieną sekundę fizinei analizei atrinkdamas po 10 gigabaitų įdomiausių LHC susidūrimų. Unikalus LHCb metodas yra tai, kad užuot perkėlus darbą, jis analizuos visus 30 milijonų dalelių sankryžos per sekundę GPU.

Kartu su procesoriaus apdorojimo patobulinimais nuo 2018 m. LHCb taip pat beveik 20 kartų padidino savo detektoriaus rekonstrukcijos energijos vartojimo efektyvumą. LHCb mokslininkai dabar laukia, kada galės pradėti naudoti šią naują sistemą su pirmaisiais 2022 m. duomenimis ir ją remtis. kad būtų galima realizuoti visą atnaujinto LHCb detektoriaus fizinį potencialą.

CMS pirmą kartą atkūrė LHC susidūrimo su GPU duomenis per LHC bandomuosius spindulius praėjusių metų spalį. Per pirmuosius du LHC paleidimus CMS HLT veikė tradiciniame kompiuterių ūkyje, kuriame buvo daugiau nei 30 000 procesoriaus branduolių. Tačiau, kaip TVS 2 fazės atnaujinimo studijos parodė, kad GPU naudojimas padės kontroliuoti HLT ūkio sąnaudas, dydį ir energijos suvartojimą esant didesniam LHC šviesumui. O norint įgyti patirties su nevienalyčiu ūkiu ir GPU naudojimu gamybinėje aplinkoje, CMS nuo 3 vykdymo pradžios visą HLT aprūpins GPU: naująjį ūkį iš viso sudarys 25 600 procesoriaus branduolių ir 400 GPU.

Šių GPU suteikiama papildoma skaičiavimo galia leis TVS ne tik pagerinti internetinės rekonstrukcijos kokybę, bet ir išplėsti savo fizikos programą, paleidžiant internetą. duomenų žvalgymo analizė daug didesniu tempu nei anksčiau. Šiandien apie 30% HLT apdorojimo gali būti perkelta į GPU: kalorimetrų vietinė rekonstrukcija, pikselių sekimo priemonės vietinė rekonstrukcija, tik pikselių sekimas ir viršūnių rekonstrukcija. Algoritmų, kurie gali veikti su GPU, skaičius 3 paleidimo metu augs, nes kiti komponentai jau yra kuriami.

ATLAS dalyvauja įvairiuose MTEP projektuose, skirtuose GPU naudojimui tiek internetinėje paleidimo sistemoje, tiek plačiau eksperimente. GPU jau naudojami daugelyje analizių; jie ypač naudingi mašininio mokymosi programoms, kur mokymas gali būti atliktas daug greičiau. Be mašininio mokymosi, ATLAS mokslinių tyrimų ir plėtros pastangos buvo sutelktos į programinės įrangos infrastruktūros tobulinimą, kad būtų galima naudoti GPU ar kitus egzotiškesnius procesorius, kurie gali būti prieinami po kelerių metų. Kelios visos programos, įskaitant greitą kalorimetro modeliavimą, taip pat dabar veikia GPU, o tai pateiks pagrindinius infrastruktūros patobulinimų pavyzdžius.

„Visi šie pokyčiai vyksta precedento neturinčios kompiuterinės įrangos evoliucijos ir diversifikacijos fone. CERN tyrėjų sukurti įgūdžiai ir metodai, mokantis, kaip geriausiai panaudoti GPU, yra puiki platforma, iš kurios galima įvaldyti ateities architektūrą ir panaudoti jas siekiant maksimaliai išnaudoti dabartinių ir būsimų eksperimentų fizikos potencialą“, – sako Vladimiras Gligorovas, vadovaujantis LHCb „Real“. Laiko analizės projektas.


Šaltinis: CERN