Instancje EC2 P4 wyposażone w GPU do uczenia maszynowego i HPC

Amazon EC2 zapewniało instancje wyposażone CPU przez blisko dekadę. Pierwsza generacja instancji Cluster GPU została wydana pod koniec 2010 roku, po których zostały wydane instancje: G2 (2013), P2 (2016), P3 (2017), G3 (2017), P3dn (2018) i G4 (2019). Każda z kolejnych generacji posiada coraz bardziej wydajne procesory graficzne, a także wystarczającą moc procesora, pamięć oraz przepustowość łącza, która pozwala GPU być maksymalnie wykorzystanym.

Nowe instancje EC2 P4

Ten rodzaj instancji jest zasilany przez najnowsze procesory Intel^® Cascade Lake, które zawierają osiem najnowszych procesorów graficznych NVIDIA A100 Tensor Core, a każdy z nich jest połączony z pozostałymi przez NVLink i obsługuje NVIDIA GPUDirect. Wraz z 2.5 PetaFLOPS wydajności zmiennoprzecinkowej oraz 320 GB pamięci GPU o wysokiej przepustowości instancje mogą dostarczyć do 2,5 razy wyższą wydajność uczenia głębokiego (deep learning) oraz do 60% niższe koszty szkolenia w porównaniu do instancji P3.

Instancje P4 obejmują 1.1 TB pamięci systemowej i 8 TB pamięci masowej SSD opartej na NVME. Może ona zapewnić nawet do 16 gigabajtów przepustowości odczytu na sekundę.

W przypadku sieci posiadasz dostęp do czterech połączeń sieciowych 100 Gb/s do dedykowanej, nieblokującej struktury sieciowej na skalę petabitów (dostępną poprzez EFA), zaprojektowaną specjalnie dla instacji P4 wraz z przepustowością EBS 19 Gb/s, która może również obsługiwać do 80K IOPS.

EC2 UltraClusters

Procesory graficzne NVIDIA A100, obsługa NVIDIA GPUDirect, sieć 400 Gb/s, struktura sieciowa w skali petabitów, a także dostęp do usług AWS jak: S3, Amazon FSx for Lustre i AWS ParallelCluster zapewniają Ci wszystko to, czego potrzebujesz do stworzenia na żądanie EC3 UltraClusters wraz 4,000 lub więcej GPU:

Te klastry mogą sprostać najcięższym i najtrudniejszym obciążeniom w zakresie uczenia maszynowego i HPC w skali superkomputera: przetwarzanie języka naturalnego, wykrywanie i klasyfikacja obrazów, rozumienie scen, analiza sejsmiczna, prognozowanie pogody, modelowanie finansowe i wiele więcej.

Dostępne już teraz

Instancje P4 są dostępne w jednym rozmiarze (p4d.24xlarge) i możesz uruchomić je już dzisiaj w regionie wschodnim USA (Północna Wirginia) oraz zachodnim (Oregon). Twoje AMI będzie potrzebować sterowników NVIDIA A100 oraz najnowszego sterownika ENA (kontenery Deep Learning zostały zaktualizowane).

Jeśli korzystasz z wielu P4 do uruchamiania rozproszonych szkoleń, możesz użyć EFA oraz aplikacji kompatybilnej z MPI. W ten sposób jak najlepiej wykorzystasz 400 Gb/s sieci oraz struktury sieciowej w skali petabitów.

Instancje P4 możesz kupić w formie On-Demand, Savings Plan, Reserved Instance i Spot. Aktualnie trwają prace nad użyciem instancji P4 w serwisach AWS takich jak Amazon SageMaker i Amazon Elastic Kubernetes Service, która będzie dostępna jeszcze w tym roku.

Dowiedz się więcej

Aby dowiedzieć się więcej na temat wydajności instancji P4d w porównaniu z poprzednią generacją instancji P3, zapoznaj się z Amazon EC2 P4d Instances in UltraClusters. Aby dowiedzieć się więcej na temat cen i dodatkowych szczegółów technicznych, zapoznaj się z literaturą na temat instancji P4.

Źródło: https://aws.amazon.com/

PYTANIA? SKONTAKTUJ SIĘ Z NAMI