Amazon Elastic Block Store w ciągu 15 lat

Zaraz po dołączeniu do Amazon Web Services w 2009 roku, James Hamilton spotkał się z Andrew Surem, wówczas starszym inżynierem w zespole Amazon Elastic Block Store (Amazon EBS), aby poznać szczegóły dotyczące wdrożenia EBS i planów na przyszłość.

Andrew opowiedział mu o szczegółach tego rozwiązania do zdalnej pamięci masowej i od razu dwie rzeczy stały się dla niego jasne: 1) pozostaje jeszcze wiele do zrobienia, aby sprostać najbardziej wymagającym obciążeniom oraz 2) możliwości, jakie oferuje EBS, są ogromne. Pracując od kilkudziesięciu lat w świecie baz danych, James Hamilton wie, jak ważna dla klientów jest wydajna pamięć blokowa. Istniało i nadal istnieje rzeczywiste zapotrzebowanie klientów na EBS.

Choć James Hamilton był pewien, że EBS będzie bardzo ważną usługą dla klientów AWS, nie docenił tego, co zespół dostarczy w kolejnych latach i ilu klientów zaufa EBS w zakresie najbardziej krytycznych funkcji.

W momencie, gdy James Hamilton pisze ten tekst, minęło 15 lat od ogłoszenia Amazon Elastic Block Store 20 sierpnia 2008. Myśląc o tym, co udało się osiągnąć w ciągu ostatnich 15 lat, poprosił zespół o kilka danych na temat skali, wykorzystania i przyjęcia EBS i był zdumiony wielkością niektórych z tych wskaźników. EBS naprawdę się rozwinęło.

James Hamilton jest związany z EBS przez cały okres, więc te dane nie powinny być dla wielkim zaskoczeniem, ale większość wewnętrznych dyskusji inżynierskich koncentruje się na nowych funkcjach, działaniu istniejących funkcji lub zmianach i aktualizacjach, które chce się wprowadzić. Po prostu nie poświęca się dużo czasu na sprawdzanie zagregowanych szybkości operacji I/O w całej usłudze lub liczby woluminów EBS tworzonych przez klientów.

James Hamilton poprosił zespół EBS o oszacowanie wykorzystania klientów w 2023 r., czyli w 15. roku istnienia EBS. Koncentrując się przede wszystkim na codziennym użytkowaniu, EBS zapewnia ponad 100 miliardów operacji I/O dziennie. Kiedy 30 lat temu zaczynał pracować nad silnikami baz danych, obsługa 100 miliardów operacji I/O dziennie wymagałaby ponad 11 milionów dysków. Te współczynniki I/O są naprawdę zdumiewające.

Być może jeszcze bardziej zdumiewający jest fakt, że EBS codziennie przesyła do klientów ponad 13 eksabajtów danych. Codzienna porcja eksabajtów zaczyna wydawać się czymś normalnym, ale warto pamiętać, że każdy eksabajt to milion terabajtów. Wiele lat temu James Hamilton widział w „The New York Times” interesujący punkt danych, który z kolei dodał kolejny ciekawy punkt skalowania. W artykule tym oszacowano, że 5 eksabajtów to równowartość wszystkich słów wypowiedzianych przez człowieka od zarania dziejów. To wyjątkowo duża ilość danych.

Kontynuując koncentrację na codziennym użytkowaniu, miliony klientów codziennie korzystają z EBS i te same miliony klientów tworzą każdego dnia ponad 390 milionów woluminów pamięci EBS.

Świętując 15-lecie EBS, James Hamilton chciał podziękować za umieszczenie w EBS niektórych z najbardziej krytycznych dla firmy i wrażliwych na wydajność obciążeń. Zaufanie klientów do EBS pomogło uczynić EBS bardzo dużą usługą i wszyscy w zespole wiedzą, że muszą zdobywać to zaufanie każdego dnia. Zespół EBS mocno skupia się na opiece inżynieryjnej.

James Hamilton stwierdza, że zespół AWS dokonał wiele przez ostatnie 15 lat, ale jeszcze sporo przed nimi. Zawsze ekscytujące jest obserwowanie, co klienci robią z EBS, a wiele funkcji i aktualizacji, które wprowadzili na przestrzeni lat, pochodziło bezpośrednio od klientów. W dalszym ciągu mają duże plany dotyczące EBS i możesz spodziewać się dalszych ulepszeń wydajności, zaawansowanych funkcji i tej samej staranności inżynieryjnej, która sprawi, że EBS będzie poza twoją listą zmartwień.

źródło: AWS