Wszystkiego najlepszego z okazji 10 rocznicy Amazon S3 Glacier – 10 lat Cold Storage w Chmurze

Dziesięć lat temu, 20 sierpnia 2012 r., AWS ogłosiło ogólną dostępność Amazon Glacier, bezpiecznej, niezawodnej i niezwykle korzystnej cenowo pamięci masowej przeznaczonej do archiwizacji i tworzenia kopii zapasowych danych.

W tym czasie autor tekstu był jednocześnie klientem AWS. Oferta długoterminowej, bezpiecznej i trwałej pamięci masowej w chmurze, która pozwoliła mu na archiwizację dużych ilości danych przy bardzo niskich kosztach, wydawała się zwyczajnym primaaprilisowym żartem.

W oryginalnym tekście na blogu Jeffa dotyczącym tej premiery zauważył on, że:

Glacier zapewnia, przy koszcie zaledwie 0,01 USD (jeden grosz amerykański, jedna setna dolara) za gigabajt miesięcznie, niezwykle tanie przechowywanie archiwów. Możesz przechowywać naprawdę niewiele lub bardzo dużo (terabajty, petabajty i więcej). Nie ma żadnych płatności z góry i płacisz tylko za miejsce, z którego korzystasz. Nie musisz się martwić o planowanie pojemności i nigdy nie zabraknie Ci potrzebnego miejsca.

Dziesięć lat później Amazon S3 Glacier stał się najlepszym miejscem na świecie do przechowywania danych archiwalnych. Klasy pamięci masowej Amazon S3 Glacier są przeznaczone do archiwizacji danych, zapewniając najwyższą wydajność, największą elastyczność wyszukiwania i jednocześnie najniższy koszt przechowywania archiwum w chmurze.

Dzięki temu teraz możesz wybierać spośród trzech klas przechowywania archiwów zoptymalizowanych pod kątem różnych wzorców dostępu i czasu przechowywania – Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval (dawniej Amazon S3 Glacier) i Amazon S3 Glacier Deep Archive. Za chwilę dowiesz się więcej o każdej z tych klas pamięci.

Dekada innowacji w Amazon S3 Glacier

Aby zrozumieć, w jaki sposób się tu znalazłeś, pora prześledzić wydarzenia mające miejsce w ostatniej dekadzie i ponownie przyjrzeć się niektórym z najważniejszych premier Amazon S3 Glacier, które fundamentalnie zmieniły pamięć masową na zawsze:

Sierpień 2012 – Amazon Glacier: Archival Storage for One Penny per GB per Month

Usługa Amazon Glacier została uruchomiona, aby przechowywać dowolną ilość danych o wysokiej trwałości za cenę, która pozwala pozbyć się bibliotek taśmowych, całej złożoności operacyjnej i kosztów ogólnych, które były częścią archiwizacji danych od dziesięcioleci. Amazon Glacier był wzorowany na trwałości i niezawodności S3, ale został zaprojektowany i zbudowany od podstaw, aby zapewnić przechowywanie materiałów archiwalnych przy wyjątkowo niskich kosztach. W tym czasie Glacier wprowadził koncepcję „skarbca” do przechowywania danych archiwalnych. Możesz wtedy łatwo odzyskać swoje dane archiwalne, inicjując żądanie, aby następnie dane zostały udostępnione do pobrania w ciągu 3-5 godzin.

Listopad 2012 – Archiving Amazon S3 Data to Glacier

Chociaż Glacier został zaprojektowany od podstaw z myślą o danych archiwalnych, wielu klientów posiadało dane obiektowe pochodzące z pamięci masowej S3, które w końcu chcieliby przenieść do „colder storage”. Aby to ułatwić klientom, zarządzanie cyklem życia Amazon S3 (aka Lifecycle Rule) zintegrowało S3 i Glacier sprawiając, że szczegóły są widoczne w klasie pamięci każdego obiektu. Lifecycle Management umożliwia zdefiniowanie reguł czasowych, które mogą rozpocząć Transition (zmianę klasy pamięci S3 na Glacier) i Expiration (usuwanie obiektów). W 2014 roku twórcy połączyli elastyczność wersjonowanych obiektów S3 z Glacier, pomagając jeszcze bardziej obniżyć ogólne koszty przechowywania.

Listopad 2016 – Glacier Price Reductions and Additional Retrieval Options for Glacier

W ramach długoterminowego ukierunkowania AWS na obniżanie kosztów i przekazywanie tych oszczędności klientom, twórcy obniżyli cenę magazynu Glacier do 0,004 USD (mniej niż pół centa) w przypadku 1 GB na 1 miesiąc we wschodnich Stanach Zjednoczonych (północna Wirginia) od 0,007 USD w 2015 r. i 0,010 USD w 2012 r. Dzięki bardzo niskim kosztom przechowywania danych i elastyczności w zakresie szybkości pobierania danych wprowadzono dwie dodatkowe opcje pobierania danych, które były oparte na ilości danych przechowywanych przez Ciebie w Glacier i tempie, w jakim je odzyskałeś. Możesz więc wybrać pobieranie przyspieszone (zazwyczaj trwające 1-5 minut), pobieranie zbiorcze (5-12 godzin) lub istniejącą standardową metodę pobierania (3-5 godzin).

Listopad 2018 – Amazon S3 Glacier Storage Class to Integrate S3 Experiences

Klienci Glacier docenili sposób, w jaki mogą łatwo przenosić dane z S3 do Glacier za pomocą zarządzania cyklem życia S3 i chcieli, aby twórcy rozszerzyli tę możliwość, dzięki czemu mogliby używać najpopularniejszych interfejsów API S3 do działania bezpośrednio na obiektach S3 Glacier. Dlatego też dodano S3 PUT API do S3 Glacier, co umożliwia korzystanie ze standardowego interfejsu S3 PUT API i wybór dowolnej klasy pamięci masowej, w tym S3 Glacier, do przechowywania danych. Dane mogą być przechowywane bezpośrednio w S3 Glacier, eliminując potrzebę przesyłania do standardu S3 i natychmiastowego przejścia do S3 Glacier z zasadą cyklu życia „zero-day”. Możesz więc użyć PUT do S3 Glacier jak każdej innej klasy pamięci S3.

March 2019 – Amazon S3 Glacier Deep Archive – the Lowest Cost Storage in the Cloud

Podczas gdy oryginalna usługa Glacier oferowała wyjątkowo niską cenę za przechowywanie archiwalne, autorzy rzucili sobie wyzwanie, aby sprawdzić, czy mogą znaleźć sposób na wynalezienie jeszcze tańszej oferty przechowywania dla „bardzo zimnych danych” (cold data). Klasa pamięci masowej Amazon S3 Glacier Deep Archive zapewnia najtańszą pamięć masową, nawet o 75 procent niższą (niż S3 Glacier Flexible Retrieval), w przypadku długotrwałych danych archiwalnych, do których uzyskuje się dostęp rzadziej niż raz w roku i są one pobierane asynchronicznie. Przy zaledwie 0,00099 USD za GB miesięcznie (lub 1 USD za TB miesięcznie), S3 Glacier Deep Archive oferuje najniższe koszty przechowywania w chmurze po cenach znacznie niższych niż przechowywanie i utrzymywanie danych na taśmie lokalnej lub archiwizacja danych poza siedzibą firmy.

November 2020 – Amazon S3 Intelligent-Tiering adds Archive Access and Deep Archive Access tiers

W listopadzie 2018 r. wprowadzono Amazon S3 Intelligent-Tiering, jedyną klasę pamięci masowej w chmurze, która zapewnia automatyczne oszczędności kosztów pamięci masowej, nawet do 95 procent w przypadku zmiany wzorców dostępu do danych, bez wpływu na wydajność lub koszty operacyjne. Aby zaoferować klientom prostotę i elastyczność S3 Intelligent-Tiering oraz niski koszt przechowywania danych archiwalnych, autorzy dodali warstwę Archive Access zapewniającą taką samą wydajność i cenę jak klasa pamięci masowej S3 Glacier, a także warstwę Deep Archive Access, która oferuje taką samą wydajność i cenę jak klasa pamięci masowej S3 Glacier Deep Archive.

November 2021 – Amazon S3 Glacier Flexible Retrieval and S3 Glacier Instant Retrieval

Klasa pamięci masowej Amazon S3 Glacier została przemianowana na Amazon S3 Glacier Flexible Retrieval i obejmuje teraz bezpłatne pobieranie zbiorcze wraz z dodatkową 10% obniżką ceny we wszystkich regionach, dzięki czemu jest zoptymalizowana pod kątem zastosowań, takich jak tworzenie kopii zapasowych i odzyskiwanie po awarii.

Dodatkowo klienci poprosili autorów tekstu o rozwiązanie pamięci masowej, które charakteryzowało się niskimi kosztami Glacier, ale umożliwiało szybki dostęp, gdy dane były potrzebne bardzo szybko. Dlatego wprowadzono Amazon S3 Glacier Instant Retrieval, nową klasę pamięci archiwów, która zapewnia najtańszą pamięć masową dla długotrwałych danych, które są rzadko używane i wymagają odzyskiwania milisekund. W ten sposób możesz zaoszczędzić do 68% na kosztach pamięci masowej w porównaniu z korzystaniem z pamięci masowej klasy S3 Standard-Infrequent Access (S3 Standard-IA), gdy dostęp do danych uzyskuje się raz na kwartał.

W klasie pamięci masowej Amazon S3 Intelligent-Tiering dodano również niedawno nową warstwę Archive Instant Access, zapewniając taką samą wydajność i cenę jak klasa pamięci masowej S3 Glacier Instant Retrieval, która gwarantuje automatyczne 68% oszczędności kosztów dla klientów korzystających z funkcji S3 Intelligent-Tiering o długiej żywotności danych.

Kiedyś i dziś

Klienci ze wszystkich branż korzystają z klas pamięci masowej S3 Glacier dla każdego możliwego wyobrażenia obciążenia związanego z archiwizacją. Uzyskiwanie dostępu do klas pamięci masowej S3 Glacier i korzystanie z nich za pośrednictwem interfejsów API S3 i konsoli S3 zapewnia rozszerzone funkcje zarządzania danymi i optymalizacji kosztów.

Jak zostało przedstawione powyżej, możesz teraz wybierać spośród trzech klas pamięci archiwów zoptymalizowanych pod kątem różnych wzorców dostępu i czasu przechowywania:

• S3 Glacier Instant Retrieval — w przypadku danych archiwalnych wymagających natychmiastowego dostępu, takich jak obrazy medyczne, zasoby informacyjne lub dane genomiczne, wybierz klasę pamięci masowej S3 Glacier Instant Retrieval, klasę pamięci archiwów, która zapewnia najniższe koszty przechowywania z pobieraniem w milisekundach.
• S3 Glacier Flexible Retrieval — w przypadku danych archiwalnych, które nie wymagają natychmiastowego dostępu, ale muszą mieć możliwość bezpłatnego pobierania dużych zestawów danych, np. w przypadku tworzenia kopii zapasowych lub odzyskiwania po awarii, wybierz klasę pamięci masowej S3 Glacier Flexible Retrieval, z pobieraniem w ciągu minut lub bezpłatnym pobieraniem zbiorczym w ciągu 12 godzin.
• S3 Glacier Deep Archive — do przechowywania danych przez 7–10 lat lub dłużej w celu zaspokojenia potrzeb klientów i wymogów zgodności z przepisami, takimi jak usługi finansowe, opieka zdrowotna, media i rozrywka oraz sektor publiczny, wybierz klasę pamięci masowej S3 Glacier Deep Archive – najtańsze przechowywanie w chmurze z możliwością pobierania danych w ciągu 12–48 godzin.

Obejrzyj krótki film wprowadzający, aby zapoznać się z klasami przechowywania w S3 Glacier.

Wszystkie klasy przechowywania S3 Glacier zostały zaprojektowane z myślą o 99,9999999999% (11 9s) trwałości obiektów. Dane są przechowywane nadmiarowo w co najmniej trzech Strefach Dostępności, które są fizycznie oddzielone w Regionie AWS. Oto kilka porównań między klasami pamięci masowej S3 Glacier widocznych na pierwszy rzut oka:

W przypadku danych ze zmieniającymi się wzorcami dostępu, które chcesz automatycznie archiwizować na podstawie ostatniego dostępu do tych danych, wybierz klasę pamięci masowej S3 Intelligent-Tiering. W ten sposób zoptymalizujesz koszty pamięci masowej, automatycznie przenosząc dane do najbardziej opłacalnej warstwy dostępu w przypadku zmiany wzorców dostępu. Jej poziomy Archive Instant Access, Archive Access i Deep Archive Access mają taką samą wydajność, jak odpowiednio S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval i S3 Glacier Deep Archive. Aby dowiedzieć się więcej, zobacz artykuł Automatically archive and restore data with Amazon S3 Intelligent-Tiering.

Aby rozpocząć pracę z S3 Glacier, przeczytaj tekst „Best practices for archiving large datasets with AWS”, aby zapoznać się z kluczowymi zagadnieniami i działaniami podczas planowania wzorców przechowywania danych w „cold storage”. Możesz również skorzystać z praktycznego samouczka, który pomoże Ci rozpocząć pracę z klasami pamięci masowej S3 Glacier w zaledwie 20 minut i rozpocząć archiwizację danych w klasach pamięci masowej S3 Glacier w konsoli S3.

Wszystkiego najlepszego, Amazon S3 Glacier!

Podczas ostatniego AWS Storage Day 2022, Kevin Miller, wiceprezes i dyrektor generalny Amazon S3, w swoim wywiadzie z theCUBE wspomniał o 10. rocznicy S3 Glacier i tempie innowacji w wielu przypadkach użycia przez klientów.

„W tym rozszerzającym się świecie wzrostu ilości danych musisz mieć odpowiednią strategię archiwizacji. Każdy posiada dane archiwalne – każda firma i każda branża. Istnieje potrzeba archiwizacji nie tylko dla firm, które istnieją już od jakiegoś czasu, ale także dla rodzimych firm cyfrowych.”

Wielu klientów AWS, takich jak Nasdaq, Electronic Arts i NASCAR, używa klas pamięci masowej S3 Glacier do tworzenia kopii zapasowych i archiwizacji obciążeń. Poniżej znajduje się kilka dodatkowych ostatnich blogów tworzonych przez klientów, które koncentrują się na najlepszych praktykach archiwizacji AWS od klientów z branży finansowej, medialnej, gier i oprogramowania:

• How Capital One uses Amazon S3 Glacier to optimize data storage costs and maximize resources
• How Pinterest uses Amazon S3 Glacier Deep Archive to manage storage for its visual discovery engine
• How Reuters built easily accessible large-scale news archives on AWS
• Autodesk adopts Amazon S3 to save 75% on storage and modernize backup and recovery
• SysCloud reduces costs and increases performance at scale for SaaS data backups on AWS
• Qube Cinema cuts costs by 80% with archival on AWS

Wielkie podziękowania od AWS dla wszystkich klientów S3 Glacier z całego świata! Ponad 90% planu działania S3 pochodzi bezpośrednio z opinii klientów takich jak Ty. Autorzy zapewniają, że nigdy nie przestaną słuchać Twoich uwag i potrzeb, ponieważ Twoje opinie i pomysły są niezbędne do ulepszania usługi. Jednocześnie dziękują za zaufanie i za ciągłe podnoszenie poprzeczki oraz popychanie nas do poprawy w celu obniżenia kosztów, uproszczenia przechowywania, zwiększenia elastyczności i umożliwienia szybszego wprowadzania innowacji.

Zgodnie z Customer Obsession, jedną z Zasad Przywództwa Amazon, Twoja opinia jest zawsze mile widziana! Jeśli chcesz zobaczyć nowe funkcje i możliwości S3 Glacier, prześlij wszelkie uwagi do AWS re:Post dla S3 Glacier lub przez swoje zwykłe kontakty z pomocą techniczną AWS.

źródło: AWS