Witamy w AWS Storage Day 2020

W listopadzie odbył się kolejny AWS Storage Day 2020. Dla tych, którzy używają Amazon Simple Storage Service (S3), Amazon FSx for Lustre, Amazon FSx for Windows File Server, Amazon Elastic Block Store (EBS), Amazon Elastic File System (EFS), AWS Transfer Family (AWS Transfer for SFTP, FTPS, or FTP), AWS DataSync, AWS Storage Gateway, AWS Backup, lub urządzeń z rodziny AWS Snow Family, w tym artykule znajdzie się coś odpowiedniego i użytecznego. 

Amazon Simple Storage Service (S3)

Klasa pamięci masowej w S3 Intelligent-Tiering, obsługuje automatyczną archiwizację danych do nowych typów Archive Access oraz Deep Archive Access. Typ Archive Access obsługuje przyspieszone odzyskiwanie (1-5 minut), standardowe (3-5 godzin) oraz masowe (5-12 godzin), za dodatkową opłatą za opcję przyspieszoną. Typ Deep Archive Access obsługuje standardowe odzyskiwanie (w ciągu 12 godzin) oraz masowe (w ciągu 48 godzin).

Wystarczy wybrać tą klasę pamięci masowej, która jest odpowiednia dla obiektu, wybrać jeden lub oba typy Archive Access, a S3 zadba o resztę, przenosząc obiekty pomiędzy czterema tierami pamięci w oparciu o wzorce dostępu. S3 Intelligent-Tiering zapewnia milisekundowe opóźnienie oraz wysoką przepustowość dla danych, które są często odwiedzane oraz najniższy koszt przechowywania danych, które nie są używane przez długi okres czasu. Aby dowiedzieć się więcej, przeczytaj S3 Intelligent-Tiering Adds Archive Access Tiers. Aby zapoznać się z dodatkowymi informacjami na temat optymalizacji kosztów przy użyciu S3 Intelligent-Tiering Archive Access Tiers, można obejrzeć ten materiał wideo.

Obecnie można wybrać opcję Delete Marker Replication, gdy korzystasz z funkcji Replication Time Control. Wcześniej funkcje te wzajemnie się wykluczały, jednak teraz można ich używać razem, aby mieć pewność, że operacje usunięcia w kontenerze źródłowym zostaną odzwierciedlone w kontenerze docelowym, jednocześnie wykorzystując Replikaction SLA (S3). Aby dowiedzieć się więcej, warto przeczytać artykuł Amazon S3 Replication Adds Support for Replicating Delete Markers.

Aktualnie można monitorować postęp replikacji na zasadzie rule-by-rule. Możliwe jest sprawdzanie takich funkcjonalności jak Bytes Pending Replication, Operations Pending Replication oraz Replication Latency, a także używanie powiadomień S3 Event Notifications, aby otrzymać listę zdarzeń niepowodzenia replikacji. Aby zapoznać się z szczegółami, można przeczytać artykuł Amazon S3 Replication Adds Support for Metrics and Notifications.

Funkcja S3 Object Ownership jest dostępna we wszystkich regionach AWS oraz jest wspierana przez AWS CloudFormation. Korzystanie z tej funkcji umożliwia automatyczne przejęcie własności obiektów, która są przesyłane do kontenera za pomocą innego AWS. Więcej informacji na ten temat można znaleźć w artykułach: Amazon S3 Ownership Now Generally Available with CloudFormation Support oraz Amazon S3 Update – Three New Security & Access Control Features.

Amazon Elastic Block Store (EBS)

Wolumeny EBS Cold HDD (sc1) zapewniają tanią pamięć magnetyczną do wykorzystania w dużych, sekwencyjnych obciążeniach typu cold-data: Klastry Hadoop, przetwarzanie logów oraz Big Data. W listopadzie 2020 roku, AWS obniżył cenę dla dla pamięci typu sc1 o 40% we wszystkich regionach, w który jest dostępny EBS. Aby dowiedzieć się więcej na temat cen, warto zaznajomić się z artykułem: Price Reduction for Amazon EBS SC1 Volumes.

Obecnie możliwe jest używanie Amazon Data Lifecycle Manager (DLM) do zarządzania cyklem życia obrazów Amazon Machine Images (AMIs) oraz snapshotów EBS, które są z nimi powiązane. Utworzone zasady AMI Lifecycle Policies umożliwiają wybieranie docelowych instancji do tworzenia AMI, ustawienie harmonogramów tworzenia i utrzymania, kopiowania nowo utworzonych AMI do innych lokalizacji (regionów), dzielenia się nimi z innymi kontami AWS, a także dodawania tagów do AMI i obrazów. W temacie usuwania: można wyrejestrować AMI lub usunąć również powiązane z nim obrazy. Aby dowiedzieć się więcej, warto przeczytać o AMI Lifecycle Management Available for Data Lifecycle Manager.

Amazon Elastic File System (EFS)

Obecnie możliwe jest utworzenie systemu plików Amazon Elastic File System, podczas używania EC2 Launch Instance Wizard do uruchomienia instancji. Następnie dodaje się nowy system plików do instancji i zostanie on zamontowany automatycznie po jej uruchomieniu. Aby dowiedzieć się więcej, warto przeczytać artykuł Easy-to-Use Amazon EFS Integrations with AWS Compute Services.

AWS Storage Gateway

AWS dodał cztery nowe funkcje, które zwiększają skalowalność, bezpieczeństwo oraz łatwość obsługi Gateway’ów typu File, Tape i Volume.

Obecnie można utworzyć lokalne pamięci masowe typu Tape Gateway oraz Volume Gateway o pojemności 64 terabajtów, cztery razy większej niż dotychczas, dla bramek działających na maszynie wirtualnej. Pozwoli to na przechowywanie większej ilości danych bliżej aplikacji i użytkowników on-premise. Większe pamięci podręczne można tworzyć na nowo utworzonych bramkach, a po kolejnej zaplanowanej aktualizacji oprogramowania na istniejących już bramkach. Aby dowiedzieć się więcej, warto przeczytać AWS Storage Gateway Increases Cache 4x and Enhances Bandwidth Throttling.

AWS umożliwił utworzenie harmonogramu w celach utrzymania kontroli maksymalnego pasma sieciowego zużywanego przez bramki typu Tape oraz Volume. Przykładowo, można regulować wykorzystanie przepustowości pasma w godzinach szczytu i korzystać z całego dostępnego pasma w innych godzinach. Aby dowiedzieć się więcej, warto zaznajomić się z artykułem AWS Storage Gateway Increases Cache 4x and Enhances Bandwidth Throttling.

Przesyłane pliki do bramki File Gateway mogą teraz wywołać powiadomienia Amazon CloudWatch lub Amazon EventBridge, które wykorzystać można do inicjowania zautomatyzowanych procesów. Pozwala to na łatwe wykorzystanie AWS do przetwarzania danych z lokalnych plików przy użyciu np. funkcji AWS Lambda. Aby dowiedzieć się więcej, warto przeczytać Processing File Upload Notifications from AWS Storage Gateway on Amazon S3.

Bramka File Gateway obsługuje listowanie oparte o kontrolę dostępu. Można włączyć tę funkcję, aby upewnić się, że użytkownicy widzą tylko te udziały w plikach SMB, foldery oraz pliki, do których mają uprawnienia do otwarcia. Oprócz pomocy w ochronie poufnych informacji, funkcja ta zapewnia użytkownikom uproszczony widok folderów, pokazując im tylko to, do czego mają dostęp. Aby zaznajomić się z tym tematem, warto przeczytać Enhance Privacy Controls with Access-Based Enumeration for File Gateway.

AWS Backup

Aktualnie możliwe korzystanie jest z AWS Backup do tworzenia zaplanowanych, zgodnych z zasadami tworzenia, kopii zapasowych dla systemów plików Amazon FSx. Kopie zapasowe wykorzystują istniejącą funkcjonalność Amazon FSx i mogą być używane w systemach plików Amazon FSx for Windows File Server, a także dla trwałych systemów plików Amazon FSx for Lustre, które nie są połączone z S3 lub innym repozytorium danych. Aby dowiedzieć się więcej, warto przeczytać AWS Backup Provides Centralized Data Protection Across Your AWS Resources.