Jak zbudować wieloregionalny potok analityczny AWS Security Hub i wizualizować dane Security Hub?

AWS Security Hub to usługa, która zapewnia zagregowany wgląd w stan bezpieczeństwa i zgodności na wielu kontach Amazon Web Services (AWS). Łącząc Security Hub z Amazon QuickSight – skalowalną, bezserwerową, wbudowaną usługą Business Intelligence (BI) opartą na uczeniu maszynowym, stworzoną dla chmury – Twoi starsi liderzy i osoby podejmujące decyzje mogą korzystać z pulpitów nawigacyjnych, aby podejmować decyzje oparte na danych i ułatwiać bezpieczną konfigurację zasobów AWS.

W organizacjach działających w skali chmury możliwość podsumowania i przeprowadzenia analizy trendów jest kluczem do wczesnego identyfikowania i rozwiązywania problemów, co prowadzi do ogólnego sukcesu organizacji. Dodatkowo, kokpity menedżerskie QuickSight mogą być osadzone w kokpitach menedżerskich i platformach raportowania, które liderzy już znają, dzięki czemu kokpity menedżerskie są jeszcze bardziej przyjazne dla użytkownika.

Dzięki rozwiązaniu zaprezentowanemu w tym artykule możesz zapewnić liderom widoki danych obejmujące regiony AWS, aby umożliwić decydentom ocenę kondycji i stanu infrastruktury IT organizacji na pierwszy rzut oka. Możesz również wzbogacić pulpit o źródła danych niedostępne dla Security Hub. Wreszcie, to rozwiązanie zapewnia elastyczność posiadania wielu kont administratorów w kilku organizacjach AWS i łączenia ich w jeden widok.

Z tego artykułu dowiesz się, jak zbudować potok analityczny ustaleń z Centrum bezpieczeństwa, podsumować dane za pomocą Amazon Athena i zwizualizować dane za pomocą QuickSight, wykonując następujące kroki:

• wdróż stos AWS Cloud Development Kit (AWS CDK), który zbuduje infrastrukturę potrzebną do rozpoczęcia pracy;
• utwórz widok Athena, który podsumowuje nieprzetworzone wyniki;
• zwizualizuj podsumowanie wyników w QuickSight;
• zabezpiecz QuickSight przy użyciu najlepszych praktyk.

Aby zapoznać się z dyskusją na wysokim poziomie bez przykładów kodu, zobacz „Wizualizuj wyniki z centrum zabezpieczeń AWS” za pomocą narzędzi analitycznych i analiz biznesowych.

Warunki wstępne

Ten artykuł zakłada, że:

• posiadasz podstawową wiedzę na temat uwierzytelniania i uzyskiwania dostępu do konta AWS;
• jesteś w stanie uruchamiać polecenia za pomocą wiersza poleceń na komputerze lokalnym;
• posiadasz podstawową wiedzę na temat strukturalnego języka zapytań (SQL).

Omówienie rozwiązania

Rysunek nr 1 przedstawia przepływ zdarzeń i diagram architektury wysokiego poziomu rozwiązania.

Kroki pokazane na rysunku nr 1 obejmują:

• wykryj;
• zbierz;
• łącz;
• przekształć;
• analizuj;
•  

Wykryj

AWS oferuje szereg narzędzi, które pomagają w ciągłym wykrywaniu ustaleń dotyczących bezpieczeństwa. Narzędzia te dzielą się na trzy typy:

• Wbudowane standardy bezpieczeństwa
• Inne usługi AWS
• Produkty partnerów zewnętrznych

W tym artykule będziesz korzystać z dwóch wbudowanych standardów bezpieczeństwa Security Hub – kontroli CIS AWS Foundations Benchmark i AWS Foundational Security Best Practices Standard – oraz bezserwerowego skanera Prowler, który działa jako produkt partnera zewnętrznego. W przypadkach, w których używane są organizacje AWS, konta członkowskie wysyłają te wyniki do Centrum bezpieczeństwa konta członkowskiego.

Zbierz

W obrębie regionu wyniki dotyczące zabezpieczeń są scentralizowane na jednym koncie administratora za pomocą Security Hub.

Łącz

Korzystając z funkcji agregacji międzyregionalnej w Security Hub, wyniki na każdym koncie administratora mogą być agregowane i stale synchronizowane w wielu regionach.

Przyswajaj

Security Hub nie tylko zapewnia kompleksowy widok alertów bezpieczeństwa i stanu bezpieczeństwa na Twoich kontach AWS, ale także działa jako ujście danych dla Twoich narzędzi bezpieczeństwa. Każde narzędzie, które może udostępniać dane za pośrednictwem AWS Security Finding Format (ASFF), może użyć akcji BatchImportFindings API do „wypychania” danych do centrum zabezpieczeń. Aby uzyskać więcej informacji, zobacz „Używanie niestandardowej integracji produktów do wysyłania wyników do AWS Security Hub” i „Dostępne integracje usług AWS” w Podręczniku użytkownika Security Hub.

Przekształcaj

Dane wychodzące z Security Hub są ujawniane przez Amazon EventBridge. Niestety nie jest to forma, którą Athena może pochłonąć. EventBridge przesyła dane przez Amazon Kinesis Data Firehose bezpośrednio do Amazon Simple Storage Service (Amazon S3). W Amazon S3 możesz utworzyć funkcję AWS Lambda, która wyrównuje i naprawia niektóre nazwy kolumn, na przykład usuwając znaki specjalne, których Athena nie może rozpoznać. Funkcja Lambda następnie zapisuje wyniki z powrotem do S3. Wreszcie, AWS Glue dynamicznie wykrywa schemat danych i tworzy lub aktualizuje tabelę Athena.

Analizuj

Będziesz agregować nieprzetworzone dane wyników i tworzyć metryki wzdłuż różnych osi tworząc prosty, ale znaczący widok Athena. Dzięki Athena możesz również używać widoków do łączenia danych z innymi źródłami danych, takimi jak baza danych zarządzania konfiguracją organizacji CMDB) lub system zarządzania usługami IT (ITSM).

Wizualizuj

Korzystając z QuickSight, zarejestrujesz źródła danych i stworzysz wizualizacje, które można wykorzystać do identyfikacji obszarów, w których możliwa jest poprawa bezpieczeństwa lub zmniejszenie ryzyka. W tym poście przedstawiono szczegółowe instrukcje, jak to zrobić w poniższej sekcji Tworzenie wizualizacji QuickSight.

Użyj AWS CDK, aby wdrożyć infrastrukturę

Aby analizować i wizualizować wyniki dotyczące bezpieczeństwa, musisz wdrożyć infrastrukturę wymaganą do wykrywania, przetwarzania i przekształcania tych wyników. Użyjesz stosu AWS CDK do wdrożenia infrastruktury na swoim koncie. Aby rozpocząć, przejrzyj wymagania wstępne, aby upewnić się, że posiadasz wszystko, czego potrzebujesz do wdrożenia stosu CDK. Po wdrożeniu stosu CDK można wdrożyć rzeczywistą infrastrukturę. Następnie po wdrożeniu infrastruktury zbudujesz widok Athena i wizualizację QuickSight.

Zainstaluj oprogramowanie, aby wdrożyć rozwiązanie

Aby uzyskać rozwiązanie opisane w tym artykule, musisz mieć zainstalowane następujące narzędzia:

• rozwiązanie w tym poście na blogu jest napisane w Pythonie, więc oprócz CDK musisz zainstalować Pythona.Instrukcje dotyczące instalacji Pythona w wersji 3.X można znaleźć na ich stronie pobierania;
• AWS CDK wymaga node.js.Wskazówki dotyczące instalacji node.js można znaleźć na stronie pobierania node.js;
• aplikacja CDK używa platformy Docker do lokalnego tworzenia pakietów.Wskazówki dotyczące korzystania z Dockera można znaleźć w Get Docker;
• AWS CDK – platforma do tworzenia oprogramowania do definiowania infrastruktury chmury w kodzie i udostępniania jej za pośrednictwem AWS CloudFormation.Aby zainstalować CDK, odwiedź stronę AWS CDK Toolkit.

Aby potwierdzić, że masz wszystko, czego potrzebujesz

1. Upewnij się, że korzystasz z wersji 1.108.0 lub nowszej CDK.

$ cdk ‐‐version

1. Pobierz kod z github poprzez klonowanie repozytorium. cd do katalogu klonów.

$ git clone git@github.com:aws-samples/aws-security-hub-analytic-pipeline.git

$ cd aws-security-hub-analytic-pipeline

3. Ręcznie utwórz virtualenv

$ python3 -m venv .venv

1. Po zakończeniu procesu inicjalizacji i utworzeniu virtualenv, możesz użyć następującego kroku, aby aktywować virtualenv.

$ source .venv/bin/activate

1. Jeśli używasz platformy Windows, użyj następującego polecenia, aby aktywować virtualenv:

% .venv/Scripts/activate.bat

1. Po aktywacji virtualenv możesz zainstalować wymagane zależności.

$ pip install -r requirements.txt

Użyj AWS CDK, aby wdrożyć infrastrukturę do swojego konta

Poniższe kroki korzystają z AWS CDK do wdrażania infrastruktury. Ta infrastruktura obejmuje różne skanery, Security Hub, EventBridge i Kinesis Firehose. Po zakończeniu nieprzetworzone dane Centrum bezpieczeństwa będą już przechowywane w zasobniku S3.

Aby wdrożyć infrastrukturę wykorzystując AWS CDK

1. Jeśli nigdy nie korzystałeś z AWS CDK na koncie, którego używasz lub jeśli nigdy nie używałeś CDK w regionach us-east-1, us-east-2 lub us-west-1, musisz wykonać rozruch regionu za pomocą wiersza polecenia.

$ cdk bootstrap

1. W tym momencie możesz wdrożyć stos na swoim domyślnym koncie AWS za pomocą wiersza polecenia.

$ cdk deploy –all

3. Gdy wdrożenie cdk jest uruchomione, zobaczysz wynik na rysunku nr 2. Jest to monit, aby upewnić się, że jesteś świadomy, że wprowadzasz zmianę związaną z bezpieczeństwem i tworzysz role AWS Identity and Access Management (IAM).Wprowadź y, gdy pojawi się monit o kontynuowanie procesu wdrażania:

4.Upewnij się, że wdrażanie CDK zostało zakończone.Po zakończeniu wdrażania powinny zostać wyświetlone trzy numery ARN stosu.Będzie wyglądać podobnie do rysunku 3.

Jako wynik wdrożonego kodu CDK, Security Hub i skaner Prowler automatycznie przeskanują Twoje konto, przetworzą dane i wyślą je do S3. Chociaż przetworzenie i wyszukiwanie niektórych danych w Athenie zajmuje mniej niż godzinę, zalecamy odczekanie 24 godzin przed przejściem do kolejnych kroków, aby upewnić się, że przetworzona zostanie wystarczająca ilość danych do wygenerowania przydatnych wizualizacji. Dzieje się tak, ponieważ pozostałe kroki podliczają wyniki co godzinę. Ponadto uzyskanie wstępnych wyników ze standardów Security Hub zajmuje kilka minut i nawet godzinę, aby uzyskać wstępne wyniki od Prowlera.

Zbuduj widok Athena

Teraz, gdy masz już wdrożoną infrastrukturę do wykrywania, pozyskiwania i przekształcania ustaleń związanych z bezpieczeństwem, nadszedł czas, aby użyć widoku Athena do wykonania części analitycznej rozwiązania. Poniższy widok agreguje liczbę wyników z danego dnia. Widoki Athena mogą służyć do podsumowywania danych lub wzbogacania ich danymi z innych źródeł. Wykonaj poniższe czynności, aby zbudować prosty przykładowy widok. Aby uzyskać więcej informacji na temat tworzenia widoków Athena, zobacz Working with Views.

Aby stworzyć Athena view

1. Otwórz konsolę zarządzania AWS i upewnij się, że Region jest ustawiony na us-east-1 (Północna Wirginia).
2. Przejdź do usługi Athena.Jeśli nigdy nie korzystałeś z tej usługi, wybierz opcję Rozpocznij, aby przejść do ekranu Edytor zapytań.W przeciwnym razie domyślnym widokiem jest ekran Edytora zapytań
3. Jeśli jesteś nowy w Athenie, musisz również skonfigurować lokalizację wyników zapytania.                                           a.Wybierz Ustawienia w prawym górnym rogu ekranu Edytora zapytań, aby otworzyć panel ustawień.                     b.Wybierz opcję Wybierz, aby wybrać lokalizację wyników zapytania.

c.Znajdź na liście zasobnik S3, który zaczyna się od analyticsink-queryresults i wybierz ikonę strzałki w prawo.              d.Wybierz opcję Wybierz, aby wybrać zasobnik wyników zapytania.

4. Wybierz AwsDataCatalog jako źródło danych i security_hub_database jako bazę danych.Ekran Edytora zapytań powinien wyglądać jak na rysunku 6.

5. Skopiuj i wklej następujący kod SQL w oknie zapytania:

CREATE OR REPLACE VIEW “security-hub-rolled-up-finding” AS
SELECT

“date_format”(“from_iso8601_timestamp”(updatedat), ‘%Y-%m-%d %H:00’) year_month_day
, region
, compliance_status
, workflowstate
, severity_label
, COUNT(DISTINCT title) as cnt
FROM
security_hub_database.“security-hub-crawled-findings”
GROUP BY “date_format”(“from_iso8601_timestamp”(updatedat), ‘%Y-%m-%d %H:00’), compliance_status, workflowstate, severity_label, region

6. Wybierz przycisk Uruchom zapytanie.

Jeśli wszystko jest w porządku, powinieneś zobaczyć pomyślne zapytanie w wynikach, jak pokazano na rysunku nr 7.

Twórz wizualizacje QuickSight

Teraz, gdy już wdrożyłeś infrastrukturę do wykrywania, przetwarzania i przekształcania wyników związanych z bezpieczeństwem oraz stworzyłeś widok Athena do analizy tych wyników nadszedł czas, aby użyć QuickSight do wizualizacji wyników. Aby używać QuickSight, musisz najpierw przyznać uprawnienia QuickSight dostępu do S3 i Athena. Następnie tworzysz źródło danych QuickSight. Po trzecie, utworzysz analizę QuickSight (opcjonalnie). Po zakończeniu możesz opublikować analizę.

Zbudujesz prostą wizualizację, która pokaże liczbę wyników w czasie z podziałem na istotność, chociaż możliwe jest również użycie funkcji QuickSight do opowiedzenia bogatych i przekonujących historii wizualnych.

Aby korzystać z QuickSight, musisz zarejestrować się w celu uzyskania subskrypcji QuickSight. Aby to zrobić, można znaleźć w Rejestracji w celu uzyskania subskrypcji Amazon QuickSight.

Pierwszą rzeczą, którą musisz zrobić po zalogowaniu się do QuickSight, jest utworzenie źródła danych. Jeśli logujesz się do usługi po raz pierwszy, zostaniesz powitany początkową stroną QuickSight, jak pokazano na rysunku nr 8.

Przyznaj QuickSight dostęp do S3 i Athena

Podczas tworzenia źródła danych Athena umożliwia QuickSight wysyłanie zapytań o dane z Athena, musisz również włączyć QuickSight do odczytu z S3.

Aby przyznać QuickSight dostęp do S3 i Athena

1. W QuickSight wybierz nazwę swojego profilu (w prawym górnym rogu).Wybierz Zarządzaj QuickSight, a następnie wybierz Zabezpieczenia i uprawnienia.
2. Wybierz Dodaj lub Usuń.
3. Upewnij się, że pole wyboru obok Athena jest zaznaczone.
4. Upewnij się, że zaznaczone jest pole wyboru obok Amazon S3.
5. Wybierz Szczegóły, a następnie wybierz opcję Wybierz zasobniki S3.
6. Znajdź na liście wiadro S3, które zaczyna się od analyticsink-bucket i upewnij się, że pole wyboru jest zaznaczone.

7.Wybierz Zakończ, aby zapisać zmiany.

Utwórz zbiór danych QuickSight

Po nadaniu QuickSight niezbędnych uprawnień, możesz utworzyć nowy zestaw danych.

Aby utworzyć zestaw danych QuickSight

1. Wybierz Zestawy danych z panelu nawigacyjnego po lewej stronie.Następnie wybierz Nowy zestaw danych.
2. Aby utworzyć nowy profil połączenia Athena, wykonaj następujące czynności:

1. W sekcji Z NOWYCH ŹRÓDEŁ DANYCH wybierz kartę źródła danych Athena.
2. W polu Nazwa źródła danych wprowadź opisową nazwę.Na przykład: wyszukiwanie-centrum-zabezpieczenia-zwinięte-up.
3. W przypadku grupy roboczej Athena wybierz [ podstawowy ].
4. Wybierz Sprawdź połączenie, aby przetestować połączenie.Potwierdza to również szyfrowanie w spoczynku.
5. Wybierz Utwórz źródło danych.

3. Na ekranie Wybierz stół wybierz:

Katalog: Katalog AwsData

Baza danych: baza_danych_zabezpieczeń

Tabela: Security-hub-rolled-up-finding

4. Na koniec wybierz opcję Importuj do SPICE w celu szybszej analizy i wybierz Wizualizuj.

Po zakończeniu automatycznie otworzy się strona do utworzenia pierwszej analizy. Rysunek nr 11 pokazuje przykład strony.

Utwórz analizę QuickSight

Analiza QuickSight to coś więcej niż tylko wizualizacja – pomaga odkryć ukryte spostrzeżenia i trendy w danych, zidentyfikować kluczowe czynniki i prognozować wskaźniki biznesowe. Dzięki QuickSight możesz tworzyć bogate doświadczenia analityczne. Aby uzyskać więcej informacji, zobacz Praca z wizualizacjami w Podręczniku użytkownika QuickSight.

Dla uproszczenia zbudujesz wizualizację podsumowującą kategorie wyników według ważności i zagregowane według godziny.

Aby utworzyć analizę QuickSight

1. Wybierz Wykres liniowy z Typy wizualne

2.Wybierz pola.Rysunek nr 13 pokazuje, jak powinny wyglądać twoje studnie polowe na końcu tego kroku.

1. Znajdź pole rok_miesiąc_dzień_godzina na liście pól i przeciągnij je do pola osi X.
2. Znajdź pole cnt na liście pól i przeciągnij je do pola Wartość.
3. Znajdź pole etykieta_ważności na liście pól i przeciągnij je dobrze do pola Kolor.

3.Dodaj filtry.

1. Wybierz Filtruj w lewym panelu nawigacyjnym.
2. wybierz Utwórz je… i wybierz pole compliance_status.
3. Rozwiń filtr i usuń zaznaczenie opcji NOT_AVAILABLE i PASSED (Uwaga: w zależności od danych możesz nie mieć wszystkich tych statusów).
4. Wybierz Zastosuj, aby zastosować filtr.

Powinieneś teraz zobaczyć wizualizację podobną do rysunku nr 16, która pokazuje sumaryczną liczbę zdarzeń i ich wagę.

Opublikuj pulpit analizy QuickSight (opcjonalnie)

Publikowanie dashboardu to świetny sposób na udostępnianie raportów liderom. Ten dwuetapowy proces umożliwia udostępnianie wizualizacji jako pulpitu nawigacyjnego.

Aby opublikować analizę QuickSight

1. Wybierz Udostępnij na pasku aplikacji, a następnie wybierz Opublikuj pulpit nawigacyjny.
2. Wybierz opcję „Opublikuj nowy pulpit nawigacyjny jako”, a następnie wprowadź nazwę pulpitu nawigacyjnego, na przykład Wyniki z centrum bezpieczeństwa według ważności.

Możesz także osadzać pulpity nawigacyjne w aplikacjach internetowych. Wymaga to użycia AWS SDK lub interfejsu wiersza poleceń AWS (AWS CLI). Aby uzyskać więcej informacji, zobacz Embedding QuickSight Data Dashboards for Everyone.

Sprzyjająca pozycja bezpieczeństwa w QuickSight

QuickSight posiada szereg funkcji bezpieczeństwa. Chociaż sekcja AWS Security w Podręczniku użytkownika QuickSight zawiera szczegóły, oto podsumowanie standardów, które mają zastosowanie do tego konkretnego scenariusza. Aby uzyskać więcej informacji, zobacz Bezpieczeństwo AWS w Amazon QuickSight w podręczniku użytkownika QuickSight.

Sprzątanie (opcjonalnie)

Po zakończeniu możesz wyczyścić QuickSight, usuwając widok Athena i stos CDK. Wykonaj szczegółowe kroki poniżej, aby wszystko wyczyścić.

Aby wyczyścić QuickSight

1. Otwórz konsolę i wybierz Zestawy danych w lewym panelu nawigacyjnym.
2. Wybierz Security-hub-rolled-uping-finding, a następnie wybierz opcję Usuń zestaw danych.
3. Potwierdź usunięcie zbioru danych, wybierając Usuń.
4. Wybierz Analizy z lewego panelu nawigacyjnego.
5. Wybierz menu w prawym dolnym rogu zwiniętej karty wyszukiwania.

6. Wybierz Usuń i potwierdź Usuń.

Aby usunąć widok Athena

1. Wklej następujący kod SQL w oknie zapytania:

DROP VIEW “security-hub-rolled-up-finding”

1. Wybierz przycisk Uruchom zapytanie.

Aby usunąć stos CDK

1. Uruchom następujące polecenie w swoim terminalu:

cdk destroy

Uwaga: jeśli wystąpią błędy, może być konieczne ponowne aktywowanie środowiska wirtualnego Python, wykonując kroki 3–5 z sekcji „Użyj AWS CDK do wdrożenia infrastruktury”.

Wnioski

W tym artykule wykorzystałeś Centrum bezpieczeństwa i QuickSight do wdrożenia skalowalnego potoku analitycznego dla Twoich narzędzi bezpieczeństwa. Centrum bezpieczeństwa umożliwiło Ci dołączenie i zbieranie ustaleń dotyczących bezpieczeństwa z wielu źródeł. Dzięki QuickSight podsumowałeś dane dla starszych liderów i decydentów, aby zapewnić im właściwe dane w czasie rzeczywistym.

Zapewniłeś ochronę swoich poufnych danych, wyraźnie przyznając QuickSight możliwość odczytu z określonego zasobnika S3. Autoryzując dostęp tylko do źródeł danych potrzebnych do wizualizacji danych, zapewniasz dostęp z najmniejszymi uprawnieniami. QuickSight obsługuje wiele innych źródeł danych AWS, w tym Amazon RDS, Amazon Redshift, Lake Formation i Amazon OpenSearch Service (następca Amazon Elasticsearch Service). Ponieważ dane nie znajdują się w wirtualnej chmurze prywatnej Amazon (Amazon VPC), nie trzeba było przyznawać dostępu do żadnego konkretnego VPC. Ograniczenie dostępu do VPC to kolejny świetny sposób na poprawę bezpieczeństwa Twojego środowiska.

Jeśli masz uwagi dotyczące tego artykułu, pozostaw je w sekcji Komentarze poniżej. Jeśli posiadasz pytania dotyczące tego artykułu, rozpocznij nowy wątek na forum Centrum bezpieczeństwa. Aby rozpocząć 30-dniowy bezpłatny okres próbny Centrum zabezpieczeń, odwiedź Centrum zabezpieczeń AWS.

źródło: AWS

źródło: AWSźródło: AWS