Amazon MSK obsługuje teraz w pełni zarządzane dostarczanie danych do Amazon S3 za pomocą Kinesis Data Firehose

Amazon Kinesis Data Firehose integruje się teraz z Amazon MSK, oferując w pełni zarządzane rozwiązanie, które upraszcza przetwarzanie i dostarczanie danych strumieniowych z klastrów Amazon MSK Apache Kafka do jezior danych przechowywanych na Amazon S3. Za pomocą zaledwie kilku kliknięć klienci Amazon MSK mogą w sposób ciągły ładować dane z wybranych klastrów Apache Kafka do swojego segmentu Amazon S3, eliminując potrzebę tworzenia lub uruchamiania własnych aplikacji łącznikowych.

Amazon MSK to w pełni zarządzana usługa dla Apache Kafka, która ułatwia tworzenie i uruchamianie aplikacji korzystających z Apache Kafka jako magazynu danych. Kinesis Data Firehose to w pełni zarządzana usługa, która stale przechwytuje, przekształca i dostarcza strumieniowo dane do jezior danych, magazynów danych i usług analitycznych. Kinesis Data Firehose automatycznie skaluje się w celu dopasowania przepustowości danych Amazon MSK i bez konieczności ciągłego administrowania. Kinesis Data Firehose oferuje również łatwe w użyciu funkcje, takie jak JSON do Parquet/ORC do konwersji formatu i agregacji wsadowej w celu optymalizacji rozmiaru pliku S3. Funkcje te upraszczają przepływy pracy związane z analizą/przetwarzaniem dostarczonych danych.

​Aby rozpocząć, potrzebujesz konta AWS. Po założeniu konta możesz utworzyć strumień dostaw w konsoli Amazon Kinesis. Aby dowiedzieć się więcej, zapoznaj się z przewodnikiem programisty Amazon Kinesis Data Firehose.

Dostawy z Amazon MSK do Amazon S3 za pomocą Amazon Kinesis Data Firehose można używać we wszystkich regionach komercyjnych i AWS GovCloud (USA), gdzie dostępne są Amazon MSK i Kinesis Data Firehose.

źródło: AWS