Amazon S3 Object Lambda - Użycie własnego kodu do przetwarzania danych w momencie ich pobierania z S3

Jak utworzyć funkcje Lambda dla S3 Object Lambda

Aby utworzyć funkcję, zaczniemy od spojrzenia na składnię zdarzenia wejściowego, które funkcja Lambda otrzymuje z S3 Object Lambda:

JSON

{

    "xAmzRequestId": "1a5ed718-5f53-471d-b6fe-5cf62d88d02a",

    "getObjectContext": {

        "inputS3Url": "https://myap-123412341234.s3-accesspoint.us-east-1.amazonaws.com/s3.txt?X-Amz-Security-Token=...",

        "outputRoute": "io-iad-cell001",

        "outputToken": "..."

    },

    "configuration": {

        "accessPointArn": "arn:aws:s3-object-lambda:us-east-1:123412341234:accesspoint/myolap",

        "supportingAccessPointArn": "arn:aws:s3:us-east-1:123412341234:accesspoint/myap",

        "payload": "test"

    },

    "userRequest": {

        "url": "/s3.txt",

        "headers": {

            "Host": "myolap-123412341234.s3-object-lambda.us-east-1.amazonaws.com",

            "Accept-Encoding": "identity",

            "X-Amz-Content-SHA256": "e3b0c44297fc1c149afbf4c8995fb92427ae41e4649b934ca495991b7852b855"

        }

    },

    "userIdentity": {

        "type": "IAMUser",

        "principalId": "...",

        "arn": "arn:aws:iam::123412341234:user/myuser",

        "accountId": "123412341234",

        "accessKeyId": "..."

    },

    "protocolVersion": "1.00"

}

Właściwość getObjectContext zawiera niektóre z najbardziej przydatnych informacji dotyczących funkcji Lambda:

• inputS3Url to wstępnie podpisany adres URL, którego funkcja może użyć do pobrania oryginalnego obiektu z obsługującego go Access Pointu. W ten sposób funkcja Lambda nie musi mieć uprawnień do odczytu S3, aby pobrać oryginalny obiekt i może uzyskać dostęp tylko do obiektu przetwarzanego przez każde wywołanie.
• outputRoute i outputToken to dwa parametry używane do odesłania zmodyfikowanego obiektu za pomocą nowego WriteGetObjectResponse API.

Właściwość configuration zawiera Amazon Resource Name (ARN) punktu dostępowego Object Lambda i obsługującego go punktu dostępowego.

Właściwość userRequest zawiera więcej informacji o pierwotnym żądaniu, takich jak ścieżka w adresie URL i nagłówki HTTP.

Na koniec sekcja userIdentity zwraca szczegółowe informacje o tym, kto złożył pierwotne żądanie i może służyć do dostosowywania dostępu do danych.

Teraz, gdy znamy składnię zdarzenia, możemy utworzyć funkcję Lambda. Aby uprościć sprawę, oto funkcja napisana w Pythonie, która zmienia cały tekst w oryginalnym obiekcie na wielkie litery:

Python

import boto3

import requests

def lambda_handler(event, context):

    print(event)

    object_get_context = event["getObjectContext"]

    request_route = object_get_context["outputRoute"]

    request_token = object_get_context["outputToken"]

    s3_url = object_get_context["inputS3Url"]

    # Get object from S3

    response = requests.get(s3_url)

    original_object = response.content.decode('utf-8')

    # Transform object

    transformed_object = original_object.upper()

    # Write object back to S3 Object Lambda

    s3 = boto3.client('s3')

    s3.write_get_object_response(

        Body=transformed_object,

        RequestRoute=request_route,

        RequestToken=request_token)

    return {'status_code': 200}

Patrząc na kod funkcji, istnieją trzy główne sekcje:

• Najpierw używamy właściwości inputS3Url zdarzenia wejściowego, aby pobrać oryginalny obiekt. Ponieważ wartość jest podpisanym adresem URL, funkcja nie potrzebuje uprawnień do odczytu z S3.
• Następnie przekształcamy tekst tak, aby był pisany wielkimi literami. Aby dostosować zachowanie funkcji do swojego przypadku użycia, musisz zmienić tę część. Na przykład, aby wykryć i zredagować informacje umożliwiające identyfikację osoby (PII), możesz użyć Amazon Comprehend do zlokalizowania jednostek umożliwiających identyfikację (locate PII entities) za pomocą interfejsu API DetectPiiEntities i zastąpienia ich gwiazdkami lub opisem zredagowanego typu jednostki.
• Na koniec używamy nowego API WriteGetObjectResponse, aby wysłać wynik transformacji z powrotem do S3 Object Lambda. W ten sposób przekształcony obiekt może być znacznie większy niż maksymalny rozmiar odpowiedzi zwracanej przez funkcję Lambda. W przypadku większych obiektów, API WriteGetObjectResponse obsługuje kodowanie transferu typu chunked w celu zaimplementowania przesyłania strumieniowego danych. Funkcja Lambda musi tylko zwrócić kod stanu (w tym przypadku 200 OK), ewentualne błędy i opcjonalnie dostosować metadane zwracanego obiektu zgodnie z opisem S3 GetObject API.

Pakujemy funkcję i jej zależności, w tym zaktualizowaną wersję AWS SDK for Python (boto3) implementującą nową metodę write_get_object_response i wgrywamy ją do Lambda. Należy zauważyć, że maksymalny czas trwania funkcji Lambda używanej przez S3 Object Lambda wynosi 60 sekund i że funkcja ta wymaga uprawnień AWS Identity and Access Management (IAM), aby wywołać API WriteGetObjectResponse.

Jak użyć S3 Object Lambda Access Point

W konsoli S3, wybieramy nowo utworzony Object Lambda Access Point. We właściwościach kopiujemy ARN, aby był później dostępny.

Za pomocą AWS Command Line Interface (CLI) przesyłamy plik tekstowy zawierający kilka zdań do bucketu S3 za S3 Object Lambda Access Point:

aws cp s3.txt s3://danilop-data/

Używanie S3 Object Lambda z istniejącymi aplikacjami jest bardzo proste. Musimy tylko zamienić bucket S3 na ARN punktu dostępowego S3 Object Lambda i zaktualizować AWS SDK, aby zaakceptować nową składnię przy użyciu S3 Object Lambda ARN.

Na przykład, poniżej mamy skrypt Pythona, który pobiera plik tekstowy, który właśnie załadowaliśmy: najpierw prosto z bucketu S3, a następnie z S3 Object Lambda Access Point. Jedyną różnicą między dwoma pobraniami jest wartość parametru Bucket.

Python

import boto3

s3 = boto3.client('s3')

print('Original object from the S3 bucket:')

original = s3.get_object(

  Bucket='danilop-data',

  Key='s3.txt')

print(original['Body'].read().decode('utf-8'))

print('Object processed by S3 Object Lambda:')

transformed = s3.get_object(

  Bucket='arn:aws:s3-object-lambda:us-east-1:123412341234:accesspoint/myolap',

  Key='s3.txt')

print(transformed['Body'].read().decode('utf-8'))Python

Uruchamiamy skrypt:

python3 read_original_and_transformed_object.py

A oto wynik jaki otrzymujemy:

Original object on S3:
Amazon Simple Storage Service (Amazon S3) is an object storage service that offers industry-leading scalability, data availability, security, and performance. This means customers of all sizes and industries can use it to store and protect any amount of data for a range of use cases, such as data lakes, websites, mobile applications, backup and restore, archive, enterprise applications, IoT devices, and big data analytics.

Object processed by S3 Object Lambda:
AMAZON SIMPLE STORAGE SERVICE (AMAZON S3) IS AN OBJECT STORAGE SERVICE THAT OFFERS INDUSTRY-LEADING SCALABILITY, DATA AVAILABILITY, SECURITY, AND PERFORMANCE. THIS MEANS CUSTOMERS OF ALL SIZES AND INDUSTRIES CAN USE IT TO STORE AND PROTECT ANY AMOUNT OF DATA FOR A RANGE OF USE CASES, SUCH AS DATA LAKES, WEBSITES, MOBILE APPLICATIONS, BACKUP AND RESTORE, ARCHIVE, ENTERPRISE APPLICATIONS, IOT DEVICES, AND BIG DATA ANALYTICS.

Pierwsze dane wyjściowe są pobierane bezpośrednio z kontenera źródłowego i widzimy oryginalną zawartość zgodnie z oczekiwaniami. Za drugim razem obiekt jest przetwarzany przez funkcję Lambda w trakcie pobierania i w rezultacie cały tekst jest pisany wielkimi literami.