aws kinesis data stream 사용하기 - consumer

이제 consumer 를 보도록 하겠습니다. consumer는 조금 복잡합니다. producer 는 shard 수에 상관없이 put 해도, PartitionKey에 의해 적절히 shard 들에 분배가 됩니다. consumer 는 가용한 shard 갯수만큼 for loop 돌면서 가져와야 합니다. 아래 소스에는 response['StreamDescription']['Shards'][0]['ShardId'] 처럼 0번째 shard를 하드코딩했는데, 이건 테스트 코드에나 쓰는 것이고, 실제로는 for loop로 모든 가용 shard에서 get_records를 호출해야 합니다. 5초에 한번씩 get_records를 호출하여 데이터를 가져오고, 만약 데이터가 있으면 print를 합니다. # -*- coding: utf-8 -*- import boto3 import time import json client = boto3.client('kinesis', region_name='ap-northe...

원문링크 : aws kinesis data stream 사용하기 - consumer