aws kinesis data stream 사용하기 - 개요


aws kinesis data stream 사용하기 - 개요

#aws 에서 제공하는 대용량 처리용 큐인 #kinesis data stream 사용법에 대해 알아보겠습니다. #queue 이므로 당연히 1. 데이터를 집어넣는 producer 역할의 모듈이 필요하고, 2. 데이터를 빼내오는 consumer 역할의 모듈이 필요합니다. 저는 producer, consumer 라고 부르겠습니다. 앞으로 aws 에서 kinesis data stream 을 console 화면을 통해 생성/설정을 하며, python 으로 producer 및 consumer 를 작성하겠습니다. 이후 가짜 데이터를 주기적으로 producer 에서 생성해서 kinesis 를 통해 마지막으로 consumer 로 전달되는 것을 확인하겠습니다. kinesis가 뭔지, 장단점이 뭔지 등은 워낙 인터넷에 많으니 그곳에서 참고하시고 저는 실제 구현에 집중하겠습니다. 그럼 다음 포스트에서 aws 에서 kinesis data stream 생성하는 방법을 알아보시죠 ================...


#aws #kinesis #queue #bitdata #data #kafka #stream #consumer #producer

원문링크 : aws kinesis data stream 사용하기 - 개요