Amazon Kinesis Data Firehose를 사용하여 Amazon MSK 데이터 전송

Amazon MSK와 Kafka 토픽을 사용하여 데이터를 생성하고 Kinesis Data Firehose를 통해 Amazon S3로 전송할 수 있습니다. 이러한 기능을 활용하기 위해 데이터 전송 스트림을 생성하고 구성할 수 있습니다. 또한, 데이터 유형 변환을 위해 AWS Lambda를 사용할 수도 있습니다. 이 새로운 기능은 콘솔을 통해 사용할 수 있으며, AWS CLI, SDK, CloudFormation 또는 Terraform을 통해서도 생성할 수 있습니다.

Amazon Kinesis Data Firehose를 사용한 애플리케이션 코드 작성 및 관리

Kafka의 데이터를 사용하는 애플리케이션 코드를 작성하고 배포하려면 일반적으로 Kafka Connect 프레임워크를 사용하여 커넥터를 코딩한 후 인프라를 배포, 관리 및 유지보수해야 합니다. 하지만 지금은 Amazon Kinesis Data Firehose를 사용하여 Amazon MSK에서 Amazon S3로 데이터를 전송할 수 있는 완전히 관리되는 솔루션이 출시되었습니다. 이 솔루션에서는 데이터 소스로서 MSK 클러스터를 사용하고, 데이터 대상으로서 S3를 사용하며, 데이터 전송 로직을 Kinesis Data Firehose가 관리합니다. 또한, 이 시스템은 데이터 스트림 처리에 필요한 인프라도 관리합니다. 추가로, MSK 클러스터에서 읽고 다른 AWS 계정의 S3 버킷에 쓸 수 있는 계정 간 연결도 지원됩니다.

데이터 변환 및 스트리밍 처리를 위한 AWS Lambda 사용

Kinesis Data Firehose 전송 스트림은 데이터 유형을 변환할 수도 있습니다. JSON 형식이 아닌 데이터의 경우, AWS Lambda를 사용하여 데이터를 Apache Parquet 또는 ORC와 같은 다른 형식으로 변환할 수 있습니다. CSV, XML 또는 구조화된 텍스트와 같은 입력 형식을 JSON으로 변환하기 위해서도 Lambda를 사용할 수 있습니다.

마무리

Amazon Kinesis Data Firehose를 사용하여 Amazon MSK 데이터를 쉽게 Amazon S3로 전송할 수 있습니다. 애플리케이션 코드 작성 및 관리를 위해 Kafka Connect 프레임워크 대신 Kinesis Data Firehose를 사용할 수 있습니다. 또한, 데이터 변환 작업을 위해 Lambda를 활용할 수도 있습니다. 이러한 기능은 현재 모든 AWS 리전에서 사용할 수 있으며, 요금 및 가용성에 대한 이점도 제공됩니다.