AWS Batch 예제로 간단히 살펴보기
- AWS Batch란?
- AWS Batch는 대규모 데이터 처리를 위한 서비스이다.
- 작업 대기 열(Job Queue), 컴퓨팅 환경(Compute Environment), 작업 정의(Job Definition)와 같은 요소들로 구성되어 있다.
- 작업 정의에서는 컨테이너화 된 애플리케이션과 매개 변수를 정의할 수 있다.
- 컴퓨팅 환경 생성
- AWS Batch 용 서비스 역할을 선택하고, 작업 정의를 생성한다.
- Fargate 유형에 맞게 컴퓨팅 환경을 생성하고, 해당 컨테이너가 실행할 역할을 지정한다.
- 작업 대기 열 생성
- 제출된 작업이 컴퓨팅 환경에서 실행될 때까지 대기하는 곳이다.
- 작업 대기 열에는 우선순위 값을 할당할 수 있다.
- 온 디맨드 vs 스팟 인스턴스
- 대규모 데이터 처리를 위해서는 온 디맨드 인스턴스 추천한다.
- 스팟 인스턴스를 사용할 경우 변경 가능성이 있으므로, 데이터 처리 작업에서는 안정성이 중요하다.
- 결론
- AWS Batch는 대규모 데이터 처리를 위한 강력한 도구이다.
- 컴퓨팅 환경, 작업 대기 열, 작업 정의 등의 요소들을 이용하여 효율적인 데이터 처리를 할 수 있다.