제목: Amazon SageMaker와 Amazon MWAA를 활용한 29CM의 개인화 추천시스템 MLOps 구축여정

요약

• 29CM에서는 패션 도메인에서의 사용자 취향이 빠르게 변한다는 점에서 개인화 추천 서비스를 구축하고자 함
• 모델의 학습 데이터로는 수 주간 발생한 사용자 인터랙션 데이터 (상품 상세 페이지 방문 등)를 활용
• Amazon SageMaker와 Amazon MWAA를 활용하여 MLOps 체계를 구축하고, 자동화하여 운영 자원을 줄일 수 있도록 함
• Amazon SageMaker의 Processing Job과 Training Job을 이용해 모델을 학습시키고, Amazon MWAA을 활용해 MLOps를 구축하며 전체 워크플로우를 자동화함
• 성공적으로 모델을 학습시키고, 카테고리 페이지 개인화 정렬 서비스를 개발 및 적용함

내용

• 29CM의 개인화 추천시스템 MLOps 구축여정에 대한 이야기
• 개인화 추천 서비스를 구축하고자 패션 도메인에서의 사용자 취향이 빠르게 변한다는 점에서 출발
• 모델의 학습 데이터로는 수 주간 발생한 사용자 인터랙션 데이터 (상품 상세 페이지 방문 등)를 활용
• 모델의 성능이나 실시간 배포와 같은 기능적인 측면도 중요하지만, MLOps 체계를 구축하여 운영 자원을 줄일 수 있는 것이 필수
• Amazon SageMaker를 활용하여 컨테이너 기반의 서비스로 알고리즘의 일관성을 보장하며, 학습 데이터와 소스 코드를 동적으로 적용할 수 있어 유연하게 활용 가능
• Amazon MWAA를 활용하여 Amazon SageMaker를 비롯한 다양한 AWS 서비스와 연동할 수 있고, 사내 정책에 의한 인증 및 권한 설정에 대한 부분도 IAM을 통해 관리 가능
• 데이터 전처리와 모델 학습은 Amazon SageMaker의 Processing job, Training job을 통해 수행하며, 적절한 컨테이너 이미지와 소스 코드, 데이터 세트에 대한 정보를 지정해 주면 해당 job들이 각각의 컨테이너 환경에서 독립적으로 실행됨
• 모델 배포는 Amazon SageMaker의 Model과 Endpoint를 활용하여 실시간 추천을 위한 API 엔드포인트를 생성하고 업데이트함
• Amazon SageMaker의 Processing Job과 Training Job을 이용해 모델을 학습시키고, Amazon MWAA을 활용해 MLOps를 구축하며 전체 워크플로우를 자동화하여 성공적으로 프로젝트를 완수함

작성자 소개

• Park Sungjun 박성준
• 29CM 추천 엔지니어로서 개인화 추천 서비스 팀 소속
• 팀의 초기 MLOps 인프라를 구축하였고, 이를 이용하여 카테고리 페이지 개인화 정렬 서비스를 개발 및 적용함