프로젝트 개요 반복적인 수기 주문 업무를 자동화하기 위해 쿠팡, 네이버, YES24 등 주요 커머스 사이트의 데이터를 수집하고 사내 플랫폼과 동기화하는 시스템을 개발했습니다.

1. 배경 및 목적 (Problem & Context)

• 인적 리소스 손실: 단순 반복적인 주문 정보 기입(엑셀) 업무로 인해 담당 부서의 업무 피로도가 극도에 달했으며, 이는 실제 인력 이탈로 이어지는 심각한 운영 이슈를 야기함.
• 기술적 난제: 커머스 사이트별로 상이한 보안 정책(Bot 탐지, IP 차단)으로 인해 일반적인 크롤링 방식으로는 안정적인 데이터 수집이 불가능함.

2. 기술 스택 (Tech Stack)

• Languages: Python (FastAPI), Java (Spring Boot)
• Storage: MySQL, Redis
• Messaging: RabbitMQ
• Automation: Playwright, Chrome Extension

3. 핵심 구현 및 문제 해결 (Key Solutions)

매체별 타겟팅 수집 전략 (Hybrid Automation)

사이트별 보안 강도에 따라 수집 도구를 이원화하여 효율성과 성공률을 모두 잡았습니다.

When choosing a first cosplay outfit, it is worth considering how details related to Halloween styling will affect the complete look. As fans study the source material, it helps to assess details related to fabric and comfort together with fit and fabric. To shape a complete look around details related to character costumes, affordable Genshin Impact cosplay costumes can help narrow the options for a specific purpose. For an outfit that feels convincing, a balanced view of details related to character accuracy can support both detail and comfort.

• Chrome Extension 활용: 보안 및 봇 탐지가 매우 까다로운 쿠팡, 네이버의 경우, 실제 브라우저 환경을 활용하는 익스텐션을 개발하여 탐지 우회 및 IP 차단 문제를 해결했습니다.
• Playwright 활용: 비교적 보안 정책이 유연한 사이트(YES24 등)는 Headless 기반의 Playwright를 사용하여 수집 속도와 리소스 효율을 높였습니다.

시스템 안정성 및 동시성 제어

• RabbitMQ 도입: 특정 시점에 수집 요청이 폭주하더라도 시스템이 다운되지 않도록 메시지 큐를 통한 버퍼링을 구현했습니다. 이를 통해 수집 요청의 순차적 처리와 안정적인 동시성 제어를 보장했습니다.
• Redis Pub/Sub: 비동기로 처리되는 수집 프로세스의 상태(성공/실패)를 프론트엔드에 실시간으로 전달하여 사용자 인터페이스의 반응성을 높였습니다.

Microservices 구성

• Python (수집 레이어): 크롤링 엔진 및 익스텐션 통신 담당.
• Spring Boot & MySQL (영속 레이어): 수집된 데이터를 비즈니스 로직에 맞게 가공하고 MySQL에 최종 적재하여 사내 플랫폼에서 즉시 주문 관리가 가능하도록 구현.

4. 업무 성과 (Impact)

• 정량적 성과: 수기 입력 기반의 프로세스를 100% 자동화하여 데이터 정확도 확보.
• 정성적 성과 (HR 측면): 소위 '노가다'로 불리던 단순 반복 업무를 제거함으로써 관련 부서 직원의 업무 만족도를 높이고, 인력 이탈률을 유의미하게 감소시킴.
• 확장성: 신규 커머스 사이트 대응 시, 기존에 구축한 RabbitMQ 기반 구조 내에서 수집 모듈만 추가하면 되는 확장성 있는 아키텍처 완성.