Skip to content

[BE] 크롤링 로직 통합 #453

@asn6878

Description

@asn6878

하위 태스크

  • 서버에 존재하는 크롤링 로직 제거

  • 크롤링 이벤트 메시지 전달 방법 설계

    • RSS 승인 -> RssAccept 테이블로 row 승격 -> 기존 신규 피드 크롤링 로직과 동일한 피드 수집방지를 위한 장치 마련 -> Redis로의 메시지 발행 -> feed-crawler에 의한 전체 피드 수집 -> DB 삽입
  • 피드크롤러와 동일한 데이터 조회 방지 체크 (Unique Key단에서 처리할지, 명시적으로 별도의 처리 과정을 거칠지)

인수조건

  • 크롤링 정상동작 테스트 작성

Metadata

Metadata

Assignees

Labels

Type

No type

Projects

No projects

Relationships

None yet

Development

No branches or pull requests

Issue actions