개발일지 - 데이터 크롤링 수정

[Flutter] 2차 프로젝트(눈길) OTT 종합 정보 플랫폼 앱 개발 고도화

작업기간	2025.02.10 ~ 2025. 03.07
작성일	2025.02.13

 

---

오늘 작업 

- 데이터 크롤링 수정

 

---

내일 작업

- 리뷰 페이지 백이랑 연결

- 데이터 크롤링 수정3

---

개인 소감

데이터 크롤링을 너무 시도를 과도하게 많이해서 IP 차단을 당해서 학원 컴퓨터에서는 서버를 돌리지 못하고있다
집에서도 시도를 많이해서 차단을 당했지만 해결 방법인 IP주소 변경을 선택해서 해결하였지만 
학원은 공용 이다보니 설정을 변경하지 못하여 VPN을 사용해서 우회하는방법이 있다 하지만 그 방법은 너무 번거롭고
느려서 사용하기가 힘들다. 내가 선택한 방법은 집에 컴퓨터에서 크롤링을 하고 완성 후 스케쥴러 돌리는게 최선인 방법인거같다 내가 과도하게 크롤링을 시도해서 학원 모든 컴퓨터에서 크롤링하는 사이트에 접속을 하지 못한다 다행히
많은 사람이 사용하는 사이트가 아니라서 크게 문제는 되지 않았지만 예전에 나랑 비슷한 경우가 있었는데 많은 사람이 피해를 입었다고 말씀해주셨다 이번 크롤링 경험을 통해서 알게 된 점은 나는 큰 생각 없이 크롤링을 과도하게 시도 했지만 크롤링 당하는 업체 입장에서는 디도스 공격과 같은 느낌이였을거같다. 앞으로는 조금 주의해서 이런점까지 생각하며 코드를 작성해야겠다
데이터 크롤링이 조금 더 급하여 리뷰 화면은 천천히 화면 부터 구현중이다 크롤링을 마무리하고 리뷰를 완성시켜야겠다