크롤러가 태그를 찾을 때 Timeout 발생

[dh0304]

크롤러가 로컬에서 실행할 때 정상적으로 스크래핑하지만, AWS Lambda 환경에서 Timeout문제가 발생한다.
#16 에서 전역적으로 크롤러 방지 코드를 작성했음에도 불구하고, 웹사이트별로 크롤러로 인식하는 방법이 다른 것 같다.
웹사이트별로 크롤러 방지를 피할 수 있는 구조로 개선해야한다.