현재 크롤러는 Node.js기반으로 동작한다. Node.js는 이벤트 루프를 사용한다(이벤트 루프 개념 정확히 모름, 학습 필요)
프로젝트의 코드는 playwright기반으로 async/await를 사용하고 있지만 비동기/블로킹"처럼" 보인다. (실제 동작은 비동기/논블로킹)
비동기/논블로킹을 잘 활용할 수 있도록 구성해볼 수 있다. 물론 크롤러는 AWS Lambda 환경에서 동작하기때문에 메모리 사용량도 고민해야한다.
GPT曰: 더 효율적인 실행(동시성 향상)을 원하면 Node의 논블로킹 모델을 최대한 활용하도록, Playwright의 Promise들을 잘 오케스트레이션(예: Promise.all, 동시성 제한, 리소스 풀링) 하는 방식으로 코드를 개선하면 됩니다.
Node.js, typescript에 대해 깊게 공부한 뒤 개선할 수 있도록 이슈를 남깁니다.
현재 크롤러는 Node.js기반으로 동작한다. Node.js는 이벤트 루프를 사용한다(이벤트 루프 개념 정확히 모름, 학습 필요)
프로젝트의 코드는 playwright기반으로 async/await를 사용하고 있지만 비동기/블로킹"처럼" 보인다. (실제 동작은 비동기/논블로킹)
비동기/논블로킹을 잘 활용할 수 있도록 구성해볼 수 있다. 물론 크롤러는 AWS Lambda 환경에서 동작하기때문에 메모리 사용량도 고민해야한다.