Node.js 크롤러 제작 후기

const axios = require("axios");
const jsdom = require("jsdom");
const fs = require("fs");
const request = require("request");
const readline = require("readline");
 
const {JSDOM} = jsdom;
const rl = readline.createInterface({
    input: process.stdin,
    output: process.stdout
});
 
let id = 315;
// 블로그 제일 최신 글
 
const get = number => {
    axios
        .get(`https://marshall-ku.tistory.com/${number}`)
        .then((response) => {
            const dom = new JSDOM(response.data);
            const title = dom.window.document.title;
            const article = dom.window.document.querySelector(".article");
            const img = [...article.querySelectorAll("img")];
            let i = 0; // 파일 이름용
 
            const imgLength = img.length;
            let j = 0; // 모든 이미지 저장 확인용
 
            if (article) {
                img.forEach(img => {
                    download(`${img.src}?original`, `./images/${title}-${i}.${img.getAttribute("filemime").replace("image/", "")}`, () => {
                        console.log(`${title} - ${i} saved.`);
                        i++;
                        j++;
 
                        if (j === imgLength) update();
                    });
                });
            }
            else {
                console.log(id, "has no article");
                update();
            }
 
        })
        .catch((error) => {
            if (!error.response) {
                console.log(id, "skipped");
                update();
            }
            // 가끔 error.response가 undefined라 추가 
            if (error.response.status === 404) {
                console.log(id, "doesn't exist");
                update();
            }
            else {
                console.log(error.status, "retry after 20 seconds");
                setTimeout(() => {
                    get(id)
                }, 20000);
            }
            // 오류가 있으면 20초 후 다시 페이지 요청.
        });
};
 
const download = (url, path, callback) => {
    request.head(url, () => {
        request(url)
            .pipe(fs.createWriteStream(path))
            .on('close', callback)
    })
};
 
const update = () => {
    id--;
    get(id);
};
 
rl.question("Post ID ", postid => {
    id = +postid;
    rl.close();
});
// 크롤러 재시작할 일 있을 때 편하려고 크롤링할 주소 입력받음
 
rl.on("close", () => {
    get(id);
});