如何实现Node.js高效爬取大量文件的方法示例？

本文共计964个文字，预计阅读时间需要4分钟。

有位朋友在搞留学工作，常访问一个名为留学者指南的网站。每次都需亲自访问该网站，显得非常不专业。于是，我帮忙写了个脚本去爬取他们的信息。这次，我们要爬取的内容是...

有个朋友在搞留学工作室，经常访问的一个网站叫留学者指南，然而每次都要去访问该网站，显得极其不专业。于是托俺帮忙写脚本去爬他家的东西，我观察了下，这次，我们要爬的东西就有点多了——大概就20多万个文件吧~~~

在20多万个文件中，下载极有可能会被中断，因此需要做下载进度备份，下载进度恢复。