如何通过Node.js高效抓取网页内容并将其转换为PDF文件？

本文共计1940个文字，预计阅读时间需要8分钟。

需求：使用Node.js爬取网页资源，一键使用配置，将爬取到的网页内容以PDF格式输出。如果您是技术员工，那么可以查看我接下的文章，否则请直接移动到我的GitHub仓库，直接查看文档。

需求：

• 使用Node.js爬取网页资源，开箱即用的配置
• 将爬取到的网页内容以PDF格式输出

如果你是一名技术人员，那么可以看我接下来的文章，否则，请直接移步到我的github仓库，直接看文档使用即可

仓库地址:附带文档和源码

本需求使用到的技术：Node.js和puppeteer

• puppeteer 官网地址: puppeteer地址
• Node.js官网地址:链接描述
• Puppeteer是谷歌官方出品的一个通过DevTools协议控制headless Chrome的Node库。可以通过Puppeteer的提供的api直接控制Chrome模拟大部分用户操作来进行UI Test或者作为爬虫访问页面来收集数据。
• 环境和安装
• Puppeteer本身依赖6.4以上的Node，但是为了异步超级好用的async/await，推荐使用7.6版本以上的Node。另外headless Chrome本身对服务器依赖的库的版本要求比较高，centos服务器依赖偏稳定，v6很难使用headless Chrome，提升依赖版本可能出现各种服务器问题（包括且不限于无法使用ssh），最好使用高版本服务器。