如何用Python高效抓取不断变化的动态网页内容？

本文共计804个文字，预计阅读时间需要4分钟。

Python 拥有众多库，方便编写网络爬虫，抓取某些页面，获取有价值的信息！但有时，爬虫只能获取静态页面，即网页的源代码，就像在浏览器上的查看功能一样。

python有许多库可以让我们很方便地编写网络爬虫，爬取某些页面，获得有价值的信息！但许多时候，爬虫取到的页面仅仅是一个静态的页面，即网页 的源代码，就像在浏览器上的“查看网页源代码”一样。一些动态的东西如javascript脚本执行后所产生的信息，是抓取不到的，这里暂且先给出这么一 些方案，可用于python爬取js执行后输出的信息。

1、两种基本的解决方案

1.1 用dryscrape库动态抓取页面

js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。