如何用Scrapy实现爬取新华网和人民网的简单爬虫示例？

本文共计2070个文字，预计阅读时间需要9分钟。

新華網爬蟲（2022年6月）+1+網站結構分析+新華網網址：新華網_讓新聞離你更近（news.cn）+新華網首頁具有關鍵詞搜索功能，我們隨意搜索一個關鍵詞，即可發現新華網的內容。

新华网爬虫（2022年6月）

1 分析网站结构

新华网网址：新华网_让新闻离你更近 (news.cn)

新华网的首页是带有关键词搜索功能的，我们尝试在搜索栏随意搜索一个关键词

可以发现新华网一次最多可以爬取的数据是10000条，且其数据是通过分页显示的

2 分析网页具体组成

在搜索后的显示页面按下F12进入开发者页面，切换到NetWork（网络），然后按下Ctrl+R 刷新页面，可以看到网页的各种请求。

一般情况下服务器返回的数据有HTML和JSON格式的数据:

HTML：一般是选中筛选器中的（DOC）文档，然后点击其请求，最后点击Response（响应）。可以看到服务器的响应输出都是HTML格式的。

对于这种的爬取可以先定位需要的数据的位置（用左上角的小箭头），然后使用正则表达式 ，BeautifulSoup ， xpath 等等把需要的数据解析出来。

本次使用的是下面一种响应的数据格式。