如何使用WebMagic在Java中高效爬取特定豆瓣电影评论？

本文共计687个文字，预计阅读时间需要3分钟。

目标+搭建爬虫平台，爬取某豆瓣电影的评论信息。+准备+Webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能开发。+核心+Webmagic的核心非常简单。“

目的

搭建爬虫平台，爬取某豆瓣电影的评论信息。

准备

webmagic是一个开源的Java垂直爬虫框架，目标是简化爬虫的开发流程，让开发者专注于逻辑功能的开发。webmagic的核心非常简单，但是覆盖爬虫的整个流程，也是很好的学习爬虫开发的材料。

下载WebMagic源码，或Maven导入，或Jar包方式导入。 码云地址：gitee.com/flashsword20/webmagic

试运行

搭建好后打开项目， 在us.codecraft.webmagic.processor.example包下有几个可运行的例子，我们可以直接运行体验（BaiduBaikePageProcessor 百度百科的这个比较稳定）。

爬到结果说明没问题。

自定义爬虫

接下来我们自己编写一个爬取豆瓣评论的爬虫。

爬取地址：movie.douban.com/subject/35096844/reviews?start=0

F12进入开发者模式 分析前端页面

我们发现我们需要爬取的评论信息存放在 class=short-content的div 中。