如何入门学习爬虫基础理论篇？

本文共计2025个文字，预计阅读时间需要9分钟。

1. 学习前准备【必看】近年来，随着数据抓取技术的普及，数据滥用问题日益严重。有的陷入数据陷阱，有的被处以巨额罚款，个人爬虫笔记提醒大家：爬虫有风险，采集需谨慎，代码不能违法，代码背后……

1.学习前置

近年来由于抓取数据而引起的纠纷越来越多，有的锒铛入狱，有的被处罚金，本人爬虫笔记学习提醒大家：爬虫有风险，采集需谨慎，写代码不能违法，写代码背后也有法律风险

1.1爬虫注意点 1.1.1遵守Robots协议

Robots协议，也称为爬虫协议、机器人协议等，全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉爬虫哪些页面可以抓取，哪些页面不能抓取

如何查看网站的rebots协议？

（1）打开浏览器，在地址栏中输入网站域名/robots.txt即可，以查询百度的robots协议为例；Disallow后边的目录是禁止所有搜索引擎搜索的

（2）或者借助相关网站进行查看，如站长工具等，浏览器打开s.tool.chinaz.com/robots，输入网站地址，点击查询即可

1.1.2.不过度采集数据

过度数据采集会对目标站点产生非常大的压力，可导致目标站点服务器瘫痪、不能访问等，相当于网络攻击。