如何轻松掌握高效数据抓取，挖掘信息宝藏？

数据就是王炸。但问题是数据这东西，你得知道怎么去“挖”出来。今天 我们就来聊聊怎么用最高效的方式， 扯后腿。 从网络上把那些藏在网页背后的信息给“偷”出来。

一、 数据抓取的“前世今生”

你有没有发现，现在打开一个网页，点开一个链接，再打开一个APP，再点开一个链接……然后你突然发现，你已经点了几十个链接，但你还是没找到你想要的信息？别急，这很正常。主要原因是现在的网站，特别是那些大厂，都开始玩“反爬虫”了。你得学会“反反爬虫”，将心比心...。

所以我们得先搞清楚，数据到底在哪儿？

二、 数据抓取的“三板斧”

1. 浏览器审查元素打开浏览器，右键“检查”，看看网页的HTML代码，找到你想要的信息在哪儿。比如 你可能想抓取某个电商网站的商品价格， 换个角度。 那你就得找到那个价格的HTML标签，比如123元然后你就可以用CSS选择器来定位这个标签，再用XPath或者正则表达式来提取数据。

2. 抓包工具比如Fiddler、 Wireshark、Charles等，可以抓取HTTP请求和响应的详细信息。你可以在这些工具里看到网页加载的每一个请求，包括AJAX请求、JSON数据等。这些工具可以让你看到网页背后的数据流，帮你找到你想要的信息，实不相瞒...。

3. JSON解析现在很多网站为了SEO或响应速度， 会把具体的内容做成脚本代码或JSON数据， 一针见血。 直接输出在同页面内。所以你得学会解析JSON数据。比如 你可能看到一个JSON数据是这样的：

{
  "name": "张三",
  "age": 25,
  "city": "北京"
}
    

你就可以用JSON.parse来解析这个JSON数据， 对，就这个意思。 然后你就可以得到你想要的信息了。