如何实现js逆向解密并构建高效网络爬虫？

本文共计1859个文字，预计阅读时间需要8分钟。

1. 引用：数月前写过一个爬取（请原谅我的耳朵聋了）的爬虫，这两天需要重新收集一次数据，使用的是scrapy-redis框架，之前爬取的可以轻松完成，没想到爬虫启动没几秒，就出现了大堆的‘“’。

1 引言

数月前写过某网站（请原谅我的掩耳盗铃）的爬虫，这两天需要重新采集一次，用的是scrapy-redis框架，本以为二次爬取可以轻松完成的，可没想到爬虫启动没几秒，出现了大堆的重试提示，心里顿时就咯噔一下，悠闲时光估计要结束了。
仔细分析后，发现是获取店铺列表的请求出现问题，通过浏览器抓包，发现请求头参数中相比之前多了一个X-Shard和x-uab参数，如下图所示：

X-Shard倒是没什么问题，一看就是兴趣点的经纬度，但x-uab看过之后就让人心里苦了，js加密啊，只能去逆向解密了。

2 js逆向求解

最直接的思路是根据“x-uab”关键字在所有关键中查找（chrome浏览器-source中按ctrl + shift + F快捷键），结果如下所示：

接下来，打个断点调试一下：在数字那里点一下，数字位置出现蓝点，表示添加断点成功，然后刷新获取店铺列表的页面，程序会在断点处停下。如下所示：

在控制台调试o.getUA()函数，看一下输出：

果然是，证明猜测没错，就是这个o.getUA()函数负责生成请求头中的x-uab参数。
继续向下查看这个getUA()函数的引用（把光标放在要查看的函数上，就可以查看这个函数的引用），就是下图这个函数：

图中的s就是我们要的x-uab参数，下图在控制台输出可以证明：

所以，u-xab是这里的e生成的，而函数e传入的参数中，第一个是常量2，第二个参数a是undefined，呵，看起来没有传其它参数。