{
"title": "让网站实现简单反爬虫",
"tags": [
"post",
"教程"
],
"summary": "说到爬虫，我认为大部分开发者都能充当矛与盾的制造者。 那为什么要制造爬虫？让有价值的信息可被编程处理 那为什么要对抗爬虫？让信息的价值尽量被所有者拥有\n\n除了对访问者进行一些基本的风控，你可能见过一些小众的反爬虫手段，比如：\n\n字体动态渲染\n\n比如猫眼电影的案例\n\n好好地数字查看…",
"sources": [
"xlog"
],
"external_urls": [
"https://outti.me/simple_anti_bot"
],
"date_published": "2023-04-07T03:26:00.729Z",
"content": "说到爬虫，我认为大部分开发者都能充当矛与盾的制造者。\n\n- 那为什么要制造爬虫？**让有价值的信息可被编程处理**\n- 那为什么要对抗爬虫？**让信息的价值尽量被所有者拥有**\n\n\n## 反爬虫\n除了对访问者进行一些基本的风控，你可能见过一些小众的反爬虫手段，比如：\n### 字体动态渲染\n比如[猫眼电影的案例](https://blog.51cto.com/AntzUhl/2873316)\n\n\n\n好好地数字查看源码确实乱码。这种属于后端动态生成一个字体，用于正确渲染数据供用户查看。\n\n### 乱序段落渲染\n比如一个[新闻网站的案例](https://www.v2ex.com/t/907861)\n\n\n\n字体不隐藏，但是将段落顺序打乱，然后前端通过计算`data-s`将正确的段落顺序还原出来。\n\n这些反爬虫都是利用前端执行`Javascript`的能力，让用户能够正常阅读就行。\n当然以上这些案例都有解决的办法，能够让用户方便阅读的，还原起来也不难。\n\n所以现在更常用的手段应该是对访问“**用户**”做风控，来判断访问者到底是不是一个没有恶意的**正常人**。\n\n不过反爬虫手段也不一定是要阻止恶意手段来获取自己有价值的数据，比如：避免自动化获得我网站上的内容。\n\n## 为什么要避免被自动化获得站点内容\n你见过这些吗：\n\n\n\n> 图源：https://cloud.tencent.com/developer/article/1591533\n\n或者是这些：\n\n\n\n> 这我自己遇到的😢\n\n你会很奇怪，我网址就是在即时聊天软件里面发一发，有的时候甚至都没发，怎么就被提示了？\n\n因为有东西在不停歇地获取网站的内容，与关键词做匹配来进行一个简单的判断。\n> ⚠️注意：这里不是教你钻空子，除了机器审核外，仍有人工审核的部分，不要存在侥幸心理。\n\n那么我们的需求就很简单了，只要让通过非浏览器的方式（包括不开启`Javascript`的浏览器）访问站点的时候无法得到真正的网站内容即可。\n\n\n\n比如**Cloudflare**提供的`JS Challenge`，就是一个很不错的案例，让用户在访问前先等个几秒钟。\n\n不过这不是广告，如果优点很多就不会有这篇文章了，在国内套上Cloudflare后，就是减速器；你可能花了大价钱买的优质线路，走了它家的CDN后大家平起平坐（仅限免费版用户），一样缓慢。\n\n但是不是全部的自动化检索内容的访问者的目的都是为了检查你网站有没有害，还有一个**搜索引擎**。所以我们也要为等待页做好SEO，避免影响网站的搜索情况。\n\n## 动手实现一个JS Challenge\n### JS Challenge做了什么？\n\n要实现它之前，我们先了解一下JS Challenge做了什么：\n- 在访问网页时，判断用户是否已经被标记为合法，比如Cookies配合Session的数据，如果合法则直接渲染网页内容。\n- 如果不合法，则渲染一个等待页面，页面中包含加密的（也可以不加密）的JS代码，运算后能够得到一个唯一的结果，并将这个结果返回服务端与预先存储的结果比对，一致则标记为合法用户一段时间。\n\n也就是说，一般的爬虫手段（比如直接模拟HTTP请求）是无法正常访问网站的，因为无法按预期执行JS代码。\n### 那要实现一个什么东西？\n很遗憾，我并不知道搜索什么关键词，问GPT也只是在给我推荐网上现成的方案，搜索`js challenge`出来的都是编程题目...\n\n所以我不得不想办法自己实现，我大概总结了目标程序要满足以下几个要求：\n- 一段计算要花时间的JS代码\n- 我需要在服务端提前设置答案\n- 答案唯一，且在前端不是那么容易被读取到\n\n所以我扭头想到了一个东西：**区块链**，这里我就不过多提及了，虽然我要做的东西没有区块链这么复杂，但是有一个东西可能满足以上要求，那就是：**算哈希**\n\n> 简单来说，哈希就是一个固定的算法，对唯一的内容生成出一个固定位数且唯一的字符串。如常用的`MD5`算法就是32个由`0-9`和`a-f`组成的字符串。\n\n## 开始实现\n### 设定目标\n那么什么样的事情能够让我在服务端提前得知，又没那么容易在前端得到答案呢？我的答案是：\n\n服务端生成`几位符合条件的字符串`，前端通过暴力计算出`末尾是我服务端提供的字符串`，然后前端把字符串交给服务端计算哈希末尾是不是刚刚下发的字符串。\n\n那么用什么方法来计算哈希？JS有一个对象[Crypto](https://developer.mozilla.org/zh-CN/docs/Web/API/Crypto)，浏览器兼容性如下：\n\n\n\n那就用这个来实现吧。\n\n\n\n~~主打的就是一个不实测就相信~~\n### 验证算法\n当然`SHA-1`是一种不安全的加密算法，所以我要求GPT生成代码的时候总是警告我，不过好在最后还是给了我这么一段代码：\n```js\nasync function sha256(str) {\n const encoder = new TextEncoder();\n const data = encoder.encode(str);\n const hash = await crypto.subtle.digest('SHA-256', data);\n const hexHash = Array.from(new Uint8Array(hash))\n .map(b => b.toString(16).padStart(2, '0'))\n .join('');\n return hexHash;\n}\n\nasync function findHashCollision() {\n const targetSuffix = 'fff';\n const maxLength = 10;\n const output = [];\n\n for (let i = 0; i < Math.pow(36, maxLength); i++) {\n const str = i.toString(36).padStart(maxLength, '0');\n const hash = await sha256(str);\n if (hash.endsWith(targetSuffix)) {\n output.push(str);\n }\n }\n\n return output;\n}\n\nfindHashCollision().then(output => {\n console.log(output);\n});\n```\n不过GPT还是很执着地给了我`SHA-256`的实现。他通过不断计算数字来完成碰撞，让我们稍作修改，然后在浏览器上试一下：\n```js\nconst encoder = new TextEncoder();\nasync function sha1(str) {\n const hash = await crypto.subtle.digest('SHA-1', encoder.encode(str));\n return Array.from(new Uint8Array(hash))\n .map(b => b.toString(16).padStart(2, '0'))\n .join('');\n}\n\nasync function work(target) {\n const maxLength = 10;\n \n for (let i = 0; i < Number.MAX_SAFE_INTEGER; i++) {\n const hash = await sha1(i);\n if (hash.endsWith(target)) {\n return i;\n }\n }\n}\n\nwork('fff').then(output => {\n console.log(output);\n});\n```\n经过测试，找3位是一下就出来了，4位差不多1秒，5位有点为难人了，差不多需要10多秒。\n\n那综合考虑就4位吧。\n### 看看通用性怎么样\n仅仅测试`ffff`或者`aaaa`这样一样的字符串我觉得可能不够，那就试一下乱敲的：\n\n\n\n`9a9a`的速度稍微慢了点，但也是差不多1秒左右。那就验证没啥大问题了：后端随机生成一个字符串，然后让前端碰撞出符合条件的数字。\n\n### 先搞个好看的前端\n在真正访问到我们的站点前还是有一点点延迟，所以要整一个友好的等待跳转页面。\n\n但是如果东西写多了可能还没加载完就跳转了，思来想去不如就模仿~~对着抄~~Cloudflare的吧🤪\n\n\n\n\n### 后端处理部分\n```php\n $status = session('challenge');\n if($status === \"pass\")\n return $next($request);\n\n if(isset($_REQUEST['_challenge'])){\n if (substr(sha1($_REQUEST['_challenge']), -4) === $status){\n session(['challenge' => 'pass']);\n return $next($request);\n }\n }\n $challenge = substr(sha1(rand()), -4);\n session(['challenge' => $challenge]);\n return response()->view('common/challenge',['code' => $challenge]);\n```\n直接贴代码，实现上还是比较简单的。\n\n### 再加一点细节\n当然，除了恶意的机器人，也有好的机器人，比如：**搜索引擎**\n\n搜索引擎也是一种爬虫，并且人家也没有那么多资源来跑你的JS Challenge，那怎么办？因为产品性质不一样，所以我只提及一点想法：\n\n- 把JS Challenge在HTTP处理的层次放到处理完页面渲染后，这个时候是能获得SEO信息的。\n- 放行搜索引擎的特征，不过有绕过的风险，不太清楚Cloudflare是怎么做的，有空研究研究。\n\n所以在我的产品里，我通过IP数据库以及兼容CF传递过来的国家代码：\n```php\n if(isset($_SERVER[\"HTTP_CF_IPCOUNTRY\"]))\n $isoCode = $_SERVER[\"HTTP_CF_IPCOUNTRY\"];\n else{\n $reader = new Reader(storage_path('app/library/GeoLite2-Country.mmdb'));\n $isoCode = $reader->country($request->ip())->country->isoCode;\n }\n if($isoCode != 'CN'){\n session(['challenge' => 'pass']);\n return $next($request);\n }\n```\n这么处理一下，就能够达成这次的目标。\n\n",
"attributes": [
{
"value": "simple_anti_bot",
"trait_type": "xlog_slug"
}
]
}
