用 User-Agent Switcher 模拟爬虫访问,测站点对 Bot 到底返回啥
前端做 SEO、对接爬虫预览,或者排查「浏览器能开、爬虫抓不到」这类问题时,光在 DevTools 里改 UA 有时不够顺手。我这边长期用的是 Chrome 扩展 User-Agent Switcher for Chrome,版本 2.0.2,专门用来切各种 User-Agent,包括常见搜索引擎爬虫。 下面按我实际用法写,不整那些虚的。
卡帕666 · 2020-03-18
前端做 SEO、对接爬虫预览,或者排查「浏览器能开、爬虫抓不到」这类问题时,光在 DevTools 里改 UA 有时不够顺手。我这边长期用的是 Chrome 扩展 User-Agent Switcher for Chrome,版本 2.0.2,专门用来切各种 User-Agent,包括常见搜索引擎爬虫。 下面按我实际用法写,不整那些虚的。