爬虫

知识

包

爬虫可以使用方便的 Downloads 包或选项多的 HTTP 包。

注意事项

大多数网站的根目录存在 robots.txt，标注了管理者允许爬虫访问的范围，原则上应该履行。
短时间大量访问或类似行为可能会被视作 DOS/DDOS 攻击。

Warn

不合理的爬虫使用可能违反相关法律

工具

善用浏览器的开发者工具

Edge 开发者工具文档