爬虫注意事项

1. 大多数网站的根目录存在 robots.txt，标注了管理者允许爬虫访问的范围，原则上应该履行。

2. 短时间大量访问或类似行为可能会被视作 DOS/DDOS 攻击。