crawlers

Some crawlers u know it:-)

crawl3 run help

1. 按照官方文档安装 Scrapy https://doc.scrapy.org/en/1.2/intro/install.html

2. git clone https://github.com/evilcos/crawlers

3. 创建个 /data/rosi/ 目录，用于保存下载的图片，当然这个路径可以在 settings.py 里修改

4. 进入 crawl3 目录，运行命令：scrapy crawl rosi

tips

抓instagram，用了slash来抓取ajax后台渲染的内容。