# Crawlab
基于Golang的分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架.
项目自 2019 年 3 月份上线以来受到爬虫爱好者们和开发者们的好评,超过一半的使用者表示已经在用 Crawlab 作为公司的爬虫管理平台。经过近数月的迭代,我们陆续上线了 定时任务、数据分析、可配置爬虫、SDK、消息通知、Scrapy 支持、Git 同步 等功能,将Crawlab打造得更加实用,更加全面,能够真正帮助用户解决爬虫管理困难的问题。
Crawlab主要解决的是大量爬虫管理困难的问题,例如需要监控上百个网站的参杂scrapy
和selenium
的项目不容易做到同时管理,而且命令行管理的成本非常高,还容易出错。Crawlab支持任何语言和任何框架,配合任务调度、任务监控,很容易做到对成规模的爬虫项目进行有效监控管理。
本使用手册是一个安装使用开发指南,帮助您安装、使用、开发 Crawlab。
如果您想尽快上手 Crawlab,请查看 快速开始。
首先,我们来看如何安装Crawlab,请查看 安装章节。关于如何使用,请查看 使用章节。对于比较简单的爬虫,您可以使用 可配置爬虫,比较节省时间;对于比较复杂的(例如需要登录)的爬虫,您可以使用 自定义爬虫,更加灵活。
⚠️注意: 如果您在安装过程中遇到任何问题,请查看 Q&A 来一一排查。如果仍然不能解决问题,请尝试到 GitHub Issues (opens new window) 寻找解决办法。如果还是无法解决问题,请加作者微信 tikazyq1 并注明 "Crawlab",作者将拉您入群,在群里您可以寻求大佬们的帮助。