拒绝裸奔，为你的 Scrapyd 增添权限验证、自定义 API、开发数据统计和美化界面的功能，带你逐步实现「唯你可用」的爬虫部署管理控制台。
Scrapyd 是业内最优秀的爬虫框架之一 Scrapy 官方出品的部署管理平台。有了它，你就可以通过 API 向指定的爬虫发起指令，并且可以通过 Web 页面来查看爬虫的运行记录与状态等信息
将爬虫部署到服务器是大部分爬虫工程师必备的技能，这个技能可以为你的职业价值锦上添花。
然而网上关于 Scrapyd 的资料比较少，除了官方文档之外，只有一些零散的教程文章。这远远无法满足很多爬虫工程师的学习需求。所以你需要这本小册。
而且 Scrapyd 并不提供访问控制功能，意味着只要你部署到服务器上，任何人都可以访问它并且控制你的爬虫。它也不提供数据统计的功能，你不可能知道你部署的爬虫有多少，也不知道它们运行了多少次，谁的运行时间最长，也无法对爬虫日志进行排序或者筛选过滤。
你会学到什么？
- Scrapy 项目打包部署的正确姿势以及 Scrapyd 鲜为人知的技巧；
- 源码阅读的能力，并且可以通过调试代码的方式快速地熟悉项目；
- Scrapyd-client 的使用以及爬虫项目打包；
- 能够从源码的与功能设计的角度去思考，为什么这部分代码会这么写，它的应用场景有哪些；
- 学会将逻辑和思路转化为实际的代码；
- 通过大量的实战和代码积累能力，最终能够随心所欲地对 Scrapyd 进行扩展。
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
