一个在 Kubernetes 上运行的弹性网络抓取集群。它提供了通过 REST API 和 Web 界面部署、运行和扩展 Web

一个在 Kubernetes 上运行的弹性网络抓取集群。它提供了通过 REST API 和 Web 界面部署、运行和扩展 Web 抓取蜘蛛的机制。 该项目由三个主要模块组成： REST API：使用 Django REST 框架工具包构建，它公开了几个端点来管理项目、蜘蛛和作业。它使用 Celery 进行任务处理，并负责部署 Scrapy 项目等。 排队：estela 需要一个高吞吐量、低延迟的平台来控制生产者-消费者架构中的实时数据馈送。在本模块中，您将找到一个 Kafka 消费者，用于收集蜘蛛作业中的信息并将其传输到数据库中。 Web：使用 React 和 Typescript 实现的 Web 界面，可让您管理项目和蜘蛛。 这些模块中的每一个都独立于其余模块工作，并且可以更改。每个模块在其对应的目录中都有更详细的描述。

前端部署十五章本专栏通过使用 nodejs 写一个简单的静态服务器，来简单理解前端部署。接下来本专栏将引导你使用 Docker

前端部署十五章 本专栏通过使用 nodejs 写一个简单的静态服务器，来简单理解前端部署。接下来本专栏将引导你使用 Docker 部署，并优化镜像、优化 Pipieline，一步一步探索前端部署优化及发展，并以单页应用为例进行实践部署。 主要内容： 更加了解前端部署方案，并可独立部署个人应用到域名 更加了解自己公司的前端部署方案，并发现其中的不足 更加了解如何使用 Docker 优化前端部署 更加了解如何使用对象存储云服务，并对其进行时间与空间的优化 更加了解如何使用 CICD 优化 Pipeline 时间，并压缩每次部署时间，敏捷开发，快速迭代 | #前端