在 Go 中构建高性能数据集成框架

在 Go 中构建高性能数据集成框架 数据集成是一个 30+ 年的问题，从 API 中提取数据，对其进行规范化并将其加载到各种不同的目的地，例如数据库、数据湖和文件。在过去的20年里，这个问题已经变得尖锐，特别是在营销和业务分析领域，但最近在基础设施领域，随着云供应商和基础设施服务的爆炸式增长。 尽管数据集成是一个老问题，永远不会完全解决（至少在SaaS服务在拥有一致的机器可读API方面没有变得更好），但我们相信有很大的机会大规模解决这个问题并实现新的本地最优，现在可以完成。 解决这个问题带来了重大挑战。在这篇文章中，我将介绍这些挑战，为什么它们很难，以及我们在CloudQuery设计中采用的解决方案。 ||| #框架