书籍摘要

《Building Real-Time Analytics Systems》由Mark Needham撰写，于2023年由O’Reilly Media出版。本书旨在为数据工程师、数据架构师和应用开发人员提供构建实时分析系统的实用指南，帮助读者在现有数据基础设施之上实现实时数据分析功能。

作者简介

Mark Needham是Apache Pinot的倡导者和StarTree的开发倡导者。他专注于帮助用户使用Apache Pinot构建实时、面向用户的分析应用，并致力于改善开发体验。

主要内容

第一部分：实时分析基础

• 第1章：介绍实时分析的基本概念，包括事件流的定义、实时分析与传统批处理的区别，以及实时分析带来的诸多好处，如新的收入来源、及时获取洞察力、降低基础设施成本和改善客户体验。
• 第2章：深入探讨实时分析生态系统，回顾了从复杂事件处理（CEP）到大数据时代的技术发展，重点介绍了现代实时分析生态系统的关键组成部分，如事件生产者、流数据平台、流处理层和数据服务层。

第二部分：实践案例

• 第3章：通过虚构的披萨公司All About That Dough（AATD）引入实践案例，详细展示了如何在现有流式架构基础上逐步实现不同类型的实时分析应用。
• 第4章至第10章：围绕AATD的业务需求，逐步构建了多种实时分析功能，包括使用Kafka Streams查询订单数据、引入Apache Pinot作为数据服务层、通过Streamlit构建实时分析仪表板、利用CDC技术捕获产品变更、使用Kafka Streams进行流式数据连接以及处理订单状态更新等。

第三部分：生产部署与未来展望

• 第11章：讨论了将实时分析应用部署到生产环境时需要考虑的因素，如容量规划、数据分区、吞吐量、数据保留、部署平台选择等。
• 第12章：通过几个虚构但基于现实的公司案例，展示了如何将实时分析技术应用于不同的业务场景，包括内容推荐、运营分析、实时广告分析和用户分析等。
• 第13章：展望了实时分析的未来发展方向，探讨了边缘分析、计算存储分离、数据湖屋、实时数据可视化、流数据库、流数据平台即服务和反向ETL等新兴技术。

书籍特点

• 实用性强：书中不仅介绍了理论知识，还提供了丰富的实践案例和代码示例，帮助读者将理论应用于实际项目。
• 覆盖面广：涵盖了从基础概念到高级应用的各个方面，适合不同层次的读者学习。
• 紧跟技术前沿：探讨了实时分析领域的最新技术和趋势，为读者提供了前瞻性的视角。

适用人群

本书适合有一定流数据处理经验的数据工程师、数据架构师和应用开发人员，也适合希望了解实时分析技术的业务分析师和技术经理。

总结

《Building Real-Time Analytics Systems》是一本全面、实用且紧跟技术前沿的书籍，它不仅为读者提供了构建实时分析系统的详细指南，还展示了如何将这些技术应用于实际业务场景，是实时分析领域不可多得的佳作。