企业官网建设流程全解析

数据工程速成营：免费9周数据工程基础课程

通过从零构建一个端到端的数据管道，掌握数据工程的基础知识。获得使用行业标准工具和最佳实践的实践经验。

加入Slack • #course - data - engineering频道 • Telegram公告 • 课程播放列表 • 常见问题解答

如何报名

2026年批次开始日期：2026年1月12日

[在此注册]：报名

自主学习

所有课程材料均可免费用于自主学习。请按以下步骤操作：

1. 观看课程视频。
2. 加入Slack社区。
3. 参考常见问题解答文档获取指导。

课程大纲概述

本课程由结构化模块、实践工作坊和最终项目组成，以巩固你的学习成果。

先决条件

为了充分利用本课程，你应具备：

• 基本的编码经验
• 熟悉SQL
• 有Python经验（有帮助，但非必需）

无需有数据工程方面的经验。

课程模块

模块1：容器化与基础设施即代码

• 介绍GCP、Docker和Docker Compose
• 使用Docker运行PostgreSQL
• 使用Terraform进行基础设施设置
• 作业

模块2：工作流编排

• 数据湖与工作流编排
• 使用Kestra进行工作流编排
• 作业
• 工作坊1：数据摄取
• • API读取和管道可扩展性
  • 数据规范化和增量加载
  • 作业

模块3：数据仓库

• 介绍BigQuery
• 分区、聚类和最佳实践
• BigQuery中的机器学习

模块4：分析工程

• 分析工程与数据建模
• 使用DuckDB和BigQuery的dbt（数据构建工具）
• 测试、文档编写和部署

模块5：数据平台

• 使用Bruin构建端到端数据管道
• 数据摄取、转换和质量控制
• 部署到云端（BigQuery）

模块6：批处理

• 介绍Apache Spark
• DataFrames和SQL
• GroupBy和Joins的内部原理

模块7：流处理

• 介绍Kafka
• Kafka Streams和KSQL
• 使用Avro进行模式管理

最终项目

将所学的所有概念应用到实际场景中，进行同行评审和反馈。

学员评价

• “感谢你们的付出！数据工程速成营让我掌握了技能，帮我获得了第一份技术工作。” —— Tim Claytor（来源）
• “三个月可能看起来很长，但这段时间的成长和学习真的很显著。这是一次很棒的经历，我学到了很多，还结识了来自世界各地志同道合的人，很有趣。我得承认，这真的很难。但成就感和学到的东西让一切都值得。我还会再参加！” —— Nevenka Lukic（来源）
• “我从速成营中学到的重要一点是，要优先关注基础知识和原则，而不是不断变化的工具和技术栈。非常感谢Alexey Grigorev组织了这么棒的课程并免费提供。” —— Siddhartha Gogoi（来源）
• “这是一次对数据工程、云自动化和编排的有趣深入探索。我一路上学到了很多。非常感谢Alexey Grigorev和DataTalksClub团队在三个月免费课程中提供的机会和指导。” —— Assitan NIARE（来源）
• “如果你认真想进入数据工程领域，就从这里开始。这个课程的仓库结构、社区和实践导向是无与伦比的。” —— Wady Osama（来源）

社区与支持

在Slack上获取帮助

加入DataTalks.Club Slack上的#course - data - engineering频道，进行讨论、故障排除和交流。为了保持讨论的有序性：

• 发布问题时请遵循我们的指南。
• 查看社区指南。

认识讲师

• Alexey Grigorev
• Michael Shoemaker
• Will Russell
• Anna Geller
• Juan Manuel Perafan
• Arsalan Noorafkan

过往讲师

• Victoria Perez Mola
• Ankush Khanna
• Sejal Vaidya
• Irem Erturk
• Luis Oliveira
• Zach Wilson

赞助商与支持者

特别感谢我们的课程赞助商，使这个项目得以实现！如果你有兴趣支持我们的社区，请联系alexey@datatalks.club。

关于DataTalks.Club

DataTalks.Club是一个全球数据爱好者的在线社区。在这里，大家可以讨论数据、学习、分享知识、提问和回答问题，并相互支持。

DataTalks.Club的所有活动主要在Slack上进行。我们会在那里发布更新，并讨论数据的各个方面、职业问题等。在DataTalksClub，我们组织在线活动、社区活动和免费课程。你可以在[DataTalksClub社区导航]中了解更多我们的活动。 这课程真有这么神？真能让人掌握数据工程技能吗？