The Ultimate Hands-On Hadoop: Tame your Big Data!

数据工程与 Hadoop 教程，涵盖 MapReduce、HDFS、Spark、Flink、Hive、HBase、MongoDB、Cassandra、Kafka 等更多内容！

讲师:Sundog Education by Frank Kane, Frank Kane, Sundog Education Team

您将学到什么

• 设计使用 Hadoop 和相关数据工程技术管理“大数据”的分布式系统。
• 使用 HDFS 和 MapReduce 进行大规模数据的存储和分析。
• 使用 Pig 和 Spark 创建脚本，在更复杂的方式下处理 Hadoop 集群上的数据。
• 使用 Hive 和 MySQL 分析关系型数据
• 使用 HBase、Cassandra 和 MongoDB 分析非关系型数据
• 使用 Drill、Phoenix 和 Presto 进行交互式数据查询
• 为您的应用程序选择合适的数据存储技术
• 了解如何通过 YARN、Tez、Mesos、Zookeeper、Zeppelin、Hue 和 Oozie 管理 Hadoop 集群。
• 使用 Kafka、Sqoop 和 Flume 将数据发布到您的 Hadoop 集群
• 使用 Spark Streaming、Flink 和 Storm 消费流数据

课程要求

• 您需要访问一台运行 64 位 Windows、MacOS 或 Linux 的 x86 架构 PC，并且该 PC 需要连接互联网并至少有 8GB 的 *可用*（非总）内存，才能参与动手实践和练习。如果您的电脑不符合这些要求或您只有一台基于 M1 芯片的 Mac，您仍然可以在不进行实际操作的情况下完成课程学习。
• 某些活动需要一定的编程经验，最好是使用 Python 或 Scala。
• 熟悉 Linux 命令行将非常有帮助。

课程描述

Hadoop 和“大数据”的世界可能令人望而却步——成百上千种具有神秘名称的技术构成了 Hadoop 生态系统。通过本 Hadoop 教程，你不仅会了解这些系统的功能及其如何协同工作，还会动手实践学习如何使用它们来解决实际的业务问题！

在这一门全面的课程中，由来自亚马逊和 IMDb 的前工程师兼高级经理授课，你将掌握最流行的数据工程技术。我们将超越 Hadoop 本身，深入探讨各种分布式系统，这些系统可能需要与之集成。

使用 Hortonworks（现为 Cloudera）安装并操作一个真实的 Hadoop 环境，并通过 Ambari UI 进行管理

在集群上使用 HDFS 和 MapReduce 处理大数据

编写 Pig 和 Spark 脚本来分析 Hadoop 上的数据

使用 Sqoop、Hive、MySQL、HBase、Cassandra、MongoDB、Drill、Phoenix 以及 Presto 存储和查询数据

设计使用 Hadoop 生态系统的实际系统

了解 YARN、Mesos、Zookeeper、Oozie、Zeppelin 和 Hue 如何管理你的集群

实时处理流式数据，利用 Kafka、Flume、Spark Streaming、Flink 和 Storm

掌握 Spark 和 Hadoop 的开发技能在拥有大量数据的公司中非常受重视；这些是极具市场价值的技能。

几乎所有你可能希望工作的大型企业都在某种程度上使用了 Hadoop，包括亚马逊、eBay、Facebook、谷歌、领英、IBM、Spotify、Twitter 以及雅虎！不仅仅是科技公司需要 Hadoop；就连《纽约时报》也用它来处理图像数据。

本课程内容全面，涵盖超过 25 种不同的技术，在超过 14 小时的视频讲座中进行讲解。课程充满了动手实践和练习活动，让你在使用 Hadoop 上获得真正的经验——不仅仅是理论学习。

无论你是项目经理、开发人员还是其他任何级别的学员，都能在这门课上找到适合自己的内容。如果你只是想了解一些术语，那么许多课程活动都有无需编程知识的 Web UI。如果你熟悉命令行操作，我们将展示如何进行相关工作。而如果你是程序员，我将挑战你编写实际脚本，在 Hadoop 系统中使用 Scala、Pig Latin 和 Python。

完成这门课程后，你会对 Hadoop 及其相关的分布式系统有深刻的理解，并能够将其应用于现实世界的问题。此外，还有一份宝贵的结业证书在等着你！

请注意，本课程的重点是应用开发而非 Hadoop 管理。尽管你在学习过程中也会掌握一些管理技能。

掌握如何处理“大数据”是一项当今顶尖科技雇主非常看重的技能。不要落后于人——现在就报名吧！

“终极实战 Hadoop……是我最重要的发现之一。我通过补充你的课程内容和参加各种研讨会，最终成功获得了一次面试机会，并在开始学习这门课大约一年后成为了一名大数据工程师。感谢你提供的所有精彩内容以及清晰的解释。” —— Aldo Serrano

“如果没有这门课程，我现在的位置可能不会是这样。Frank 通过每一步的帮助将复杂的问题简化了。强烈推荐，特别是 Spark 环境部分非常值得投入时间。这门课帮助我更好地理解了环境及其功能。Frank 每一步都为你提供指导，使复杂的知识变得简单易懂。” —— Tyler Buck

本课程适合谁:

• 希望了解 Hadoop 生态系统并利用它来存储、分析和处理大规模“大数据”的软件工程师和程序员。
• 希望了解 Hadoop 行业术语和高级架构的项目、程序或产品经理。
• 数据分析师和数据库管理员，对 Hadoop 及其与自己工作的关系感到好奇的人。
• 需要了解 Hadoop 生态系统中可用组件及其相互关系的系统架构师。