mapreduce

Hadoop大数据解决方案详解

Hadoop 是一个开源的分布式计算框架,专为处理海量数据而设计。它通过分布式存储(HDFS)和分布式计算(MapReduce/yarn)的机制,实现了对大规模数据的高效处理。以下是 Hadoop 在大数据解决方案中的核心组成部分、应用场景和优化策略:

hdfs 大数据 批处理 hadoop mapreduce 2025-04-03 21:07  2

小h漫谈(13):Spark简介

Spark 最初诞生于美国加州大学伯克利分校的 AMP 实验室,是一个可应用于大规模数据处理的快速、通用引擎,如今是 Apache 软件基金会下的顶级开源项目之一。

mapreduce scala spark简介 2025-01-13 21:59  14