下面的这篇文章来自互联网，个人觉得总结不错。
1998年9月4日，Google公司在美国硅谷成立。正如大家所知，它是一家做搜索引擎起家的公司。
无独有偶，一位名叫Doug Cutting 的美国工程师，也迷上了搜索引擎。他做了一个用于文本搜索的函数库（姑且理解为软件的功能组件），命名为Lucene 。
Lucene
Lucene 是用 JAVA 写成的，目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源（代码公开），非常受程序员们的欢迎。
早期的时候，这个项目被发布在Doug Cutting 的个人网站和 SourceForge（一个开源软件网站）。后来，2001年底，Lucene成为 *Apache软件基金会 *jakarta项目的一个子项目。
Nutch
2004年，Doug Cutting再接再励，在Lucene的基础上，和Apache开源伙伴Mike Cafarella合作，开发了一款可以代替当时的主流搜索的开源搜索引擎，命名为Nutch 。
Nutch是一个建立在Lucene核心之上的网页搜索应用程序，可以下载下来直接使用。它在Lucene的基础上加了网络爬虫和一些网页相关的功能，目的就是从一个简单的站内检索推广到全球网络的搜索上，就像Google一样。
Nutch 在业界的影响力比 Lucene更大。
大批网站采用了Nutch平台，大大降低了技术门槛，使低成本的普通计算机取代高价的Web服务器成为可能。甚至有一段时间，在硅谷有了一股用Nutch低成本创业的潮流。
随着时间的推移，无论是Google还是Nutch，都面临搜索对象“体积”不断增大的问题。
尤其是Google，作为互联网搜索引擎，需要存储大量的网页，并不断优化自己的搜索算法，提升搜索效率。
HDFS
在这个过程中，Google也确实找到了不少好办法，并且无私地分享了出来。
2003年，Google发表了一篇技术学术论文，公开介绍了自己的谷歌文件系统 GFS（Google File System）。这是Google公司为了存储海量搜索数据而设计的专用文件系统。
第二年，也就是 2004年，Doug Cutting 基于 Google的GFS 论文，实现了 分布式文件存储系统，并将它命名为 NDFS（Nutch Distributed File System）。
要解决大数据的很多问题，通常存储系统都需要重新设计。
这是因为传统的计算机结构，没有办法在现有磁盘上进行这样大规模的数据读取操作。
MapReduce
还是2004年，Google又发表了一篇技术学术论文，介绍自己的 MapReduce编程模型。这个编程模型，用于大规模数据集（大于1TB）的并行分析运算。
第二年（2005年），Doug Cutting又基于MapReduce，在Nutch搜索引擎实现了该功能。
这里要补充说明一下雅虎招安Doug的背景：2004年之前，作为互联网开拓者的雅虎，是使用Google搜索引擎作为自家搜索服务的。在2004年开始，雅虎放弃了Google，开始自己研发搜索引擎。。
加盟Yahoo之后，Doug Cutting将NDFS和MapReduce进行了升级改造，并重新命名为Hadoop（NDFS也改名为HDFS，Hadoop Distributed File System）。
这个，就是后来大名鼎鼎的大数据框架系统——Hadoop的由来。而Doug Cutting，则被人们称为Hadoop之父 。
Hadoop 这个名字，实际上是Doug Cutting他儿子的黄色玩具大象的名字。所以，Hadoop的Logo，就是一只奔跑的黄色大象。
BigTable
还是2006年，Google又发论文了。
这次，它们介绍了自己的BigTable。这是一种分布式数据存储系统，一种用来处理海量数据的非关系型数据库。
Doug Cutting当然没有放过，在自己的hadoop系统里面，引入了BigTable，并命名为HBase。
hadoop 生态系统
随着很多年的发展，Hadoop 已经有了自己的生态系统了。
涵盖了大数据处理相关的方方面面。
HBase
来源于Google的BigTable；是一个高可靠性、高性能、面向列、可伸缩的分布式数据库。
Hive
是一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Pig
是一个基于Hadoop的大规模数据分析工具，它提供的SQL-LIKE语言叫Pig Latin，该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。
ZooKeeper
来源于Google的Chubby；它主要是用来解决分布式应用中经常遇到的一些数据管理问题，简化分布式应用协调及其管理的难度。
Ambari
Hadoop管理工具，可以快捷地监控、部署、管理集群。
Sqoop
用于在 Hadoop 与传统的数据库间进行数据的传递。
Mahout
一个可扩展的机器学习和数据挖掘库。