Google档案系统
Google File System（GFS）是Google公司为了满足本公司需求而开发的基于Linux[1]的专有分布式文件系统。由于它没有使用任何 ext3 或者按照 Linux GPL 授权的代码，所以没有法定的约束要求 Google 公开发布这种文件系统[来源请求]。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。 [2]。
目录 |
设计
GFS专门为Google的核心数据即页面搜索的存储进行了优化。数据使用大到许多吉字节的大文件持续存储，这些文件极少删除、覆盖或者减小；通常是进行添加或读取操作。它也是针对Google的计算机集群进行的设计和优化，这些节点是由廉价的“常用”计算机组成，这就意味着必须防止单个节点的高损害率和随之带来的数据丢失。其它设计理念包括高的数据吞吐率，甚至这带来了存取反应期变差。
节点分为两类：主节点和Chunkservers。Chunkservers存储数据文件，这些单个的文件象常见的文件系统中的簇或者扇区那样被分成固定大小的数据块（这也是名字的由来）。每个数据块有一个唯一的64位标签，维护从文件到组成的数据块的逻辑映射。每个数据块在网络上复制一个固定数量的次数，缺省次数是3次，对于常用文件如可执行文件的次数要更多。
主服务器通常并不存储实际的大块数据，而是存储与大块数据相关的元数据，这样的数据如映射表格将64位标签映射到大块数据位置及其组成的文件、大块数据副本位置、哪个进程正在读写特定的大数据块或者追踪复制大块数据的“快照”（通常在主服务器的激发下，当由于节点失败的时候，一个大数据块的副本数目降到了设定的数目下）。所有这些元数据通过主服务器周期性地接收从每个数据块服务器来的更新（“心跳消息”）保持最新状态。
操作的允许授权是通过限时的、倒计时“租期”系统来处理的，主服务器授权一个进程在有限的时间段内访问数据块，在这段时间内主服务器不会授权其它任何进程访问数据块。被更改的chunkserver——总是主要的数据块存储器，然后将更改复制到其它的chunkserver上。这些变化直到所有的chunkserver确认才存储起来，这样就保证了操作的完整性和自动性。
访问大数据块的程序首先查询主服务器得到所要数据块的位置，如果大数据块没有进行操作（没有重要的租约），主服务器回答大数据块的位置，然后程序就可以直接与chunkserver进行联系接收数据（类似于Kazaa和它的超级节点）。
批评意见
只能有一个主服务器——代码不允许存在多个主服务器。这看起来是限制系统可扩展性和可靠性的一个缺陷，因为系统的最大存储容量和正常工作时间受制于主服务器的容量和正常工作时间，也因为它要将所有的元数据进行编制，并且因为几乎所有的动作和请求都经过它；但是Google的工程师们辩解说事实并不是这样。元数据是非常紧凑的，仅仅只有数 K 到数 M 的大小，并且主服务器通常是网络上性能最好的节点之一；至于可靠性，通常有一个“影子”主服务器制作主服务器的镜像，一旦主服务器失败它将接替工作。另外，主服务器极少成为瓶颈，因为客户端仅仅取得元数据然后将它们缓存起来；随后的交互工作是直接与chunkservers进行。同样，使用单个的主服务器可以大幅度地降低软件的复杂性，如果有多个的主服务器，软件将变得复杂以能够保证数据完整性、自动操作、负载均衡和安全性。
参见
- Hadoop － Apache软件基金会的开放源码项目，提供与Google档案系统类似的功能。
- Google产品列表
- Gmail 文件系统 GmailFS 使用一个可加载的 Linux 文件系统，它使用Gmail帐号作为存储媒介。
参考资料
- ^ Google提供的论文The Google File System中,多处提到
- ^ "Despite having published details on technologies like the Google File System, Google has not released the software as open source and shows little interest in selling it. The only way it is available to another enterprise is in embedded form--if you buy a high-end version of the Google Search Appliance, one that is delivered as a rack of servers, you get Google's technology for managing that cluster as part of the package." "How Google Works"
外部链接
|
查 • 论 • 编 • 历
|
|
|---|---|
| 董事会主席兼执行总长：埃里克·施密特 · 董事兼技术总裁：谢尔盖·布林 · 董事兼产品总裁：拉里·佩奇 · 首席财务官：乔治·雷耶斯 其他董事：保罗·欧德宁 · 约翰·亨尼斯 · 阿瑟·莱文森 · 安·马瑟 · 约翰·杜尔 · 拉姆·希拉姆 · 雪莉·蒂格曼 |
|
| 广告 | AdSense · Advertising Professionals · AdWords · 分析 · Base · Checkout · Click-to-Call · DoubleClick · Trends |
| 通讯 | Answers · Apps · 日历 · Dodgeball · Gmail · GrandCentral · 网上论坛 · Talk · Joga Bonito · Orkut · Picasa Web Albums · Reader · Translate |
| 电脑应用程式 | Android · App Engine ·Browser Sync · Chrome ·Code · Co-op · 桌面 · 地球 · Gears · Gmail Mobile · Hello · Keyhole ML · OpenSocial · 软件集 · Picasa · 拼音输入法 · SketchUp · Talk · 工具列 · Updater · Video Player · Web Accelerator · Gmail Store |
| 出版 | Alerts · Bookmarks · Blogger · 文件 · FeedBurner · iGoogle · Jaiku · Knol · Library Project · Mashup Editor · 笔记本 · Page Creator · Sites · Video Marketplace · YouTube |
| 搜寻（PageRank，Sitemaps） | 图书 · Code · 桌面 · 财经 · GOOG-411 · 图片 · 地图 · 新闻 · 专利 · Products/Froogle · 学术 · Street View · Usenet · 视讯 · 网页 |
| 参看 | 子公司 · Google炸弹 · Google审查 · 批评 · 谷歌 · Google.org · Googleplex · Google历史 · Google玩笑（英文） · 手气不错 · 实验室 ·标识 · 节庆标识 · Platform · 产品列表 · Summer of Code · WiFi |
| 术语及概念 | Google 经济体系 · Google (动词) |
| 技术 | MapReduce · Google档案系统 · PageRank |
Why are we here?
All text is available under the terms of the GNU Free Documentation License
This page is cache of Wikipedia. History