并行网络存储系统是浪潮存储开发的新一代网络存储系统.浪潮并行文件系统以pvfs作为开发原型,并在此基础上进行改进,使其与并行网络存储系统紧密结合.在这里,将对基于pvfs的浪潮并行文件系统作一个简单的介绍.
在网络后台,以集群的形式来扩大数据存放空间已经成为一个不可避免的趋势,而在应用端,多机多个进程访问的需求也在日益增长.在这种应用的迫切需求下,并行文件系统便油然而生. 【程序编程相关:51CTO一周年庆典-娱乐篇(5)】
pvfs的优点与缺憾 【推荐阅读:51CTO一周年庆典-娱乐篇(4)】
在经过比较与甄选,我们选择了pvfs(并行虚拟文件系统)作为开发原型.pvfs采用客户-服务器架构,利用一组协作的用户空间进程(daemon),提供一个群集范围内的一致的命名空间,并将数据条块化,分配到集群节点中.pvfs提供可靠的通讯环境,客户与服务器之间的信息传递通过tcp/ip完成. 【扩展信息:51CTO一周年庆典-喝酒篇(3)】
所谓并行文件系统,是指应用于多机环境的网络文件系统,单个文件的数据采用分条等形式存放于不同的i/o节点之上,支持多机多个进程的并发存取,同时支持元数据与数据的分布存放,并提供单一的目录空间.而要实现一个完整的并行文件系统,需要实现如下两个方面:第一,实现单一的文件映像,并行文件存放在盘阵上的具体分布情况对于用户来说是透明的,并行文件系统在用户看来是一完整的树型结构,在调用时只要给出文件名即可;第二,采用条(stripe)与分区(partition)技术,支持一个文件数据在多个磁盘之上与多个进程之间的分布,即多个进程并发读写多个磁盘上的数据.
如图1所示,pvfs使用了三种类型的节点:管理节点.i/o节点与计算节点.管理节点运行元数据服务器(mgr daemon),处理所有的文件元数据(元数据是描述文件信息的文件);i/o节点运行i/o服务器,存储文件系统的文件数据,负责数据的存储与检索;计算节点则处理应用访问,利用libpvfs这一客户端的i/o库,从底层访问pvfs服务器.一个集群的节点可以提供其中的一种功能,也可以同时提供其中的两种或者全部三种功能.
... 下一页