一、什么是GPFS文件系統(tǒng)
General Parallel File System(GPFS)是高性能、可擴(kuò)展、并行文件系統(tǒng)，起源于IBM SP系統(tǒng)上使用的虛擬共享磁盤技術(shù)（VSD）。GPFS文件系統(tǒng)保證資源組內(nèi)的所有節(jié)點(diǎn)可以并行訪問整個(gè)文件系統(tǒng)，并且文件系統(tǒng)上的文件可以分布在不同的 物理硬盤上。利用IBM Linux集群系統(tǒng)中的“虛擬“共享磁盤技術(shù)，GPFS似的多個(gè)節(jié)點(diǎn)上運(yùn)行的多個(gè)應(yīng)用程序可以同時(shí)讀寫同一個(gè)文件。并且GPFS還包含了IBM可擴(kuò)展集群 系統(tǒng)技術(shù)（RSCT），可以將存儲(chǔ)的內(nèi)容自動(dòng)恢復(fù)到活動(dòng)節(jié)點(diǎn)上，當(dāng)系統(tǒng)產(chǎn)生故障時(shí)，文件日志可以快速的恢復(fù)數(shù)據(jù)，并且可以保證數(shù)據(jù)的一致性。在GPFS為 應(yīng)用程序提供了UNIX標(biāo)準(zhǔn)的文件系統(tǒng)借口，可以在不改變現(xiàn)有代碼的基礎(chǔ)上直接運(yùn)行。

?二、GPFS文件系統(tǒng)的基本結(jié)構(gòu)

GPFS文件系統(tǒng)由三層架構(gòu)組成：GPFS文件設(shè)備、網(wǎng)絡(luò)共享磁盤（NSD）和磁盤
1、GPFS文件設(shè)備（GPFS File System Device）
GPFS文件設(shè)備由NSD創(chuàng)建，是可以被多個(gè)節(jié)點(diǎn)并行同時(shí)掛載的文件設(shè)備
2、網(wǎng)絡(luò)共享磁盤（NSD）
網(wǎng)絡(luò)共享磁盤（NSD）是由物理磁盤映射出來的虛擬設(shè)備，與磁盤之間是一一對(duì)應(yīng)的關(guān)系。并且，NSD將虛擬設(shè)備按照不同的屬性劃分了不同的用途。NSD虛擬設(shè)備具有4種不同的磁盤屬性：
a、Desc Only：表示該磁盤存儲(chǔ)GPFS文件系統(tǒng)的描述信息
b、Data Only：表示該磁盤只存儲(chǔ)GPFS文件系統(tǒng)的數(shù)據(jù)信息
c、Meta Data Only：表示該磁盤只存儲(chǔ)GPFS文件系統(tǒng)的目錄結(jié)構(gòu)信息（inode）
d、Meta And Data：表示該磁盤存儲(chǔ)GPFS文件系統(tǒng)中的所有信息（默認(rèn)情況）

三、GPFS文件系統(tǒng)的特點(diǎn)

1、高性能

由于GPFS文件系統(tǒng)允許在同一個(gè)節(jié)點(diǎn)內(nèi)的多個(gè)進(jìn)程使用標(biāo)準(zhǔn)的UNIX文件系統(tǒng)接口，并行的訪問相同文件（讀寫）。并且，可以將節(jié)點(diǎn)的讀寫操作分布到不同的物理磁盤上，因此避免了對(duì)某個(gè)磁盤過多讀寫操作，增加了整個(gè)系統(tǒng)的吞吐量，提高了系統(tǒng)的整體性能。

2、跨平臺(tái)

GPFS文件系統(tǒng)本身可以看成與具體系統(tǒng)無關(guān)的一個(gè)單獨(dú)系統(tǒng)，通過集群方式可以支持多種操作系統(tǒng)，比如AIX、Linux等。

3、保證數(shù)據(jù)一致性

GPFS 文件系統(tǒng)采用信令管理機(jī)制保證數(shù)據(jù)的一致性。信令機(jī)制允許各個(gè)節(jié)點(diǎn)通過獨(dú)自的路徑到達(dá)同一個(gè)文件。因此，當(dāng)某 個(gè)節(jié)點(diǎn)的某條路徑無法正常工作，依舊可以通過鏈路冗余達(dá)到GPFS文件系統(tǒng)。并且GPFS本身設(shè)計(jì)成為一種日志文件系統(tǒng)，為不同的節(jié)點(diǎn)建立了各自獨(dú)立的日 志（保存了Meta Data的分布信息）。因此，一但節(jié)點(diǎn)發(fā)生故障后，可以通過日志記錄的Meta Data的分布信息，快速的找到相應(yīng)的Meta Data然后恢復(fù)。

4、可擴(kuò)展性

GPFS可以動(dòng)態(tài)調(diào)整系統(tǒng)資源，支持在文件系統(tǒng)掛載的情況下動(dòng)態(tài)的添加和刪除硬盤，而無須重啟。

5、方便管理

GPFS文件系統(tǒng)，可以自動(dòng)的同步各個(gè)節(jié)點(diǎn)的配置文件和文件系統(tǒng)信息，因此可以在任意一個(gè)節(jié)點(diǎn)上管理GPFS。

四、系統(tǒng)可用狀態(tài)的仲裁

GPFS文件系統(tǒng)提供3種仲裁方式來確定系統(tǒng)當(dāng)前狀態(tài)是否安全可靠：File Descriptor Quorum、Node Quorum和Tiebreaker Quorum

1、File Descriptor Quorum：

當(dāng) 在磁盤上創(chuàng)建GPFS文件系統(tǒng)時(shí)，會(huì)將文件系統(tǒng)信息的拷貝復(fù)制到多個(gè)磁盤上，達(dá)到數(shù)據(jù)冗余的目的。這種方式是 GPFS文件系統(tǒng)默認(rèn)支持的，是不可以配置改變的。File Descriptor Quorum通過判斷包含有文件系統(tǒng)信息的磁盤的在線情況來判斷當(dāng)前系統(tǒng)是否正常。當(dāng)超過一半的包含文件系統(tǒng)信息的磁盤下線時(shí)，GPFS文件系統(tǒng)會(huì)判斷系 統(tǒng)為非正常狀態(tài)，此時(shí)會(huì)自動(dòng)關(guān)閉文件系統(tǒng)。

2、Node Quorum：

GPFS文件系統(tǒng)集群中，將多個(gè)主機(jī)節(jié)點(diǎn)設(shè)置成Quorum節(jié)點(diǎn)，當(dāng)有超過一半的Quorum節(jié)點(diǎn)下線時(shí)，GPFS文件系統(tǒng)判斷系統(tǒng)為非正常狀態(tài)，會(huì)自動(dòng)關(guān)閉文件系統(tǒng)。

3、Tiebreaker Quorum：

GPFS 文件系統(tǒng)集群中，可以設(shè)置一些指定的物理磁盤作為Tiebreaker Disk，GPFS文件系統(tǒng)會(huì)動(dòng)態(tài)的監(jiān)視這些磁盤的狀態(tài)。當(dāng)有超過一般的Tiebreaker Disk下線時(shí)，則表示系統(tǒng)為非正常狀態(tài)，自動(dòng)關(guān)閉文件系統(tǒng)。按照文檔上來說，用于監(jiān)視Tiebreaker Disk的Quorum主機(jī)數(shù)目最多只能配置兩臺(tái)，當(dāng)2臺(tái)Quorum主機(jī)都故障，則也表示系統(tǒng)故障，此時(shí)文件系統(tǒng)也會(huì)關(guān)閉。

Tibreaker Quorum和Node Quorum仲裁方式只能選擇其中一種，不能兩種同時(shí)使用。Tibreakder Quorum仲裁方式主要是用于節(jié)點(diǎn)比較少的親況下，如果整個(gè)系統(tǒng)的接入節(jié)點(diǎn)較多，應(yīng)該考慮Node Quorum的仲裁方式。

?五、GPFS文件系統(tǒng)的并發(fā)訪問
1、并發(fā)訪問
GPFS文件系統(tǒng)的并行文件訪問通過兩個(gè)部分來實(shí)現(xiàn)：一是多個(gè)GPFS節(jié)點(diǎn)以并行的方式（可以是多個(gè)進(jìn)程）訪問磁盤系統(tǒng)上的數(shù)據(jù)（相同或者不同）；二是GPFS文件系統(tǒng)將文件訪問分散到不同的物理磁盤上，提升訪問效率。
2、文件鎖
GPFS文件系統(tǒng)支持并發(fā)訪問文件，因此需要一套鎖機(jī)制來保證并發(fā)訪問時(shí)數(shù)據(jù)的正確性。常見的鎖管理機(jī)制分為兩種：集中式的鎖管理機(jī)制和分布式的鎖管理機(jī) 制。其中，在集中式的所管理機(jī)制中，集群系統(tǒng)中會(huì)將一個(gè)或者多個(gè)節(jié)點(diǎn)專門用于負(fù)責(zé)管理文件系統(tǒng)的元數(shù)據(jù)（Meta Data）。當(dāng)集群中有多個(gè)節(jié)點(diǎn)需要同時(shí)訪問同一個(gè)數(shù)據(jù)單元時(shí)，節(jié)點(diǎn)首先需要向元數(shù)據(jù)管理服務(wù)器發(fā)送一個(gè)訪問請(qǐng)求，元數(shù)據(jù)管理服務(wù)器將讀寫操作授權(quán)給節(jié) 點(diǎn)，節(jié)點(diǎn)即可對(duì)請(qǐng)求的數(shù)據(jù)單元進(jìn)行讀寫操作。而分布式的鎖管理機(jī)制中則沒有專門用于管理元數(shù)據(jù)的管理節(jié)點(diǎn)，文件系統(tǒng)中的元數(shù)據(jù)分布在文件系統(tǒng)集群的所有節(jié) 點(diǎn)上。當(dāng)有節(jié)點(diǎn)同時(shí)訪問同一個(gè)數(shù)據(jù)單元時(shí)，會(huì)通過保存的元數(shù)據(jù)信息找到集群中擁有該數(shù)據(jù)單元鎖的節(jié)點(diǎn)發(fā)送請(qǐng)求，獲得批準(zhǔn)后，方可訪問請(qǐng)求的數(shù)據(jù)單元。
GPFS文件系統(tǒng)中是將集中式和分布式鎖管理機(jī)制結(jié)合的方式來管理并發(fā)訪問，GPFS文件集群中有一個(gè)負(fù)責(zé)全局鎖管理的服務(wù)器，同時(shí)集群中的每個(gè)節(jié)點(diǎn)上還 保存了文件系統(tǒng)元數(shù)據(jù)。全局索管理服務(wù)器，通過令牌（Token）發(fā)放的方式，來協(xié)調(diào)各個(gè)節(jié)點(diǎn)的元數(shù)據(jù)訪問。當(dāng)系統(tǒng)中有某個(gè)節(jié)點(diǎn)需要讀寫文件時(shí)，首先向 Token Server請(qǐng)求獲得令牌，當(dāng)獲得令牌后，可以從節(jié)點(diǎn)中獲取文件鎖，然后進(jìn)行數(shù)據(jù)單元的讀取操作。

?六、參考資料
GPFS Primer for AIX Clusters，可以從以下站點(diǎn)獲得：
http://www-.ibm.com/servers/eserver/pseries/software/whitepapers/gpfs_primer.html

GPFS 1.4 for AIX – Architecture and Performance， Heger，D. and Shah，G.
GPFS on AIX Clusters：High Performance File System Administration Simplified，可以從IBM紅皮書站點(diǎn)獲得：
http://www.redbooks.ibm.com

The Complete Partitioning Guide forIBM^?pSeries?Servers，可以從IBM紅皮書站點(diǎn)獲得：
http://www.redbooks.ibm.com

IBM Total Storage：FAStT600/900 and Storage Manager 8.4，可以從IBM紅皮書站點(diǎn)獲得：
http://www.redbooks.ibm.com

轉(zhuǎn)載請(qǐng)注明：成都千喜數(shù)據(jù)恢復(fù)中心 » 初窺GPFS文件系統(tǒng)