級別： 初級
Edna Nerona (edna@legacystudios.biz), 顧問, Legacy Studios, Inc.
2007 年 8 月 09 日
之前，我們向您提供了一份 “網(wǎng)格開發(fā)人員推薦閱讀清單” 和 “面向網(wǎng)格開發(fā)人員的入門級開源工具”。現(xiàn)在我們又編著了一份代表網(wǎng)格計算未來發(fā)展的產(chǎn)品項目和組織清單。本文提供了在目前在不同領(lǐng)域（例如癌癥研究、天文學(xué)和物理學(xué)）中開展的項目的詳細清單。本文還介紹了工具包、安全性和數(shù)據(jù)管理。它們都是從各種在線資源獲得，向程序員、管理員和新用戶介紹了與使用、部署和開發(fā)網(wǎng)格基礎(chǔ)設(shè)施有關(guān)的具體信息和項目。
開發(fā)網(wǎng)格的組織
本節(jié)將介紹開發(fā)網(wǎng)格產(chǎn)品的組織，它們所解決的問題，以及它們是如何影響網(wǎng)格技術(shù)的。網(wǎng)格部署產(chǎn)品可以劃分為幾類：通用網(wǎng)格、科學(xué)和社區(qū)網(wǎng)格、國家網(wǎng)格、地區(qū)網(wǎng)格和大學(xué)網(wǎng)格。
國家和國際通用網(wǎng)格
- Distributed European Infrastructure for Supercomputing Applications
- 作為一個領(lǐng)導(dǎo)國家超級計算中心的協(xié)會，DEISA（Distributed European Infrastructure for Supercomputing Applications）部署并操作了一個具有安全產(chǎn)品質(zhì)量的分布式超級計算環(huán)境。通過增強歐洲在高性能計算方面的能力，該研究組織促進了各種科學(xué)和技術(shù)領(lǐng)域中的科學(xué)發(fā)現(xiàn)。DEISA 對現(xiàn)有國家高端平臺進行了高度集成，使用了專用的網(wǎng)絡(luò)，并獲得了新型系統(tǒng)和網(wǎng)格軟件的支持。
- DutchGrid
- 成立于 2000 年，DutchGrid 擁有很多成功的研究成果和計劃，跨越多個科學(xué)協(xié)作領(lǐng)域。作為一個學(xué)術(shù)和研究網(wǎng)格計算的開放平臺，DutchGrid 為荷蘭的網(wǎng)格用戶提供了可全球識別的身份證書。DutchGrid CA 是一個完全中立的項目。任何非盈利的研究人員和學(xué)術(shù)界用戶都可以獲得個人和服務(wù)器或主機證書來使用網(wǎng)格應(yīng)用程序。
- Enabling Grids for E-science
- Enabling Grids for E-science （EGEE）項目將來自 32 個國家的 90 多個機構(gòu)的科學(xué)家和工程師組織在一起，為科學(xué)家使用的電子科學(xué)（e-scinece）提供了一個無縫的網(wǎng)格基礎(chǔ)設(shè)施。EGEE 網(wǎng)格包含了超過 30,000 個 CPU，它們可以一周 7 天、每天 24 小時地使用，另外還提供了大約 5 PB（5 百萬個 GB）的存儲空間，平均要維護 30,000 個并發(fā)作業(yè)。擁有如此眾多的資源改變了科學(xué)研究所采用的方法。EGEE 是由歐盟建立的一個為期 4 年的項目。
- Grid5000
- Grid5000 項目的目標(biāo)是建立一個高度可配置的具有可控性并可監(jiān)視的實驗網(wǎng)格平臺，網(wǎng)格研究人員可以使用它來試驗從網(wǎng)絡(luò)協(xié)議層到應(yīng)用程序?qū)又g的所有軟件。Grid5000 將法國地理上分布的 9 個城市連接在一起，提供了 5,000 個 CPU。這 9 個城市包括：Bordeaux、 Grenoble、 Lille、 Lyon、 Nancy、 Orsay、 Rennes、 Sophia-Antipolis 和 Toulouse。
- LA Grid
- LA Grid 的發(fā)音是 “lah grid”，它是第一個全面的計算網(wǎng)格，將來自美國、拉美和西班牙各個機構(gòu)的職員、學(xué)生和研究人員聯(lián)系在一起，協(xié)作開發(fā)可滿足醫(yī)療服務(wù)行業(yè)內(nèi)商業(yè)和社會需求的復(fù)雜行業(yè)應(yīng)用程序。除了大學(xué)之外，LA Grid 還吸引了全球工業(yè)界的參與，從而增強了在很多領(lǐng)域內(nèi)的創(chuàng)新，包括衛(wèi)生保健、生命科學(xué)和颶風(fēng)災(zāi)難以及災(zāi)難防御。
- Open Science Grid
- Open Science Grid （OSG）是科學(xué)研究使用的一個分布式計算基礎(chǔ)設(shè)施。OSG 聯(lián)盟是惟一一個由各大學(xué)、國家實驗室、科學(xué)協(xié)作組織和軟件開發(fā)人員將海量計算和存儲資源組成一個共享的統(tǒng)一網(wǎng)絡(luò)基礎(chǔ)設(shè)施的聯(lián)盟。
- TeraGrid
- TeraGrid 是由 National Science Foundation 創(chuàng)建的一個開放科學(xué)研究基礎(chǔ)組織。將 9 個合作站點的業(yè)界領(lǐng)先的資源組合起來，TeraGrid 創(chuàng)建了一個集成的持久計算資源。通過采用國家專用網(wǎng)絡(luò)的一條高速千兆網(wǎng)絡(luò)彼此連接，TeraGrid 提供了超過 150 teraflops 的計算能力、以及接近 2 PB 的循環(huán)存儲空間、無數(shù)的科學(xué)數(shù)據(jù)集、專用的數(shù)據(jù)分析工具、科學(xué)網(wǎng)關(guān)、以及用來簡化對有價值資源和可視化資源訪問的用戶門戶。
科學(xué)和社區(qū)網(wǎng)格
- AstroGrid
- AstroGrid 是一個開源項目，它的建立是為英國和國際天文學(xué)家創(chuàng)建一個工作用的虛擬天文臺（Virtual Observatory，VO）。AstroGrid 是由英國政府建立，它通過 International Virtual Observatory Alliance （IVOA）與國際上其他 VO 項目緊密協(xié)作。作為這個社區(qū)的領(lǐng)導(dǎo)成員之一，AstroGrid 提供了國際通用的接口標(biāo)準(zhǔn)，用來促進天文數(shù)據(jù)的科學(xué)集成，并在全球范圍內(nèi)處理資源。
- cancer Biomedical Informatics Grid
- cancer Biomedical Informatics Grid （caBIG）是一個自發(fā)組織的網(wǎng)絡(luò)或網(wǎng)格，它將個人和機構(gòu)聯(lián)系在一起，可以共享很多數(shù)據(jù)和工具，它創(chuàng)建了一個全球范圍的癌癥研究資源。caBIG 的目標(biāo)是為了加速癌癥預(yù)防和治療方面的創(chuàng)新方法的迅速問世。caBIG 所創(chuàng)建的基礎(chǔ)設(shè)施和工具在癌癥社區(qū)之外也有很廣泛的應(yīng)用。caBIG 目前正在 National Cancer Institute 的 Center for Bioinformatics 的領(lǐng)導(dǎo)下進行開發(fā)。
- International Virtual Data Grid Laboratory
- International Virtual Data Grid Laboratory （iVDGL）是一個全球的數(shù)據(jù)網(wǎng)格，用于物理和天文領(lǐng)域的前沿實驗。它的計算、存儲和網(wǎng)絡(luò)資源分布于美國、歐洲、亞洲和南美，提供了一個獨特的實驗環(huán)境，可用來測試和驗證國際的和全球范圍的網(wǎng)格技術(shù)。位于歐洲和美國的站點通過一個由 European DataTAG 項目創(chuàng)建的數(shù)千兆每秒的跨越大西洋的鏈接鏈接在一起。
- World Community Grid
- World Community Grid 的使命是創(chuàng)建全世界最大的公共計算網(wǎng)格，研究對人類有益的項目。World Community Grid 的成功在于：集合了個體為實現(xiàn)更美好的世界而貢獻出的未用的計算時間。World Community Grid 正在研究一些公共和非盈利組織才能使用的技術(shù)，從而開展一些人道主義研究；如果沒有公共網(wǎng)格，高昂的計算基礎(chǔ)設(shè)施將使研究無法完成。
- Worldwide Large Hadron Collider Computing Grid
- Worldwide Large Hadron Collider（LHC）Computing Grid 的目的是處理 2007 年前 CERN 的 LHC 所開展的實驗所產(chǎn)生的空前數(shù)據(jù)量。LHC 開展的實驗的計算需求極為龐大。每年大概會生成 12 到 14 PB 的數(shù)據(jù)，這大約相當(dāng)于 2 千萬張 CD。對這些數(shù)據(jù)進行分析大約需要 70,000 臺目前最快的 PC。通過部署一個全球范圍的計算網(wǎng)格，將分布在歐洲、美國和亞洲的科學(xué)計算中心的資源集成到一個全球虛擬化計算服務(wù)中，LHC Computing Grid 可以滿足這些需求。
美國地區(qū)的網(wǎng)格
- Northwest Indiana Computational Grid
- Northwest Indiana Computational Grid（NWICG）是來自 Purdue University-West Lafayette、 Purdue University-Calumet 和 University of Notre Dame 的合作研究和教育組織。NWICG 重點關(guān)注的是國家科學(xué)和研究活動，其創(chuàng)建的網(wǎng)絡(luò)基礎(chǔ)設(shè)施可以支持重大問題的解決方案，以及在高性能計算底層技術(shù)領(lǐng)域啟用保持世界領(lǐng)先的技術(shù)。它們正在 Department of Energy's Argonne National Laboratories 的協(xié)助下，在這 3 個大學(xué)之間為 Northwest Indiana 開發(fā)一個可擴充的高速、高帶寬的科學(xué)驅(qū)動計算網(wǎng)格。
- SURAGrid
- Southeastern Universities Research Association（SURA）是一個組織協(xié)作聯(lián)盟，它合并各種資源以將網(wǎng)格技術(shù)上升到無縫的共享基礎(chǔ)設(shè)施。SURAgrid 著重關(guān)注的是對大量分布式能力的直接訪問，從而用于研究和教育社區(qū)。SURAgrid 促進了以下領(lǐng)域的開發(fā)：所貢獻的資源、項目特有的工具和環(huán)境、高度專門化訪問、通往國家和國際的網(wǎng)絡(luò)基礎(chǔ)設(shè)施網(wǎng)關(guān)。
- Texas Internet Grid for Research and Education
- Texas Internet Grid for Research and Education （TIGRE）項目的使命是將整個得克薩斯州的計算系統(tǒng)、存儲系統(tǒng)、數(shù)據(jù)庫、可視化實驗和顯示以及儀器和傳感設(shè)備整合在一起，創(chuàng)建一個計算網(wǎng)格。通過集成強大的計算能力，為得克薩斯州在學(xué)術(shù)、政府以及工業(yè)界的研究人員提供增強的計算能力，TIGRE 希望能夠?qū)ι镝t(yī)學(xué)、能源和環(huán)境、航空宇宙、材料科學(xué)、農(nóng)業(yè)和信息技術(shù)的進步提供幫助。
開源網(wǎng)格項目
這些網(wǎng)格項目覆蓋了很多領(lǐng)域，包括網(wǎng)格基礎(chǔ)設(shè)施工具包、中間件工具包、數(shù)據(jù)工具、安全等。下面給出了一些迅速發(fā)展的網(wǎng)格項目和工具。經(jīng)常訪問這些站點可以了解有關(guān)它們領(lǐng)導(dǎo)網(wǎng)格技術(shù)不斷發(fā)展的最新消息。
網(wǎng)格基礎(chǔ)設(shè)施項目
幫助建立自己網(wǎng)格的開源網(wǎng)格基礎(chǔ)設(shè)施項目。
- Berkeley Open Infrastructure for Network Computing
- Berkeley Open Infrastructure for Network Computing （BOINC）是項目使用的一個軟件平臺，例如 distributed.net 和 SETI@home，它使用了數(shù)百萬臺志愿者計算機組成一個并行的超級計算機。可以獲得該平臺的源代碼，并且鼓勵感興趣的 C++ 開發(fā)人員幫助開發(fā)平臺代碼。BOINC 目前可以支持 Windows®、Linux®、UNIX® 和 Mac OS X。 CPU 平臺的需求可能在使用 BOINC 的項目客戶機之間會有所不同。
- Uniform Interface to Computing Resources
- Uniform Interface to Computing Resources（UNICORE）提供了一個可隨時運行的網(wǎng)格系統(tǒng)，包括客戶機和服務(wù)器軟件。UNICORE 讓分布的計算和數(shù)據(jù)資源在內(nèi)部網(wǎng)和互聯(lián)網(wǎng)上以一種無縫的安全方式使用。UNICORE 設(shè)計的重點是幾個核心原則：無縫訪問異構(gòu)環(huán)境、安全性、站點自治、易于使用的強大的 GUI 客戶機，以及可以進行簡單安裝的快速啟動包。
網(wǎng)格中間件項目
以下項目已經(jīng)為美國和國際項目提供了一些高級工具，可以簡化訪問大量網(wǎng)格功能，例如計算、可視化和存儲資源。您可以與不同的網(wǎng)格進行交互，或者為自己的網(wǎng)格進行定制。
- gLite
- gLite 是網(wǎng)格計算使用的下一代中間件，它誕生于 12 個學(xué)術(shù)機構(gòu)和行業(yè)研究中心的 80 多個工作人員的聯(lián)合努力，是 EGEE 項目的一部分。gLite 充分利用分布在 Internet 上的計算和存儲資源，為構(gòu)建網(wǎng)格應(yīng)用程序提供了一個最佳框架。
- National Research Grid Initiative
- National Research Grid Initiative（NAREGI）位于日本，它著重于網(wǎng)格中間件的研究和開發(fā)，為廣泛分布的、高級研究和教育目的實現(xiàn)大規(guī)模的計算環(huán)境。
- Ninf-G
- Ninf 也是日本的一個項目，正在開發(fā)編程中間件，使用戶能夠通過一個簡單易用的接口來訪問各種資源，例如網(wǎng)格中的硬件、軟件和科學(xué)數(shù)據(jù)。Ninf-G 是一個開源軟件，支持開發(fā)和執(zhí)行分布式計算資源中使用 Grid Remote Procedure Call（GridRPC）的啟用網(wǎng)格的應(yīng)用程序。
- NorduGrid
- NorduGrid 中間件，也稱為 Advanced Resource Connector（ARC），是一個按照 GPL 許可發(fā)布的開源軟件解決方案，可以實現(xiàn)保證產(chǎn)品質(zhì)量的計算和數(shù)據(jù)網(wǎng)格。ARC 為基本網(wǎng)格服務(wù)提供了一個可靠實現(xiàn)，例如信息服務(wù)、資源查找和監(jiān)視、作業(yè)提交和管理、代理和數(shù)據(jù)管理，以及資源管理。大部分服務(wù)都是通過 GSI 的安全層提供的。中間件是在諸如 OpenLDAP、OpenSSL、SASL 和 Globus Toolkit（GT）之類的開源解決方案基礎(chǔ)上構(gòu)建的。
- OGSA-DAI
- OGSA-DAI 項目著重關(guān)注的是中間件的開發(fā)，從而有助于對網(wǎng)格中不同來源的數(shù)據(jù)進行訪問和集成。這個項目與 Globus、OMII-Europe、NextGRID、SIMDAT 和 BEinGRID 緊密協(xié)作，確保 OGSA-DAI 軟件可以在各種網(wǎng)格環(huán)境中很好地工作。
- ProActive
- ProActive 是 Java™ 網(wǎng)格中間件庫（其開源代碼具有 LGPL 許可），可用于進行并行、分布式和多線程計算。通過采用一個簡單元語的精簡集，ProActive 提供了一個詳盡的 API 來簡化網(wǎng)格計算應(yīng)用程序的編程，這些程序均分布在 LAN、工作站集群和 Internet 網(wǎng)格中。
安全項目
為了保護重要的基礎(chǔ)設(shè)施和信息，安全性需求一直以來都隨網(wǎng)格計算的發(fā)展而演變。這些項目代表了一些網(wǎng)格安全解決方案的一些最先進的安全標(biāo)準(zhǔn)和實現(xiàn)。
- GridShib
- GridShib 是在 NCSA 和 University of Chicago 之間開展的由 NFS 創(chuàng)建的項目，用來將聯(lián)合授權(quán)基礎(chǔ)設(shè)施（Shibboleth）與網(wǎng)格技術(shù)（Globus Toolkit）進行集成，從而為分布的科學(xué)社區(qū)提供基于屬性的授權(quán)。
- Grid User Management System
- Grid User Management System（GUMS）是一個網(wǎng)格身份映射服務(wù)（Grid Identity Mapping Service）。當(dāng)站點資源不使用本地網(wǎng)格憑證，而是使用一種不同的機制來標(biāo)識用戶時（例如 UNIX 帳號或 Kerberos 準(zhǔn)則），就需要使用身份映射。
- PRIvilege Management and Authorization
- PRIvilege Management and Authorization（PRIMA）是一個提供增強的網(wǎng)格安全的系統(tǒng)。PRIMA 是一個全面的網(wǎng)格安全模型和系統(tǒng)。在 PRIMA 中，特權(quán)是一種與平臺無關(guān)的、細粒度權(quán)限的自包含表示。PRIMA 通過從資源內(nèi)部表示來具體化對資源對象的細粒度訪問權(quán)限實現(xiàn)了特權(quán)的平臺無關(guān)性。
資源管理和調(diào)度
網(wǎng)格的一個基本部分就是在資源之間管理和調(diào)度作業(yè)。下面這些項目展示了有關(guān)的一些策略。
- Community Scheduler Framework
- Community Scheduler Framework（CSF）是一個基于 OGSA 的元調(diào)度器的開源實現(xiàn)。它可以支持最新的 WS-Agreement 規(guī)范和 Globus Toolkit 的 GRAM 服務(wù)。CSF 填補了現(xiàn)有資源管理現(xiàn)狀的不足，并集成了 Platform LSF 和 Platform Multicluster。CSF 開源項目已經(jīng)包括到了 Globus Toolkit V4.0 發(fā)行版中。
- Special Priority and Urgent Computing Environment
- 高性能建模和仿真在決策制定和預(yù)測方面起到了推動作用。對于時間關(guān)鍵型的應(yīng)急應(yīng)用程序，例如災(zāi)害天氣預(yù)報、洪水建模、流感建模，任何延時會使結(jié)果變得毫無用處。這需要使用專用的基礎(chǔ)設(shè)施快速、自動而且可靠地提供計算資源。Special Priority and Urgent Computing Environment（SPRUCE）是一個用來在傳統(tǒng)超級計算機和分布式網(wǎng)格上支持緊急或事件驅(qū)動計算的系統(tǒng)。
網(wǎng)格資源監(jiān)視
對資源和應(yīng)用程序的監(jiān)視是網(wǎng)格成功的關(guān)鍵。通過一個簡單易用的接口，這些復(fù)雜工具可以幫助用戶搜集、分類和監(jiān)視各種類型的資源。另外，系統(tǒng)管理員還可以監(jiān)視網(wǎng)格的健康狀況。這些不斷發(fā)展的網(wǎng)格項目列出了幾個開源選擇。
- GridCat
- GridCat 是一個在地理圖上使用狀態(tài)點以及編目的高級網(wǎng)格編目系統(tǒng)。這個圖可以幫助調(diào)試站點問題。編目中包含了有關(guān)站點的準(zhǔn)備信息，以及每個站點的很多其他有價值的信息，幫助應(yīng)用程序用戶和網(wǎng)格調(diào)度器開發(fā)人員進行作業(yè)提交和作業(yè)調(diào)度。GridCat 嘗試在其最簡單的狀態(tài)表示中表示網(wǎng)格站點。
- Gridscape II
- Gridscape II 是一個定制的門戶組件，可以在其自身的網(wǎng)格門戶中使用，也可以插入到現(xiàn)有網(wǎng)格門戶中。Gridscape II 負責(zé)從各種異構(gòu)和分布式資源中搜集信息，并在單個界面中無縫地將它們呈現(xiàn)出來。它充分利用了 Google Maps API 來提供一個高交互性的用戶界面。Gridscape II 非常簡單易用，為那些不希望大量投資以從頭開始開發(fā)自己的監(jiān)視門戶的用戶提供了一個解決方案，也為那些希望簡化定制內(nèi)容的用戶提供了一種解決方案。
存儲和數(shù)據(jù)管理
從開源高性能文件系統(tǒng)到無縫地訪問異構(gòu)環(huán)境中的數(shù)據(jù)，以下項目集合了各種存儲和數(shù)據(jù)管理解決方案并進行了優(yōu)化。這種趨勢強調(diào)的是資源之間的數(shù)據(jù)存儲、管理和移動，以及通過網(wǎng)絡(luò)對數(shù)據(jù)資源的連接。
- Lustre
- Lustre File System，這是一個來自 Cluster File Systems Inc. 的高性能開源文件系統(tǒng)，它是一個分布式文件系統(tǒng)，消除了很多傳統(tǒng)分布式文件系統(tǒng)中存在的性能、可用性和可伸縮性問題。Lustre 是一個高度模塊化的下一代存儲架構(gòu)，它將現(xiàn)有的開放標(biāo)準(zhǔn)、Linux 操作系統(tǒng)和創(chuàng)新協(xié)議組合成一種可靠的、網(wǎng)絡(luò)中立的數(shù)據(jù)存儲和檢索解決方案。通過在集群和數(shù)據(jù)共享環(huán)境中提供高 I/O 吞吐量，Lustre 還提供了與物理存儲上的數(shù)據(jù)位置無關(guān)的獨立性，防止單點失效，并且可以從集群的重新配置和服務(wù)器或網(wǎng)絡(luò)故障中快速恢復(fù)。
- NeST
- NeST 是一個軟件網(wǎng)絡(luò)存儲設(shè)備，為特定時間段提供了安全的存儲分配。分配單元或份額（lot）的大小和持續(xù)時間可以在 NeST 和用戶或應(yīng)用程序之間進行協(xié)商。這些份額的大小也可以擴充，時間可以擴展，或者劃分成不同的層次。另外，NeST 還為份額和文件訪問提供了訪問控制列表。NeST 提供了多種協(xié)議接口，包括內(nèi)部使用的 Chirp、HTTP 和 GSI-FTP。
- SAMGrid
- SAMGrid 是一個通用數(shù)據(jù)處理系統(tǒng)，它被設(shè)計為用來測試大量數(shù)據(jù)（PB 級）集和廣泛分布的產(chǎn)品和分析工具的一個關(guān)鍵設(shè)備。當(dāng)前產(chǎn)品的組件提供了大量的服務(wù)，可用于分布式系統(tǒng)中的數(shù)據(jù)傳輸、數(shù)據(jù)存儲和進程記錄。
- UberFTP
- UberFTP 是在 GridFTP 基礎(chǔ)上構(gòu)建的，它是第一個啟用 GridFTP 的交互式 FTP 客戶機。基本的 GridFTP 客戶機不是可交互式的，它一次只允許傳輸一個文件。UberFTP 提供了交互式工具，工作方式與流行的 NCFTP 工具類似。它支持 GSI 認證、并行數(shù)據(jù)通道以及第三方傳輸功能。
結(jié)束語
網(wǎng)格計算是最令人興奮的技術(shù)之一，它在很大程度上影響了我們解決復(fù)雜問題和共享各種資源的方式。除了癌癥和物理學(xué)之外，它對于安全和認證、查找、監(jiān)視、信息服務(wù)、數(shù)據(jù)管理、資源管理和調(diào)度也有重大影響。
參考資料
學(xué)習(xí)
獲得產(chǎn)品和技術(shù)
- 請下載 IBM 產(chǎn)品評測版，嘗試使用來自 DB2®、Lotus®、Rational®、Tivoli® 和 WebSphere® 的應(yīng)用程序開發(fā)工具和中間件產(chǎn)品。
- 使用 IBM 試用軟件 改進您的下一個開源開發(fā)項目，這些軟件可以從 developerWorks 下載或從 DVD 獲得。
討論
關(guān)于作者
 |
|
|
|
Edna Nerona 是 Legacy Studios，Inc. 的所有人，這是一家位于 San Diego 的創(chuàng)新服務(wù)公司。她擁有 San Diego State University 的新聞學(xué)學(xué)士學(xué)位，曾經(jīng)在 San Diego Supercomputer Center 和 Entropia，Inc. 工作過。她還是 Toastmasters International 的一名多才多藝的發(fā)言人。
|
來自: http://www.ibm.com/developerworks/cn/grid/gr-gridorgs/