From:Click Here
作者 Scott Delap譯者 Jason Lai? 發(fā)布于 2007年3月29日 上午9時28分
IBM Alphaworks網(wǎng)站發(fā)布了一個新的Eclipse插件，使用開源Java MapReduce框架Hadoop來簡化應(yīng)用程序的開發(fā)。Hadoop框架的產(chǎn)生最初是為了支持Nutch項目。Hadoop包含了一個分布式文件系統(tǒng)以及MapReduce編程結(jié)構(gòu)的一個實現(xiàn)，該實現(xiàn)被Google廣泛用于進行跨集群海量數(shù)據(jù)集的并行處理。今年在Hadoop上所做的集成工作使得在Amazon的EC2平臺上運行Hadoop MapReduce應(yīng)用和使用Amazon的S3平臺進行存儲等更為容易。Amazon Web服務(wù)博客表示：“由于EC2實體和存儲于S3上的數(shù)據(jù)之間的帶寬尚未度量或發(fā)布，這是處理大量數(shù)據(jù)的一種很節(jié)約成本的方式”。
IBM MapReduce插件包含以下功能：
- 允許Java?項目以JAR（Java Archive）文件形式打包并部署到（本地和遠程的）Hadoop服務(wù)器上
- 提供輔助開發(fā)過程的備忘單（Cheat Sheets）
- 增加了一個獨立的Eclipse透視圖（Perspective），以及用于顯示Hadoop服務(wù)器、Hadoop分布式文件系統(tǒng)（DFS）和當(dāng)前任務(wù)狀態(tài)的視圖
- 提供了一些向?qū)В够贛apReduce框架的類的開發(fā)變得更加容易
此外，它還包括了改進的備忘單，并且完全兼容OS X。插件使用SCP和SSH與Hadoop服務(wù)器進行交互，通過HTTP協(xié)議獲取工作狀態(tài)。