Hadoop/Hbaseをmacにインストールする。

やってみました。Hadoopはver 0.20.2です。

まずはここの通りにHadoopインストール

http://happy-camper.st/lang/java/hadoop/hadoop-on-macosx.html

私も300番台があいていたので、300にしました。
ちなみに多用しているdsclコマンドはDictionary Service Command Line utility。こんなコマンド知りませんでした。
ssh-keygenで鍵を作成するとき、パスフレーズを求められたら空にします。なんかぼーっとしててパスフレーズをいれてしまって、やり直しになった。

つぎにhbaseをインストール

http://happy-camper.st/lang/java/hbase/hbase-on-macosx.html

ただ、これがhbaseが起動しませんorz

2011-02-17 16:48:21,921 FATAL org.apache.hadoop.hbase.master.HMaster: Unhandle
d exception. Starting shutdown.org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.pro
tocol.ClientProtocol version mismatch. (client = 42, server = 41)

こんなエラーがでましたので、ぐるぐるさんに聞いてみました。

http://comments.gmane.org/gmane.comp.java.hadoop.hbase.user/14846


つまり、このマニュアルに書いてある通り、
http://hbase.apache.org/notsoquick.html#hadoop

$HBASE_HOME/libのhadoop.jarを、hadoopクラスタのjarで置き換えてください。

ということで

$ sudo mv /usr/local/hbase/lib/hadoop-core-0.20-append-r1056497.jar /usr/local/hbase/lib/hadoop-core-0.20-append-r1056497.jar.bak
$ sudo cp /usr/local/hadoop/hadoop-0.20.2-core.jar /usr/local/hbase/lib/


これでhttp://localhost:60010/で起動しているところまで確認できました。が。

You are currently running the HMaster without HDFS append support enabled. This may result in data loss. Please see the HBase wiki for details.

どうやら分散状態で1個のノードに障害が発生した場合、データがなくなる可能性があるので、hadoopのjarをdfs.support.append が可能なものにしなければいけないらしい、、が、今はいいか。

運用(バックアップ、リカバリ、監視、もちろん分散も)についてはサービスに導入するときまでは考えておかなきゃなあ。。

が、ここは、アプリ開発に専念します。単体テスト書いて、CIにのせたい。