HOME

Page 1 of 55: 1 2 3 4 5 6 7 8 9 10 11 »

May 06, 2008




fs.default.name
hdfs://localhost:54310
プライマリNameNodeを設定


mapred.job.tracker
localhost:54311
JobTrackerを設定


dfs.replication
1
DataNodeはlocalhostのみなので、レプリケーション数は1





root@ip-10-251-75-143:/usr/local# hadoop/bin/hadoop namenode -format
root@ip-10-251-75-143:/usr/local# hadoop/bin/start-all.sh
root@ip-10-251-75-143:/usr/local/hadoop# chown hadoop:hadoop logs
root@ip-10-251-75-143:/usr/local/hadoop# chmod 755 logs


bin/hadoop namenode -format
07/09/21 12:00:25 INFO dfs.NameNode: STARTUP_MSG:
/***********************************************************
STARTUP_MSG: Starting NameNode
STARTUP_MSG: host = ubuntu/127.0.0.1 ← この値をconf/site.xmlに書くこと!
STARTUP_MSG: args = [-format]


root@ip-10-251-75-143:/usr/local/hadoop# aptitude install git-core







ip-10-251-75-143.ec2.internal
10.251.75.143

cmake -DCMAKE_INSTALL_PREFIX=/usr/local/hypertable -DCMAKE_BUILD_TYPE="Debug" ~/src/hypertable
boost






libboost-test1.34.1 libboost-regex1.34.1 libboost-wave1.34.1 libboost-thread-dev libboost-graph-dev libboost-date-time-dev libboost-program-options1.34.1 libboost-dbg libboost-iostreams-dev libboost-dev libboost-doc boost-build libboost-filesystem-dev libboost-thread1.34.1 libboost-serialization1.34.1 libboost-date-time1.34.1 libboost-test-dev libboost-wave-dev libboost-serialization-dev libboost-signals-dev libboost-signals1.34.1 libboost-graph1.34.1 libboost-iostreams1.34.1 libboost-regex-dev libboost-python-dev libboost-filesystem1.34.1 libboost-python1.34.1 libboost-program-options-dev




root@ip-10-251-75-143:/usr/local/hypertable# vi /etc/fstab
root@ip-10-251-75-143:/usr/local/hypertable# mount -o remount /
root@ip-10-251-75-143:/usr/local/hypertable#


/dev/hda3 /usr/local/hypertable ext3 defaults,user_xattr 1 2


reboot したらいけた。

hadoop@ip-10-251-75-143:/usr/local/hypertable/0.9.0.5$ bin/start-all-servers.sh local
Successfully started DFSBroker (local)
Successfully started Hyperspace
Successfully started Hypertable.Master




BOOST_INCLUDE_DIR=/home/hadoop/boost/boost_1_35_0
BOOST_THREAD_LIB=/home/hadoop/boost/boost_1_35_0/libs
HYPERTABLE_INSTALL_DIR=/home/hadoop/hypertable/hypertable


yum install boost*
boost boost-devel
cp: cannot create regular file `/usr/include/attr/xattr.h': No such file or directory


--------------------

aptitude install java-package java-common fakeroot

http://wiki.apache.org/hadoop/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29?highlight=%28%28GettingStartedWithHadoop%29%29


hypertableの関係があるのでvevrsionは固定
http://mirrors.sirium.net/pub/apache/lucene/hadoop/hadoop-0.14.4/hadoop-0.14.4.tar.gz


export JAVA_HOME=/usr/lib/jvm/java-1.5.0-sun


http://d.hatena.ne.jp/pcmaster/20080210/1202661431

http://d.hatena.ne.jp/webrecdotjp/20071214

Posted at 02:13 | WriteBacks ()
viewed times

May 05, 2008



Hbaseのテスト
ami-381df851
を使えば全部入りで簡単。

Posted at 15:20 | WriteBacks ()
viewed times

May 03, 2008

メモ 言葉


=ポールグレアム
  Beating the Averages : 平均的なやつらをぶったたけ

9歳くらいの時、私はフレデリック・フォーサイスの『ジャッカルの日』を読んだ。 主人公はフランスの大統領を殺すために雇われた暗殺者だ。 彼は大統領の通る道を見下ろすアパートに登るために警官の警備網を 抜けなければならなかったのだが、松葉杖をついた老人の格好をするだけで、 やすやすと警官の前を疑われずに通り抜けたのだ。

勘の良い人は、ここに何かの関係があるんじゃないかと思い始めるだろう。 私達のコードの大きな部分は、他の言語を使ったらものすごく難しいようなことをやっていた。 出来上がったソフトウェアは、ライバルのソフトウェアには出来ないようなことが出来た。 恐らくこれには関係があるんだ。このことを深く考えてみてほしい。 あの老人が杖をついていたということには、目に見えること以上に深い意味があるんだ。

そして、ちょっと恥をしのんで告白すると、私達がViawebを作っている間、 私はLispについて一切公言しなかった。プレス発表でも言わなかったし、 私達のWebサイトで "Lisp" を検索しても見つかるのは私の書いたLispに関する 2冊の書物のタイトルだけだ。これは偶然そうなったわけじゃない。 ベンチャー企業はライバルになるべく情報を漏らさないものだ。 もしライバルが、私達のソフトが何で書かれているか知らないのなら、 あるいは気にしないのなら、私はそれをそのままにしておきたかった [注2]。




=me
  そして彼は、そのための道具をつくった。

道具がすでにあるのなら、それを使えばいい。理解する必要は無い。ナウシカをみろ。必要なのは王虫の大群を止めることでエンジンの仕組みを理解することではない。理解はそれが得意な人に任せればいい。透過的であればそれが可能だ。考慮しなきゃいけない、言語外があるならそれはフレームワークが未完成なのが問題だ。

Posted at 11:19 | WriteBacks ()
viewed times


Page 1 of 55: 1 2 3 4 5 6 7 8 9 10 11 »