MapReduce: 大規模クラスタでの簡単なデータ処理 (#318th PTT)

久しぶりにPTTに参加した(#318th PTT (in Japanese))。東大に行くのもチョー久しぶりということもあって根津の坂をのぼるときには感慨めいたものを感じすらした。

今回はGoogleの林芳樹さんがMapReduceの話をしてくれるとあって異様に盛況だった。20人を切ることも稀でないPTTにあって60人以上の参加者。和田英一先生がイニシャルオーダーの話をしてくださった回には及ばないものの、Googleのネームバリューはすごいのね。話の内容はOSDI04のスライドとほぼ同じだったので参加できなかった方は以下を参照のこと。

MapReduce:Simplified Data Processing on Large Clusters

MapReduceフレームワークで気になる点は二つある。

一つはmap操作をiterativeに適用したい場合にはどうするのかということ。もちろん、Reduce関数をid関数にしてMapReduceを繰り返せば済むが非常に効率が悪い。本質的にはMapReduceに加え、単独のMapをフレームワークとして許せばよいと思うのだが。他に副作用のあるMap関数を定義しておいてReduceフェーズをほとんどomitするという方法も考えられるのだが、Mapフェーズが途中で異常終了した場合などにはプログラムが面倒を見る必要が出てくる。もっとも日常的に行うバッチ処理では、あらかじめMap関数を手で合成しておけば実用には堪える。

もう一つはReduceフェーズの負荷分散がrobustでないことだ。システムが処理の多寡を見積もって負荷分散してくれるわけではなく、分散を決定するハッシュを定義(partitioning function)できるだけである。つまりはハッシュ値ごとの負荷が平均的に分散しているという暗黙の前提がある。ハッシュのナイーブさ加減によっては、負荷分散として機能しないというケースも想定される。MapReduceというフレームワーク自体が処理の大半をMapフェーズにfoldingすることを前提にしているのだろうから、仮にReduceの効率が悪くなったとしても構わないと無理矢理納得できないこともないが…。

飲み会はいつもの面々で、いつもの大八。少し酒の入った某さんが割とのっぴきならないことをカミングアウトしてきた。言いたくてしょうがなかっただろうなーと思った(笑)。

第 282 回 PTT のお知らせ

#282nd PTT (in Japanese)

日時:

2002年10月3日 (木) 18:30 から

場所:

東京工業大学大岡山キャンパス西7号館302号室

話者:

小松 弘幸（東工大）

話題:

予測入力方式の拡張

概要:

従来のかな漢字変換方式にかわる新しい日本語入力方式として, POBox などに代表される予測入力方式がある. 予測入力方式とは, 利用者のキー入力から目的の単語をインクリメンタルに予測して, 候補を提示する手法である. 例えば, 「よそ」という利用者の入力から, 予測入力システムは「予想」, 「予測」, 「装い」などの候補を提示する. 現在では, 予測入力方式は携帯電話や PDA などの日本語入力装置として,広く用いられるようになった. しかし予測入力方式は,候補の予測方法, 入力インタフェースにおいてまだ充分洗練されているとは言えない. 本発表では, これらの問題点を解決し予測入力方式の更なる改善を目指した拡張方法について議論する.

第 271 回 PTT のお知らせ

#271st PTT (in Japanese)

日時:

2001年7月19日 (木) 18:30 から

場所:

東京工業大学西8号館W1008

話者:

立堀 道昭（筑波大学）

話題:

レガシーJavaソフトウェアを分散実行するためのバイトコード変換機

概要:

既存の Java バイトコードの機能分散を目的として開発されたシステム、 Addistant を提案する。ここで既存のバイトコードとは、単一のJava 仮想機械（JVM）上で動作するように開発された、通常のバイトコードを意味している。本システムでは、既存の JVM を活用するため、バイトコード変換による手法を用いている。Addistant の利用者は、各クラスのインスタンスを、複数の JVM のうちのどこに配置するかを、実行するプログラムとは別に記述する。 Addistant は その指定に従いバイトコードを変更して、指定された特定の部分が遠隔の JVM 上で動作し、ローカルの JVM 上で動作する残りの部分とネットワークを越しに通信するようにする。例えば、Java Swing ライブラリを用いた既存プログラムを、遠隔地にあるJVM 上で動作させつつ、その GUI オブジェクトを手元にある別の JVM 上で動作させることができる。

第 259 回 PTT のお知らせ

#259th PTT (in Japanese)

日時:

2000年4月20日(木) 18:30 から

場所:

東京工業大学大岡山キャンパス 西8号館 8階コラボレーションルーム(いつもの場所と違います)

話者:

福地健太郎(東工大 情報理工学研究科 数理・計算科学専攻D1)

話題:

複数ポインティング入力システムについて

概要:

複数ポインティング入力デバイス環境の構築と評価をする。一般的なGraphical User Interfaceでは、片手で一つの入力デバイスを用い、画面上のひとつのポインターで様々な操作をする。一方、実世界では両手、あるいは指先を使って同時に複数の操作を並行して行う場面がある。本研究では、複数のポインティング入力デバイスを扱えるような環境を構築し、評価する。左記環境には、複数の操作対象を並行に扱え、また入力デバイスと操作対象の対応を固定できるという特徴がある。これらの特徴が前述のような場面において有効に働く事を詳しく評価した先行研究はない。