Home / 社長ブログ

Yahoo!がオープンソースのHadoopで得た物とは？

2011.01.29 7:14 pm

OSSラボ株式会社

Tags: OSS , hadoop , yahoo

企業にとって、開発したソフトウェアをオープンソース化するメリットは何処にあるでしょうか？例えば、米国Yahoo!は、過去５年間にわたって分散処理基盤ソフトのHadoopの開発に１００人以上の技術者が携わり、累計３００人年を投資しています。Hadoopの元となったGoogleのBigTableはオープンソースにしていないのに、Yahoo!がHadoopの開発を始めた時、彼らはなぜオープンソース化を選択したのでしょうか？３０億円の投資に見合ったリターンはあったのでしょうか？

HadoopはApache Luceneの派生プロジェクトから始まったためオープンソース化を選択したのは自然だとも言えますが、Yahoo!の社内システムとして開発するものはクローズドにする選択肢もあったはずです。実際日本の多くの企業では未だにオープンソースを使ってもコードを公開しないでいるところが殆どでしょう。

米国Yahoo! Developer Networkのblogにその答えが掲載されていたので、簡単に紹介したいと思います。

「明白なのは、Hadoopの元となったソフトウェアがYahoo!の最大の競合であるGoogleが開発した物であり、この技術によって競争上アドバンテージを得られる物ではないということです。そしてYahoo!はクローズドな開発ではなくオープンソース化する事によって、以下のようなメリットを期待し、いくつかは期待以上の物をもたらしました。中でも全く予想外だったのは、MicrosoftやGoogleがHadoopを使い始めた事です。

１．ワールドクラス技術者（原文はScientist、つまり単なる開発者ではなくコンピュータ科学の博士号をもった技術者でしょうか）の獲得：雇いたいと思う優秀なHadoop技術者は、Yahoo!にビッグデータプラットフォームがある事を知っています。今日Yahoo!では４万台以上のサーバー（＞３０万コア）でHadoopが稼働しており、千人以上のユーザーが、検索・広告・スパム検知・パーソナライゼーションなどの研究に使用しています。これらは多くの売上増加をもたらす商品開発のキーとなっています。

２．オープンソースの厳正な開発プロセスによって、より良いコードとツールのエコシステムを生み出す：開発コミュニティの拡大によって、自社内で開発できなかったHBaseやHiveなどのツールが使えるようになり、ビッグデータ分析と管理のオープンスタンダードとなりました。

３．容易なHadoop開発者へのアクセスと協同：今では日常的にHadoop経験者を採用しており、また多くのパートナーはHadoopを使用しています。先日Yahoo!はHadoop技術ベースのスタートアップ企業（dappers.net）を買収しましたが、これはオープン戦略が正しかった証左とも言えるでしょう。

４．陳腐化の回避：クロースドな開発をして、いつ新たなスタンダードに乗り換えるのか考えるより、Hadoopがスタンダードになる事を見守っているだけです。Yahoo!が投資しなくても、IBMやAmazonなど主なエンタープライズプレイヤーがHadoopをサポートしており、様々なツールが提供されています。

５．正しい行為による信用：毎年開催しているHadoop Summitや各地で開催されているHUG (Hadoop User Group）の参加者数、またPowered by Hadoopページに掲載されるユーザー数などの急増をみると、既にHadoopはあらゆるところで想像もしていなかった形で使われ始めている事が分かります。」

興味深いのは、このblogを書いているプロジェクトを率いたソフトウェアエンジニアリング責任者のEric Baldeschwielerは、2006 年にYahoo!に買収された検索エンジン開発のInktomiの技術リーダーであり、クローズドな技術を売ろうとして上手く行かなかった経験者である事です。

また、マイクロソフトが2008年にYahoo!を買収しようとして断念した直後、Hadoopを元にした検索エンジン技術のPowersetを買収してBeingに取り込んでいることを考えると、Hadoopの技術者がマイクロソフトの欲しかった物のうちの一つだったのでしょう。しかしOracleのSUN/MySQL買収の結果を見てもわかるように、マイクロソフトが買収に成功していたとしても、Hadoopがオープンソースである限りマイクロソフトの自由にはならないし、肝心な開発者は逃げ出してしまう結果になるのは明らかなので、断念したのかもしれません。

そのように考えると、上記のようなメリットだけでなく、Yahoo!をマイクロソフトの買収から守ったのがHadoopのオープンソース化だとしたら、３０億円の投資は安いといえますね。

コメントを投稿する

タグ

保管

5月 2012