片貝孝夫の IT最前線 (Biz/Browserの普及をめざして)

Biz/Browserの黎明期からかかわって来ました。Bizを通じて日常を語ります。

USP研究所の當仲さんが10億件のデータのソートを97秒でやる実演をしました。

2012年10月11日 | おもしろソフト
10月10日から、BigDataEXPOが晴海ビッグサイトで開催されていますが、
そこで、ビッグデータ処理をシェルで行う製品を発表し、その場で、
10億件のデータ処理や、100億件のデータベース(テキストファイル)
の更新や検索処理を実演しました。

1サーバー+5パソコンのクラスタで、
10億件ソート=97秒、10億件集計=35秒、などです。
Hadoopのスピードの10倍、コスト1/10 です。
100億件のデータ(世界人口)の検索=1秒です。

そのときの発表資料がこれです。

ビッグデータを格安でハンドリングすることができます。

日本ほど地方色豊かな国はない

2012年10月11日 | アイデアマラソン
日本の地方には、その土地でしか知られていないような食べ物や料理がある。外国では同じ国で地域によっての違いはそれほど無いという。その日本の地域の物産にスポットライトをあてて売れるようにする。そうして日本を元気にしようというのが楽天が大切にしている考え方だそうだ。
これはロングテールの考え方だ。変ったもの、それを必要としている人はめったにいないようなもの、それを売れるようにできるのがインターネットだ。大量生産大量消費の類はインターネット向きではない。
スーパーの魚売り場に並ぶ魚はせいぜい10数種類。しかし食べられる魚は数百種類もあるという。これをロングテールで売れないか?