Apache Sparkを利用したTwitterデータ解析システムの例を紹介します。
Spark Streamingを使ったNHKの「つぶやきビッグデータ」クローンシステムを作りましたので紹介します。
実際に作成したシステムを使って徳島OSC（オープンソースカンファレンス）、広島OSC、島根OSCでは会場に展示してもらい、イベントに関するTwitterの呟きを展示してもらいましたのでその結果なども公表します。その他 Spark MLlibを使用しTwitterの呟きを機械学習にかけてみた結果も共有します。
「Sparkって最近聞くけど何に使えるの？」という疑問を持つ方に当セッションはお薦めします。
野田 純一 [GMOインターネット]
GMOインターネット株式会社
次世代システム研究室 アーキテクト
秋葉原IT戦略研究所
GMOインターネット株式会社 次世代システム研究室 アーキテクト兼 GMOアドパートナーズ株式会社 グループCTO室 アーキテクト大手ソーシャルゲーム企業でのゲームフレームワーク開発などを経て，2014年にGMOインターネット株式会社に入社。 現在はHadoopを使ったアドテク関連開発を主に行っています。（DMPやリコメンドエンジンなど）。 その他、個人的に「秋葉原IT戦略研究所」というコミュニティを立ち上げ、アニメとITの融合を促す活動を行い、オープンソースカンファレンスなどの勉強会で情報発信しています。
