【17-B-4】 DeNAの機械学習基盤と分析基盤

DeNAでは次世代の事業の柱とすべく、AI技術、特にディープラーニングに力を入れています。1ヶ月の間に5つのプロジェクトが立ち上がることもあり、素早く機械学習基盤を構築、運用する必要があります。また、ディープラーニングでは学習を早く終わらせるために潤沢なGPUが必要となります。DeNAではこれらの課題を解決するためにAWSおよびGCPのクラウドを積極的に活用しています。クラウドの活用方法、比較、機械学習を支援するために構築しているGPUサーバのオンデマンドオートスケールの仕組みについて話します。後半では、DeNAの分析基盤について話します。DeNA では Hadoop (HDFS) をデータレイクとし、Verticaを主軸のクエリ実行環境とした分析基盤を構築していましたが、最近では BigQuery の活用も進めています。HDFSおよびVerticaのデータをBigQueryにロードするために利用しているEmbulkとそのフロントエンドである内製ツールMedjedについて紹介します。また、分析業務の主軸となっている内製ダッシュボードツールArgusについて紹介し、最後に、現在開発中のデータ駆動で分断されたアプリケーション間のワークフロー形成を支援するツールTriglavについて紹介します。TriglavはOSSとして公開する予定です。

瀬尾 直利 [ディー・エヌ・エー]

株式会社ディー・エヌ・エー
AIシステム部 リードエンジニア

日本の大学を卒業後にアメリカの大学院に進学。帰国後にメーカー系企業にて組み込みシステムの開発に携わった後、2012年DeNAに入社しました。サンフランシスコ勤務の後、オープンプラットフォームのインフラ担当を経て、現在はAIシステム部のAnalyticsToolsチームおよびCloudInfraチームでリードエンジニアを担当しています。社外活動としてCRubyおよびFluentdのコミッターを務めています。
http://blog.livedoor.jp/sonots/ sonots