日常のサービス運用で発生するユーザーのアクセス記録やサーバーログをリアルタイムで分析し、サービス開発や運用の指針とすることが一般的になってきています。私の所属するチームでも、この流れをうけてログの収集・分析を行いサービス改善に役立てる取り組みを始めました。
本セッションでは、flume を使ったログ収集、elasticsearch と kibana によるリアルタイムでの可視化、Hadoop での過去データの集約・分析、Rの機械学習ライブラリを使った異常検知の話など、これまでのチーム内での取り組みを実体験を交えつつお話ししたいと思います。
石原 翔真 [インターネットイニシアティブ]
株式会社インターネットイニシアティブ
プラットフォーム本部プラットフォームサービス2部分散システム技術課
2014年にIIJに入社後、クラウドストレージサービスのチームで開発・運用に携わっています。最近は主に運用まわりを担当しており、Chef や Jenkins を活用した運用作業の自動化、ログデータを使ったサービス運用状況の可視化などに取り組んでいます。過去にはプログラミングコンテストによく参加していましたが、最近はご無沙汰です。TopCoder の現在のレーティングは青です。