こんにちは。ソフトウェア開発部の九岡です。
弊社ではソーシャルゲームのログ解析を行なっています。
次の案件ではログのETLをリアルタイムに行うためにイベントログ収集ツール『Fluentd』と分散DB『HBase』を利用したいのですが、要件に合うFluentdプラグインが見つからなかったので作ってみました。
Furyu/fluent-plugin-hbase · GitHub
特徴は２点です。
- Fluentdに送信されたイベントログをバッファリングして、一定間隔でまとめてHBaseに書き込む
- イベントログのタグ、タイムスタンプ、JSONのフィールドからHBaseの列ファミリーおよび列へのマッピングをFluentdの設定ファイルで記述できる
非常にシンプルなプラグインですね！
感想
Fluentdプラグインをフルスクラッチで開発したのは今回が初めてですが、プラグインやそのテストのフレームワークが用意されていたおかげで思っていたよりサクサクと開発できました。Fluentdの拡張性の高さを感じます。
また、詰まったときにtwitter上でアドバイスをいただくという、Fluentdコミュニティのヌクモリティを感じる一幕もありました。
最後に
Fluentdにはログ解析を初めて以来ずっとお世話になっています。今回のプラグイン開発のように、こちらからもコミュニティに貢献していければと思います。
Thanks to Fluend & it’s community. Enjoy the Fluentd HBase plugin!
