駄開発駄メモ 駄開発に関することを。

2016年11月3日

fluent-plugin-genhashvalue

Filed under: プログラム — タグ: , , — m.takemi @ 11:08 PM

fluentdを使って、大量のログをelasticsearchに突っ込む時、
fluent-plugin-elasticsearchがリトライすると、同じ内容のログが重複する事があった。
elasticsearchが、ユニークなID(_id)をを自動生成するので仕方がないっぽいけど、
fluent-plugin-elasticsearch の id_key オプションを使えば重複せずに行けそう。

なので、ログの内容からハッシュ値(*1)を生成するpluginが欲しくて、fluent-plugin-genhashvalue を作ってみました。
(探せばありそうだけど、見つからなかったので)

*1: md5 / sha1 / sha256 / sha512

RubyGems: https://rubygems.org/gems/fluent-plugin-genhashvalue
G
itHub: https://github.com/mtakemi/fluent-plugin-genhashvalue

Powered by WordPress