Navigation index next | fluentd 0.10.8 documentation » Table Of Contents Welcome to Fluentd’s documentation! Plugins Discussion Powered By Screencasts RDoc Indices and tables Next topic Overview This... matome.naver.jp

• コンピュータ・IT
• 2012/05/19
• ブックマークに追加

Fluentd Casual セッション内容がほぼ出揃いました。来週 5/18(金) 19:00〜 ですよ！ http://t.co/RZCPxyjz 130人まで増枠されてます。都合悪くなった人はキャンセルをお願いします #fluentdcasual... togetter.com

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

20120330/1333077746• Important Metrics.... > queue depth, # of concurrent users, # of sql queries, # of slow queries, etc. 3) Error Log Collection# waf.rb App Fluentd MongoDBbegin WAF app.run ERROR!rescue =>... www.slideshare.net

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

Fluentd Casual Talks LT #fluentd #fluentdcasual — Presentation Transcript FluentdとRedisではじめるカジュアルで リアルタイムなレコメンデーション GMO Media, Inc. Business Promotion Office System Architect Hitoshi Asai WORK ... www.slideshare.net

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

つらつらとカジュアルな話でしたが、聞いて頂いた皆様ありがとうございました！！資料は一応上げておきます！Fluentd casual View more presentations from oranie 　会場を用意してくれたDeNAさん（@riywo++）、そして主催者のid:tagoorisさん、そして改めてですが話を聞いて頂いた皆様ありがとうございました！みんなもfluentd使って... d:id:oranie

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

... dl.dropbox.com

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

... dl.dropbox.com

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

第2特集「[Fluentdで実現!] 大規模データのログ収集＆活用」の第4章「Fluentdの導入と活用の実際」を @kazeburo さんと共著で書きました。たぶん世界初のFluentdに関する活字記事です。Software Design (ソフトウェア デザイン) 2012年 06月号 [雑誌]posted with amazlet at 12.05.18 技術評論社 (2012-05-18... d:id:tagomoris

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

fluentdの特集記事がのっているというSDが明日発売。 よく考えたらAmazonLinuxでさわったことがなかったので、インストール最小手をさがしてみようということで。 sudo yum install ruby19 ruby19-develsudo yum remove ruby sudo gem1.9 install fluentd (略) Successfully installed ... debiancdn.wordpress.com

• コンピュータ・IT
• 2012/05/18
• ブックマークに追加

ArangoDBに嵌まっている中川です． 今月18日に発売されるSoftware Design 6月号にFluentd特集があり，記事を寄稿しました(下の画像はAmazonリンク)． 特集の構成は，作者である古橋君の「Fluentdとは何ぞや？」から始まり，NHNやCOOKPADというFluentdを既に本番投入しているサイトの事例紹介，最後に私が担当したプラグインの書き方について，という流れ... research.preferred.jp

• コンピュータ・IT
• 2012/05/11
• ブックマークに追加

サービスを提供できるようになるからです。本特集では注目を浴びるメニーコアCPU，InfiniBand，Fusion-ioのioDrive，SSD-RAIDといった高速化技術とデバイスを紹介します。 第2特集 ユーザの行動解析できてますか？ Fluentdで実現！ 大規模データのログ収集＆活用 Hadoopの登場以来，大規模データの処理基盤が充実し，Webサービスにおいてユーザの行動を解析したり，購買... gihyo.jp

• コンピュータ・IT
• 2012/05/10
• ブックマークに追加

railsのアクセスログは、とても機械的に解析しづらく、運用するにはあまりよろしくない。そこで、Rack::CommonLoggerを使ってアクセスログを別途とったりしようとしていたのですが、(一般的にはNew Rericとかをつかうのが普通なんでしょうか?)ログのローテーションとか考え出すと、あまり良い方法が思いつかない、という関係で、 syslogへ投げる fluentdへ投げるという... d:id:walf443

• コンピュータ・IT
• 2012/05/10
• ブックマークに追加

このエントリは以下の記事およびFluentdの現状を受けてのものであり、Fluentdの実装についての知識を前提とします。Fluentd v0.11 の設計案 — Gistまた言うまでもないことですが、自分の使いかただったらこうだといいなー、という程度のものであり、それ以上の意味もそれ以下の意味もありません。では順にいってみよう。 内部ルーティングラベルの導入 実際にはこれだけでは問題は解決し... tagomoris.hatenablog.com

• コンピュータ・IT
• 2012/05/09
• ブックマークに追加

Fluentd v11 設計案 コンセプト 柔軟性向上 予想以上に複雑な使い方をしているケースが多かったので、設定ファイルも複雑化して対応する remove_tag_prefix とか add_tag_prefix の乱立をなんとかする 信頼性の向上 リトライしてもしょうがないエラーと、そうでないエラーを区別する エラー処理を非同期化する listenしているソケットを閉じずに再起動できるように... gist.github.com

• コンピュータ・IT
• 2012/05/09
• ブックマークに追加

Tweet The story of an engineer. Here is an anecdote. I am sure some of you have had a similar experience. Alex, an engineer, logs all kinds of events. Since he is the primary consumer of the log, the format is optimized for human-readability. One canonical example is Apache logs: 10.0.1.22 - - [15/Oct/2010:11:46:46 -0700] “GET /favicon.ico HTTP/1.1” 404… 10.0.1.22 - - [15/Oct/2010:11:46:58 -0700] “GET / HTTP/1.1” 200… This looks great. Time stamp, URL, HTTP status code…each line gives Alex a lot of information to work with if the service is having issues. Bob, a business analyst, asks Alex for the number of daily unique users. Alex writes a parser for the Apache log and crontabs the script. He also builds a little Web interface so that his colleague can query the parsed data on his own. Bob finds the interface super useful. Bob comes back a few weeks later and complains that the web interface is broken. Alex scratches his head and takes a look at the logs, only to realize that someone added an extra field in each line, breaking his custom parser. He pushes the change and tells Bob that everything is okay again. Instead of writing a new feature, Alex has to go back and has to fill back the missing data. Every 3 weeks or so, repeat Step 3. What’s wrong with this? The takeaway lesson of the above story is twofold: (1) logs are not just for humans to read and (2) logs change. (1) Logs are not just for humans. As Paul Querna points out, the primary consumer of logs are shifting from humans to computers. This means log formats should have a well-defined structure that can be parsed easily and robustly. (2) Logs change. If the logs never changed, writing a custom parser might not be too terrible. The engineer would write it once and be done. But in reality, logs change. Every time you add a feature, you start logging more data, and as you add more data, the printf-style format inevitably changes. This implies that the custom parser has to be updated constantly, consuming valuable development time. Enter JSON! Here is a suggestion: Start logging your data as JSON. JSON has a couple of advantages over other “structures”. Widely adopted. Most engineers know what JSON is, and there is a JSON library for every language imaginable. This means there is little overhead to parse logs. Readable. Readability counts because engineers have to jump in and read the logs if there is a problem. JSON is text-based (as opposed to binary-based) and its format is a subset of JavaScript object literal (which most engineers are familiar with). In fact, [properly formatted JSON]((http://blog.nodejs.org/2012/03/28/service-logging-in-json-with-bunyan/) is easier to read than logs formatted in ad hoc ways. Example of JSON-based Logging: Fluentd We’ve already talked about Fluentd in this blog, so I won’t bother you with the details. It’s a logging daemon that can talk to a variety of services (ex: MongoDB, Scribe, etc.) One of the key features of Fluentd is that everything is logged as JSON. Here is a little code snippet that logs data to Fluentd from Ruby. require ‘fluent-logger’ # some code in between log = Fluent::Logger::FluentLogger.new(nil, :host => ‘localhost’, :port=>24224) log.post(‘myapp.access’, {“user-agent” => user_agent}) Now, suppose you wanted to start logging the referrer URL in addition to user agent. You just need to update the Ruby hash that corresponds to JSON. require ‘fluent-logger’ # some code in between log = Fluent::Logger::FluentLogger.new(nil, :host => ‘localhost’, :port=>24224) log.post(‘myapp.access’, {“user-agent” => user_agent, ”referrer” => referrer_url}) # Added a field! That’s the only change you need to make. All the existing scripts work as before, since all we did was adding a new field to the existing JSON. In contrast, imagine you were logging the same data in a printf-inspired format. Your code initially looks like this: log = CustomLogger.new #some code in between log.post(“web.access”, “user-agent: #{user_agent} blah blah”) When you decide to log the referrer URL, you update it to: log = CustomLogger.new #some code in between log.post(“web.access”, “user-agent: #{user_agent} blah blah referrer: #{referrer_url}”) Now, most likely your old parser is broken, and you have to go and update your regex and whatnot. We are biased towards Fluentd... blog.treasure-data.com

• コンピュータ・IT
• 2012/04/27
• ブックマークに追加

ものすごく流行の波に乗り遅れた感がありますがfluentd入れてみました。fluentdとは作者の古橋さんのブログから引用http://d.hatena.ne.jp/viver/20110929/p1--------fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。ただ syslogd とは異なり、ログメッセージに テキストではなく ... d:id:fat47

• コンピュータ・IT
• 2012/04/26
• ブックマークに追加

タイトルそのままfluentd入れてちょっとした判定を行なってデータ数とかをカウントしたり積算するにはfluentd-plugin-datacounterだけでは厳しいので、とりあえずMongoDBにぶち込んで簡単なスクリプトをCactiから呼び出して、カウントさせようと考えた。以下はMongoDBのチュートリアルhttp://api.mongodb.org/ruby/current/file.... d:id:oranie

• コンピュータ・IT
• 2012/04/24
• ブックマークに追加

みなさん初めまして。株式会社クロコス (Crocos, Inc.) の @sotarok です。 2012年度が始まりましたね。新卒の方が入社する会社も多いですし、新年度頑張って行こうムードで非常に良い感じですね！5月病目前の時期ではありますが、張り切ってまいりましょう。 と、いうわけで弊社でも今日から Crocos エンジニアブログを始めたいと思います！ Crocos では、非ゲーム系 Face... engineering.crocos.jp

• コンピュータ・IT
• 2012/04/21
• ブックマークに追加

MySQL Casual Talks Vol.3 : ATND に行ってきた。実際にMySQLを使っている人がどう使っているのか、という話がすごく色々と聞けた、大変面白いイベントだった。主催の @myfinder さん、会場提供していただいた日本オラクルの方々、ほんとうにありがとうございました。で、自分も超LT(1分！)の枠をもらったので、だいぶネタ寄りの方向だけどしゃべってきた。Fluentd... d:id:tagomoris

• コンピュータ・IT
• 2012/04/20
• ブックマークに追加

fluentdのmongoプラグインはメッセージをmongodbに突っ込んでくれる優れたプラグインだ。 さて、これの設定をシンプルにしたいとなると、バックエンドmongodbの環境にに依存しないほうがイイ。 localhostにmongosを立てるのもありだが、すでにあるmongosをHAProxyでバランスするのが弾力性もあって好ましいと言えよう。 mongosをバックエンドにした... shinobra.com

• コンピュータ・IT
• 2012/04/19
• ブックマークに追加