カテゴリー トップ 総合 一般 社会 政治・経済 生活・人生 スポーツ・芸能・文化 科学・学問 コンピュータ アニメ・ゲーム おもしろ 動画
はてなブックマーク > NoSQLとしてMySQLを使うDeNAが、memcachedよりも高...

NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 － Publickey

NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 － Publickey モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。Yoshi... > 続きを読む
URL: http://www.publickey1.jp/blog/10/nosqlmysqldenamemcached75.html
『Publickey － Enterprise IT × Cloud Computing × W...』のほかのエントリー
ブログで紹介:
ボタン はてなブックマークボタンを作成 (はてなブックマークボタンが新しくなりました)
リンク コピープレビュー
詳細表示 コピープレビュー
人気 『Publickey － Enterprise ...』の人気エントリーをブログに貼り付け
カテゴリー: コンピュータ・IT
キーワード: MySQL memcached cache DeNA innodb クエリ ベンチマーク
タグ: 468 242 190 140 119 100 80 68 45 20
このエントリーのブックマークを追加・編集
最終更新時間: 2010年10月27日00時14分

ブックマークしているユーザー (747 + 132) RSS

  • 103 RT

    RT表示

  • lettas0726 lettas0726 , すごいじゃないか。 2010/11/19
  • barukichi barukichi mysql 2010/11/16
  • hyoshiok hyoshiok , , 858 2010/11/11
  • miguse miguse NoSQLとしてMySQLを使う？ 2010/11/09
  • kiki114 kiki114 , , MySQLのSQL部分をスキップすることで処理を高速化 2010/11/04
  • tfmagician tfmagician これは使ってみたいよなぁ。ま、今はまったく必要ないが。 2010/11/03
    • masaa_ma @masaa_ma 気になるなあ。 RT @tfmagician: これは使ってみたいよなぁ。ま、今はまったく必要ないが。
  • ucho ucho , , HandlerSocketがちょっぱやという話 2010/11/01
  • mikage014 mikage014 , 「memcachedはすぐれたプロダクトですが、まだ多くの最適化の余地が残っています」 2010/10/31
  • hiro_y hiro_y MySQL+HandlerSocketでmemcached超え。 2010/10/31
  • masaya-chonan masaya-chonan , , 「MySQLのデータベースエンジン（ここではInnoDB）に対して、パースなどを行わず直接アクセスするアプローチが最良」 2010/10/31
  • lanius lanius 「MySQLのデータベースエンジンに対して、パースなどを行わず直接アクセスするアプローチ」。 2010/10/31
  • nekora nekora 一周廻ってDAMの時代ｸﾙｰ 2010/10/29
  • pplaceCEO pplaceCEO 　DeNAにも、こういうことをやっている人がいるということのほうが意外に思えた。 2010/10/29
  • a2ikm a2ikm , , , , , , InnoDBのストレージエンジンを直接叩いて（行と列を指定して）操作する感じなのでSQLは出てこない（MySQLのクライアントを介せば普通に使える） 2010/10/29
  • YasSo YasSo , ほぇー。これはすごいな。 2010/10/29
    • 4416_ @4416_ すげー。 QT @yasso: ほぇー。これはすごいな。
  • youhey youhey , , DeNAではMySQLをNoSQLのように使うことで、NoSQLやMemcachedを使わずに高性能なデータベースを実現している 2010/10/29
  • setamise setamise , 『MySQL/InnoDB 5.1の環境で秒間75万クエリ』InnoDBに直接アクセスするHandlerSocket（MySQLプラグイン）により、memcachedを超えるパフォーマンスを達成。 2010/10/29
  • songe songe ブックマーク数が伸びてるから見てみたら日本語も英語も理解できないｗ 2010/10/28
  • hamasta hamasta MySQLは老兵ではないようです。 2010/10/28
  • ideo ideo , , , NoNoSQL。InnoDbに直接働きかけたりあれやこれやするとMySQLなのに秒間75万クエリが実現したそうです。 2010/10/28
  • bobbyjam99 bobbyjam99 , , "memcachedよりもMySQL＋HandlerSocketの方が高性能" 2010/10/28
  • japanrock japanrock SQL関連のオーバーヘッドをなくし、データベースエンジンに直接アクセスして高速化するアプローチ 2010/10/28
  • matarillo matarillo InnoDBにこだわらなければMySQL Cluster + NDB APIもあるね。リンク先でも言及されてる。 2010/10/28
  • abandoned abandoned , , MySQLのエンジン使ってるけど、やってることはNoSQL、と。すると、あとは実装の優劣の差が性能差に。/他のNoSQLな実装との比較は……自分でやれ、と(苦笑。 2010/10/28
  • mwsoft mwsoft InnoDBに直アクセスで性能7倍以上 2010/10/28
  • ikeikeikeike ikeikeikeike , , , , これはカッコいい。単純にそう思う。 2010/10/28
  • umiyosh umiyosh memcached = ４０万qps, HandlerSocket+MySQL = ７５万qps 2010/10/28
  • Iridium Iridium パーサーを使わないなら自前でデータベースを作っても別に一緒じゃないのか？あと他にどんな処理が必要だっけ？ 2010/10/28
  • makesit makesit MySQLを使うDeNA 2010/10/28
  • silver_arrow silver_arrow SQLを使わず直接InnoDBにアクセス。 2010/10/28
  • tengo1985 tengo1985 StonebrakerはVoltDBのときにSQLは別に遅くなくてロギングやバッファ管理が遅いんだ、みたいなこと言ってたけどどうなのかな？あれもSQLはストアドにしてJavaで書いておくから早いみたいだし同じような話か？ 2010/10/27
  • hiromark hiromark , , これは試してみたいな。 2010/10/27
  • zoom1 zoom1 , 通常のMySQLの機能も使えるのは素晴らしい。ただ、サーバのSSD化が進むと高速化の仕方もまた変わって行きそう #yam 2010/10/27
  • kamm kamm , , ネトゲのサーバとかでめちゃくちゃ使えそう 2010/10/27
  • sakef sakef , MySQLをNoSQLのように使う。 2010/10/27
  • saitoudaitoku saitoudaitoku すげーな「MySQL内部のストレージエンジンAPIを使ってInnoDBに直接アクセスするのだ」 2010/10/27
  • MuneOchi MuneOchi , , , HandlerSocketはMySQLのデーモンプラグインで、アプリケーションからMySQLをNoSQLのように扱えます。HandlerSocket最大の目的は、InnoDBのようなストレージエンジンに対し、SQL関連のオーバーヘッドなしにアクセスすることです。 2010/10/27
  • ys0000 ys0000 クエリ性能がハンパないらしい。 2010/10/27
  • masami75 masami75 NoSQLに皮を被せるのではなく、SQLの皮をむいちゃうという考え方。 2010/10/27
  • uemu uemu 興味深いアプローチ 2010/10/27
  • suikinchikamoku suikinchikamoku , , , nonoSQL 2010/10/27
  • kskmeuk kskmeuk , DQIIIの魔法使いに毒針みたいだ。MySQL にぶすっとハートブレイクショットしたら、memcached よりもはやかったでござるとかすごい。 2010/10/27
  • deep_one deep_one 個人的にはMySQLが本当にRDBなのかをまず疑問に思っているが（笑）／パーサーを飛ばすというとこは、設計段階でシビアな命令を書くことになるんだろうなぁ。 2010/10/27
  • dk19810313 dk19810313 , あとで 2010/10/27
  • nilab nilab HandlerSocket「MySQLのプラグインとして実装し、NoSQLのプロトコル/APIを受け入れ、MySQL内部のストレージエンジンAPIを使ってInnoDBに直接アクセス」NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 － Publickey 2010/10/27
  • taketyan taketyan , , , memcached より速いってどんだけ ... 2010/10/27
  • tshimuran tshimuran DeNAとMySQL。 2010/10/27
    • USTWRAP @USTWRAP 読む　RT @toshiro: DeNAとMySQL。
  • jkobori jkobori , すごいな 2010/10/27
  • ryuzi_kambe ryuzi_kambe 機械語（マシン語）のSQL版みたいなもんか・・・ 2010/10/27
    sessoh
  • atyks atyks NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 － Publickey 2010/10/27
  • Itisango Itisango , , , , , , , , "MySQLのデータベースエンジン（ここではInnoDB）に対して、パースなどを行わず直接アクセスするアプローチが最良だと。" 2010/10/27
  • tksmd tksmd , , MySQL のプラグインで、memcached よりも高速なスループットを DeNA が実現している話のまとめ 2010/10/27
  • Untouchable Untouchable , 物理的なレイヤーについてはMySQLに任せて、そこにNoSQL的にアクセスするようにしてるというわけか 2010/10/27
  • t_ita t_ita , , 「データベースエンジンに対して、パースなどを行わず直接アクセスするアプローチが最良」。Oracleでは絶対不可能なアプローチだな… 2010/10/27
  • kunioya kunioya MyISAM ってかふつうにISAMで実装したらもっと早いな。面倒だけど。 2010/10/27
  • daishin_uehara daishin_uehara HandlerSocketを用いてMySQLのSQLレイヤをすっ飛ばすと、データがオンメモリ状態でNoSQLに負けない速度を叩き出せるという話。 2010/10/27
  • toritaro toritaro NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 2010/10/27
  • fixme fixme ストレージエンジンに直接アクセスすることでオーバヘッドをカット。おもしろい。 2010/10/27
  • ionis ionis , , , SQLのパースをすっ飛ばして、直接アクセスするプラグインを利用しているんだってさ。 2010/10/27
  • otchy210 otchy210 SQL というハンディキャップを持つ中で、最適を追求して作り上げた InnoDB が超高性能だった、という話。NoSQL の実装がまだ最適化しきれてないという事の裏返しかも。 2010/10/27
  • kotaro-ono kotaro-ono mysql パフォーマンス 2010/10/27
  • takimo takimo すごいなー。そこら辺の人が真似したら確実にやばそうなしろものだｗ／飛天御剣流の天翔龍閃的なイメージ。 2010/10/27
  • amayan amayan , , , へぇ 2010/10/27
  • u1tnk u1tnk , memchacedより早いとはな…同じデータがSQLでも触れるのは便利。 2010/10/27
    • tokorom @tokorom たしかにこれには衝撃受けました。アプリサイド寄り技術者のぼくでさえ。 QT @u1tnk: memchacedより早いとはな…。 / MySQLでmemcachedよりも高速な75万クエリ／秒を実現 － Publickey
  • gfx gfx , , 樋口さんすげー！ 2010/10/27
    • i110 @i110 memcachedとの一貫性を気にしないでよくなるメリットはでかいね。“@__gfx__: 樋口さんすげー！
  • dominion525 dominion525 , たしかGoogleでもSQL解析部はスルーして libmysqlを直接叩く、みたいな話を聴いたような気がする。足回りに関してはMySQLの実績を活用できるから。 2010/10/27
  • rhosoi rhosoi , , これは相当普通でないアプローチだわ 2010/10/27
    • digitalcube @digitalcube ！RT @rhosoi これは相当普通でないアプローチだわ
  • satosssi satosssi MySQL のなかなかにキモい使い方 2010/10/27
  • wasai wasai , MySQLでそこまでできるとは… 2010/10/27
    • phantom_jp @phantom_jp これは凄いですね！ RT @wasaist: MySQLでそこまでできるとは…
    hal_chi naohonda
  • maropu maropu , , , MySQLで75万q/s 2010/10/27
  • misshiki misshiki （引用）「DeNAではMySQLをNoSQLのように使うことで、NoSQLやMemcachedを使わずに高性能なデータベースを実現している」 2010/10/27
  • rightgo09 rightgo09 , SQLをパースせずにガチでエンジンにアクセス。変なSQLは絶対入れないってことかな 2010/10/27
  • tiadeen2 tiadeen2 , , 「MySQLのデータベースエンジン（ここではInnoDB）に対して、パースなどを行わず直接アクセスするアプローチが最良」→HandlerSocket。ということらしい。制限事項の「No security」ってなんだろ? 2010/10/27
  • nakunaru nakunaru , handlersocket 2010/10/27
  • hirose504 hirose504 HandlerSocketはMySQLのデーモンプラグインで、アプリケーションからMySQLをNoSQLのように扱える/ストレージエンジンに対し、SQL関連のオーバーヘッドなしにアクセス/HandlerSocketを用いたMySQLはmemcachedよりも178％も高速 2010/10/27
  • willnet willnet すごいな 2010/10/27
  • girled girled , , , さすがにこんなに高度なシステムが必要なサービス作るなんて想像つかないけど（それがモバゲーなんだろうけどｗ）、ちょっと触ってみたいはみたいなあ。「システムの制約的にそんな仕様では作れません」って言えない 2010/10/27
  • sahiro316 sahiro316 , , MySQLのエンジン使ってるけど、やってることはNoSQL、と。すると、あとは実装の優劣の差が性能差に。/他のNoSQLな実装との比較は……自分でやれ、と(苦笑。 2010/10/27
    • kagerou_ts @kagerou_ts なるほどKVSとSQL、両方の経路でアクセスできるということならすげーなこれ RT @sahiro MySQLのエンジン使ってるけど、やってることはNoSQL、と。すると、あとは実装の優劣の差が性能差に。/他のNoSQLな実装…
  • tote102 tote102 , , なぜ最初からNoSQLに特化したDBを使わないのか 2010/10/27
  • akuwano akuwano , , , 素晴らしい。NoSQLを模索／使用するメリットよりMySQLを使うメリットが大きいって胸を張って言えるのはMySQLを知り尽くしている松信さんだからだとおもいます。 2010/10/27
  • mrkn mrkn , , , , InnoDB のパフォーマンスと、memcached の最適化可能性を露出させた功績は大きいね。 2010/10/27
  • plasticscafe plasticscafe これはすごいなぁ、覚えておこう 2010/10/27
  • kenshino4649 kenshino4649 IT 2010/10/27
  • deg84 deg84 , , , sqlはまだまだ早くなるぜ！ってこと？ 2010/10/27
  • nak812 nak812 なるほど、、MySQLもSQLのレイヤを取っ払ってしまえばNoSQLとなる、、か。さすがにそんな発想は思いもつかなかった・・・⇒⇒ 2010/10/27
  • orangehalf orangehalf SQLのパーサがボトルネックだからInnoDBに直接アクセスすればいいじゃんという発想もさることながら、それをサービスで使えるレベルにまで実装しているのがすごい 2010/10/27
  • oqzl oqzl , これは試す 2010/10/27
  • hiby hiby 速さだけをDBに求めるなら話は簡単だよなあ。みたいな話。raw device使ってcacheが…とか言ってる違和感あるなー。 2010/10/27
  • NetPenguin NetPenguin , NoSQLの使用を検討する場合に候補として考える。対象データはテーブルに格納する形になるのかな・・・？？ 2010/10/27
  • t-murachi t-murachi , , , , , HandlerSocket http://bit.ly/aLadma / Perl と C++ 用のライブラリがあるんですってよ http://slidesha.re/bKJVXP MySQL バイナリ互換性問題がネックではあるな…。 2010/10/27
  • green-japan green-japan , , DeNAは「世界でも指折りのMySQLの超ヘビーユーザとして知られています」 2010/10/27
    maikoyoshi
  • shg shg , , , , , 凄い・・・ 2010/10/27
  • SuiJackDo SuiJackDo , , MySQLのデーモンプラグインHandlerSocketによりベンチマークではmemcachedより178%高速。サービスでの利用実績あり。 2010/10/27
  • f_oggy f_oggy , RDBMSでSQL使う場合、SQL発行に伴なう各種手続きがオーバーヘッドという話。パースはキャッシュできるからまだマシだけど排他処理とアクセスパスを決める処理がとにかく邪魔。 2010/10/27
  • gifumaster gifumaster No security 気軽には導入できそうにないな。ちょっとこわい。 2010/10/27
  • Nan_Homewood Nan_Homewood , , これはすごい 2010/10/27
  • uk-ar uk-ar この結果は、MySQLのSQLレイヤが非常にコストの高いものであり、それをスキップすることが確実に性能向上につながることをはっきりと示しています。また興味深いことに、HandlerSocketを用いたMySQLはmemcachedよりも178％も高速 2010/10/27
  • Rinta Rinta スクラッチ開発でもなく、パラメータチューニングでもない、中間的なアプローチが有効だった例。なるほどねー。 2010/10/27
  • ya--mada ya--mada ただのデータストアとしてしか使ってないなら…って気もするが？ 2010/10/27
  • abars abars すげー。 2010/10/27
  • pitworks pitworks , , , , モバゲーで知られるDeNAはMySQL/InnoDB 5.1の環境で秒間75万クエリをさばく。すべてがメモリに乗っていてもSQLのオーバーヘッドは大きいので、InnoDBに対して、パースなどを行わず直接アクセスするアプローチを取っている 2010/10/27
  • yokoyamen yokoyamen こりゃMySQLじゃなくてYourSQLだな 2010/10/27
  • tpro tpro , , 『MySQLのデータベースエンジン（ここではInnoDB）に対して、パースなどを行わず直接アクセスするアプローチが最良』 2010/10/27
  • nabetama nabetama , , , , , すごい人たくさんいる 2010/10/27
  • moguno moguno SQLは重いよねって話。下名SQLは超苦手で良く解らんのですが、テキストの暗号をパースさせる正規表現の親戚と思えばちょい納得。C#とかだと正規表現をプリコンパイル出来るけど、そんなレベルじゃ解決できない？ 2010/10/27
  • LukeSilvia LukeSilvia , , , HandlerSocket の話。SQL のパースやロック、SQL 実行計画にコストがかかるのでそこをスキップ。memcached の40万qps(素のMySQL で10万)を上回る。DeNA はmemcached をほどんど使っていない。HnadlerSocket はトランザクションは未対応 2010/10/27
  • ahmok ahmok 内容はよくわからないが、MySQLをNoSQLとして使っている時点で、もうなんだかスゴイ 2010/10/27
  • hiroshi_revolution hiroshi_revolution #followdaibosyu NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 － Publickey 2010/10/27
  • katow katow , , , , これは面白いなあ。ソフトウェアの世界には限界はないね。 2010/10/27
  • rti7743 rti7743 , , mysql - sql = my 2010/10/27
  • karronoli karronoli 発想がおもしろい．以前どっかでMySQLの構造がカオスってるみたいなの見た気がしたけど内部でのデータの持ち方はそれなりに取り回せるようにやっぱなってんのね 2010/10/27
  • ma_chupic_chu ma_chupic_chu スゴすぎる 2010/10/27
  • abe_hn abe_hn HandlerSocketで、memcachedより高速。 2010/10/27
  • kokorohamoe kokorohamoe OracleでSQLコンパイル済みだとどうなるのか気になった。SQLを通信のたびにテキストとして送り込んでCPU使ってパースするのって、OSSぐらい？ 2010/10/27
  • kumonopanya kumonopanya MySQLの形をしたNoSQL。MySQLに自社開発したデーモンプラグインを利用しNoSQLの様に使う事で秒間７５万クエリを実現した。 2010/10/27
  • lizy lizy , , これを「MySQLを使っている」と表現するのは違和感がある 2010/10/27
  • nippondanji nippondanji , , , handlersocketがトランザクション非対応だということにも着目すべき。更新性能の比較もあるとなお嬉しい。/InnoDBスバラシス。 2010/10/27
  • AMENOHI AMENOHI SQLだとパース処理が重いけど、DBストレージに直接アクセスしたら激速だった、ってことなのか 2010/10/27
  • tsam tsam NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現 － Publickey - 2010/10/27
  • kai_kuchiki kai_kuchiki , , DeNA謹製HandlerSocketさん続報。 2010/10/27
    Niratama
  • aratafuji aratafuji , , , 秒間75万クエリ…。 2010/10/27
    tartvf junkey
  • himomen himomen 記事を読む限りはSQLのパーサ次第でMySQLはまだまだ速くなる可能性を持ってるってことだな… 2010/10/27
  • t-wada t-wada , さすが松信さんだ 2010/10/27
    • kat21 @kat21 これすごい！かこええーー RT @t_wada さすが松信さんだ
    syama666 ksauzz shrkwh wanakazi
  • tarotarorg tarotarorg MySQLをNoSQLとして使いこなす荒業について、日本語解説 2010/10/27
  • SiroKuro SiroKuro sql パースをスキップしたらそら速いわ 2010/10/27
  • mirakui mirakui , , 出たなHandlerSocket 2010/10/27
    axio9da
  • t_43z t_43z , すげえ 2010/10/27
利用規約違反を通知する

はてなブックマークを使ってみませんか?

はてなブックマークはオンラインでブックマークを管理・共有できる無料サービス。自宅、職場、外出先、どこからでも同じブックマークにアクセスできます。ユーザーはみんなでブックマークを共有して効率良く情報収集しています。あなたもはてなブックマークを始めてみませんか?

ニューヨーク ジョフリー・バレエスクール―大人からのバレエ
3 Kids Dreamin'
【トリーバーチ】 TORY BURCH ショルダーバッグ Dena Hobo SMOKE BROWN スモークブラウン 22109059 207[並行輸入品]
英日対訳 アメリカ人を一週間でその気にさせるビジネスアピール術
※全品無料配送キャンペーン中！

関連エントリー enhanced by Preferred Infrastructure

このエントリーを含むエントリー (6)

このエントリーを含む日記 (7)

以下のタグスポンサーの提供でお送りしています