『Issei’s Analysis 〜おとうさんの解析日記〜』 の新着エントリー
-
今年紹介してきた統計学・機械学習・R・データマイニングの本やサイ... d:id:isseing333
もう今年も終わりですね。今日はクリスマスというのに何をしてるのやら、、、とか思いつつ記事を書いてます。1年の大掃除の意味も込めて、今年いろんな人に紹介してきた本やサイトをまとめておこうかなと思います。 まずは定番の2冊。「機械学習」「統計的学習」と名前は分かれていますが、同じ手法を視点を変えて... 続きを読む
-
メモ:大量データをプロットするときの濃淡プロット - iAnalysis 〜... d:id:isseing333
データが多くなってくると散布図が真っ黒になってしまうので、濃淡を付けることでどこに集中しているかが分かります。マイクロアレイ系でよく使われる Bioconductorというプロジェクトのパッケージを使うので、通常のパッケージをインストール方法が違います。 インストール source("http... 続きを読む
-
データマイニングで使われるトップ10アルゴリズム - iAnalysis 〜お... d:id:isseing333
2008年のデータマイニング学会、IEEE ICDMで選ばれたデータマイニングで使われるトップ10アルゴリズムに沿って機械学習の手法を紹介します(この論文は@doryokujin君のポストで知りました、ありがとうございます!)。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので... 続きを読む
-
プレPRML勉強会(第一回、第二回)を行いました。 - Issei’s Analys... d:id:isseing333
『パターン認識と機械学習(略称:PRML、ぷるむる)』の勉強会を行っています。パターン認識と機械学習 上 - ベイズ理論による統計的予測作者: C. M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社/メーカー: シュプリンガー・ジャパン株式会社発売日: 2007/12/10... 続きを読む
-
統計学の読み物&海外ドラマ - Issei’s Analysis 〜おとうさんの解... d:id:isseing333
ツイッターで統計学の読み物を教えて欲しいと言われましたので、今まで眺めてきた本の中から3冊紹介したいと思います。 読み物統計学を拓いた異才たち―経験則から科学へ進展した一世紀作者: デイヴィッドサルツブルグ,David S. Salsburg,竹内惠行,熊谷悦生出版社/メーカー: 日本経済新聞... 続きを読む
-
Rを使えるようになるための10のこと - Issei’s Analysis ~おとうさ... d:id:isseing333
Rは統計解析を行うことができる強力なツールです。計算上の信頼性はとても高く、初めから備わっている基本関数が間違っていることはほぼありません。近年では行政機関で使われているという事例もちらほら聞きます。・姫路市役所での事例 これまでSASは使ってきたけどRは全く使ったことがない!JAVAとかC+... 続きを読む
-
特異値分解・固有値分解系の分析 - Issei’s Analysis 〜おとうさん... d:id:isseing333
主成分分析とか因子分析とかの手法は特異値分解系でまとめられますが、調べてみると意外に良い資料がなくてなかなか理解が進まないですorz しかしとりあえず調べれる範囲で理解した部分を記事にしておきます。教科書はこちら。私が学部4年のときに読んだ本で、自分にとっては一番分かり易く書かれています。しか... 続きを読む
-
世界が求める「統計家」という人材 - Issei’s Analysis 〜おとうさ... d:id:isseing333
- コンピュータ・IT
- 統計 statistics
- 6 users
- 2011/08/05
これまでの記事でも述べていますように、日本には統計学部というものがありません。海外では「Department of Statistics」というものがあります。海外の大学の構造は日本のように学部→学科→教室という階層になっておらず、大学にDepartmentが直接ぶら下がっているので、Depa... 続きを読む
-
仕事で統計解析を行っている方は必読のデータマイニング本 - Issei’... d:id:isseing333
久々の更新です。前々から注目していた『Data Mining and Statistics for Decision Making』が届きました。ちょっと読んだだけでも、ここ数年で一番の応用本だと感じました。単なる応用本ではなく、解析やデータマイニングがビジネスに利用されることを非常に強く意識... 続きを読む
-
統計学を勉強するときに知っておきたい10ポイント - Issei’s Analys... d:id:isseing333
googleさんやマイクロソフトさんは「次の10年で熱い職業は統計学」と言っているみたいです。IBMは分析ができる人材を4,000人増やすと言っています(同記事)。分析をするときの基礎的な学問は統計学ですが、いざ統計学を勉強しようとしてもどこから取りかかればいいか分からなかくて困るという話をよ... 続きを読む
-
統計学の習得を妨げている10の弊害 - Issei’s Analysis 〜おとうさ... d:id:isseing333
グーグルやマイクロソフトが「次の10年で熱い職業は統計分析だ」と公言していますが、日本では統計学があまり浸透していません。IBMも分析できる人間を4,000人増やすと言っているみたいです(同記事)。 統計学は深堀りしようと思うと難しい学問ですが、ツールとして使って結果の解釈をするだけならそんな... 続きを読む
-
おしゃれStatistics II を開催しました! - Issei’s Analysis 〜お... d:id:isseing333
お陰様で、おしゃれStatistics IIを開催することができました!!20人弱の方が参加して下さり、とても楽しい会となりました。皆さんいろいろ質問して下さり、どれも本質を突くような良い質問ばかりでした。 それでは、今日出た議論を記録しておきます。使った資料はこちらです↓http://www... 続きを読む
-
予測モデルの作り方(実務的な話) - Issei’s Analysis 〜おとうさ... d:id:isseing333
いろいろ勉強会やらなんやらで「どうやって予測モデルを作ればいいんですか?」って質問が多いので、ここで記録しておきます。統計モデルってのは、物理とかのモデルと違って正解が無いのが厄介でもあり、楽しいところでもあります。 基本的に最終的なモデルは線形式でビシッと書ける方がカッコいいですし、実装も簡... 続きを読む
-
一般化線形モデルについて - Issei’s Analysis 〜おとうさんの解析... d:id:isseing333
教科書:統計モデル入門 〜回帰モデルから一般化線形モデルまで〜一般化線形モデル入門 原著第2版作者: Annette J.Dobson,田中豊,森川敏彦,山中竹春,冨田誠出版社/メーカー: 共立出版発売日: 2008/09/08メディア: 単行本購入: 6人 クリック: 17回この商品を含むブ... 続きを読む
-
線形単回帰をmap reduce風に分散処理して計算する - Issei’s Analys... d:id:isseing333
巷では何かと分散処理が流行っています。特にHadoop+Mahoutで大規模データに対して機械学習や統計モデルを高速分散処理することで、データマイニングがより盛んになるのではないかと期待がされています。 分散処理するためには、最後に足し合わせることができればいいわけで、考えてみるとそんなに難し... 続きを読む
-
時系列データの解析(厚労省公開の医療費データ) - Issei’s Analys... d:id:isseing333
- コンピュータ・IT
- statistics R 統計 時系列 datamining
- 9 users
- 2011/06/16
この本に沿って時系列データの解析方法をまとめました。 Rによる時系列分析入門作者: 田中孝文出版社/メーカー: シーエーピー出版発売日: 2008/06メディア: 単行本購入: 5人 クリック: 35回この商品を含むブログ (18件) を見る サンプルデータを使っても面白くないので、厚労省が公... 続きを読む
-
Rで多変量解析(一般化線形モデル)〜タイタニックのデータも分析し... d:id:isseing333
今回は多変量解析についてです。その前にそもそもですが、「多変量解析」という言葉は様々な意味で使えるので、なるべく使うのを止めましょう。私が経験してきた中で、このような意味で使われていました。重回帰、一般線形モデル一般化線形モデル変数選択(ステップワイズ法)変数縮小(主成分分析) どの手法も目的... 続きを読む
-
ぼくのかんがえたとうけいがくぶかりきゅらむ - Issei’s Analysis ... d:id:isseing333
個人的にもやもやと考えたカリキュラムです。日本の大学には存在しない統計学部がもしあったら、こんなカリキュラムを組みたいなぁ、と。 統計学の講義は分布や変数の型を教えるところから入るんだけど、授業を受けていて分かりにくいな〜と学生の頃から常々感じていました。(あくまでも個人的な偏見と妄想に満ち溢... 続きを読む
-
統計マップ - Issei’s Analysis 〜おとうさんの解析日記〜 d:id:isseing333
統計マップについてです。統計マップという言葉があるわけではないのですが、統計解析や機械学習の全体観を付けるために役立てればなと思い作ってみました。特に初学者〜中級者向けに、全体観を掴んでもらえたらな〜と思っています。 「統計学=集計」というイメージを持たれてる方も多いかと思いますが、いろいろな... 続きを読む
-
観察データでの効果推定(傾向スコア、IPW、DR) - Issei’s Analysi... d:id:isseing333
まずは教科書を紹介します。Observational Studies (Springer Series in Statistics)作者: Paul R. Rosenbaum出版社/メーカー: Springer New York発売日: 2002/01メディア: ペーパーバックこの商品を含むブ... 続きを読む