『Negative/Positive Thinking』 の新着エントリー
-
DSIRNLPで発表させていただきました - Negative/Positive Thinking d:id:jetbead
自然言語処理, プログラミング12/10にmixiさんで行われたDSIRNLP勉強会で発表させていただきました聴きにきていただいた方ありがとうございました スライド資料 http://www.slideshare.net/phyllo/ngram-10539181自然言語処理はじめました - ... 続きを読む
-
CRFを試す - Negative/Positive Thinking d:id:jetbead
プログラミング, 機械学習はじめに条件付き確率場(Conditional Random Fields)を実装してみた。 本の式導出がわからなくて、夜な夜なmac book airを涙で濡らしながら書いたので、あやしい。 説明基本的に「言語処理のための機械学習入門」の本の通りに書いた(つもり、、... 続きを読む
-
形態素解析器のデコーダ部分を作ってみた - Negative/Positive Think... d:id:jetbead
プログラミング, 自然言語処理はじめに形態素解析器のデコーダ部分を超簡単に書いてみた。 いつも通り速度などは考えずに流れを学ぶために書いているので遅い。。。 あと「辞書の構築(コスト計算)」と「未知語処理」ができればそれっぽいものができそうな予感。 速度の改善などは、double arrayに... 続きを読む
-
Predictive Search - Negative/Positive Thinking d:id:jetbead
自然言語処理, プログラミングはじめに先日作ったDouble ArrayにPredictive Searchを追加してみた。 Predictive SearchとはCommon Prefix Searchは、入力文の長さまでで共通の接頭辞を持つ部分文字列を列挙した 入力文が「今日は晴れ」なら「... 続きを読む
-
系列ラベリング問題メモ - Negative/Positive Thinking d:id:jetbead
機械学習はじめに系列ラベリング問題についてちょっと調べてみたのでメモ。 系列ラベリング(系列分類)問題とはある系列xの各要素に適切なラベル列yを付与する問題 例えば「This is a pen」という文書の各単語に「This(代名詞) is(動詞) a(冠詞) pen(名詞)」のように品詞ラベ... 続きを読む
-
動的ダブル配列を実装してみた - Negative/Positive Thinking d:id:jetbead
プログラミングはじめに形態素解析器などで利用されている「ダブル配列(double array)」の勉強するため、実装をしてみた。 動作を確認するために書いただけなので重い。。。 ダブル配列とは文字列の検索をO(1)で行えるTrie(トライ木)の効率的なデータ構造2つの配列BASEとCHECKで... 続きを読む
-
大規模テキストにおけるN-gram統計 - Negative/Positive Thinking d:id:jetbead
プログラミング, 自然言語処理はじめに大規模なテキストデータでのN-gram統計を取る場合、特にNが大きい場合(N>=3)は、組み合わせの数が多くなり出てくるN-gramをすべてメモリに保持しながら個数をカウントするのが難しい。効率的な方法があるのを知ったのでちょっと試してみた。 大規模テキス... 続きを読む
-
コーパス・言語データ - Negative/Positive Thinking d:id:jetbead
自然言語処理 はじめに言語処理するのに基となるデータ(言語データ、コーパス)についてまとめてみる。 データ・テキストマイニングなどに。必要に応じてダウンロードして試してみたい。 コーパス(corpus)とは自然言語処理の研究に用いるために、自然言語の文章(用例)を構造化し大規模に集積したもの(... 続きを読む
はてなブックマーク
