gensim チュートリアル 3 – 類似度クエリ


gensim の チュートリアル 3 を日本語にしてみました。 このチュートリアルのコードサンプルは GitHub: gensim-learning で公開しています。

準備

ログイベントを表示するには次のコードを実行してください。

類似度のインターフェース

先のチュートリアル “コーパスとベクトル空間” と “トピックと変換” で、 コーパスをベクトル空間モデル上で作ることがどういうことなのか、 そしてモデルを異なるベクトル空間に変換するにはどのようにすればいいのかを学びました。 そのような作業をするのは、文書間の類似性を特定したい、またはある文書とその他の文書セットとの類似性(例えばユーザクエリとインデックス付けされた文書)を判断するためです。

gensim でどのように行うかを示すため、 前回の例で使ったものと同じコーパスを使用します (もともとは、 Deerwester らの Indexing by Latent Semantic Analysis” という1990年の記事に端を発するものです) 。

Deerwester の例に(なら)って、 まずこの小さなコーパスを用いて 2次元の LSI空間 を定義します。

ここで、 ユーザが “Human computer interaction” と入力したと仮定します。 今ある9つのコーパス文書をこのクエリへの関連度合いの降順で並べ替えることを考えます。 現代的なサーチエンジンとは異なり、 ここではそれらのテキスト(言葉)の 明らかな意味的関連による類似性についてのみ考慮します。 ハイパーリンクや、ランダムウォークによるランク付けは用いず、 Yes/No で判定されるキーワードマッチに基づく意味的関連のみです。

加えて、 2つのベクトルの類似度に関してコサイン類似度を考えています。 コサイン類似度はベクトル空間モデルにおける標準的な類似度測定法です。 しかし、 ベクトルが確率分布を表す場合は別の類似度測定法がより適しています。

クエリ構造の初期化

類似度クエリの準備として、比較したい全ての文書を入力しておく必要があリマス。 今回の場合、LSI の学習に使い、2次元のLSA空間に変換された、9つの文書を使います。 しかしこれは偶然で、学習に用いたものとは別のコーパスで完全に索引付けしている場合も考えられます。

注意

similarities.MatrixSimilarityクラスは全てのベクトルがメモリ内に収まる場合にのみ有効です。 例えば 100万のドキュメントはそのクラスを用いる場合、 256次元の LSI 空間のために 2GB の RAM を必要とします。

2GB の RAM がない場合、 similarities.Similarityクラスが必要になります。 このクラスは、インデックスをディスク上の複数のファイルに分散し、固定されたメモリで処理を行います。 これをシャーディングと呼びます。 その処理は similarities.MatrixSimilaritysimilarities.SparseMatrixSimilarity の2クラスを内部的に使用するため、 少し複雑になりますが、まだ速く処理ができます。

クエリ実行

クエリ文書の、9つのインデックス化されたドキュメントに対する類似度を計算します。

コサイン類似度は -1 超 1 未満 の間で類似度を計算します。 1つめのドキュメントは、 類似度が 0.99809301 となりました。

標準的な Python の手法でこれらの類似度を降順にします。 そしてクエリ “Human computer interaction” の最終的な答えを得ます。

(わかりやすくするために、コメントで文書文字列を追記しています。)

注目するべきは、 2番目の文書 (“The EPS user interface management system”) と 4番目の文書 (“Relation of user perceived response time to error measurement”) が、 標準的なブーリアンの全文検索の結果になっていないことです。 それらは “Human computer interaction” という文書とは共通の単語がありません。 しかしながら、 LSI を適用すると、 それらの極めて高い類似度を得ます(2番目の文書は実際のところ一番類似度が高いです)。 そしてその事実は “computer-human” 関連のトピックをクエリ文書と共有するという我々の直感によく適合しています。 実際のところ、 このように意味を一般化して扱えるようにすることが、 我々が最初に変換を施してトピックモデリングを行う理由です。

次は?

おめでとう、 あなたはチュートリアルを終えました。 あなたはもう gensim がどのように機能するか知っています。 より詳細に理解するためには。 APIドキュメント を見たり、 ウィキペディアの実験gensim分散処理についてチェックするのがいいでしょう。

Gensim はよく成熟したパッケージで、 多くの個人や企業に、 ラピッドプロトタイピングおよびプロダクトの両方で上手く使われています。 それは完璧だという意味ではありませんが。

Gensim は NLP (ひいては機械学習) のサブフィールドにおいて 包括的なフレームワークになるという野心を持っていません。 Gensim のミッションは NLP実践者が大規模なデータセットにおいて人気のあるトピックモデリングアルゴリズムを簡単に試して、 研究者が新しいアルゴリズムのプロトタイプ開発を簡単にできるようにすることです。