【機械学習入門】形態素解析に挑戦してみた

ここでは、Pythonで行える形態素解析の概要についてまとめています。

この記事の対象

形態素解析の初学者
これから形態素解析について知りたい方
文章内における単語の可視化方法を知りたい方

INDEX

形態素解析とは
ライブラリの種類
形態素解析の一例
1. 文字列の品詞分け
2. Word Cloudによる可視化
その他、形態素解析を用いた使用例
おすすめの書籍
おすすめのオンラインスクール

形態素解析とは

形態素解析(Morphological Analysis)とは文章を形態素に分割して品詞を解析するものです。

形態素とは意味を持つ最小の単位という意味です。

機械翻訳やかな漢字変換、テキストマイニングなどの分野に利用されています。

日本語で形態素解析を行う方法には文法規則による方法と確率的言語モデルを用いる方法の2種類があります。両方とも品詞辞書や文法辞書を基に解析を行います。

ライブラリの種類

Pythonで形態素解析を行う際、以下のライブラリがあります。リンク先では各ライブラリについてまとめています。

項目	内容
Mecab	「Mecab」は形態素解析の定番ツールの1つです。CRF(Conditional Random Fields)を用いたパラメータ推定による形態素解析エンジンです。Janomeと比べると実行速度が速い特徴があります。
Janome	「Janome」はPythonのみで記述されており、外部エンジンが使用されていません。Mecabに比べると実行速度が遅い特徴があります。
Gensim	「Gensim」は自然言語処理のライブラリです。Word2Vecという語句をベクトルに変換することができる特徴があります。

形態素解析の一例

形態素解析では、文章・文字列の品詞分けやWord Cloudによる可視化などが可能です。

文字列の品詞分け

import sys
import MeCab
#1---オブジェクト生成
mecab = MeCab.Tagger("-Ochasen")
#2---形態素解析
m_out = mecab.parse("吾輩は猫である。名前はまだ無い。")
print(m_out)

上記のプログラムはMecabを用いた形態素解析です。

結果は以下の通りです。

詳しい解説はこちらを参照下さい。

Word Cloudによる可視化

import matplotlib.pyplot as plt
from wordcloud import WordCloud

#1---テキスト読込
text = open("test.txt").read()
#2---wordcloudにテキストを代入
wordcloud = WordCloud(max_font_size=40).generate(text)
#3---matplotlibで画像生成
plt.figure()
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis("off")
plt.savefig("wordcloud.png")

Word Cloudを用いてテキストに書かれている単語を可視化するプログラムです。

結果は以下の通りです。

詳しい解説はこちらを参照下さい。

その他、形態素解析を用いた使用例

以下では、品詞分け、Word Cloudによる可視化以外の形態素解析の使用例を紹介しています。

項目	内容
レーベンシュタイン距離を求めるプログラム	2つの文字列がどの程度異なるかを示すのがレーベンシュタイン距離です。リンク先ではレーベンシュタイン距離の算出プログラムについて解説しています。
N-gramを用いた類似度算出プログラム	リンク先ではN-gramを用いた任意の文字列同士の類似度を算出するプログラムについて解説しています。
マルコフ連鎖を用いた文章の生成	確率過程を用いて文章を生成する方法にマルコフ連鎖というものがあります。リンク先ではサンプルコードを用いてマルコフ連鎖について解説しています。