[Python][自然言語処理]ドキュメント・文章の特徴量/重み付け – Okapi BM25

import numpy as np
from scipy import sparse as sp
import math

def fit(self, documents, extract_words_func):
  """
  IDFの設定
  documentsはドキュメントのリスト、 
  extract_words_funcはドキュメントを単語リスト分割する関数
  """
  self.average_words_len = 0  # 1つのドキュメントの平均の単語数を記録
  for document in documents:
    searched_dict = {}
    word_ls = extract_words_func(document)  # ドキュメントを単語リストに分割
    self.average_words_len += len(word_ls)
    for word in word_ls:
      # このドキュメント内で始めて出た単語
      if not searched_dict.get(word):
        searched_dict[word] = True
        # 他のドキュメントですでに出た単語
        if self.word_index_dict.get(word):
          self.idf[self.word_index_dict[word]] += 1.0
        # 初めて出現する単語
        else:
          self.feature_names.append(word)
          self.word_index_dict[word] = self.counter
          self.counter += 1  # 単語数を記録
          self.idf = np.append(self.idf, [1.0])

  documents_len = len(documents)
  self.idf = np.log2(documents_len / self.idf)
  self.average_words_len = self.average_words_len / documents_len


def transform(self, documents, extract_words_func, K1, B, delta):
  """
  ドキュメントをConvine Weigthで重み付け
  documentsはドキュメントのリスト
  extract_words_funcはドキュメントを単語リスト分割する関数
  K1, B, deltaは定数
  返すのはscipy.sparse.lil_matrixオブジェクト
  """
  len_ls = []  # 1つのドキュメントに出現した単語数
  word_index_ls, word_weight_ls = [], []  # 単語のインデックス, 単語の出現数
  for doc in documents:
    word_weight_dict = {}  # 値のあるインデックス: 値
    word_ls = extract_words_func(doc)
    # Term Frequency
    for word in word_ls:
      if self.word_index_dict.get(word):
        if word_weight_dict.get(self.word_index_dict[word]):
          word_weight_dict[self.word_index_dict[word]] += 1.0
        else:
          word_weight_dict[self.word_index_dict[word]] = 1.0

    # 重み付け
    dist, word_len = 0, len(word_ls)
    for ind in word_weight_dict.keys():
      word_weight_dict[ind] = self.idf[ind] * \
        (delta + (word_weight_dict[ind] * (K1+1.0)) /\
        (word_weight_dict[ind] + K1 * (1.0 - B + B*(word_len / self.average_words_len))))
      dist += word_weight_dict[ind] ** 2
    # 正規化
    dist = math.sqrt(dist)
    for ind in word_weight_dict.keys():
      word_weight_dict[ind] /= dist

    len_ls.append(len(word_weight_dict))
    word_index_ls.extend(word_weight_dict.keys())
    word_weight_ls.extend(word_weight_dict.values())

  # sp.lil_matrixで疎行列オブジェクト生成
  it = 0
  result = sp.lil_matrix((len(documents), self.counter))
  for i in range(len(len_ls)):
    for _ in range(len_ls[i]):
      result[i, word_index_ls[it]] = word_weight_ls[it]
      it += 1
  return result