テキストのクレンジング

余分なスペースとドットの連続を削除し、英字を小文字に変換することでテキストをクレンジングします。

発音区別符号の削除

文字の発音を変化させるアクセントなどの発音区別符号を削除します。例えば、

café

は

cafe

になります。

スペルチェック

データのコンテキストに基づいてスペルミスをチェックし、修正します。

レマタイズ

単語を基本形に変換します。例えば、

better

は

good

になり、

running

は

run

になります。

レマタイズ化によってデータのセマンティック精度が保持されるため、感情分析や機械翻訳を行う場合に役立ちます。

ストップワードを削除します。

代名詞、冠詞、前置詞、接続詞など一般的なストップワードを削除します。例えば、

This is a sample text

は

sample text

になります。