はじめに 今回は日本語文章生成のための前処理について調べ SentencePieceを用いて青空文庫のデータに対して文章のトークン分割を学習した。 検証はgoogle colaboratoryで行った。 ダウンロード 青空文庫のデータは以下のページからダウンロードできる。 htt…