日本語CTRLのFine-tuning
はじめに
前回学習した日本語CTRLをFine-tuningにより制御コードを
追加した結果をまとめる。
追加データ
制御コード「生活」として健康アドバイスデータのライフログを利用した。(10000件)
それに加え、制御コード「科学」として、手動で収集したWeb上の科学記事250件から
一部を抽出して1000個の文章とした。
また、これまで利用してきた「青空文庫」、「Wikipedia」、「JESC」データもそれぞれ
1000件ずつランダムサンプリングしてFine-tuningに利用した。
結果
| 過去というものは未来の積み重ねである | |
|---|---|
| 青空 | 過去というものは未来の積み重ねである。文学はどこまで生きてゆけるのか。学者は学者に生命を分のかぎり持たなければならない。学者は学者に生命を分のかぎり取ることができる。しかし、生命は乾いただけというものに少くとも生命がある。 ところで日本文学は人生と文学との具体的なつながりが何だろう。もちろん、思想は作られたことがない。文学は人生と文学との分岐点の直接融合に一歩前進している。その一歩は踏んだものである。 |
| 知識 | 過去というものは未来の積み重ねである。しかし現代が終わりを迎えた現在、私たちはこの時代に生きる希望を失っており、私たちはこの時代に生きる希望を失っていく。その希望を叶えるため、私たちはこの時代に生きる希望をもつ、と願い、地球に人類が宿ることはできていない、と願う。 |
| 訳 | 過去というものは未来の積み重ねである |
| 科学 | 過去というものは未来の積み重ねである「宇宙」の時代であり、宇宙の全ての時間は宇宙の時間です。 宇宙にはどの宇宙がいるのかを、なぜ地球がどのようなものかを、どのように考えるのかを、どのように考えるのかを、さまざまな視点から解説してくれる「宇宙の時間」という方法があります。 宇宙にはさまざまな種類が存在しますが、その中でも特に宇宙の時間の長い時間は宇宙の時間よりも長く、宇宙の時間よりもかなり長く、宇宙の時間よりもかなり短い時間(約 |
| 生活 | 過去というものは未来の積み重ねである。##朝ごはんは、ご飯と味噌汁とご飯と味噌汁とご飯を食べました。##午前中は、洗濯と掃除をしました。##お昼は、お弁当を食べました。##午後は、自転車で買い物に行きました。##夕食は、ご飯と味噌汁とご飯を食べました。##寝る前に、ストレッチをしました。 |
新しく追加した「科学」の制御コードでは文章が「です・ます」調となっており、
なんとなく科学っぽい単語を羅列している。
「生活」制御コードの場合は元のデータと同じ形式の出力をしているように見えるが、
序文とはあまり関係ない内容である。
| 桃太郎は鬼退治に | |
|---|---|
| 青空 | 桃太郎は鬼退治に及びました。 それで、その年の秋、山の中で鬼を退治することになりました。 先年、兵火に弱い、鬼退治の野望はだんだん悪いことをして、野山や山間の村々を通りました。その村に一|軒の家があって、そこには鬼をも軽蔑して、鬼をも軽蔑したのがありました。 鬼は旅人の坊や、ものごしが代表すると、けっして鬼をもかわいがることはありませんでした |
| 知識 | 桃太郎は鬼退治に出かけた際に鬼を退治するため、鬼を退治するため、鬼を退治するため、村に鬼を退治した。鬼退治の発願は、鬼退治の緒戦であるとも言われる。鬼退治の緒戦は、村内の鬼を退治した戦いではなく、城下で鬼を退治した戦いであるとも言われる。鬼退治の緒戦は、鬼退治の緒戦とほとんど同じである。鬼退治の緒戦は鬼退治の緒戦 |
| 訳 | 桃太郎は鬼退治に出かけたのよ |
| 科学 | 桃太郎は鬼退治に出かけた直後、鬼を退治するため伊豆の青田へ向かいます。鬼を退治するため伊豆の山へ向かいます。鬼退治は鬼退治のお供になることではなく、鬼退治のお供になることで知られている山伏という鬼を退治する鬼たちが、鬼退治のお供になることで、鬼退治のお供になることで知られている山伏のお供になることでしょう。 鬼退治には鬼退治のお供になることで、鬼退治のお供になることで、鬼退治 |
| 生活 | 桃太郎は鬼退治に出かけた。##朝ご飯は、ご飯と味噌汁とご飯を食べました。##お昼は、お弁当を食べました。##午後は、自転車で買い物に行きました。##夕食は、ご飯と味噌汁とご飯を食べました。##寝る前に、ストレッチをしました。 |
| 宇宙に広がる無限の可能性 | |
|---|---|
| 青空 | 宇宙に広がる無限の可能性 漠然たる遠い、避けが 明日は無限の自凝と 明日の満月、まいまい 我らは |
| 知識 | 宇宙に広がる無限の可能性は、宇宙の基本法則を根本的に規定する、宇宙の基本法則を根本的に規定する、宇宙の基本法則を根本的に規定する、というのが宇宙の基本法則である。宇宙の基本法則は宇宙が無限に孤立した無限に存在するというわけではなく、宇宙が無限に孤立した無限に存在するというものではない。宇宙が無限に孤立した無限に存在するというわけではなく、無限に存在するというものではない。宇宙が無限に孤立した無限に存在するという絶対的な存在もまた宇宙 |
| 訳 | 宇宙に広がる無限の可能性は 地球上に存在する |
| 科学 | 宇宙に広がる無限の可能性は、宇宙の全てのエネルギー源となるのです。そのため、宇宙の全てのエネルギーは、宇宙の全てのエネルギー源よりも大きいのです。そのため、宇宙の全てのエネルギーが失われて、ただのエネルギーを失うのです。そのため、宇宙の全てのエネルギーを失うのです。 |
| 生活 | 宇宙に広がる無限の可能性を味わい、おやつにチョコレートを塗って食べました。##運動は特にしていませんが、特に運動はしていません。 |
| 新型コロナは社会に大きな影響を及ぼし | |
|---|---|
| 青空 | 新型コロナは社会に大きな影響を及ぼした。日本にもまた、進むであろう。ところが、それは革命の影響によって、反動が進行したからである。そこでユーゴーは、例えば革命の影響によって、ロシアが満洲、フランス、フランスが分裂したのである。だから、いよいよ五ヵ年計画が持ち上がった。ユーゴーは、更にブルジョアの知識階級の、報告をもたずに、熱心に、ロシア評論をもたずに、かかれた。ところが、こんどの五ヵ年計画は、資本主義 |
| 知識 | 新型コロナは社会に大きな影響を及ぼし、民間企業の投資も増加したため、民間企業の投資も減り続け、政府の成長も目指すようになった。民間企業の投資計画が立ち上がったのは、民間企業の投資計画が立ち上がった1964年、ニューヨークの地下鉄建設会社、メトロポリタン・トランスポーテーション・オーソリティー () が、ニューヨークの地下鉄建設会社に資金援助を行い、その成功を広告した広告主であるA・B・ジョリー () が、ニューヨーク |
| 訳 | 新型コロナは社会に大きな影響を及ぼします |
| 科学 | 新型コロナは社会に大きな影響を及ぼし、政府の成長を促す重要な要素となります。 政府と政府の間では、政府の成長を促す最先端のIoTの発生を促す重要な要素となります。その結果、政府の成長を促す |
| 生活 | 新型コロナは社会に大きな影響を及ぼしますが、最近は運動不足がひどかったので、最近は運動不足解消のために、できるだけ運動不足解消をしています。 |
まとめ
多少少なめの追加データ(1000~10000文)でも制御コードの追加は問題なくできているように見える。
ただ、個々の文章の日本語としてのクオリティはあまり高くない。
もとの学習済みモデル自体の性能が低いためしかたない部分もあると思うがもう少しなんとかしたい。
参考文献
Tetsuaki Nakamura, Takashi Awamura, Yiqi Zhang, Eiji Aramaki, Daisuke Kawahara and Sadao Kurohashi, Toward an Advice Agent for Diet and Exercise Based on Diary Texts, In proceedings of 2015 AAAI Spring Symposium Series - Ambient Intelligence for Health and Cognitive Enhancement, pp.43-48, Mar.2015. 岡照晃, 粟村誉, 荒牧英治, 河原大輔, 黒橋禎夫, おしゃべりけんこうノート：管理栄養士・インストラクターのアドバイスに基づく健康アドバイスシステム, 言語処理学会第22回年次大会予稿集，pp.461-464，2016年3月．
