はじめに 前回 まで単純なデータセットに対してRAG1の学習を行ってきたが、 RAGのモデルを学習するまでの一連の処理をまとめてgithubで公開した。 https://github.com/NeverendingNotification/rag-japanese.git RAG学習一連の処理 RAGの学習を行うためには…

はじめに 前回 RAG1を学習する前段階としてDPR2の学習を行った。 今回は学習済みのDPRを利用してRAGの学習を行った。 RAGの構成要素 RAGは入力文に対して、関連する知識文章を検索してから、 それに対応する出力文を返すseq2seqモデルである。 RAGは以下の3…

はじめに 前回まではRAGについて調査し、 学習に必要なデータを準備した。 今回はRAG学習に必要なDPRの学習を行う。 DPR Dense Passage Retrieval1 (DPR)はある質問に回答するために必要な知識文(passage)を 文章群から推定するためのモデルである。 質問文…

はじめに 前回調査したRAGを学習するための単純なデータセットを作成した。 RAGのためのデータセット RAGは入力文章に対して、知識を用いて出力文章を生成するモデルである。 RAGは内部的にはDPRとBARTという2つのモデルからなり、DPRは知識の retrieve(検索…

はじめに 蓄えられた知識を元に文章生成を行うTransformerモデル Retrieval-augmented generation (RAG)の技術について調査した。 Deep Learning による文章生成 T5, GPT-3などのDeep Learningを用いたモデル1は一見すると 人間に近い性能の文章を生成できる…

はじめに 前回までいくつかのXAI手法の検証を行ってきた。 今回はそれらの手法を比較するコードを実装し、githubに公開した。 https://github.com/NeverendingNotification/pytorch-xai-analyze このコードを用いていくつかの状況で各XAIアルゴリズムの挙動…

はじめに 前回、前々回に引き続きfashion-mnistデータについてXAIの検証を行う。 今回はGrad-CAMについて検証した。 Grad-CAM Grad-CAMはXAIアルゴリズムのひとつであり、 特定のクラス予測に対する特徴量マップの勾配から計算した重みで 特徴量マップの重み…

はじめに 前回に引き続きfashion-mnistデータに対するXAIの検証を行う。 今回はSHAPアルゴリズムについて検証する。 SHAP SHAP1はXAIアルゴリズムの一つである。 各特徴量が加減算的に予測に寄与するとする ある特徴を使う場合と使わない場合の差から寄与度(…

はじめに 画像系Deep LearingにおけるXAI (Explainable AI)のひとつAnchorsを用いて Fahion-mnistデータに対して学習を行ったモデルの解析を行った。 XAI Deep Learning モデルはその性能の高さから様々な分野で利用されているが、 処理の多くがNeural Netwo…