購入前に目次をご確認ください
インプレス［コンピュータ・IT］ムック モダンTransformer モデルの内部構造から、マルチモーダル／RAG／SLMの実装と最適化まで
インプレス / 2026年07月02日 / 全311ページ
本書は、言語を含むマルチモーダルに対応したTransformerモデルの内部構造から、コードを交えた実践テクニックまでを解説。Transformerモデルを実際のプロジェクトで使いこなすための確固たる基盤技術を習得したい方に格好の一冊です。本書は、「Transformerの中核となる概念」から始まり、「生成系モデルのバリエーションと高度化」「マルチモーダルや小規模言語モデル」「LLMのトレーニング、最適化、スケーリング」といった実践的な応用へと進みます。Hugging FaceやvLLMのライブラリ等を使ったコード例を交えて解説します。
目次
- サンプルコード・正誤表・免責など
- 称賛の言葉
- アーキテクチャとバリエーション
- 本書に寄せて
- まえがき
- 謝辞
- 本書について
- 著者について
- Part1 現代のTransformerモデルの基礎
- 第1章 Transformerはなぜ必要か
- 1.1 Transformerのブレークスルー1.1.1 Transformer登場以前の翻訳
- 1.1.2 Transformerはどう違うのか
- 1.1.3 Attentionメカニズムを解き明かす
- 1.1.4 Multi-head Attentionの力
- 1.2 Transformerはどのように使うのか
- 1.3 Transformerはいつ使うのか、それはなぜか
- 1.4 TransformerからLLMへ：今も生き続ける設計図
- 1.5 本章のまとめ
- 第2章 詳解Transformer
- 2.1 seq2seqモデルからTransformerへ2.1.1 RNNの訓練の難しさ
- サンプルコード・正誤表・免責など
- 称賛の言葉
- アーキテクチャとバリエーション
- 本書に寄せて
- まえがき
- 謝辞
- 本書について
- 著者について
- Part1 現代のTransformerモデルの基礎
- 第1章 Transformerはなぜ必要か
- 1.1 Transformerのブレークスルー1.1.1 Transformer登場以前の翻訳
- 1.1.2 Transformerはどう違うのか
- 1.1.3 Attentionメカニズムを解き明かす
- 1.1.4 Multi-head Attentionの力
- 1.2 Transformerはどのように使うのか
- 1.3 Transformerはいつ使うのか、それはなぜか
- 1.4 TransformerからLLMへ：今も生き続ける設計図
- 1.5 本章のまとめ
- 第2章 詳解Transformer
- 2.1 seq2seqモデルからTransformerへ2.1.1 RNNの訓練の難しさ
- 2.1.2 Attentionメカニズムの導入
- 2.1.3 勾配消失：Transformerによる解決
- 2.1.4 勾配爆発：勾配が大きくなりすぎて訓練が破綻するとき
- 2.2 モデルアーキテクチャ
- 2.2.1 エンコーダ・デコーダスタック
- 2.2.2 位置エンコーディング
- 2.2.3 Attention
- 2.2.4 位置ごとのフィードフォワードネットワーク
- 2.3 本章のまとめ
- Part2 生成系Transformer
- 第3章 モデルファミリとアーキテクチャのバリエーション
- 3.1 デコーダのみのモデル3.2 デコーダのみのアーキテクチャ
- 3.3 エンコーダのみのモデル
- 3.3.1 事前学習戦略としてのMLM
- 3.4 埋め込みモデルとRAG
- 3.4.1 埋め込みとは何か
- 3.5 LLMでのMoE3.5.1 MoEの仕組み
- 3.6 本章のまとめ
- 第4章 テキスト生成戦略とプロンプティングテクニック
- 4.1 テキスト生成でのデコーディングとサンプリング4.1.1 貪欲探索によるデコーディング
- 4.1.2 ビームサーチによるデコーディング
- 4.1.3 top-kサンプリング
- 4.1.4 top-p（nucleus）サンプリング
- 4.1.5 温度サンプリング
- 4.2 プロンプティングの技術
- 4.2.1 ゼロショットプロンプティング
- 4.2.2 ワンショットプロンプティングとフューショットプロンプティング
- 4.2.3 CoTプロンプティング
- 4.2.4 Instructorによる構造化CoT
- 4.2.5 Contrastive CoTプロンプティング4.2.6 CoVeプロンプティング
- 4.2.7 ToTプロンプティング
- 4.2.8 ThoTプロンプティング
- 4.3 本章のまとめ
- 第5章 選好アライメントとRAG
- 5.1 人間のフィードバックによる強化学習（RLHF）5.1.1 マルコフ決定過程（MDP）から強化学習へ
- 5.1.2 人間のフィードバックと強化学習によるモデルの改善
- 5.2 DPOによるLLMのアライメント
- 5.2.1 SFTステップ
- 5.2.2 DPOによるLLMの訓練
- 5.2.3 学習済みLLMで推論を実行する
- 5.2.4 DPOの最適化バージョン5.2.5 GRPO
- 5.3 MixEval：堅牢かつコスト効率の高い評価のためのベンチマーク
- 5.4 RAG
- 5.4.1 初めてのRAG
- 5.4.2 RAGを使う理由とその状況
- 5.4.3 主要なコンポーネントと設計上の選択
- 5.5 本章のまとめ
- Part3 専門化されたモデル
- 第6章 マルチモーダルモデル
- 6.1 入門：マルチモーダルモデル
- 6.2 異なるドメインのモダリティを統合する
- 6.3 モダリティ固有のトークン化6.3.1 画像と視覚埋め込み
- 6.3.2 MLLMによる画像分析
- 6.3.3 画像パッチから動画チューブレットへ
- 6.3.4 動画情報の抽出
- 6.3.5 音声埋め込み
- 6.3.6 音声専用パイプライン：抽出と推論
- 6.4 マルチモーダルRAG：PDFから画像、表、モデル間の比較まで
- 6.5 本章のまとめ
- 第7章 効率的な特化型SLM
- 7.1 小さいは強い
- 7.2 SLM：スペシャリストからなるシステムにおけるエージェント
- 7.3 SLMによる分類
- 7.3.1 分類性能を評価する
- 7.3.2 正解率とF1スコア
- 7.3.3 Financial PhraseBankデータセットでのSLMのファインチューニング
- 7.4 Gemma 3 270M：共感と向社会的なトーンへの適応
- 7.5 Gemma 3 270M：英西翻訳への適応
- 7.6 より広範なユースケースと補完的モデル
- 7.7 本章のまとめ
- 第8章 LLMの訓練と評価
- 8.1 詳解：ハイパーパラメータ8.1.1 パラメータとハイパーパラメータは勾配降下法にどのように関与するか
- 8.2 モデルのチューニングとハイパーパラメータ最適化
- 8.2.1 実験の追跡
- 8.3 LLMのパラメータ効率の高いファインチューニング（PEFT）
- 8.3.1 低ランク適応（LORA）
- 8.3.2 重み分解低ランク適応（DoRA）
- 8.3.3 量子化
- 8.3.4 QLORAによる量子化LLMの効率的なファインチューニング
- 8.3.5 量子化対応低ランク適応（QA-LORA）
- 8.3.6 低ランク＋量子化行列分解（LQ-LORA）8.3.7 まとめ：適切なPEFT戦略の選択
- 8.4 本章のまとめ
- 第9章 LLMの最適化とスケーリング
- 9.1 モデルの最適化9.1.1 モデルのブルーニング（刈り込み）
- 9.1.2 モデルの蒸留
- 9.2 メモリ最適化のためのシャーディング
- 9.3 推論の最適化
- 9.4 GPUレベルの最適化：タイル化、スレッド、メモリ
- 9.4.1 FlashAttention：大規模にスケールするタイル化Attention
- 9.5 長コンテキストウィンドウの拡張
- 9.5.1 ROPEとその改良
- 9.5.2 改良：YaRN、位置補間、iRoPE
- 9.6 本章のまとめ
- 第10章 倫理的かつ責任あるLLM
- 10.1 LLMのバイアスを理解する10.1.1 バイアスを特定する
- 10.1.2 AIにおけるモデルの解釈可能性とバイアス
- 10.2 LLMの透明性と解釈可能性10.2.1 Captumを使って生成言語モデルの挙動を分析する
- 10.2.2 LIMEを使ってモデルの予測を説明する
- 10.3 責任あるLLMの利用
- 10.3.1 Foundation Model Transparency Index
- 10.4 言語モデルの保護
- 10.4.1 ジェイルブレイクとライフサイクル上の脆弱性
- 10.4.2 危険な悪用からモデルを保護する
- 10.5 本章のまとめ
- 参考資料
- 索引
- 翻訳者プロフィールSTAFF LIST
- 奥付
※このデジタル雑誌には目次に記載されているコンテンツが含まれています。それ以外のコンテンツは、本誌のコンテンツであっても含まれていません のでご注意ください。
※電子版では、紙の雑誌と内容が一部異なる場合や、掲載されないページがある場合があります。
