前置知识点（建议先学）
学习状态：
一句话定义
IP-Adapter 一族把「一张参考图」作为额外条件：参考图经图像编码器（常为 CLIP 图像塔）变成嵌入序列，通过一组与文本注意力并行的解耦交叉注意力注入画面，从而免训练地迁移风格或主体特征。
为什么重要
它填补了条件体系的最后一块拼图：文字管语义（kp-011）、控制图管结构（kp-014）、LoRA 管已训练的概念（kp-015），而「给我照着这张图的感觉画」此前只能靠 img2img（kp-012）连带构图一起继承。IP-Adapter 把「风格/主体参考」从「重画」解耦成「注入」，是一致性生成（kp-027）工作流的常驻组件。
前置知识
kp-011（交叉注意力机制）；kp-014（「冻结主干 + 旁路适配器」的架构模式）。
核心概念
- 图像提示（image prompt）：以图代文的条件形态，信息载体是 CLIP 图像嵌入。
- 解耦交叉注意力（decoupled cross-attention）：在文本注意力层旁新增一组独立的图像注意力（独立的 K/V 投影，共享 Q）。
- 适配器权重（adapter strength）：图像注意力输出的缩放系数，控制参考影响力度。
- 变体谱系：IP-Adapter（风格/内容泛参考）、IP-Adapter-FaceID（人脸身份强化）、风格对齐类适配器等（变体随生态演化，截至 2026-10 持续更新）。
原理与机制
注入点设计：在每个配置了文本交叉注意力的层，额外加一组注意力，Query 仍来自图像空间位置，但 K/V 来自参考图的图像嵌入序列：
Attntotal = Attn(Q, Ktext, Vtext) + λ · Attn(Q, Kimg, Vimg)
「解耦」指图像通道有自己独立的投影参数——文本与图像语义在注意力输出端才相加，各自强度独立可调，这正是它比早期「把图像嵌入拼进文本序列」方案干净的原因。训练沿用 kp-014 的适配器哲学：主干全冻结，只训练这组新投影（参数量千万级，远小于 LoRA 之外的全量）；训练数据是图文对，把「文字描述的条件」替换/并联为「图像编码的条件」。行为特征：CLIP 图像嵌入保留的是全局语义（色调、材质、氛围、粗结构），因此普通 IP-Adapter 擅长「风格/氛围迁移」而弱于「精确结构复制」；要结构看 kp-014，要身份看 FaceID 变体（其图像编码换成人脸识别特征）。与 img2img 的本质区别：img2img 是把参考图放在噪声轨迹上（影响起点），IP-Adapter 是把参考图放在条件通道上（影响每一步的方向）——前者构图绑定参考图，后者构图仍由种子与提示词主导。
公式与推导
本节公式即并联注意力（上）。推导层面无需新数学，关键在矩阵维度：CLIP 图像嵌入为单向量或 token 序列（取决于实现），经独立投影得 K_img/V_img；λ 即使用端的 adapter strength（0~1）。λ=0 退化为纯文生图；λ 过高时参考图的全局统计（如整体色偏）会「压住」文本条件——这与 CFG 的 w 一样是 kp-004 的权衡旋钮。
图示
参考图→CLIP 图像编码 → K_img, V_img⊕λ去噪层注意力（文本通道 + 图像通道并联）←Q（图像空间位置）
直观类比
Img2img 是「把参考画摆在画板上照着起稿」；IP-Adapter 是「把参考画钉在墙上，主笔每画一笔瞟一眼找感觉」——画板会限制构图，墙上的画只影响笔触与色调。λ 就是「瞟的频率」。
实例或案例
- 风格统一批量出图：一张定调图作 IP-Adapter 输入（λ=0.5）+ 逐张不同提示词，产出十张色调材质统一的插画——电商详情页的典型用法。
- 人脸一致性：IP-Adapter-FaceID + 少量提示词，跨构图生成同一人物面孔（与角色 LoRA 互补：LoRA 更稳、FaceID 免训练即用）。
- 失败现场：参考图选了带复杂背景的全景照，普通 IP-Adapter 把「背景氛围」也一并注入，输出画面蒙上参考图的场景感——应换裁剪主体或降低 λ。
常见误区
- 误区一：IP-Adapter = img2img。前者在条件通道、后者在噪声起点；构图自由度完全不同。
- 误区二：它能精确复制参考图内容。CLIP 嵌入是语义级而非像素级，精确结构请用 ControlNet，精确身份请用 FaceID 系。
- 误区三：λ 与 CFG 作用相同。λ 控制一条条件通道的音量，CFG 控制条件整体的外推倍数，二者独立可调且语义不同。
自测题
- 「解耦」交叉注意力解耦的是什么？
答案要点：文本与图像两路条件的 K/V 投影相互独立，强度可分别调节，输出端相加。
- 同一张参考图，用 img2img（s=0.7）与 IP-Adapter（λ=0.7）各出一张图，构图差异如何？为什么？
答案要点：img2img 构图贴近参考图（起点继承），IP-Adapter 构图主要由种子与提示词决定（参考只给风格语义）。
- 普通版与 FaceID 版的核心差异在哪一层？
答案要点：图像编码器——前者用 CLIP 全局语义嵌入，后者用人脸身份特征。
与其他知识点的关系
kp-011 的交叉注意力是本节机制的「文本半边」；kp-014 提供适配器架构范式；kp-015 是「要更强的概念还原时」的训练替代；kp-027 把本节组件纳入一致性工作流。
延伸阅读
IP-Adapter 论文（2023，arXiv）第 3 节对「解耦」与「文本兼容」的设计论证，篇幅短、结构清晰。