Prompt-to-Prompt Image Editing with Cross Attention Control

• https://arxiv.org/pdf/2208.01626

1. 问题引入

• 通过manipulate cross attn map的方式来实现图片编辑的任务；

2. methods
   

• 编辑前后的图片以及prompt$I,I^{\ast },P,P^{\ast }$，在cross attn中，pixel feature $\varphi (z_t)$得到$Q=l_Q(\varphi (z_t))$，$K=l_K(\psi (P)),v=l_V(\psi (P))$，得到atten map $M$，其中$M_{ij}$表示的是$j-th$的token和pixel $i$之间的关系；
• 编辑的算法如下：
• 其中$Edit(M_t,M_t^{\ast },t)$根据任务不同定义如下：
• word swap：
  
• Adding a New Phrase：
  
• Attention Re–weighting：