StyTr^2 ：基于Transformer的图像风格迁移（CVPR2022）

作者: 邓莹莹, 唐帆, 潘星佳, 董伟明, 马崇阳, 徐长生

本文提出了一种基于Transformer模型的无偏图像风格迁移方法。与现有最先进的方法相比，我们的方法能提升风格化效果。 本仓库为SyTr^2 : Image Style Transfer with Transformers的官方实现。

结果展示

与一些最先进的算法相比，我们的方法具有很强的内容泄漏防止能力，并且拥有更好的特征表达能力。

框架

这是我们StyTr^2框架的整体流程。我们将内容图像和风格图像切分为patches，并通过线性投影获得图像序列。然后，将添加了CAPE的内容序列送入内容Transformer编码器，同时风格序列送入风格Transformer编码器。在两个Transformer编码器之后，采用多层Transformer解码器根据风格序列对内容序列进行风格化。最后，我们使用渐进式上采样解码器生成高分辨率的风格化图像。

实验

环境要求

• python 3.6
• pytorch 1.4.0
• PIL, numpy, scipy
• tqdm
  

测试

预训练模型: vgg-model, vit_embedding, decoder, Transformer_module
请下载上述模型并放入 ./experiments/ 文件夹下

python test.py  --content_dir input/content/ --style_dir input/style/    --output out

训练

风格数据集为从WIKIART收集的WikiArt
内容数据集为COCO2014

python train.py --style_dir ../../datasets/Images/ --content_dir ../../datasets/train2014 --save_dir models/ --batch_size 8

参考文献

如果您在研究中觉得我们的工作有用，请使用以下BibTeX条目引用我们的论文~感谢 ^ . ^。论文链接 pdf

@inproceedings{deng2021stytr2,
      title={StyTr^2: Image Style Transfer with Transformers}, 
      author={Yingying Deng and Fan Tang and Weiming Dong and Chongyang Ma and Xingjia Pan and Lei Wang and Changsheng Xu},
      booktitle={IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
      year={2022},
}

--- Tranlated By Open Ai Tx | Last indexed: 2025-06-09 ---