VisionTransformer（二）—— 从Word Embedding到Patch Embedding：跨模态的向量化统一

1. Word Embedding与Patch Embedding的跨模态统一第一次看到VisionTransformerViT论文时最让我惊讶的是作者竟然用处理文本的方式处理图像。这就像用菜刀切面包——工具不对口但效果出奇地好。要理解这种跨模态的统一我们得先拆解两个核心概念NLP中的Word Embedding和CV中的Patch Embedding。在NLP领域Word Embedding就像给词语制作身份证。比如猫这个词通过Embedding会变成[0.2, -0.5, 0.7]这样的向量。神奇的是相似的词在向量空间里会靠得很近——猫和狗的距离会比猫和汽车近得多。这种特性让模型能理解语义关系比如国王-男人女人≈女王这样的向量运算。而在CV领域Patch Embedding做的是类似的事情。假设我们有一张224x224的图片把它切成16x16的小块每个patch是14x14像素然后把这些图像块拉平成向量。这就相当于把图像分词了每个patch对应NLP中的一个word token。通过可学习的线性投影这些图像patch被映射到与word embedding相同的向量空间。2. 文本与图像的分词艺术2.1 NLP的分词策略在自然语言处理中分词就像切香肠。英文相对简单按空格和标点就能切分。比如句子I love cats可以分成[I, love, cats]三个token。中文更复杂我喜欢猫可能需要分成[我,喜欢,猫]。但简单的分词会遇到问题新词难以识别比如网络用语绝绝子歧义切分南京市长江大桥可以怎么切稀有词处理现代NLP系统通常采用Byte Pair EncodingBPE等子词切分方法把单词拆成更小的语义单元。比如unhappiness可能被分成un, happy, ness。2.2 CV的分词创新图像没有显式的分隔符所以ViT采用了简单粗暴的均匀网格划分。比如把224x224图像分成16x16的patch每个patch就是14x14像素。这种划分方式有几个关键考虑计算效率直接处理整张图像的计算量太大224x22450,176像素分成196个patch16x16后每个patch只有14x14196像素局部性保留每个patch保留了局部空间信息可扩展性patch大小可以调整如32x32或8x8我在实际项目中测试过不同patch size的影响。对于ImageNet分类16x16是个不错的平衡点。但做细粒度分类比如鸟类识别时用8x8的patch能保留更多细节信息。3. 从离散符号到连续向量3.1 Word Embedding的向量化传统NLP使用one-hot编码比如猫 [1,0,0]狗 [0,1,0]汽车 [0,0,1]这种表示有两个致命缺陷维度灾难词汇表多大向量就有多长无法表达词与词之间的关系Word Embedding通过低维稠密向量解决了这两个问题。以Word2Vec为例它通过预测上下文来学习词向量使得语义相似的词在向量空间中距离相近。比如猫 ≈ [0.5, -0.2, 0.3]狗 ≈ [0.6, -0.1, 0.2]汽车 ≈ [-0.3, 0.8, 0.1]3.2 Patch Embedding的实现技巧ViT处理图像patch的方式与Word Embedding惊人地相似线性投影用一个可学习的矩阵E将patch投影到D维空间# 伪代码示例 patch_embedding nn.Linear(patch_dim, embed_dim)位置编码因为Transformer本身没有位置概念需要额外添加位置信息# 正弦位置编码 position torch.arange(num_patches).unsqueeze(1) div_term torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model)) pe[:, 0::2] torch.sin(position * div_term) pe[:, 1::2] torch.cos(position * div_term)CLS Token借鉴BERT的做法添加一个特殊的分类token用于最终分类我在实现时发现位置编码对模型性能影响很大。使用可学习的位置嵌入learnable positional embedding通常比固定正弦编码效果更好尤其是在处理高分辨率图像时。4. 语义保留的对比分析4.1 NLP中的语义保留好的Word Embedding应该能捕捉同义词相似性快乐和愉快反义关系大和小词性变化run和running上下文相关含义苹果作为水果vs公司例如通过GloVe或BERT学到的embedding可以在向量空间中进行类比推理vec(国王) - vec(男人) vec(女人) ≈ vec(女王)4.2 CV中的特征保留Patch Embedding需要保留的是视觉特征局部纹理和边缘颜色分布几何形状空间关系实验表明ViT的浅层embedding会学习到类似CNN的低级特征检测器边缘、颜色斑点等而深层embedding则能捕捉更高级的语义信息。一个有趣的发现是当把ViT的patch embedding可视化时早期的层会显示出类似Gabor滤波器的模式这与CNN的早期卷积核非常相似。这说明尽管架构不同但模型都会首先学习检测低级视觉特征。5. 统一范式的优势与挑战5.1 跨模态统一的优势架构简化同一套Transformer架构可以处理文本和图像多模态融合更容易实现图文联合建模如CLIP模型知识迁移NLP领域的预训练技术可以迁移到CV长程依赖Self-attention能直接建模全局关系不像CNN需要堆叠多层在实际项目中这种统一性带来了很大便利。比如我们可以用几乎相同的代码库处理文本分类和图像分类任务只需要调整输入embedding部分。5.2 面临的挑战计算复杂度Self-attention的O(n²)复杂度对高分辨率图像不友好数据需求ViT需要大量数据才能达到CNN的性能局部性缺失均匀划分patch可能破坏自然图像的局部结构位置敏感需要精心设计位置编码方案在资源受限的场景下我通常会采用混合架构——浅层用CNN提取局部特征深层用Transformer建模全局关系。这种设计在计算效率和模型性能之间取得了不错的平衡。6. 实现细节与优化技巧6.1 高效实现Patch Embedding原始ViT论文使用线性投影实现patch embedding但在实际应用中用卷积层实现更高效class PatchEmbed(nn.Module): def __init__(self, img_size224, patch_size16, in_chans3, embed_dim768): super().__init__() self.proj nn.Conv2d(in_chans, embed_dim, kernel_sizepatch_size, stridepatch_size) def forward(self, x): x self.proj(x) # [B, C, H, W] - [B, D, H/P, W/P] x x.flatten(2) # [B, D, H/P, W/P] - [B, D, N] x x.transpose(1, 2) # [B, D, N] - [B, N, D] return x这种实现有几点优势直接利用卷积的优化实现支持非方形patch如16x32可以轻松扩展到重叠patch通过调整stride6.2 位置编码的变体除了标准的位置编码还有几种值得尝试的方案相对位置编码考虑patch之间的相对距离而非绝对位置# 计算相对位置偏置 relative_position_bias nn.Parameter( torch.zeros((2*window_size-1)*(2*window_size-1), num_heads))条件位置编码根据图像内容动态生成位置信息# 使用轻量网络生成位置编码 self.pos_embed_net nn.Sequential( nn.Conv2d(in_chans, embed_dim//4, 3, padding1), nn.GELU(), nn.Conv2d(embed_dim//4, embed_dim, 3, padding1))层次化位置编码为不同分辨率特征图设计不同的位置编码在图像超分辨率任务中我发现条件位置编码能显著提升模型性能因为它能更好地适应不同图像内容的空间关系。7. 前沿发展与实际应用最近的研究在ViT的embedding方面有几个有趣的方向动态patch大小根据图像内容自适应调整patch划分非均匀采样在重要区域使用更密集的patch多尺度embedding同时处理不同尺度的patch混合模态embedding统一文本、图像、音频的embedding空间在实际部署ViT模型时有几个实用建议对小数据集先用CNN backbone提取特征再输入Transformer对高分辨率图像考虑分阶段下采样如先2x2平均池化使用知识蒸馏用CNN教师模型指导ViT训练对移动端部署可以采用蒸馏后的紧凑ViT变体如DeiT-Tiny我在一个医学图像分析项目中对比了不同embedding策略。发现对于X光片这类高分辨率图像采用渐进式patch embedding浅层用小patch深层用大patch能在保持精度的同时减少30%计算量。