1. 解码几何理解嵌入空间拥挤现象的本质在大型语言模型LLM的复杂推理任务中解码策略的选择往往决定了生成结果的质量。传统方法如温度采样Temperature Scaling和截断采样Top-p/Top-k通过全局调整概率分布来平衡生成质量与多样性但这些方法存在一个根本性局限——它们仅关注令牌的概率值而完全忽略了这些令牌在嵌入空间中的几何关系。1.1 嵌入空间拥挤现象的定义与发现嵌入空间拥挤Embedding-Space Crowding是LLM解码过程中一个未被充分研究的现象。当模型预测下一个令牌时其概率质量往往会集中在嵌入空间中几何位置相近的令牌上形成局部密集区域。这种现象类似于人群在物理空间中的聚集——虽然每个人令牌都是独立的个体但他们的分布并不均匀而是倾向于在特定区域形成簇集。通过数学推理任务的系统性分析使用AIME25基准测试和Qwen模型研究者发现高拥挤序列的正确率34.37%显著高于低拥挤序列1.56%点二列相关性分析显示拥挤与正确率呈显著负相关r -0.39, p 1.38×10⁻³⁶关键发现当模型在推理过程中频繁选择几何相近的令牌时其生成轨迹会陷入局部最优导致最终答案错误率升高。这种现象在数学推导、逻辑推理等需要多步连贯思维的任务中尤为明显。1.2 传统解码策略的局限性现有解码方法主要分为两类但都存在固有缺陷截断采样Truncation-based Sampling代表方法Top-p (nucleus sampling)、Top-k工作原理通过概率阈值过滤低概率令牌缺陷仅考虑概率值完全忽略令牌语义关系温度采样Temperature-based Sampling代表方法Temperature Scaling、EDT熵动态温度工作原理通过温度参数调整概率分布陡度缺陷全局调整破坏原始分布结构下表对比了传统方法与几何感知方法的差异特性截断采样温度采样几何感知方法考虑令牌概率✓✓✓考虑嵌入几何✗✗✓调整粒度全局全局局部保留分布原始形状部分不保留部分保留计算开销低低中等1.3 几何视角的解码新范式从几何角度看令牌嵌入空间具有以下关键特性各向异性令牌在嵌入空间中的分布不均匀存在高密度区域层级结构相关概念在嵌入空间中形成聚类语义连续性几何距离与语义相似度正相关当模型解码时如果连续选择的令牌都来自同一密集区域会导致语义冗余生成的文本在概念上缺乏多样性路径依赖错误在推理链中累积放大局部最优难以跳出当前思维模式理解这些几何特性是设计更智能解码策略的基础。在下一章节中我们将深入分析如何量化测量拥挤现象并建立其与推理表现的关联模型。2. 量化分析与统计验证拥挤与推理表现的关联要系统研究嵌入空间拥挤现象首先需要建立可靠的量化指标。本章将详细解析论文中提出的三级拥挤度量体系并通过实证数据展示其与推理表现的统计关联。2.1 多粒度拥挤度量体系2.1.1 令牌级拥挤分数Token-Level Crowding Score对于解码步骤t中的令牌i其拥挤分数定义为$$ \text{Crowd}{\text{token}}^t(i) \sum{j\neq i} p_{t,j} |\cos(e_i, e_j)| $$其中$p_{t,j}$令牌j在步骤t的概率$e_i, e_j$令牌i和j的嵌入向量$\cos(\cdot,\cdot)$余弦相似度这个分数反映了在嵌入空间中与令牌i几何相近的其他令牌所携带的概率质量总和。绝对值余弦相似度的使用确保无论嵌入方向相同还是相反都能捕捉到几何关联。2.1.2 步骤级拥挤分数Step-Level Crowding Score基于令牌级分数步骤t的拥挤程度可量化为$$ \text{Crowd}{\text{step}}(t) \sum_i p{t,i} \cdot \text{Crowd}_{\text{token}}^t(i) $$这是对当前解码步骤整体拥挤程度的期望估计。高分值表示概率质量集中在多个几何相近的令牌上低分值则意味着质量分散在语义多样的令牌中。2.1.3 序列级拥挤分数Sequence-Level Crowding Score对于包含T个解码步骤的完整生成序列其整体拥挤程度为$$ \text{Crowd}{\text{seq}} \frac{1}{T}\sum{t1}^T \text{Crowd}_{\text{step}}(t) $$在实际计算中为提升效率通常只考虑top-K如K100高概率令牌因为低概率令牌对拥挤分数的贡献可以忽略。2.2 拥挤与推理表现的实证关联在AIME25数学推理基准上的实验揭示了 crowding 与推理成功率的显著关联序列级分析图2数据拥挤程度准确率低34.38%中13.12%高1.56%步骤级分析错误样本的解码步骤普遍呈现更高的拥挤分数即使控制熵值后拥挤仍是正确率的显著负向预测因子OR0.29, p0.001与不确定性的关系传统熵度量与正确率无显著关联OR0.63, p0.26拥挤分数提供了超出熵的预测信息操作建议在实际应用中可以通过监控实时拥挤分数来评估生成质量。当检测到持续高拥挤时可触发干预机制如调整解码参数或重置上下文。2.3 几何拥挤的典型表现模式通过可视化分析研究者识别出几种常见的拥挤模式语义重复型拥挤高概率令牌表达相似概念例[计算演算求解推算]语法结构型拥挤高概率令牌属于相同语法类别例[因此所以于是故]符号变体型拥挤数学表达式的等价变体聚集例[xyyx(xy)]下表对比了不同任务类型中的拥挤特征任务类型主要拥挤模式对推理的影响数学推导符号变体、公式等价形阻碍探索替代解法路径逻辑推理连接词聚集、命题变体导致论证单一化创意写作近义词聚集、句式重复降低文本多样性代码生成API变体、语法结构限制算法实现多样性理解这些模式有助于针对不同任务设计更有针对性的解码策略。在下一章中我们将介绍如何利用这些洞察来构建更智能的解码算法。3. CraEG方法详解几何引导的重加权机制基于对嵌入空间拥挤现象的深入理解研究者提出了CraEGCrowding-Aware Sampling via Embedding Geometry方法。这一训练无关的插件式解码算法通过几何感知的重加权机制有效缓解拥挤问题提升生成质量。3.1 核心算法流程CraEG在每一步解码时对原始概率分布进行修正主要包含五个步骤3.1.1 有效修正集选择为提高计算效率仅对概率超过阈值ε的令牌进行处理 $$ S_t { i | p_{t,i} \geq \epsilon } $$ 典型设置ε0.01平衡覆盖范围与计算成本。3.1.2 拥挤分数计算在修正集S_t内计算令牌级拥挤 $$ \text{Crowd}{\text{token}}^t(i) \sum{j\in S_t\backslash{i}} p_{t,j} |\cos(e_i, e_j)| $$调整后的步骤级拥挤 $$ \text{Crowd}{\text{step}}^\dagger(t) \sum{i\in S_t} p_{t,i} (e^{p_{t,i}}-1) \text{Crowd}_{\text{token}}^t(i) $$3.1.3 修正因子计算步骤级强度因子 $$ \lambda_t \frac{\tau \sum_{i\in S_t} p_i}{\text{Crowd}{\text{step}}^\dagger(t)(1-\tau \sum{i\in S} p_i)} $$ 其中τ∈[0,1]控制全局修正强度。令牌级修正因子 $$ \alpha_{t,i} \frac{1}{1 \lambda_t (e^{p_{t,i}}-1) \text{Crowd}_{\text{token}}^t(i)} $$3.1.4 拥挤感知修正对每个i∈S_t应用修正 $$ \tilde{p}{t,i} \alpha{t,i} p_{t,i} $$3.1.5 重归一化保持原始概率质量 $$ p{t,i} \begin{cases} \tilde{p}{t,i} \cdot \frac{\sum_{k\in S_t} p_{t,k}}{\sum_{k\in S_t} \tilde{p}{t,k}}, i \in S_t \ p{t,i}, i \notin S_t \end{cases} $$3.2 关键设计原理3.2.1 非线性加权机制使用$(e^{p_{t,i}}-1)$而非线性项实现对高概率令牌施加更强修正保持对低概率令牌的温和处理避免过度抑制合理候选3.2.2 自适应强度控制λ_t的动态调整确保拥挤严重时施加更强修正自然稀疏分布时减少干预保持不同分布形状下的稳定性3.2.3 计算效率优化通过限制修正集大小通常|S_t|≤100向量化相似度矩阵计算并行化令牌级运算 使额外开销可忽略5%延迟增加3.3 实现细节嵌入访问使用静态令牌嵌入不更新预计算标准化嵌入加速余弦计算相似度矩阵一次计算全候选集相似度对称性优化减少50%计算量硬件加速利用GPU张量核心半精度计算保持精度与现有流程集成def craeg_adjust(probs, embeddings, tau0.3, eps0.01): # probs: [vocab_size], embeddings: [vocab_size, dim] S (probs eps).nonzero().squeeze(-1) if len(S) 0: return probs # Compute crowding scores emb_S embeddings[S] # [|S|, dim] sim_matrix torch.abs(emb_S emb_S.T) # [|S|, |S|] p_S probs[S] # [|S|] crowd_token (sim_matrix * p_S).sum(dim1) - p_S # [|S|] # Compute correction factors exp_p torch.exp(p_S) - 1 crowd_step (p_S * exp_p * crowd_token).sum() mass_S p_S.sum() lambda_t (tau * mass_S) / (crowd_step * (1 - tau * mass_S 1e-9)) alpha 1 / (1 lambda_t * exp_p * crowd_token) # Apply correction p_adjusted probs.clone() p_adjusted[S] p_S * alpha p_adjusted[S] p_adjusted[S] * (mass_S / p_adjusted[S].sum()) return p_adjusted实现提示在实际部署时可将CraEG作为后处理层插入温度缩放与截断采样之间无需修改模型架构即可获得提升。4. 实验验证与效果分析为全面评估CraEG的有效性研究团队设计了跨模型、跨任务的系统性实验。本章将详细解析实验结果揭示CraEG在不同场景下的表现特性。4.1 实验设置4.1.1 模型与基准测试模型Qwen3-1.7B/4B开源中英文双语模型Hunyuan-1.8B腾讯开发的中文优化模型评估基准AIME24/AIME25美国数学邀请赛试题HMMT25哈佛-麻省理工数学锦标赛4.1.2 基线方法对比两种常见配置宽松采样温度1.0top-p1.0保守采样温度0.7top-p0.954.1.3 评估指标指标定义衡量维度Avg3232次重复平均分稳定性Pass88次尝试中至少一次正确的概率成功率Distinct-4唯一4-gram比率表面多样性Semantic Div语义嵌入的多样性1-平均相似度深层多样性4.2 主要结果4.2.1 Qwen3-1.7B上的表现配置1宽松采样方法Avg32 ΔPass8 ΔDist-4 ΔSemDiv Δ标准采样----CraEG0.521.981.170.62配置2保守采样方法Avg32 ΔPass8 ΔDist-4 ΔSemDiv Δ标准采样----CraEG0.901.100.70-0.01关键发现宽松配置下多样性提升更明显保守配置下准确性增益更突出HMMT25最难基准获益最大Pass8 2.994.2.2 跨模型泛化性Qwen3-4B基准Avg32 ΔPass8 ΔDist-4 ΔSemDiv ΔAIME240.21-0.283.461.31AIME250.210.682.971.06HMMT251.561.932.610.32Hunyuan-1.8BAvg32: 1.36Pass8: 4.93Dist-4: -2.13SemDiv: -0.46注意虽然Hunyuan的多样性指标略有下降但近重复输出相似度0.999从1.04%降至0.39%表明质量提升。4.3 案例研究4.3.1 步骤级重分配图3展示了一个典型解码步骤中CraEG如何调整概率分布原始Top-5因此 (p0.41)所以 (p0.32)于是 (p0.15)推导 (p0.05)可得 (p0.04)CraEG调整后因此 (p0.38) ↓7%所以 (p0.29) ↓9%推导 (p0.12) ↑140%可得 (p0.10) ↑150%于是 (p0.08) ↓47%调整特点抑制语义重复连接词提升具有推导意义动词保持整体分布形状4.3.2 轨迹级变化图4显示在整个生成序列中平均拥挤分数从0.1934降至0.1864低拥挤区域概率质量增加高拥挤区域概率质量减少4.4 消融实验4.4.1 非线性加权的影响加权方式Avg32Pass8Dist-4SemDiv标准采样35.9457.3350.3616.61线性CraEG39.3763.4750.9717.31非线性CraEG36.4658.9152.0317.70发现线性版更激进准确性更高非线性版更保守多样性更好4.4.2 修正强度τ的影响τ取值建议宽松采样T1.00.3-0.5保守采样T0.70.2-0.3困难任务适当增大简单任务保持适中5. 应用指南与扩展方向5.1 实际部署建议5.1.1 参数调优策略基于不同任务的特性推荐配置任务类型推荐τ温度top-p预期效果数学推理0.3-0.40.7-1.00.9-1.0提升正确率减少逻辑错误创意写作0.2-0.31.0-1.20.95-1.0增强多样性避免重复代码生成0.3-0.50.5-0.70.9-1.0提高实现变体优化结构问答系统0.2-0.30.7-0.90.9-1.0平衡准确性与回答多样性5.1.2 计算资源考量CraEG引入的额外开销主要来自嵌入向量获取可预加载缓存相似度矩阵计算复杂度O(k²d)k为修正集大小重加权运算向量化实现实测性能影响A100 GPU模型规模延迟增加内存开销1B参数3%5%7B参数1%2%20B参数0.5%1%5.2 与其他技术的协同5.2.1 与推理增强方法的结合CraEG可与以下技术协同使用思维链CoT在每一步推理中应用几何感知采样自洽性Self-Consistency生成更多样化的候选解工具使用避免外部工具调用的模式坍塌5.2.2 与可控生成技术的整合提示工程在特定步骤触发CraEG调整引导解码与几何约束共同作用对比解码作为辅助评分机制5.3 局限性与未来方向5.3.1 当前局限嵌入质量依赖依赖预训练模型的嵌入空间结构多模态扩展尚未适配图像/音频等多模态生成动态嵌入未考虑上下文相关嵌入变化5.3.2 潜在改进方向自适应τ调整根据生成内容动态调整修正强度层级拥挤处理区分不同语义层级的拥挤模式混合度量结合其他几何特征如曲率、密度实践心得在数学推理任务中我们观察到当CraEG与温度采样T0.8配合使用时既能保持核心推导路径的稳定性又能适时引入有价值的变体解法。这种组合在保持主要推理方向的同时提供了必要的探索灵活性。
LLM解码策略：嵌入空间拥挤现象与几何感知优化
发布时间：2026/6/9 3:48:46
1. 解码几何理解嵌入空间拥挤现象的本质在大型语言模型LLM的复杂推理任务中解码策略的选择往往决定了生成结果的质量。传统方法如温度采样Temperature Scaling和截断采样Top-p/Top-k通过全局调整概率分布来平衡生成质量与多样性但这些方法存在一个根本性局限——它们仅关注令牌的概率值而完全忽略了这些令牌在嵌入空间中的几何关系。1.1 嵌入空间拥挤现象的定义与发现嵌入空间拥挤Embedding-Space Crowding是LLM解码过程中一个未被充分研究的现象。当模型预测下一个令牌时其概率质量往往会集中在嵌入空间中几何位置相近的令牌上形成局部密集区域。这种现象类似于人群在物理空间中的聚集——虽然每个人令牌都是独立的个体但他们的分布并不均匀而是倾向于在特定区域形成簇集。通过数学推理任务的系统性分析使用AIME25基准测试和Qwen模型研究者发现高拥挤序列的正确率34.37%显著高于低拥挤序列1.56%点二列相关性分析显示拥挤与正确率呈显著负相关r -0.39, p 1.38×10⁻³⁶关键发现当模型在推理过程中频繁选择几何相近的令牌时其生成轨迹会陷入局部最优导致最终答案错误率升高。这种现象在数学推导、逻辑推理等需要多步连贯思维的任务中尤为明显。1.2 传统解码策略的局限性现有解码方法主要分为两类但都存在固有缺陷截断采样Truncation-based Sampling代表方法Top-p (nucleus sampling)、Top-k工作原理通过概率阈值过滤低概率令牌缺陷仅考虑概率值完全忽略令牌语义关系温度采样Temperature-based Sampling代表方法Temperature Scaling、EDT熵动态温度工作原理通过温度参数调整概率分布陡度缺陷全局调整破坏原始分布结构下表对比了传统方法与几何感知方法的差异特性截断采样温度采样几何感知方法考虑令牌概率✓✓✓考虑嵌入几何✗✗✓调整粒度全局全局局部保留分布原始形状部分不保留部分保留计算开销低低中等1.3 几何视角的解码新范式从几何角度看令牌嵌入空间具有以下关键特性各向异性令牌在嵌入空间中的分布不均匀存在高密度区域层级结构相关概念在嵌入空间中形成聚类语义连续性几何距离与语义相似度正相关当模型解码时如果连续选择的令牌都来自同一密集区域会导致语义冗余生成的文本在概念上缺乏多样性路径依赖错误在推理链中累积放大局部最优难以跳出当前思维模式理解这些几何特性是设计更智能解码策略的基础。在下一章节中我们将深入分析如何量化测量拥挤现象并建立其与推理表现的关联模型。2. 量化分析与统计验证拥挤与推理表现的关联要系统研究嵌入空间拥挤现象首先需要建立可靠的量化指标。本章将详细解析论文中提出的三级拥挤度量体系并通过实证数据展示其与推理表现的统计关联。2.1 多粒度拥挤度量体系2.1.1 令牌级拥挤分数Token-Level Crowding Score对于解码步骤t中的令牌i其拥挤分数定义为$$ \text{Crowd}{\text{token}}^t(i) \sum{j\neq i} p_{t,j} |\cos(e_i, e_j)| $$其中$p_{t,j}$令牌j在步骤t的概率$e_i, e_j$令牌i和j的嵌入向量$\cos(\cdot,\cdot)$余弦相似度这个分数反映了在嵌入空间中与令牌i几何相近的其他令牌所携带的概率质量总和。绝对值余弦相似度的使用确保无论嵌入方向相同还是相反都能捕捉到几何关联。2.1.2 步骤级拥挤分数Step-Level Crowding Score基于令牌级分数步骤t的拥挤程度可量化为$$ \text{Crowd}{\text{step}}(t) \sum_i p{t,i} \cdot \text{Crowd}_{\text{token}}^t(i) $$这是对当前解码步骤整体拥挤程度的期望估计。高分值表示概率质量集中在多个几何相近的令牌上低分值则意味着质量分散在语义多样的令牌中。2.1.3 序列级拥挤分数Sequence-Level Crowding Score对于包含T个解码步骤的完整生成序列其整体拥挤程度为$$ \text{Crowd}{\text{seq}} \frac{1}{T}\sum{t1}^T \text{Crowd}_{\text{step}}(t) $$在实际计算中为提升效率通常只考虑top-K如K100高概率令牌因为低概率令牌对拥挤分数的贡献可以忽略。2.2 拥挤与推理表现的实证关联在AIME25数学推理基准上的实验揭示了 crowding 与推理成功率的显著关联序列级分析图2数据拥挤程度准确率低34.38%中13.12%高1.56%步骤级分析错误样本的解码步骤普遍呈现更高的拥挤分数即使控制熵值后拥挤仍是正确率的显著负向预测因子OR0.29, p0.001与不确定性的关系传统熵度量与正确率无显著关联OR0.63, p0.26拥挤分数提供了超出熵的预测信息操作建议在实际应用中可以通过监控实时拥挤分数来评估生成质量。当检测到持续高拥挤时可触发干预机制如调整解码参数或重置上下文。2.3 几何拥挤的典型表现模式通过可视化分析研究者识别出几种常见的拥挤模式语义重复型拥挤高概率令牌表达相似概念例[计算演算求解推算]语法结构型拥挤高概率令牌属于相同语法类别例[因此所以于是故]符号变体型拥挤数学表达式的等价变体聚集例[xyyx(xy)]下表对比了不同任务类型中的拥挤特征任务类型主要拥挤模式对推理的影响数学推导符号变体、公式等价形阻碍探索替代解法路径逻辑推理连接词聚集、命题变体导致论证单一化创意写作近义词聚集、句式重复降低文本多样性代码生成API变体、语法结构限制算法实现多样性理解这些模式有助于针对不同任务设计更有针对性的解码策略。在下一章中我们将介绍如何利用这些洞察来构建更智能的解码算法。3. CraEG方法详解几何引导的重加权机制基于对嵌入空间拥挤现象的深入理解研究者提出了CraEGCrowding-Aware Sampling via Embedding Geometry方法。这一训练无关的插件式解码算法通过几何感知的重加权机制有效缓解拥挤问题提升生成质量。3.1 核心算法流程CraEG在每一步解码时对原始概率分布进行修正主要包含五个步骤3.1.1 有效修正集选择为提高计算效率仅对概率超过阈值ε的令牌进行处理 $$ S_t { i | p_{t,i} \geq \epsilon } $$ 典型设置ε0.01平衡覆盖范围与计算成本。3.1.2 拥挤分数计算在修正集S_t内计算令牌级拥挤 $$ \text{Crowd}{\text{token}}^t(i) \sum{j\in S_t\backslash{i}} p_{t,j} |\cos(e_i, e_j)| $$调整后的步骤级拥挤 $$ \text{Crowd}{\text{step}}^\dagger(t) \sum{i\in S_t} p_{t,i} (e^{p_{t,i}}-1) \text{Crowd}_{\text{token}}^t(i) $$3.1.3 修正因子计算步骤级强度因子 $$ \lambda_t \frac{\tau \sum_{i\in S_t} p_i}{\text{Crowd}{\text{step}}^\dagger(t)(1-\tau \sum{i\in S} p_i)} $$ 其中τ∈[0,1]控制全局修正强度。令牌级修正因子 $$ \alpha_{t,i} \frac{1}{1 \lambda_t (e^{p_{t,i}}-1) \text{Crowd}_{\text{token}}^t(i)} $$3.1.4 拥挤感知修正对每个i∈S_t应用修正 $$ \tilde{p}{t,i} \alpha{t,i} p_{t,i} $$3.1.5 重归一化保持原始概率质量 $$ p{t,i} \begin{cases} \tilde{p}{t,i} \cdot \frac{\sum_{k\in S_t} p_{t,k}}{\sum_{k\in S_t} \tilde{p}{t,k}}, i \in S_t \ p{t,i}, i \notin S_t \end{cases} $$3.2 关键设计原理3.2.1 非线性加权机制使用$(e^{p_{t,i}}-1)$而非线性项实现对高概率令牌施加更强修正保持对低概率令牌的温和处理避免过度抑制合理候选3.2.2 自适应强度控制λ_t的动态调整确保拥挤严重时施加更强修正自然稀疏分布时减少干预保持不同分布形状下的稳定性3.2.3 计算效率优化通过限制修正集大小通常|S_t|≤100向量化相似度矩阵计算并行化令牌级运算 使额外开销可忽略5%延迟增加3.3 实现细节嵌入访问使用静态令牌嵌入不更新预计算标准化嵌入加速余弦计算相似度矩阵一次计算全候选集相似度对称性优化减少50%计算量硬件加速利用GPU张量核心半精度计算保持精度与现有流程集成def craeg_adjust(probs, embeddings, tau0.3, eps0.01): # probs: [vocab_size], embeddings: [vocab_size, dim] S (probs eps).nonzero().squeeze(-1) if len(S) 0: return probs # Compute crowding scores emb_S embeddings[S] # [|S|, dim] sim_matrix torch.abs(emb_S emb_S.T) # [|S|, |S|] p_S probs[S] # [|S|] crowd_token (sim_matrix * p_S).sum(dim1) - p_S # [|S|] # Compute correction factors exp_p torch.exp(p_S) - 1 crowd_step (p_S * exp_p * crowd_token).sum() mass_S p_S.sum() lambda_t (tau * mass_S) / (crowd_step * (1 - tau * mass_S 1e-9)) alpha 1 / (1 lambda_t * exp_p * crowd_token) # Apply correction p_adjusted probs.clone() p_adjusted[S] p_S * alpha p_adjusted[S] p_adjusted[S] * (mass_S / p_adjusted[S].sum()) return p_adjusted实现提示在实际部署时可将CraEG作为后处理层插入温度缩放与截断采样之间无需修改模型架构即可获得提升。4. 实验验证与效果分析为全面评估CraEG的有效性研究团队设计了跨模型、跨任务的系统性实验。本章将详细解析实验结果揭示CraEG在不同场景下的表现特性。4.1 实验设置4.1.1 模型与基准测试模型Qwen3-1.7B/4B开源中英文双语模型Hunyuan-1.8B腾讯开发的中文优化模型评估基准AIME24/AIME25美国数学邀请赛试题HMMT25哈佛-麻省理工数学锦标赛4.1.2 基线方法对比两种常见配置宽松采样温度1.0top-p1.0保守采样温度0.7top-p0.954.1.3 评估指标指标定义衡量维度Avg3232次重复平均分稳定性Pass88次尝试中至少一次正确的概率成功率Distinct-4唯一4-gram比率表面多样性Semantic Div语义嵌入的多样性1-平均相似度深层多样性4.2 主要结果4.2.1 Qwen3-1.7B上的表现配置1宽松采样方法Avg32 ΔPass8 ΔDist-4 ΔSemDiv Δ标准采样----CraEG0.521.981.170.62配置2保守采样方法Avg32 ΔPass8 ΔDist-4 ΔSemDiv Δ标准采样----CraEG0.901.100.70-0.01关键发现宽松配置下多样性提升更明显保守配置下准确性增益更突出HMMT25最难基准获益最大Pass8 2.994.2.2 跨模型泛化性Qwen3-4B基准Avg32 ΔPass8 ΔDist-4 ΔSemDiv ΔAIME240.21-0.283.461.31AIME250.210.682.971.06HMMT251.561.932.610.32Hunyuan-1.8BAvg32: 1.36Pass8: 4.93Dist-4: -2.13SemDiv: -0.46注意虽然Hunyuan的多样性指标略有下降但近重复输出相似度0.999从1.04%降至0.39%表明质量提升。4.3 案例研究4.3.1 步骤级重分配图3展示了一个典型解码步骤中CraEG如何调整概率分布原始Top-5因此 (p0.41)所以 (p0.32)于是 (p0.15)推导 (p0.05)可得 (p0.04)CraEG调整后因此 (p0.38) ↓7%所以 (p0.29) ↓9%推导 (p0.12) ↑140%可得 (p0.10) ↑150%于是 (p0.08) ↓47%调整特点抑制语义重复连接词提升具有推导意义动词保持整体分布形状4.3.2 轨迹级变化图4显示在整个生成序列中平均拥挤分数从0.1934降至0.1864低拥挤区域概率质量增加高拥挤区域概率质量减少4.4 消融实验4.4.1 非线性加权的影响加权方式Avg32Pass8Dist-4SemDiv标准采样35.9457.3350.3616.61线性CraEG39.3763.4750.9717.31非线性CraEG36.4658.9152.0317.70发现线性版更激进准确性更高非线性版更保守多样性更好4.4.2 修正强度τ的影响τ取值建议宽松采样T1.00.3-0.5保守采样T0.70.2-0.3困难任务适当增大简单任务保持适中5. 应用指南与扩展方向5.1 实际部署建议5.1.1 参数调优策略基于不同任务的特性推荐配置任务类型推荐τ温度top-p预期效果数学推理0.3-0.40.7-1.00.9-1.0提升正确率减少逻辑错误创意写作0.2-0.31.0-1.20.95-1.0增强多样性避免重复代码生成0.3-0.50.5-0.70.9-1.0提高实现变体优化结构问答系统0.2-0.30.7-0.90.9-1.0平衡准确性与回答多样性5.1.2 计算资源考量CraEG引入的额外开销主要来自嵌入向量获取可预加载缓存相似度矩阵计算复杂度O(k²d)k为修正集大小重加权运算向量化实现实测性能影响A100 GPU模型规模延迟增加内存开销1B参数3%5%7B参数1%2%20B参数0.5%1%5.2 与其他技术的协同5.2.1 与推理增强方法的结合CraEG可与以下技术协同使用思维链CoT在每一步推理中应用几何感知采样自洽性Self-Consistency生成更多样化的候选解工具使用避免外部工具调用的模式坍塌5.2.2 与可控生成技术的整合提示工程在特定步骤触发CraEG调整引导解码与几何约束共同作用对比解码作为辅助评分机制5.3 局限性与未来方向5.3.1 当前局限嵌入质量依赖依赖预训练模型的嵌入空间结构多模态扩展尚未适配图像/音频等多模态生成动态嵌入未考虑上下文相关嵌入变化5.3.2 潜在改进方向自适应τ调整根据生成内容动态调整修正强度层级拥挤处理区分不同语义层级的拥挤模式混合度量结合其他几何特征如曲率、密度实践心得在数学推理任务中我们观察到当CraEG与温度采样T0.8配合使用时既能保持核心推导路径的稳定性又能适时引入有价值的变体解法。这种组合在保持主要推理方向的同时提供了必要的探索灵活性。
