Signal Field Attention (SFA)

超越 Transformer 的推理范式— 轻量级、正交注意力增强机制用 ~8KB 参数换取 248x~3971x KV Cache 压缩专为边缘设备设计。⚡ 一句话SFA 是一个外挂式注意力增强引擎不修改基座模型权重通过三通道正交信号注入在推理阶段实时增强注意力输出。核心优势✅零侵入集成— 通过 Hook / GGML Bridge 挂载不改模型代码✅正交信息通道— 与标准注意力余弦相似度 ~0.002近乎 90°✅O(1) 内存— 固定 8KB 参数不随序列长度增长✅边缘优先— M1 Pro 实测 Prefill 150%, Generate 142% 基准测试 (Qwen2.5-0.5B, M1 Pro 16GB)指标基线 (F16)Q4_0 SFA提升Prefill 速度81 t/s202 t/s150%Generate 速度89 t/s215 t/s142%内存占用948 MB336 MB-65%KV Cache 压缩—248x4K / 3971x64K理论值Decode 延迟O(n)O(1)~0.52ms/token恒定⚠️ PPL 改善实验α2.0 时长文本 PPL -10.02%短文本 PPL -5.79%真实模型验证️ 架构三通道 KV 压缩机制┌─────────────────────────────────────────────────┐ │ SFA Triple-Channel Engine │ ├──────────────┬──────────────┬───────────────────┤ │ RingBuffer │ EMA Field │ Semantic Pool │ │ (短期) │ (长期) │ (全局语义) │ │ 16 槽位 │ γ0.98 │ 64 槽位 T0.07 │ │ ~64KB │ ~4KB │ ~256KB │ └──────────────┴──────────────┴───────────────────┘ │ │ │ └──────────────┼──────────────┘ ▼ Enhancement Ring_Mean 0.5 × Field_State 0.5 × Semantic_Attn ▼ α_layer × Clip(enhancement, ±0.5) ▼ output attn_output enhancement正交性验证α 值Cosine SimilarityEnhancement 贡献比0.01.000 (基线)0%0.1~0.002~3.3%1.0~0.007~11.5%2.0~0.042~20% 快速开始安装# Python 实现pipinstall-e.# Rust 编译cargobuild--release使用示例fromsrc.sfaimportSFA_Engine,SFA_Config# 配置configSFA_Config(alpha_base0.1,# 基础增强强度cross_decay0.8,# 跨层衰减ema_gamma0.98,# EMA 系数ring_size16,# RingBuffer 大小semantic_slots64,# 语义槽数量enhancement_clip0.5# 裁剪阈值)# 初始化引擎engineSFA_Engine(config)engine.init(n_layers24,hidden_size1024)# 运行增强enhancementengine.compute_triple_channel_enhancement(layer0,attn_outputattention_output)llama.cpp 集成// C Bridge Layer#includesfa_llama_bridge.h// 在推理管线中挂载sfa::sfa_engine_init(model.n_layers,model.hidden_size);// ... 在 attention 层调用sfa::compute_enhancement(layer,attn_output,enhancement); 项目结构signal-field-attention/ ├── src/ │ ├── sfa/ # SFA v7 核心代码 │ │ ├── sfa_engine.h # 三通道引擎 (C) │ │ ├── sfa_adapter.h # 适配层 │ │ ├── sfa_kernel.metal # Metal GPU kernel │ │ ├── sfa_llama_bridge.* # llama.cpp 桥接 │ │ └── sfa_lockfree.h # 无锁并发 │ ├── modules/ # 其他模块 │ │ ├── lingya/ # LingYa 正交基微调 │ │ ├── convergence/ # Convergence 混合架构 │ │ ├── native/ # Native 增量推理 │ │ └── heritage/ # Heritage 蒸馏 │ └── isfe/ # Intent Signal Field Engine ├── tests/ # 测试套件 │ ├── test_sfa_correctness.py │ ├── test_sfa_integration.py │ └── benchmark_suite.py ├── examples/ # 示例和实验脚本 ├── docs/ # 技术文档 │ ├── TECHNICAL_REPORT.md # SFA v7 完整技术报告 │ ├── INTEGRATION_GUIDE.md # llama.cpp 集成指南 │ └── landscape_analysis_2026-06-23.md # 竞品分析 ├── Cargo.toml # Rust 依赖 └── LICENSE # MIT License 实验结果汇总真实实验实验结果状态SFA 正交性验证Cosine ~0.002 (α≥0.1)✅ 通过KV Cache 压缩比248x4K, 3971x64K✅ 通过Metal GPU 加速Prefill 2.66×, Generate 1.41×✅ 通过Qwen2.5-0.5B PPLα2.0 长文本 -10.02%✅ 通过LingYa 正交基微调97.584% vs LoRA 97.043%✅ 通过负实验诚实记录实验结果说明Huayue 混合架构PPL 退化 52%-39%❌ 架构冲突0.5B 蒸馏PPL 退化 1539%❌ 无蒸馏数据RCA 频域注意力Cosine 仅 0.15-0.16❌ 未达正交 关键技术细节Alpha 校准配置alpha_basecross_decay增强占比适用场景保守0.040.90~0.3%生产环境适中1.00.95~1.6%研究验证激进10.00.98~3.1%PPL 优化跨层衰减公式α l a y e r α b a s e × ( 0.3 l a y e r n l a y e r s − 1 × 0.7 ) × γ l a y e r \alpha_{layer} \alpha_{base} \times (0.3 \frac{layer}{n_{layers}-1} \times 0.7) \times \gamma^{layer}αlayer​αbase​×(0.3nlayers​−1layer​×0.7)×γlayer 许可证本项目基于 MIT 许可证 开源。 作者贾大林中国石家庄 / QN1 幻化引擎团队 引用misc{dalinsoma2026signalfield, title{Signal Field Attention: A Lightweight Orthogonal Attention Enhancement for Edge Inference}, author{Dalin Jia}, year{2026}, publisher{GitHub}, url{https://github.com/CN-QN1-dalin/signal-field-attention} }