LEANN FlashLib 后端实战指南用 CUDA GPU 加速 IVF-Flat 向量检索【免费下载链接】LEANN[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.项目地址: https://gitcode.com/GitHub_Trending/le/LEANNLEANN 以 HNSW 剪枝图 在线重算嵌入闻名可在个人设备上实现约 97% 的存储压缩而本文要介绍的 FlashLib 后端则是一条相反的路线——在已拥有 CUDA GPU 的前提下用 FlashLib基于 Triton / CuteDSL 的经典 ML 算子库在 GPU 上直接跑 IVF-Flat倒排文件近似最近邻检索把存储压缩让位给原始 GPU 检索吞吐。读完本文你将掌握flashlib与flashlib_ivf两个 GPU 后端的选型依据、安装方式、Python API 与 CLI 用法、底层构建/检索原理、参数调优手段以及它们相对 FAISS CPU IVF 的真实性能对比与诚实的局限说明。什么是 FlashLib 后端FlashLibpip install flashlib是一个运行在 GPU 上的经典机器学习算子库涵盖 k-means、DBSCAN、PCA、SVD、UMAP、t-SNE、IVF-Flat ANN 等常见算法。LEANN 的flashlib后端使用它的IVFFlat索引——一个完全基于 CUDA tensor 运行的倒排文件近似最近邻ANN索引。它的关键特性是可预测的召回率在固定的(nlist, nprobe)配置下它探测的候选集与参考实现FAISS / cuVS的 IVF-Flat 相同因此召回行为与业界标准一致区别仅在于检索本身跑在 GPU 上速度更快。直接使用 FlashLib 的原生 API 大致是这样import torch from flashlib import IVFFlat db torch.randn(1_000_000, 128, devicecuda) index IVFFlat(nlist1024, nprobe16).fit(db) distances, indices index.kneighbors(torch.randn(10_000, 128, devicecuda), n_neighbors10)LEANN 的flashlib后端在此基础上做了两层封装一是把“无磁盘格式”的 FlashLib 索引持久化为标准文件二是把该索引无缝接入 LEANN 统一的LeannBuilder/LeannSearcherAPI 与后端注册机制见 packages/leann-core/src/leann/registry.py。何时使用 FlashLib后端选型对比LEANN 目前内置了多种检索后端各有侧重BackendBest forStorageHardwarehnsw(default)Laptop / CPU, max storage savings via recomputation~3% of raw (pruned graph)CPUdiskannLarger-than-memory datasetsOn-disk graphCPUivfIncremental add/remove without rebuildFull vectors (FAISS)CPUflashlibHigh-throughput search on a CUDA GPUFull vectors (.npy)CUDA GPUflashlib_ivfGPU IVF-Flat (approximate) — the GPU counterpart ofivfFull vectors (.pt)CUDA GPU使用 FlashLib 的适用场景很明确你已经有 GPU并且想要快速的 IVF-Flat 检索。它存储的是完整的 float32 向量而不是剪枝图因此以牺牲 LEANN 的存储节省为代价换取原始 GPU 检索速度。如果你追求最小磁盘占用应当选择hnsw配合重算机制磁盘占用约为原始数据的 3%。两个 FlashLib 系后端的区别也值得注意flashlib使用 FlashLib 的NearestNeighbors融合的 flash-knn 暴力检索在 GPU 上做精确k-NNflashlib_ivf使用 FlashLib 的flash_ivf_flat在 GPU 上做IVF-Flat 近似检索是 FAISSivf后端的 GPU 对位版本。这一区分在 packages/leann-backend-flashlib-ivf/README.md 中有明确说明。环境要求CUDA GPUflashlib后端在检索时必须要有 GPU而构建索引只需要 numpy无 GPU 也能 buildflashlib与torch通过下面的 extra 安装时会自动带上。源码层面FlashlibSearcher在初始化时会做双重校验_import_flashlib()会检查flashlib与torch是否可导入缺失时抛出带安装提示的ImportError随后torch.cuda.is_available()为 False 时会抛出RuntimeError明确告知“FlashLib backend requires a CUDA GPU at search time”见 packages/leann-backend-flashlib/leann_backend_flashlib/flashlib_backend.py。安装可选后端装完即用FlashLib 后端是可选项默认的 LEANN 安装不会引入它。仓库根目录的 pyproject.toml 定义了flashlib与flashlib-ivf两个 optional dependency 分组# From a LEANN source checkout uv sync --extra flashlib # Or as a standalone package pip install leann-backend-flashlibflashlib_ivf对应安装命令uv sync --extra flashlib-ivf # or: pip install leann-backend-flashlib-ivf两个子包各自的依赖在 packages/leann-backend-flashlib/pyproject.toml 与 packages/leann-backend-flashlib-ivf/pyproject.toml 中声明leann-core、numpy、flashlib、torch其中numpy1.20.0。此外它们还提供一个可选 extraquery-serverleann-backend-hnswpyzmqmsgpack用于像其他后端一样通过 HNSW 的 ZMQ 嵌入服务器来为查询生成嵌入。为什么装完不需要额外配置因为 LEANN 的后端是自动发现的autodiscover_backends()会遍历已安装的 distribution凡是以leann-backend-开头的包都会被importlib导入而flashlib/flashlib_ivf正是通过register_backend(flashlib)、register_backend(flashlib_ivf)装饰器注册进BACKEND_REGISTRY的见 packages/leann-core/src/leann/registry.py。所以只要装上包backend_nameflashlib立即可用。使用方式Python API 与 CLIPython APIflashlib后端的使用与其他 LEANN 后端完全一致通过LeannBuilder构建、LeannSearcher检索from leann import LeannBuilder, LeannSearcher builder LeannBuilder(backend_nameflashlib) # nlist1024, distance_metricmips builder.add_text(LEANN recomputes embeddings on the fly to cut storage by ~97%.) builder.add_text(FlashLib runs IVF-Flat search on the GPU.) builder.build_index(demo.leann) searcher LeannSearcher(demo.leann) results searcher.search(How does LEANN save storage?, top_k3) for r in results: print(r.score, r.text)flashlib_ivf的用法几乎一样只是可以额外指定nlist与distance_metric并在检索时通过complexity控制nprobefrom leann import LeannBuilder, LeannSearcher builder LeannBuilder(backend_nameflashlib_ivf, nlist4096, distance_metriccosine) builder.add_text(LEANN recomputes embeddings on the fly to cut storage by ~97%.) builder.build_index(demo.leann) searcher LeannSearcher(demo.leann) results searcher.search(How does LEANN save storage?, top_k10, complexity32) # nprobe32从构建流程看见 packages/leann-core/src/leann/api.pybuild_index会依次完成写入index.passages.jsonl与偏移索引、用标准 LEANN 嵌入路径计算全部文本的嵌入、调用BACKEND_REGISTRY[backend_name].builder(...).build(embeddings, ids, index_path)最后写出index.meta.json元数据——后端名、嵌入模型、维度、backend_kwargs等都会持久化供检索时恢复。示例应用 / CLI仓库自带的应用脚本同样支持--backend-name参数切换后端source .venv/bin/activate python -m apps.document_rag \ --query What are the main techniques LEANN explores? \ --backend-name flashlib把--backend-name换成flashlib_ivf即可使用 GPU 上的 IVF-Flat 近似检索后端。工作原理无磁盘格式的 GPU 索引如何桥接FlashLib 的IVFFlat在 GPU 显存中构建索引没有磁盘格式。LEANN 后端需要自己补上持久化这一环其策略分两段见 flashlib_backend.py构建阶段FlashlibBuilder把原始 float32 向量保存为index.flashlib.npy把 id 映射保存为index.flashlib_id_map.json。build 只需要 numpy不需要 GPU。检索阶段FlashlibSearcher启动时把向量加载为 CUDA tensor通过IVFFlat(nlist, nprobe).fit(db)一次性重建索引之后每个查询都走index.kneighbors(...)。初始化时还会校验 CUDA 可用性、读取 id map并把k收敛到min(top_k, ntotal)。flashlib_ivf后端的持久化方式不同见 flashlib_ivf_backend.py构建时在 GPU 上训练粗量化器k-means并把索引张量centroids、按 cell 连续排列的 data、row ids、CSR offsets 等字段用torch.save存为index.flashlib_ivf.pt外加index.flashlib_ivf_id_map.json检索时一次性把这些张量加载回 GPU 重建IvfFlatIndex无需重新训练 k-means。因此flashlib_ivf在构建k-means和检索两个阶段都要求 CUDA GPU。距离度量只有 squared L2如何支持 mips / cosineFlashLib 唯一支持的距离度量是squared L2。为了支持mips/cosine后端会在构建和查询时对数据库向量与查询向量统一做L2 归一化_normalize_l2零范数向量会被保护为 1 再除见 flashlib_backend.py。在单位向量上squared-L2 排序与内积 / cosine 排序等价因此结果与其他后端一致。这是两个 FlashLib 后端共用的技巧。nlist 与 nprobe 的推导规则nlist会被收敛到语料规模k-means 的约束即nlist min(nlist, n)nprobe由检索时的complexity旋钮推导规则为nprobe min(complexity, nlist)见 flashlib_ivf_backend.py与 FAISSivf后端共享同一套复杂度语义。参数速查参数默认值含义nlist(build)1024IVF 分区数会被收敛到向量总数。distance_metric(build)mipsmips、cosine或l2。nprobe(search)由complexity推导每个查询探测的分区数——召回旋钮越大召回越高、越慢。flashlib_ivf后端在构建侧还额外暴露了三个参数见 packages/leann-backend-flashlib-ivf/README.md参数默认值含义nprobe(build)16每查询默认探测的分区数召回旋钮。niter20粗量化器 Lloyd k-means 迭代次数。seed0RNG 种子确定性构建。另外两个后端都通过BaseSearcher复用标准 LEANN 嵌入路径查询嵌入优先走 HNSW 的 ZMQ 嵌入服务器leann_backend_hnsw.hnsw_embedding_server不可用时退化为直接加载模型因此任何 LEANN 支持的嵌入模型都可用于查询见 packages/leann-core/src/leann/searcher_base.py 与两个后端源码中的compute_query_embedding。性能对比GPU IVF vs CPU IVF仓库提供了开箱即用的对比脚本 benchmarks/flashlib_ivf_vs_faiss_ivf.py在相同nlist下对flashlib_ivfGPU与 FAISSivfCPU做nprobe扫描python benchmarks/flashlib_ivf_vs_faiss_ivf.py \ --sizes 100000 1000000 --nprobe-sweep 1 8 32 128 --cpu-threads 8脚本通过 LEANN 后端注册表驱动真实的 builder/searcher而非桩代码并会先固定 BLAS 线程数再导入 numpy/faiss因为 FAISS 的线程池在 import 时就被读取保证 CPU 基线公平。下面是 1M 语料、768 维、top-k10、NVIDIA H200、faiss-cpu8 线程条件下的参考结果CorpusnprobeGPU latCPU latGPU q/sCPU q/sRecall (GPU/CPU)Speedup (lat / tpt)1M80.45 ms1.14 ms107k5.9k0.340 / 0.3212.6× / 18×1M320.46 ms3.00 ms141k1.9k0.400 / 0.3506.5× / 75×1M1280.55 ms9.91 ms95k0.6k0.539 / 0.42318× / 159×构建1M、nlist4096GPU10.6 svs FAISS CPU140.7 s——快约 13×GPU k-means vs CPU k-means 训练。从表格可以清晰看到GPU 延迟随nprobe增加几乎保持平坦而 CPU 延迟随nprobe线性增长因此你越是提高召回要求GPU 的领先优势拉得越大——延迟提速从 2.6× 一路扩大到 18×吞吐提速更是从 18× 到 159×。诚实的局限说明脚本与文档都明确标注了几点需要注意的边界极低nprobe下单查询 GPU 延迟更高约 0.44 ms因为单查询工作量极小GPU kernel 启动开销占主导GPU 优势随nprobe更高召回、批大小与语料规模的增大而显现上表中绝对召回率偏低是数据使然合成 mixture-of-Gaussians 语料的簇数比nlist多在真实嵌入上召回会高得多——这个基准的目的是在匹配的(nlist, nprobe)下隔离 GPU-vs-CPU 的相对对比构建时 FAISS 会用到多核脚本中 build 阶段omp_set_num_threads上限 64搜索阶段才被限制到--cpu-threads指定的预算。注意事项与限制检索必须 GPUflashlib构建索引可在纯 CPU 机器上完成只需 numpy但搜索时没有 CUDA GPU 会直接报错flashlib_ivf则构建k-means与搜索都要求 GPU存储占用存储完整向量无法享受 LEANN 图剪枝带来的存储节省——若磁盘占用是首要考量请选择hnsw查询嵌入走标准 LEANN 路径HNSW ZMQ 嵌入服务器可用时优先否则直接加载模型所以任何 LEANN 支持的嵌入模型都能配合这两个 GPU 后端工作。综上flashlib与flashlib_ivf是 LEANN 为“已有 GPU、追求高吞吐检索”场景准备的一对利器前者做精确 GPU k-NN后者以 IVF-Flat 做近似检索并把召回旋钮nprobe交给complexity控制。结合 docs/flashlib_backend_guide.md 与 benchmarks/flashlib_ivf_vs_faiss_ivf.py 中的数据与代码你可以在自己的硬件上快速复现对比为个人设备上的 RAG 应用选择最合适的检索后端。【免费下载链接】LEANN[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.项目地址: https://gitcode.com/GitHub_Trending/le/LEANN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LEANN FlashLib 后端实战指南：用 CUDA GPU 加速 IVF-Flat 向量检索
LEANN FlashLib 后端实战指南用 CUDA GPU 加速 IVF-Flat 向量检索【免费下载链接】LEANN[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.项目地址: https://gitcode.com/GitHub_Trending/le/LEANNLEANN 以 HNSW 剪枝图 在线重算嵌入闻名可在个人设备上实现约 97% 的存储压缩而本文要介绍的 FlashLib 后端则是一条相反的路线——在已拥有 CUDA GPU 的前提下用 FlashLib基于 Triton / CuteDSL 的经典 ML 算子库在 GPU 上直接跑 IVF-Flat倒排文件近似最近邻检索把存储压缩让位给原始 GPU 检索吞吐。读完本文你将掌握flashlib与flashlib_ivf两个 GPU 后端的选型依据、安装方式、Python API 与 CLI 用法、底层构建/检索原理、参数调优手段以及它们相对 FAISS CPU IVF 的真实性能对比与诚实的局限说明。什么是 FlashLib 后端FlashLibpip install flashlib是一个运行在 GPU 上的经典机器学习算子库涵盖 k-means、DBSCAN、PCA、SVD、UMAP、t-SNE、IVF-Flat ANN 等常见算法。LEANN 的flashlib后端使用它的IVFFlat索引——一个完全基于 CUDA tensor 运行的倒排文件近似最近邻ANN索引。它的关键特性是可预测的召回率在固定的(nlist, nprobe)配置下它探测的候选集与参考实现FAISS / cuVS的 IVF-Flat 相同因此召回行为与业界标准一致区别仅在于检索本身跑在 GPU 上速度更快。直接使用 FlashLib 的原生 API 大致是这样import torch from flashlib import IVFFlat db torch.randn(1_000_000, 128, devicecuda) index IVFFlat(nlist1024, nprobe16).fit(db) distances, indices index.kneighbors(torch.randn(10_000, 128, devicecuda), n_neighbors10)LEANN 的flashlib后端在此基础上做了两层封装一是把“无磁盘格式”的 FlashLib 索引持久化为标准文件二是把该索引无缝接入 LEANN 统一的LeannBuilder/LeannSearcherAPI 与后端注册机制见 packages/leann-core/src/leann/registry.py。何时使用 FlashLib后端选型对比LEANN 目前内置了多种检索后端各有侧重BackendBest forStorageHardwarehnsw(default)Laptop / CPU, max storage savings via recomputation~3% of raw (pruned graph)CPUdiskannLarger-than-memory datasetsOn-disk graphCPUivfIncremental add/remove without rebuildFull vectors (FAISS)CPUflashlibHigh-throughput search on a CUDA GPUFull vectors (.npy)CUDA GPUflashlib_ivfGPU IVF-Flat (approximate) — the GPU counterpart ofivfFull vectors (.pt)CUDA GPU使用 FlashLib 的适用场景很明确你已经有 GPU并且想要快速的 IVF-Flat 检索。它存储的是完整的 float32 向量而不是剪枝图因此以牺牲 LEANN 的存储节省为代价换取原始 GPU 检索速度。如果你追求最小磁盘占用应当选择hnsw配合重算机制磁盘占用约为原始数据的 3%。两个 FlashLib 系后端的区别也值得注意flashlib使用 FlashLib 的NearestNeighbors融合的 flash-knn 暴力检索在 GPU 上做精确k-NNflashlib_ivf使用 FlashLib 的flash_ivf_flat在 GPU 上做IVF-Flat 近似检索是 FAISSivf后端的 GPU 对位版本。这一区分在 packages/leann-backend-flashlib-ivf/README.md 中有明确说明。环境要求CUDA GPUflashlib后端在检索时必须要有 GPU而构建索引只需要 numpy无 GPU 也能 buildflashlib与torch通过下面的 extra 安装时会自动带上。源码层面FlashlibSearcher在初始化时会做双重校验_import_flashlib()会检查flashlib与torch是否可导入缺失时抛出带安装提示的ImportError随后torch.cuda.is_available()为 False 时会抛出RuntimeError明确告知“FlashLib backend requires a CUDA GPU at search time”见 packages/leann-backend-flashlib/leann_backend_flashlib/flashlib_backend.py。安装可选后端装完即用FlashLib 后端是可选项默认的 LEANN 安装不会引入它。仓库根目录的 pyproject.toml 定义了flashlib与flashlib-ivf两个 optional dependency 分组# From a LEANN source checkout uv sync --extra flashlib # Or as a standalone package pip install leann-backend-flashlibflashlib_ivf对应安装命令uv sync --extra flashlib-ivf # or: pip install leann-backend-flashlib-ivf两个子包各自的依赖在 packages/leann-backend-flashlib/pyproject.toml 与 packages/leann-backend-flashlib-ivf/pyproject.toml 中声明leann-core、numpy、flashlib、torch其中numpy1.20.0。此外它们还提供一个可选 extraquery-serverleann-backend-hnswpyzmqmsgpack用于像其他后端一样通过 HNSW 的 ZMQ 嵌入服务器来为查询生成嵌入。为什么装完不需要额外配置因为 LEANN 的后端是自动发现的autodiscover_backends()会遍历已安装的 distribution凡是以leann-backend-开头的包都会被importlib导入而flashlib/flashlib_ivf正是通过register_backend(flashlib)、register_backend(flashlib_ivf)装饰器注册进BACKEND_REGISTRY的见 packages/leann-core/src/leann/registry.py。所以只要装上包backend_nameflashlib立即可用。使用方式Python API 与 CLIPython APIflashlib后端的使用与其他 LEANN 后端完全一致通过LeannBuilder构建、LeannSearcher检索from leann import LeannBuilder, LeannSearcher builder LeannBuilder(backend_nameflashlib) # nlist1024, distance_metricmips builder.add_text(LEANN recomputes embeddings on the fly to cut storage by ~97%.) builder.add_text(FlashLib runs IVF-Flat search on the GPU.) builder.build_index(demo.leann) searcher LeannSearcher(demo.leann) results searcher.search(How does LEANN save storage?, top_k3) for r in results: print(r.score, r.text)flashlib_ivf的用法几乎一样只是可以额外指定nlist与distance_metric并在检索时通过complexity控制nprobefrom leann import LeannBuilder, LeannSearcher builder LeannBuilder(backend_nameflashlib_ivf, nlist4096, distance_metriccosine) builder.add_text(LEANN recomputes embeddings on the fly to cut storage by ~97%.) builder.build_index(demo.leann) searcher LeannSearcher(demo.leann) results searcher.search(How does LEANN save storage?, top_k10, complexity32) # nprobe32从构建流程看见 packages/leann-core/src/leann/api.pybuild_index会依次完成写入index.passages.jsonl与偏移索引、用标准 LEANN 嵌入路径计算全部文本的嵌入、调用BACKEND_REGISTRY[backend_name].builder(...).build(embeddings, ids, index_path)最后写出index.meta.json元数据——后端名、嵌入模型、维度、backend_kwargs等都会持久化供检索时恢复。示例应用 / CLI仓库自带的应用脚本同样支持--backend-name参数切换后端source .venv/bin/activate python -m apps.document_rag \ --query What are the main techniques LEANN explores? \ --backend-name flashlib把--backend-name换成flashlib_ivf即可使用 GPU 上的 IVF-Flat 近似检索后端。工作原理无磁盘格式的 GPU 索引如何桥接FlashLib 的IVFFlat在 GPU 显存中构建索引没有磁盘格式。LEANN 后端需要自己补上持久化这一环其策略分两段见 flashlib_backend.py构建阶段FlashlibBuilder把原始 float32 向量保存为index.flashlib.npy把 id 映射保存为index.flashlib_id_map.json。build 只需要 numpy不需要 GPU。检索阶段FlashlibSearcher启动时把向量加载为 CUDA tensor通过IVFFlat(nlist, nprobe).fit(db)一次性重建索引之后每个查询都走index.kneighbors(...)。初始化时还会校验 CUDA 可用性、读取 id map并把k收敛到min(top_k, ntotal)。flashlib_ivf后端的持久化方式不同见 flashlib_ivf_backend.py构建时在 GPU 上训练粗量化器k-means并把索引张量centroids、按 cell 连续排列的 data、row ids、CSR offsets 等字段用torch.save存为index.flashlib_ivf.pt外加index.flashlib_ivf_id_map.json检索时一次性把这些张量加载回 GPU 重建IvfFlatIndex无需重新训练 k-means。因此flashlib_ivf在构建k-means和检索两个阶段都要求 CUDA GPU。距离度量只有 squared L2如何支持 mips / cosineFlashLib 唯一支持的距离度量是squared L2。为了支持mips/cosine后端会在构建和查询时对数据库向量与查询向量统一做L2 归一化_normalize_l2零范数向量会被保护为 1 再除见 flashlib_backend.py。在单位向量上squared-L2 排序与内积 / cosine 排序等价因此结果与其他后端一致。这是两个 FlashLib 后端共用的技巧。nlist 与 nprobe 的推导规则nlist会被收敛到语料规模k-means 的约束即nlist min(nlist, n)nprobe由检索时的complexity旋钮推导规则为nprobe min(complexity, nlist)见 flashlib_ivf_backend.py与 FAISSivf后端共享同一套复杂度语义。参数速查参数默认值含义nlist(build)1024IVF 分区数会被收敛到向量总数。distance_metric(build)mipsmips、cosine或l2。nprobe(search)由complexity推导每个查询探测的分区数——召回旋钮越大召回越高、越慢。flashlib_ivf后端在构建侧还额外暴露了三个参数见 packages/leann-backend-flashlib-ivf/README.md参数默认值含义nprobe(build)16每查询默认探测的分区数召回旋钮。niter20粗量化器 Lloyd k-means 迭代次数。seed0RNG 种子确定性构建。另外两个后端都通过BaseSearcher复用标准 LEANN 嵌入路径查询嵌入优先走 HNSW 的 ZMQ 嵌入服务器leann_backend_hnsw.hnsw_embedding_server不可用时退化为直接加载模型因此任何 LEANN 支持的嵌入模型都可用于查询见 packages/leann-core/src/leann/searcher_base.py 与两个后端源码中的compute_query_embedding。性能对比GPU IVF vs CPU IVF仓库提供了开箱即用的对比脚本 benchmarks/flashlib_ivf_vs_faiss_ivf.py在相同nlist下对flashlib_ivfGPU与 FAISSivfCPU做nprobe扫描python benchmarks/flashlib_ivf_vs_faiss_ivf.py \ --sizes 100000 1000000 --nprobe-sweep 1 8 32 128 --cpu-threads 8脚本通过 LEANN 后端注册表驱动真实的 builder/searcher而非桩代码并会先固定 BLAS 线程数再导入 numpy/faiss因为 FAISS 的线程池在 import 时就被读取保证 CPU 基线公平。下面是 1M 语料、768 维、top-k10、NVIDIA H200、faiss-cpu8 线程条件下的参考结果CorpusnprobeGPU latCPU latGPU q/sCPU q/sRecall (GPU/CPU)Speedup (lat / tpt)1M80.45 ms1.14 ms107k5.9k0.340 / 0.3212.6× / 18×1M320.46 ms3.00 ms141k1.9k0.400 / 0.3506.5× / 75×1M1280.55 ms9.91 ms95k0.6k0.539 / 0.42318× / 159×构建1M、nlist4096GPU10.6 svs FAISS CPU140.7 s——快约 13×GPU k-means vs CPU k-means 训练。从表格可以清晰看到GPU 延迟随nprobe增加几乎保持平坦而 CPU 延迟随nprobe线性增长因此你越是提高召回要求GPU 的领先优势拉得越大——延迟提速从 2.6× 一路扩大到 18×吞吐提速更是从 18× 到 159×。诚实的局限说明脚本与文档都明确标注了几点需要注意的边界极低nprobe下单查询 GPU 延迟更高约 0.44 ms因为单查询工作量极小GPU kernel 启动开销占主导GPU 优势随nprobe更高召回、批大小与语料规模的增大而显现上表中绝对召回率偏低是数据使然合成 mixture-of-Gaussians 语料的簇数比nlist多在真实嵌入上召回会高得多——这个基准的目的是在匹配的(nlist, nprobe)下隔离 GPU-vs-CPU 的相对对比构建时 FAISS 会用到多核脚本中 build 阶段omp_set_num_threads上限 64搜索阶段才被限制到--cpu-threads指定的预算。注意事项与限制检索必须 GPUflashlib构建索引可在纯 CPU 机器上完成只需 numpy但搜索时没有 CUDA GPU 会直接报错flashlib_ivf则构建k-means与搜索都要求 GPU存储占用存储完整向量无法享受 LEANN 图剪枝带来的存储节省——若磁盘占用是首要考量请选择hnsw查询嵌入走标准 LEANN 路径HNSW ZMQ 嵌入服务器可用时优先否则直接加载模型所以任何 LEANN 支持的嵌入模型都能配合这两个 GPU 后端工作。综上flashlib与flashlib_ivf是 LEANN 为“已有 GPU、追求高吞吐检索”场景准备的一对利器前者做精确 GPU k-NN后者以 IVF-Flat 做近似检索并把召回旋钮nprobe交给complexity控制。结合 docs/flashlib_backend_guide.md 与 benchmarks/flashlib_ivf_vs_faiss_ivf.py 中的数据与代码你可以在自己的硬件上快速复现对比为个人设备上的 RAG 应用选择最合适的检索后端。【免费下载链接】LEANN[MLsys2026 Best Paper]: https://arxiv.org/abs/2506.08276. RAG on Everything with LEANN. Enjoy 97% storage savings while running a fast, accurate, and 100% private RAG application on your personal device.项目地址: https://gitcode.com/GitHub_Trending/le/LEANN创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考