mypyc 的 librt.base64 模块基于 SIMD 的高性能 Base64 编解码实现【免费下载链接】mypyOptional static typing for Python项目地址: https://gitcode.com/GitHub_Trending/my/mypy导读librt.base64是 mypyc 运行时库librt中提供 Base64 编码与解码功能的子模块其底层封装了 Alfred Klomp 的 SIMD base64 库在 x86 与 ARM 平台上通过运行时 CPU 特性检测自动选择 AVX-512、AVX2、SSSE3 或 NEON 等向量化实现。本文以 mypyc/doc/librt_base64.rst 为骨架结合仓库内 C 实现、mypyc 原生操作定义与测试用例深入讲解其四个公开函数的用法、与 Python 标准库base64模块的差异以及其性能优势的底层来源帮助你在 mypyc 编译的扩展模块中获得更快的 Base64 处理能力。模块定位librt 包中的高性能 Base64 实现librt.base64是 PyPI 上librt包的一部分。该包为 mypyc 编译生成的 C 扩展提供运行时支持包含librt.internal、librt.strings、librt.base64等多个子模块模块清单见 mypyc/build.py 中的LIBRT_MODULES列表以及 mypyc/doc/librt.rst。与标准库base64模块不同librt.base64的编解码核心是使用 SIMDSingle Instruction, Multiple Data指令实现的。它是对 Alfred Klomp 的 base64 库平台相关 codecarch/avx512、arch/avx2、arch/avx、arch/ssse3、arch/sse41、arch/sse42、arch/neon32、arch/neon64与通用回退实现arch/generic查表数据tables/table_enc_12bit.h、table_dec_32bit.h等Python 模块封装librt_base64.c导出PyInit_base64与 C API分发入口librt_base64.h、librt_base64_api.h、librt_base64_api.c。这些函数与标准库base64中对应的函数大部分兼容但速度显著更快。对于较大规模的输入即使从解释执行的 Python 代码中调用也比标准库替代方案快得多而经 mypyc 编译为原生扩展后性能优势更为明显。在解读模式下调用会经过 Python 层的函数调用开销而 mypyc 编译代码可以直接内联到原生操作这正是其“为 mypyc 优化”的意义所在。注意当数据格式异常时decode 函数的行为与标准库并不完全一致。模块只提供最常用的功能可选参数也受限标准库b64decode/urlsafe_b64decode的altchars与validate参数在此不受支持。公开 API四个函数librt.base64暴露四个函数全部通过 librt_base64.c 中的PyMethodDef以METH_FASTCALL方式注册。b64encode(s: bytes) - bytes使用标准 Base64 字母表编码一个 bytes 对象并返回编码后的 bytes。等价于标准库的base64.b64encode(s)输入必须是bytes源码中通过PyBytes_Check检查否则抛出TypeErrorbase64() expects a bytes object输入长度超过BASE64_MAXBIN定义为(PY_SSIZE_T_MAX - 3) / 2时抛出ValueError输出缓冲按4 * bin_len / 3 4估算不超过 1024 字节时直接使用栈上缓冲stack_buf避免堆分配见 librt_base64.c。b64decode(s: bytes | str) - bytes解码 Base64 编码的 bytes 对象或 ASCII 字符串返回解码后的 bytes。非 Base64 字母表的字符会被忽略这与标准库base64.b64decode的默认行为兼容输入既可以是bytes也可以是 ASCII 字符串若字符串含非 ASCII 字符则抛出ValueError填充padding不正确时抛出ValueError而标准库抛出的是binascii.Error它恰好是ValueError的子类这是两者在异常类型上的差别。urlsafe_b64encode(s: bytes) - bytes使用 URL 与文件系统安全的 Base64 字母表编码 bytes 对象并返回编码后的 bytes用-代替用_代替/等价于标准库的base64.urlsafe_b64encode(s)。urlsafe_b64decode(s: bytes | str) - bytes使用 URL 安全的字母表解码 bytes 对象或 ASCII 字符串返回解码后的 bytes是标准库base64.urlsafe_b64decode(s)的一个替代实现同样在填充不正确时抛出ValueError标准库抛binascii.Error。源码实现两个内部函数支撑四个公开 API在 librt_base64.c 中四个公开函数都只是薄封装真正的逻辑集中在两个内部函数中b64encode_internal(obj, urlsafe)统一编码入口。调用base64_encode()完成 SIMD 编码后若urlsafe为真则执行convert_encoded_to_urlsafe()把//逐个替换为-/_该转换循环特意写成易于编译器向量化的形式注释The loop is written to enable SIMD optimizations。b64decode_internal(arg, urlsafe)统一解码入口。先处理输入类型bytes或 ASCIIstr与空输入快速路径若是 urlsafe 模式则先经convert_urlsafe_to_encoded()把-/_还原为//随后调用底层base64_decode()。当底层解码返回 0遇到非法字符时转入b64decode_handle_invalid_input()慢路径——把非 Base64 字符剔除、按 RFC 4648 第 3.3 节处理填充后重新解码从而与标准库忽略非法字符的默认行为保持一致。两个内部函数还通过 C API 直接暴露给 mypyc 生成的原生代码使用见下节。异常与边界行为速查场景librt.base64标准库base64编码输入非 bytesTypeErrorTypeError编码超长输入ValueErrorToo much data视情况而定解码输入含非 ASCII 字符的 strValueErrorValueError解码填充不正确ValueErrorbinascii.ErrorValueError子类解码含非法字符忽略兼容默认行为默认忽略altchars/validate参数不支持支持mypyc 原生集成primitive 操作与 C API对 mypyc 编译的代码而言调用librt.base64的函数不只是普通 Python 调用而是被识别为原生 primitive 操作直接生成 C 函数调用。相关定义位于 mypyc/primitives/misc_ops.pylibrt.base64.b64encode、librt.base64.urlsafe_b64encode参数类型为bytes返回bytes映射到LibRTBase64_b64encode_internal通过extra_int_constants把urlsafe布尔常量直接编译进调用librt.base64.b64decode、librt.base64.urlsafe_b64decode参数类型为bytes | str的联合类型映射到LibRTBase64_b64decode_internal。这四个操作都标记为experimentalTrue并声明dependencies[LIBRT_BASE64]。依赖声明LIBRT_BASE64定义于 mypyc/ir/deps.py。当被编译模块依赖librt.base64时模块初始化函数会生成import_librt_base64()调用见 mypyc/codegen/emitmodule.py确保运行时加载并校验 C API。C API 的建立与消费采用版本化 Capsule 机制模块初始化时librt_base64_module_execlibrt.base64把包含 ABI 版本、API 版本和两个内部函数指针的数组放入名为librt.base64._C_API的PyCapsule见 librt_base64.c消费方import_librt_base64()通过PyCapsule_Import获取该 Capsule校验 ABI 版本必须完全一致、API 版本不得低于预期版本LIBRT_BASE64_ABI_VERSION为 1LIBRT_BASE64_API_VERSION为 2校验通过后把函数表拷贝到LibRTBase64_API全局数组见 librt_base64_api.cmypyc 生成的原生代码通过 librt_base64_api.h 中的宏LibRTBase64_b64encode_internal、LibRTBase64_b64decode_internal直接调用内部函数。这一设计使得 mypyc 编译的扩展对librt.base64的调用跳过 Python 函数调用层级直接以原生调用方式执行 SIMD 编解码。性能来源编译期 codec 选择 运行时 CPU 特性检测性能优势来自底层 Alfred Klomp base64 库的架构运行时特性检测x86在 codec_choose.c 中通过cpuid/__cpuid_count与_xgetbv读取 CPU 特性位并按优先级依次尝试 AVX-512要求 AVX512VL AVX512VBMI 且操作系统已启用 ZMM 状态保存、AVX2、AVX、SSE4.2、SSE4.1、SSSE3编译期固定选择ARM由于 ARM 在用户态缺乏便携的 NEON 特性检测手段codec_choose_arm直接按编译配置固定选用 neon64 或 neon32通用回退两者都不可用时回退到arch/generic的纯标量实现强制指定底层库还提供BASE64_FORCE_AVX2、BASE64_FORCE_NEON32等标志位仅供测试时强制某个 codec即便该 codec 在当前构建中是 no-opOpenMP 并行在启用_OPENMP的构建中当输入长度达到OMP_THRESHOLD20000 字节时base64_encode/base64_decode会切换到 OpenMP 多线程实现见 lib.c。codec 的选择结果被缓存为静态函数指针程序生命周期内只会选择一次因为运行时 CPU 特性不会变化。测试与验证与标准库的逐字节一致性仓库为librt.base64配备了完整的原生测试用例 mypyc/test-data/run-base64.test以与标准库输出一致为基准test_encode_different_strings/test_decode_different_strings对 256 个单字节、多种前缀/后缀组合、以及 2000 组随机长度1~2000 字节数据逐一与base64.b64encode/b64decode结果比对test_decode_with_non_base64_chars验证忽略非 Base64 字符的兼容行为包括尾部非法字符的快速路径与中部非法字符的慢路径test_decode_with_invalid_padding/test_decode_with_extra_data_after_padding验证填充错误抛ValueError以及填充后额外数据的处理并注明 CPython 3.13.13/3.14.4/3.15 修复了旧版本跳过首个填充块之后数据的 bug而 librt 实现不受 Python 版本影响始终符合 RFC 4648 第 3.3 节test_urlsafe_b64encode/test_urlsafe_b64decode验证 urlsafe 字母表与标准库一致且urlsafe_b64decode也能正确解码普通编码的结果testBase64UsedAtTopLevelOnly_librt验证 mypyc 编译时对模块顶层引用的处理路径。使用方式与适用场景在 mypyc 编译的项目中直接导入即可使用from librt.base64 import b64encode, b64decode, urlsafe_b64encode, urlsafe_b64decode # 与标准库 base64 等价 assert b64encode(bx) beA assert b64decode(beA) bx # URL 安全字母表 assert urlsafe_b64encode(b\xfb\xff) b-_8 assert urlsafe_b64decode(b-_8) b\xfb\xff # 非法字符会被忽略兼容标准库默认行为 assert b64decode(b e A ) bx需要说明的约束只支持bytes与 ASCIIstr输入bytearray等其他字节类对象会抛TypeError不支持altchars、validate参数解码填充错误抛ValueError而非binascii.Error如需兼容标准库异常可自行捕获ValueError因binascii.Error是ValueError子类捕获ValueError的代码可同时兼容两者在 mypyc/primitives/misc_ops.py 中这些操作标记为experimentalTrue使用时请留意版本演进。适用场景包括在 mypyc 编译的扩展中对大块数据如图片、序列化负载、签名摘要做批量 Base64 编解码、需要 urlsafe 编码的 Web 场景JWT 载荷、URL 参数、文件名安全编码等当数据规模较大时SIMD 与可选OpenMP 并行带来的收益最为明显。延伸阅读模块索引mypyc/doc/index.rst 与 mypyc/doc/librt.rst 列出了librt系列子模块运行时库构建librt.base64的 C 源文件清单与构建描述见 mypyc/build.py原生操作定义与 Capsule 依赖机制mypyc/primitives/misc_ops.py、mypyc/analysis/capsule_deps.py、mypyc/ir/deps.py测试用例mypyc/test-data/run-base64.test。【免费下载链接】mypyOptional static typing for Python项目地址: https://gitcode.com/GitHub_Trending/my/mypy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 mypyc 的 librt.base64 模块：基于 SIMD 的高性能 Base64 编解码实现
mypyc 的 librt.base64 模块基于 SIMD 的高性能 Base64 编解码实现【免费下载链接】mypyOptional static typing for Python项目地址: https://gitcode.com/GitHub_Trending/my/mypy导读librt.base64是 mypyc 运行时库librt中提供 Base64 编码与解码功能的子模块其底层封装了 Alfred Klomp 的 SIMD base64 库在 x86 与 ARM 平台上通过运行时 CPU 特性检测自动选择 AVX-512、AVX2、SSSE3 或 NEON 等向量化实现。本文以 mypyc/doc/librt_base64.rst 为骨架结合仓库内 C 实现、mypyc 原生操作定义与测试用例深入讲解其四个公开函数的用法、与 Python 标准库base64模块的差异以及其性能优势的底层来源帮助你在 mypyc 编译的扩展模块中获得更快的 Base64 处理能力。模块定位librt 包中的高性能 Base64 实现librt.base64是 PyPI 上librt包的一部分。该包为 mypyc 编译生成的 C 扩展提供运行时支持包含librt.internal、librt.strings、librt.base64等多个子模块模块清单见 mypyc/build.py 中的LIBRT_MODULES列表以及 mypyc/doc/librt.rst。与标准库base64模块不同librt.base64的编解码核心是使用 SIMDSingle Instruction, Multiple Data指令实现的。它是对 Alfred Klomp 的 base64 库平台相关 codecarch/avx512、arch/avx2、arch/avx、arch/ssse3、arch/sse41、arch/sse42、arch/neon32、arch/neon64与通用回退实现arch/generic查表数据tables/table_enc_12bit.h、table_dec_32bit.h等Python 模块封装librt_base64.c导出PyInit_base64与 C API分发入口librt_base64.h、librt_base64_api.h、librt_base64_api.c。这些函数与标准库base64中对应的函数大部分兼容但速度显著更快。对于较大规模的输入即使从解释执行的 Python 代码中调用也比标准库替代方案快得多而经 mypyc 编译为原生扩展后性能优势更为明显。在解读模式下调用会经过 Python 层的函数调用开销而 mypyc 编译代码可以直接内联到原生操作这正是其“为 mypyc 优化”的意义所在。注意当数据格式异常时decode 函数的行为与标准库并不完全一致。模块只提供最常用的功能可选参数也受限标准库b64decode/urlsafe_b64decode的altchars与validate参数在此不受支持。公开 API四个函数librt.base64暴露四个函数全部通过 librt_base64.c 中的PyMethodDef以METH_FASTCALL方式注册。b64encode(s: bytes) - bytes使用标准 Base64 字母表编码一个 bytes 对象并返回编码后的 bytes。等价于标准库的base64.b64encode(s)输入必须是bytes源码中通过PyBytes_Check检查否则抛出TypeErrorbase64() expects a bytes object输入长度超过BASE64_MAXBIN定义为(PY_SSIZE_T_MAX - 3) / 2时抛出ValueError输出缓冲按4 * bin_len / 3 4估算不超过 1024 字节时直接使用栈上缓冲stack_buf避免堆分配见 librt_base64.c。b64decode(s: bytes | str) - bytes解码 Base64 编码的 bytes 对象或 ASCII 字符串返回解码后的 bytes。非 Base64 字母表的字符会被忽略这与标准库base64.b64decode的默认行为兼容输入既可以是bytes也可以是 ASCII 字符串若字符串含非 ASCII 字符则抛出ValueError填充padding不正确时抛出ValueError而标准库抛出的是binascii.Error它恰好是ValueError的子类这是两者在异常类型上的差别。urlsafe_b64encode(s: bytes) - bytes使用 URL 与文件系统安全的 Base64 字母表编码 bytes 对象并返回编码后的 bytes用-代替用_代替/等价于标准库的base64.urlsafe_b64encode(s)。urlsafe_b64decode(s: bytes | str) - bytes使用 URL 安全的字母表解码 bytes 对象或 ASCII 字符串返回解码后的 bytes是标准库base64.urlsafe_b64decode(s)的一个替代实现同样在填充不正确时抛出ValueError标准库抛binascii.Error。源码实现两个内部函数支撑四个公开 API在 librt_base64.c 中四个公开函数都只是薄封装真正的逻辑集中在两个内部函数中b64encode_internal(obj, urlsafe)统一编码入口。调用base64_encode()完成 SIMD 编码后若urlsafe为真则执行convert_encoded_to_urlsafe()把//逐个替换为-/_该转换循环特意写成易于编译器向量化的形式注释The loop is written to enable SIMD optimizations。b64decode_internal(arg, urlsafe)统一解码入口。先处理输入类型bytes或 ASCIIstr与空输入快速路径若是 urlsafe 模式则先经convert_urlsafe_to_encoded()把-/_还原为//随后调用底层base64_decode()。当底层解码返回 0遇到非法字符时转入b64decode_handle_invalid_input()慢路径——把非 Base64 字符剔除、按 RFC 4648 第 3.3 节处理填充后重新解码从而与标准库忽略非法字符的默认行为保持一致。两个内部函数还通过 C API 直接暴露给 mypyc 生成的原生代码使用见下节。异常与边界行为速查场景librt.base64标准库base64编码输入非 bytesTypeErrorTypeError编码超长输入ValueErrorToo much data视情况而定解码输入含非 ASCII 字符的 strValueErrorValueError解码填充不正确ValueErrorbinascii.ErrorValueError子类解码含非法字符忽略兼容默认行为默认忽略altchars/validate参数不支持支持mypyc 原生集成primitive 操作与 C API对 mypyc 编译的代码而言调用librt.base64的函数不只是普通 Python 调用而是被识别为原生 primitive 操作直接生成 C 函数调用。相关定义位于 mypyc/primitives/misc_ops.pylibrt.base64.b64encode、librt.base64.urlsafe_b64encode参数类型为bytes返回bytes映射到LibRTBase64_b64encode_internal通过extra_int_constants把urlsafe布尔常量直接编译进调用librt.base64.b64decode、librt.base64.urlsafe_b64decode参数类型为bytes | str的联合类型映射到LibRTBase64_b64decode_internal。这四个操作都标记为experimentalTrue并声明dependencies[LIBRT_BASE64]。依赖声明LIBRT_BASE64定义于 mypyc/ir/deps.py。当被编译模块依赖librt.base64时模块初始化函数会生成import_librt_base64()调用见 mypyc/codegen/emitmodule.py确保运行时加载并校验 C API。C API 的建立与消费采用版本化 Capsule 机制模块初始化时librt_base64_module_execlibrt.base64把包含 ABI 版本、API 版本和两个内部函数指针的数组放入名为librt.base64._C_API的PyCapsule见 librt_base64.c消费方import_librt_base64()通过PyCapsule_Import获取该 Capsule校验 ABI 版本必须完全一致、API 版本不得低于预期版本LIBRT_BASE64_ABI_VERSION为 1LIBRT_BASE64_API_VERSION为 2校验通过后把函数表拷贝到LibRTBase64_API全局数组见 librt_base64_api.cmypyc 生成的原生代码通过 librt_base64_api.h 中的宏LibRTBase64_b64encode_internal、LibRTBase64_b64decode_internal直接调用内部函数。这一设计使得 mypyc 编译的扩展对librt.base64的调用跳过 Python 函数调用层级直接以原生调用方式执行 SIMD 编解码。性能来源编译期 codec 选择 运行时 CPU 特性检测性能优势来自底层 Alfred Klomp base64 库的架构运行时特性检测x86在 codec_choose.c 中通过cpuid/__cpuid_count与_xgetbv读取 CPU 特性位并按优先级依次尝试 AVX-512要求 AVX512VL AVX512VBMI 且操作系统已启用 ZMM 状态保存、AVX2、AVX、SSE4.2、SSE4.1、SSSE3编译期固定选择ARM由于 ARM 在用户态缺乏便携的 NEON 特性检测手段codec_choose_arm直接按编译配置固定选用 neon64 或 neon32通用回退两者都不可用时回退到arch/generic的纯标量实现强制指定底层库还提供BASE64_FORCE_AVX2、BASE64_FORCE_NEON32等标志位仅供测试时强制某个 codec即便该 codec 在当前构建中是 no-opOpenMP 并行在启用_OPENMP的构建中当输入长度达到OMP_THRESHOLD20000 字节时base64_encode/base64_decode会切换到 OpenMP 多线程实现见 lib.c。codec 的选择结果被缓存为静态函数指针程序生命周期内只会选择一次因为运行时 CPU 特性不会变化。测试与验证与标准库的逐字节一致性仓库为librt.base64配备了完整的原生测试用例 mypyc/test-data/run-base64.test以与标准库输出一致为基准test_encode_different_strings/test_decode_different_strings对 256 个单字节、多种前缀/后缀组合、以及 2000 组随机长度1~2000 字节数据逐一与base64.b64encode/b64decode结果比对test_decode_with_non_base64_chars验证忽略非 Base64 字符的兼容行为包括尾部非法字符的快速路径与中部非法字符的慢路径test_decode_with_invalid_padding/test_decode_with_extra_data_after_padding验证填充错误抛ValueError以及填充后额外数据的处理并注明 CPython 3.13.13/3.14.4/3.15 修复了旧版本跳过首个填充块之后数据的 bug而 librt 实现不受 Python 版本影响始终符合 RFC 4648 第 3.3 节test_urlsafe_b64encode/test_urlsafe_b64decode验证 urlsafe 字母表与标准库一致且urlsafe_b64decode也能正确解码普通编码的结果testBase64UsedAtTopLevelOnly_librt验证 mypyc 编译时对模块顶层引用的处理路径。使用方式与适用场景在 mypyc 编译的项目中直接导入即可使用from librt.base64 import b64encode, b64decode, urlsafe_b64encode, urlsafe_b64decode # 与标准库 base64 等价 assert b64encode(bx) beA assert b64decode(beA) bx # URL 安全字母表 assert urlsafe_b64encode(b\xfb\xff) b-_8 assert urlsafe_b64decode(b-_8) b\xfb\xff # 非法字符会被忽略兼容标准库默认行为 assert b64decode(b e A ) bx需要说明的约束只支持bytes与 ASCIIstr输入bytearray等其他字节类对象会抛TypeError不支持altchars、validate参数解码填充错误抛ValueError而非binascii.Error如需兼容标准库异常可自行捕获ValueError因binascii.Error是ValueError子类捕获ValueError的代码可同时兼容两者在 mypyc/primitives/misc_ops.py 中这些操作标记为experimentalTrue使用时请留意版本演进。适用场景包括在 mypyc 编译的扩展中对大块数据如图片、序列化负载、签名摘要做批量 Base64 编解码、需要 urlsafe 编码的 Web 场景JWT 载荷、URL 参数、文件名安全编码等当数据规模较大时SIMD 与可选OpenMP 并行带来的收益最为明显。延伸阅读模块索引mypyc/doc/index.rst 与 mypyc/doc/librt.rst 列出了librt系列子模块运行时库构建librt.base64的 C 源文件清单与构建描述见 mypyc/build.py原生操作定义与 Capsule 依赖机制mypyc/primitives/misc_ops.py、mypyc/analysis/capsule_deps.py、mypyc/ir/deps.py测试用例mypyc/test-data/run-base64.test。【免费下载链接】mypyOptional static typing for Python项目地址: https://gitcode.com/GitHub_Trending/my/mypy创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考