科学计算数据分析【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址https://gitcode.com/gh_mirrors/nu/numpy点击查看免费下载导读本文聚焦 NumPy 2.x 中一项针对StringDType的行为修复当 Pythonstr标量作为 ufunc如、、np.strings.find等的操作数参与运算时其内容将按照解析resolve后的 dtype 语义进行转换从而完整保留字符串中可能存在的尾部空字符\0。修复前np.array([x\0], dtypenp.dtypes.StringDType()) x\0会得到[False]修复后正确返回[True]。读完本文你将理解这一变更的来龙去脉、涉及的运算范围与底层实现机制并能在实际项目中正确处理含空字符的字符串数据。变更背景StringDType 与空字符语义NumPy 2.0 引入的StringDType即dtypeT是一种可变长度的字符串 dtype内部以 UTF-8 字节序列存储每个字符串元素天然支持在字符串内部与末尾保留\0空字符——这与传统的定宽|S/|U类型不同后者依赖 C 风格的空字符终止符无法如实表达字符串内部的空字符。本变更对应的 newsfragment 位于 doc/release/upcoming_changes/32040.change.rst原文如下A Pythonstrscalar containing trailing nulls now preserves the trailing nulls in operations with StringDType. For example,np.array([x\0], dtypenp.dtypes.StringDType()) x\0now gives[True]rather than[False].其核心含义是Pythonstr标量在作为 ufunc 操作数时其转换应遵循最终解析出的 dtype 的存储规则而非中途丢失空字符。问题现象修复前的错误行为修复之前以下代码会产生违反直觉的结果import numpy as np arr np.array([x\0], dtypenp.dtypes.StringDType()) print(arr x\0) # 修复前: [False]修复后: [True]字符串x\0明明同时存在于数组与标量中但比较结果却是False。原因在于 Pythonstr标量在被转换为 StringDType 元素的过程中尾部空字符被剥离导致标量侧实际参与比较的内容变成了x。修复方案按解析后的 dtype 转换str操作数本变更修复了 Pythonstr标量操作数的转换路径在 ufunc 的 descriptor 解析阶段字符串标量按照解析后确定的 StringDType 语义进行转换从而保留包括尾部空字符在内的完整字节内容。从源码结构看这一行为由 numpy/_core/src/umath/stringdtype_ufuncs.cpp 中一系列*_resolve_descriptors函数驱动例如binary_resolve_descriptorsstringdtype_ufuncs.cpp#L255-L293负责add、multiply等二元字符串运算的 dtype 解析内部通过stringdtype_common_na_coerce协调 NA 语义并调用new_stringdtype_instance构造输出 dtypestring_comparison_resolve_descriptorsstringdtype_ufuncs.cpp#L566-L584负责、!、等比较运算输出固定为NPY_BOOL。这些解析函数决定了操作数在进入实际计算循环strided loop之前按何种 dtype 表示本变更正是让str标量在此时按照 StringDType 的表示规则完成转换而不是提前退化为丢失空字符的表示。覆盖范围受影响的运算与测试验证这一修复并非只针对单个运算而是覆盖所有接受 Pythonstr标量作为操作数的字符串 ufunc。仓库测试 numpy/_core/tests/test_stringdtype.py 中新增的测试用例完整刻画了覆盖范围1. 比较运算、!arr np.array([abc\0, abc], dtypeT) assert_array_equal(arr abc\0, [True, False]) assert_array_equal(arr ! abc\0, [False, True])见 test_stringdtype.py#L259-L263对应test_pystr_scalar_ufunc_operand_preserves_nulls2. 字符串拼接与原地累加、、np.strings.str_lenassert_array_equal( arr x\0, np.array([abc\0x\0, abcx\0], dtypeT)) assert_array_equal( x\0 arr, np.array([x\0abc\0, x\0abc], dtypeT)) assert_array_equal(np.strings.str_len(arr x\0), [6, 5]) arr2 arr.copy() arr2 \0 assert_array_equal(arr2, np.array([abc\0\0, abc\0], dtypeT))注意测试中期望值需要显式包装为 StringDType 数组因为直接构造普通 Python 列表时会经由定宽 unicode 路径本身就无法保留空字符。3. 字符串函数endswith、count、find、replaceassert_array_equal(np.strings.endswith(arr, c\0), [True, False]) assert_array_equal(np.strings.count(arr, \0), [1, 0]) assert_array_equal(np.strings.find(arr, c\0), [2, -1]) assert_array_equal(np.strings.replace(arr, \0, !), [abc!, abc])4. 广义 ufunc 场景np.add.outer、np.add.atarr np.array([x], dtypeT) assert np.add.outer(arr, y\0).item() xy\0 assert np.add.outer(y\0, arr).item() y\0x arr np.array([x], dtypeT) np.add.at(arr, 0, y\0) assert arr[0] xy\0见 test_stringdtype.py#L282-L291对应test_pystr_scalar_ufunc_outer_preserves_nulls与test_pystr_scalar_ufunc_at_preserves_nulls5. 任意 StringDType 实例含 NA 配置def test_pystr_scalar_ufunc_operand_any_instance(dtype): arr np.array([abc\0], dtypedtype) assert_array_equal(arr abc\0, [True]) assert (arr x\0)[0] abc\0x\0该用例通过参数化dtype覆盖 StringDType 的不同实例包括配置了不同 NA 对象/NA 语义的实例确保修复在各类实例上均成立见 test_stringdtype.py#L294-L297。底层存储与实现提示StringDType 的元素以长度前缀的字节串形式存储内部由npy_static_string/npy_packed_static_string结构承载分配器经NpyString_acquire_allocators获取见 stringdtype_ufuncs.cpp#L317-L321因此空字符只是普通字节无需任何转义。字符串处理循环则按编码分派ASCII、UTF32、UTF8三种模板实例见 string_buffer.h#L24-L26其中默认采用 UTF-8 存储。正因如此保留空字符只是忠实复制字节的自然结果——关键在于转换str标量的时机与目标 dtype。本次修复正是修正了这一转换时机使 Pythonstr标量与数组元素遵循完全一致的表示规则消除了此前比较结果与直觉相悖的陷阱。兼容性与影响评估行为变化凡是此前依赖字符串 ufunc 操作数中的尾部空字符被自动剥离这一非文档化行为的代码其运算结果尤其是比较与拼接可能发生变化。但对绝大多数用户而言修复后的结果更符合直觉。边界语义字符串内部的空字符非尾部此前即可被 StringDType 正确表示本次变更只针对转换路径中丢失的尾部空字符。定宽类型不受影响np.bytes_/np.str_等定宽 dtype 的空字符语义由定宽存储格式决定与本变更无关上述测试仅针对 StringDTypedtypeT。小结本变更让 Pythonstr标量在参与 StringDType 的 ufunc 运算时按解析后的 dtype 完成转换并完整保留尾部空字符。其影响面覆盖比较、拼接、字符串函数以及outer/at等广义 ufunc 场景并由 numpy/_core/tests/test_stringdtype.py 中的test_pystr_scalar_ufunc_*系列测试提供回归保障。对于需要处理含\0字节数据的场景如解析二进制协议、C 结构体序列化数据这一修复保证了 NumPy 字符串运算结果与 Python 字符串字面量语义严格一致。赞分享科学计算数据分析【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址https://gitcode.com/gh_mirrors/nu/numpy点击查看免费下载相关推荐NumPy 字符串标量嵌入空字符trailing null保留行为改进StringDType 与 object 的直接转换NumPy 字符串标量嵌入空字符trailing null保留行为改进StringDType 与 object 的直接转换 导读 本文围绕 NumPy 即科学计算数据分析Foundry Fuzz 字符串 Fixture 保真修复保留前导空白与尾部空字节verbatim-string-fuzz-fixturesFoundry Fuzz 字符串 Fixture 保真修复保留前导空白与尾部空字节verbatim string fuzz fixtures 导读 本文聚区块链开发工具NumPy 字符串 API 改进StringDType 的 partition 与 rpartition 正式支持 str 分隔符NumPy 字符串 API 改进StringDType 的 partition 与 rpartition 正式支持 str 分隔符 导读 NumPy 在 np科学计算数据分析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 NumPy 字符串 ufunc 操作数转换修复：Python `str` 标量在 StringDType 运算中保留尾部空字符
科学计算数据分析【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址https://gitcode.com/gh_mirrors/nu/numpy点击查看免费下载导读本文聚焦 NumPy 2.x 中一项针对StringDType的行为修复当 Pythonstr标量作为 ufunc如、、np.strings.find等的操作数参与运算时其内容将按照解析resolve后的 dtype 语义进行转换从而完整保留字符串中可能存在的尾部空字符\0。修复前np.array([x\0], dtypenp.dtypes.StringDType()) x\0会得到[False]修复后正确返回[True]。读完本文你将理解这一变更的来龙去脉、涉及的运算范围与底层实现机制并能在实际项目中正确处理含空字符的字符串数据。变更背景StringDType 与空字符语义NumPy 2.0 引入的StringDType即dtypeT是一种可变长度的字符串 dtype内部以 UTF-8 字节序列存储每个字符串元素天然支持在字符串内部与末尾保留\0空字符——这与传统的定宽|S/|U类型不同后者依赖 C 风格的空字符终止符无法如实表达字符串内部的空字符。本变更对应的 newsfragment 位于 doc/release/upcoming_changes/32040.change.rst原文如下A Pythonstrscalar containing trailing nulls now preserves the trailing nulls in operations with StringDType. For example,np.array([x\0], dtypenp.dtypes.StringDType()) x\0now gives[True]rather than[False].其核心含义是Pythonstr标量在作为 ufunc 操作数时其转换应遵循最终解析出的 dtype 的存储规则而非中途丢失空字符。问题现象修复前的错误行为修复之前以下代码会产生违反直觉的结果import numpy as np arr np.array([x\0], dtypenp.dtypes.StringDType()) print(arr x\0) # 修复前: [False]修复后: [True]字符串x\0明明同时存在于数组与标量中但比较结果却是False。原因在于 Pythonstr标量在被转换为 StringDType 元素的过程中尾部空字符被剥离导致标量侧实际参与比较的内容变成了x。修复方案按解析后的 dtype 转换str操作数本变更修复了 Pythonstr标量操作数的转换路径在 ufunc 的 descriptor 解析阶段字符串标量按照解析后确定的 StringDType 语义进行转换从而保留包括尾部空字符在内的完整字节内容。从源码结构看这一行为由 numpy/_core/src/umath/stringdtype_ufuncs.cpp 中一系列*_resolve_descriptors函数驱动例如binary_resolve_descriptorsstringdtype_ufuncs.cpp#L255-L293负责add、multiply等二元字符串运算的 dtype 解析内部通过stringdtype_common_na_coerce协调 NA 语义并调用new_stringdtype_instance构造输出 dtypestring_comparison_resolve_descriptorsstringdtype_ufuncs.cpp#L566-L584负责、!、等比较运算输出固定为NPY_BOOL。这些解析函数决定了操作数在进入实际计算循环strided loop之前按何种 dtype 表示本变更正是让str标量在此时按照 StringDType 的表示规则完成转换而不是提前退化为丢失空字符的表示。覆盖范围受影响的运算与测试验证这一修复并非只针对单个运算而是覆盖所有接受 Pythonstr标量作为操作数的字符串 ufunc。仓库测试 numpy/_core/tests/test_stringdtype.py 中新增的测试用例完整刻画了覆盖范围1. 比较运算、!arr np.array([abc\0, abc], dtypeT) assert_array_equal(arr abc\0, [True, False]) assert_array_equal(arr ! abc\0, [False, True])见 test_stringdtype.py#L259-L263对应test_pystr_scalar_ufunc_operand_preserves_nulls2. 字符串拼接与原地累加、、np.strings.str_lenassert_array_equal( arr x\0, np.array([abc\0x\0, abcx\0], dtypeT)) assert_array_equal( x\0 arr, np.array([x\0abc\0, x\0abc], dtypeT)) assert_array_equal(np.strings.str_len(arr x\0), [6, 5]) arr2 arr.copy() arr2 \0 assert_array_equal(arr2, np.array([abc\0\0, abc\0], dtypeT))注意测试中期望值需要显式包装为 StringDType 数组因为直接构造普通 Python 列表时会经由定宽 unicode 路径本身就无法保留空字符。3. 字符串函数endswith、count、find、replaceassert_array_equal(np.strings.endswith(arr, c\0), [True, False]) assert_array_equal(np.strings.count(arr, \0), [1, 0]) assert_array_equal(np.strings.find(arr, c\0), [2, -1]) assert_array_equal(np.strings.replace(arr, \0, !), [abc!, abc])4. 广义 ufunc 场景np.add.outer、np.add.atarr np.array([x], dtypeT) assert np.add.outer(arr, y\0).item() xy\0 assert np.add.outer(y\0, arr).item() y\0x arr np.array([x], dtypeT) np.add.at(arr, 0, y\0) assert arr[0] xy\0见 test_stringdtype.py#L282-L291对应test_pystr_scalar_ufunc_outer_preserves_nulls与test_pystr_scalar_ufunc_at_preserves_nulls5. 任意 StringDType 实例含 NA 配置def test_pystr_scalar_ufunc_operand_any_instance(dtype): arr np.array([abc\0], dtypedtype) assert_array_equal(arr abc\0, [True]) assert (arr x\0)[0] abc\0x\0该用例通过参数化dtype覆盖 StringDType 的不同实例包括配置了不同 NA 对象/NA 语义的实例确保修复在各类实例上均成立见 test_stringdtype.py#L294-L297。底层存储与实现提示StringDType 的元素以长度前缀的字节串形式存储内部由npy_static_string/npy_packed_static_string结构承载分配器经NpyString_acquire_allocators获取见 stringdtype_ufuncs.cpp#L317-L321因此空字符只是普通字节无需任何转义。字符串处理循环则按编码分派ASCII、UTF32、UTF8三种模板实例见 string_buffer.h#L24-L26其中默认采用 UTF-8 存储。正因如此保留空字符只是忠实复制字节的自然结果——关键在于转换str标量的时机与目标 dtype。本次修复正是修正了这一转换时机使 Pythonstr标量与数组元素遵循完全一致的表示规则消除了此前比较结果与直觉相悖的陷阱。兼容性与影响评估行为变化凡是此前依赖字符串 ufunc 操作数中的尾部空字符被自动剥离这一非文档化行为的代码其运算结果尤其是比较与拼接可能发生变化。但对绝大多数用户而言修复后的结果更符合直觉。边界语义字符串内部的空字符非尾部此前即可被 StringDType 正确表示本次变更只针对转换路径中丢失的尾部空字符。定宽类型不受影响np.bytes_/np.str_等定宽 dtype 的空字符语义由定宽存储格式决定与本变更无关上述测试仅针对 StringDTypedtypeT。小结本变更让 Pythonstr标量在参与 StringDType 的 ufunc 运算时按解析后的 dtype 完成转换并完整保留尾部空字符。其影响面覆盖比较、拼接、字符串函数以及outer/at等广义 ufunc 场景并由 numpy/_core/tests/test_stringdtype.py 中的test_pystr_scalar_ufunc_*系列测试提供回归保障。对于需要处理含\0字节数据的场景如解析二进制协议、C 结构体序列化数据这一修复保证了 NumPy 字符串运算结果与 Python 字符串字面量语义严格一致。赞分享科学计算数据分析【免费下载链接】numpyThe fundamental package for scientific computing with Python.项目地址https://gitcode.com/gh_mirrors/nu/numpy点击查看免费下载相关推荐NumPy 字符串标量嵌入空字符trailing null保留行为改进StringDType 与 object 的直接转换NumPy 字符串标量嵌入空字符trailing null保留行为改进StringDType 与 object 的直接转换 导读 本文围绕 NumPy 即科学计算数据分析Foundry Fuzz 字符串 Fixture 保真修复保留前导空白与尾部空字节verbatim-string-fuzz-fixturesFoundry Fuzz 字符串 Fixture 保真修复保留前导空白与尾部空字节verbatim string fuzz fixtures 导读 本文聚区块链开发工具NumPy 字符串 API 改进StringDType 的 partition 与 rpartition 正式支持 str 分隔符NumPy 字符串 API 改进StringDType 的 partition 与 rpartition 正式支持 str 分隔符 导读 NumPy 在 np科学计算数据分析创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考