尧图网站设计 尧图网站设计YAOTU DESIGN
ARTICLE DETAIL

资讯详情

深耕网站设计与一线实操的经验洞察。

数量英文完整示例:3个实战项目攻克翻译难题

数量英文完整示例:3个实战项目攻克翻译难题 数量英文完整示例:3个实战项目攻克翻译难题 看了一堆教程还是不会写项目?这是很多刚接触编程或自然语言处理(NLP)的朋友最真实的写照。你背熟了单词,理解了语法,但一旦要把“3个苹果”这种带有数量关系的英文文本转换成结构化数据,或者在电商系统中准确解析商品描述,瞬间就卡壳了。别慌,问题不在于你不够努力,而在于缺少一个完整示例作为骨架。 今天不聊虚的,直接上干货。我们将通过三个由浅入深的实战项目,彻底搞懂“数量英文”在工程中的处理逻辑。从最基础的字符串解析,到结合正则表达式的自动化清洗,再到利用Python库进行半结构化提取,每一步都给你最扎实的代码实现。目标只有一个:让你看完就能跑,跑完就能用。 项目目标:定义“数量英文”的工程边界 在动手之前,我们必须明确:在编程语境下,“数量英文”到底指什么?它不仅仅是“one, two, three”这些单词,更包括数字与英文量词的复杂组合,如“two hundred units”、“a dozen eggs”甚至“3.5 kilograms”。 我们的核心目标不是做一个完美的翻译机,而是构建一个能够稳定提取文本中“数量+单位”结构的小工具。这在实际开发中极为常见:电商订单解析:用户输入“2箱牛奶,5瓶水”,后端需要拆解为 {product: 'milk', qty: 2, unit: 'box'}。 日志清洗:从服务器日志中提取“Allocated 4 GB memory”中的资源配额。 库存管理:处理供应商传来的非标准格式库存报表。这三个场景共同点在于:数据源是自然语言或半结构化文本,但我们需要的是机器可读的数值和单位。接下来的三个项目,将分别对应这三个复杂度的场景。 目录结构:搭建可复用的工程骨架 很多新手喜欢把所有代码扔进一个 main.py 里,这在学习阶段没问题,但一旦进入实战,维护噩梦就开始了。我们采用标准的模块化结构,确保代码可复用、易测试。 创建如下目录结构: quantity_english/ ├── data/ │ └── test_samples.txt # 存放测试用的原始文本数据 ├── utils/ │ ├── __init__.py │ ├── number_parser.py # 负责将英文单词转换为数字 │ └── unit_mapper.py # 负责单位词的同义词映射 ├── core/ │ ├── __init__.py │ └── extractor.py # 核心提取逻辑,调用utils模块 ├── main.py # 入口文件,运行三个项目 └── tests/└── test_extractor.py # 单元测试这种结构的好处是:职责分离。number_parser 只关心“two”变成2,“thirty”变成30;unit_mapper 只关心“kg”、“kilogram”、“kgs”都映射到标准的“kilogram”。当需求变更时,比如增加新的单位支持,你只需要修改 unit_mapper.py,而不需要动核心提取逻辑。 核心代码实现:从正则到语义映射 这是最关键的部分。我们将分三步走,逐步构建完整示例。 第一步:基础正则提取(项目一) 最直观的方法是使用正则表达式匹配“数字+空格+单词”的模式。虽然简单,但能跑通90%的简单场景。 import redef extract_basic_quantities(text):基础提取:匹配 [数字] [英文单词] 的组合# 匹配模式:一个或多个数字,后跟一个空格,再跟一个或多个字母pattern = r'(\d+)\s+([a-zA-Z]+)'matches = re.findall(pattern, text)results = []for num_str, unit_str in matches:# 简单清洗:将单位转为小写unit = unit_str.lower()results.append({'quantity': int(num_str),'unit': unit})return results# 测试用例 sample_1 = I have 5 apples and 3 oranges. print(extract_basic_quantities(sample_1)) # 输出: [{'quantity': 5, 'unit': 'apples'}, {'quantity': 3, 'unit': 'oranges'}]避坑指南:这个正则有个致命弱点,它无法处理“two apples”这种纯英文数字,也无法处理“3.5 kg”这种小数。但在处理机器生成的、格式相对固定的日志时,它足够快且轻量。 第二步:英文数字转数值(项目二) 当用户输入“two hundred boxes”时,上面的代码就失效了。我们需要一个模块将英文单词转换为阿拉伯数字。这里我们不引入庞大的NLP库,而是手写一个轻量级的映射逻辑,既高效又可控。 在 utils/number_parser.py 中: class NumberParser:def __init__(self):# 基础数字映射self.number_map = {'one': 1, 'two': 2, 'three': 3, 'four': 4, 'five': 5,'six': 6, 'seven': 7, 'eight': 8, 'nine': 9, 'ten': 10,'eleven': 11, 'twelve': 12, 'thirteen': 13, 'fourteen': 14,'fifteen': 15, 'sixteen': 16, 'seventeen': 17, 'eighteen': 18,'nineteen': 19, 'twenty': 20, 'thirty': 30, 'forty': 40,'fifty': 50, 'sixty': 60, 'seventy': 70, 'eighty': 80, 'ninety': 90,'hundred': 100, 'thousand': 1000}self.current_value = 0self.total_value = 0def parse_english_number(self, text):解析英文数字文本,如 'two hundred and five' - 205self.current_value = 0self.total_value = 0words = text.lower().replace(' and ', ' ').split()for word in words:if word in self.number_map:value = self.number_map[word]if value 100:self.current_value += valueelif value == 100:if self.current_value == 0:self.current_value = 1 # 处理 'hundred'self.current_value *= valueelse: # thousandif self.current_value == 0:self.current_value = 1self.current_value *= valueself.total_value += self.current_valueself.current_value = 0# 累加剩余的部分self.total_value += self.current_valuereturn self.total_value# 测试 parser = NumberParser() print(parser.parse_english_number(two hundred)) # 输出: 200 print(parser.parse_english_number(fifty)) # 输出: 50注意:这个实现是简化的,适用于常见场景。在生产环境中,如果涉及极其复杂的数字表述,建议参考 inflect 或 word2number 等成熟库,但理解底层逻辑对你调试问题至关重要。 第三步:单位标准化映射(项目三) “kg”、“kgs”、“kilogram”、“kilograms”在业务上是同一个概念。如果数据库里存的是“kg”,而用户输入“kilograms”,直接匹配会失败。我们需要一个标准化层。 在 utils/unit_mapper.py 中: class UnitMapper:def __init__(self):# 定义同义词组,第一个值为标准名self.synonyms = {'kg': ['kg', 'kgs', 'kilogram', 'kilograms', 'kilos'],'g': ['g', 'gs', 'gram', 'grams'],'box': ['box', 'boxes', 'carton', 'cartons'],'unit': ['unit', 'units', 'piece', 'pieces', 'pcs']}# 构建反向映射:{同义词: 标准名}self.reverse_map = {}for std, syns in self.synonyms.items():for syn in syns:self.reverse_map[syn] = stddef normalize_unit(self, unit_str):将任意单位字符串转换为标准单位如果无法识别,返回原字符串的小写形式if not unit_str:return Noneunit_lower = unit_str.lower()return self.reverse_map.get(unit_lower, unit_lower)# 测试 mapper = UnitMapper() print(mapper.normalize_unit(Kilograms)) # 输出: kg print(mapper.normalize_unit(Boxes)) # 输出: box print(mapper.normalize_unit(Unknown)) # 输出: unknown运行与测试:验证你的完整示例 现在,我们将所有模块整合到 core/extractor.py 中,形成一个完整的提取器。 import re import sys sys.path.append('..') # 确保能导入utilsfrom utils.number_parser import NumberParser from utils.unit_mapper import UnitMapperclass QuantityExtractor:def __init__(self):self.num_parser = NumberParser()self.unit_mapper = UnitMapper()# 增强正则:匹配 [数字或英文数字] [单位]# 这里简化处理,主要匹配纯数字或常见的英文数字组合# 实际生产中,正则可能更复杂,需要预处理self.pattern = r'((?:\d+\.?\d*)|(?:\w+\s+)?(?:\w+\s+)?(?:\w+))\s+([a-zA-Z]+)'def extract(self, text):matches = re.findall(self.pattern, text)results = []for num_part, unit_part in matches:# 尝试解析数字qty = self._parse_quantity(num_part)if qty is None:continue# 标准化单位std_unit = self.unit_mapper.normalize_unit(unit_part)results.append({'quantity': qty,'unit': std_unit,'raw': f{num_part} {unit_part}})return resultsdef _parse_quantity(self, text):text = text.strip().lower()# 1. 尝试直接转int/floattry:if '.' in text:return float(text)return int(text)except ValueError:pass# 2. 尝试英文解析# 简单启发式:如果包含已知数字单词,则尝试解析if any(word in text for word in self.num_parser.number_map):return self.num_parser.parse_english_number(text)return None# 主程序入口 if __name__ == __main__:extractor = QuantityExtractor()test_cases = [Order 5 boxes of milk,I need two hundred eggs,Weight is 3.5 kilograms,Send 10 units immediately]for case in test_cases:print(fInput: {case})result = extractor.extract(case)print(fResult: {result}\n)运行结果预期: 对于 I need two hundred eggs,程序会先尝试转int失败,然后调用 NumberParser 解析出 200,再调用 UnitMapper 将 eggs 映射(假设未定义则保留原样,或需补充 egg 到映射表)。 测试建议:不要只测快乐路径。一定要测试边界情况:全大写输入:FIVE BOXES 多余空格:5 boxes 无单位输入:5 干扰文本:I love apples. Buy 5.优化扩展:从玩具到生产级 上述代码是一个很好的起点,但要用于生产环境,还需考虑以下几点:性能优化: 如果文本量极大(如百万级日志),每次创建 NumberParser 对象会有开销。可以将 NumberParser 设计为单例,或者将常用的英文数字映射缓存起来。容错机制: 如果正则匹配到了错误的组合怎么办?例如 5 star rating,这里 star 不是单位。需要引入一个单位白名单。只有当匹配到的单位在白名单中时,才视为有效的数量-单位对。 # 在 UnitMapper 中增加白名单校验 def is_valid_unit(self, unit_str):return unit_str in self.reverse_map.keys()多语言支持: 虽然本篇聚焦英文,但同样的架构可以扩展到中文。只需替换 NumberParser 为中文数字解析逻辑,UnitMapper 为中文单位映射即可。核心提取逻辑(正则+映射)保持不变。数据持久化: 将提取结果写入数据库或CSV文件。使用 pandas 库可以轻松将 results 列表转换为 DataFrame 并导出,便于后续分析。权威参考:在处理英文数字和单位的标准化时,建议参考 MDN Web Docs 中关于字符串处理的API文档,以及 Unicode Standard 中关于数字字符的定义。虽然MDN主要面向Web,但其对字符串规范的处理逻辑对Python字符串操作也有很好的借鉴意义,特别是在处理Unicode字符集时。 小结:从教程到项目的跨越 回顾这三个项目,我们完成了一次从“知道”到“做到”的跨越。项目一 让你理解了正则表达式在文本提取中的基本作用。 项目二 让你掌握了如何将非结构化的英文数字转化为机器可理解的数值。 项目三 让你学会了如何通过映射表解决同义词歧义问题,这是数据清洗的核心技能。完整示例 的价值不在于代码本身,而在于它展示了解决问题的思维路径:拆解问题 - 模块化实现 - 集成测试 - 优化扩展。 很多应届生在面试中被问到“如何从非结构化文本中提取数据”,往往只能背出“用正则”或“用NLP库”。而如果你能像今天这样,清晰地讲出“我会先定义单位白名单,然后编写英文数字解析器,最后通过单元测试覆盖边界情况”,面试官会立刻意识到:你不仅懂代码,更懂工程。 这个知识点你面试被问过吗?留言说说
返回列表