LOTSA数据集预训练赋能Moirai-1.0-R-Large为何能成为通用时间序列模型【免费下载链接】moirai-1.0-R-large项目地址: https://ai.gitcode.com/hf_mirrors/Salesforce/moirai-1.0-R-largeMoirai-1.0-R-Large是Salesforce推出的通用时间序列预测Transformer模型基于LOTSA数据集预训练采用掩码编码器架构能够处理多变量时间序列预测任务。该模型通过创新的多尺度补丁处理和混合分布输出在各类时间序列场景中展现出卓越的预测性能。 什么是Moirai-1.0-R-LargeMoiraiMasked Encoder-based Universal Time Series Forecasting Transformer是一个大型时间序列模型拥有3.11亿参数专为通用时间序列预测设计。它通过在包含海量时间序列数据的LOTSA数据集上预训练获得了强大的时间序列理解和预测能力。核心技术特性多尺度补丁处理支持8/16/32/64/128多种补丁尺寸能捕捉不同时间粒度的模式全自注意力Transformer深度24层、维度1024的Transformer架构实现长序列依赖建模混合分布输出融合Students t分布、正态分布、负二项分布和对数正态分布适应多样数据特性 模型架构解析Moirai的架构设计是其实现通用预测能力的关键。下图展示了模型如何将多变量时间序列数据通过补丁化处理转换为序列 tokens并通过Transformer进行特征提取和预测图1Moirai的整体架构展示了3变量时间序列的处理流程包括补丁化、嵌入和Transformer编码过程架构亮点输入处理层将原始时间序列分割为不同尺寸的补丁通过多尺度输入投影捕获多层次特征嵌入系统结合时间ID和变量ID嵌入保留序列的时序和变量关系信息Transformer编码器采用全自注意力机制建模序列内的复杂依赖关系混合分布输出通过多种概率分布的组合灵活建模不同类型时间序列的预测分布 为何选择Moirai-1.0-R-Large1. LOTSA数据集预训练优势Moirai在包含数百万时间序列的LOTSA数据集上进行预训练使其具备跨领域的时间序列模式识别能力对噪声和异常值的鲁棒性无需大量标注数据即可快速适应新场景2. 灵活的预测能力配置文件config.json显示模型支持最长512序列长度的输入可调节的上下文窗口和预测长度自动或手动设置的补丁大小8/16/32/64/1283. 丰富的模型家族选择Moirai提供不同参数规模的模型版本满足不同场景需求模型参数数量Moirai-1.0-R-Small1400万Moirai-1.0-R-Base9100万Moirai-1.0-R-Large3.11亿 快速开始使用要使用Moirai-1.0-R-Large进行时间序列预测需通过uni2ts库实现1. 环境准备git clone https://gitcode.com/hf_mirrors/Salesforce/moirai-1.0-R-large cd uni2ts virtualenv venv . venv/bin/activate pip install -e .[notebook]2. 基本预测代码通过几行代码即可加载预训练模型并进行预测from uni2ts.model.moirai import MoiraiForecast, MoiraiModule model MoiraiForecast( moduleMoiraiModule.from_pretrained(Salesforce/moirai-1.0-R-large), prediction_length20, # 预测长度 context_length200, # 上下文长度 patch_sizeauto # 自动选择补丁大小 ) predictor model.create_predictor(batch_size32) forecasts predictor.predict(test_data.input) 注意事项Moirai-1.0-R-Large目前主要用于研究目的在生产环境部署前应考虑模型大小和计算资源需求特定领域数据的微调必要性预测结果的不确定性评估 引用与学术信息如果使用Moirai进行研究请引用相关论文article{woo2024unified, title{Unified Training of Universal Time Series Forecasting Transformers}, author{Woo, Gerald and Liu, Chenghao and Kumar, Akshat and Xiong, Caiming and Savarese, Silvio and Sahoo, Doyen}, journal{arXiv preprint arXiv:2402.02592}, year{2024} }Moirai-1.0-R-Large通过创新架构和大规模预训练为时间序列预测提供了强大的通用解决方案无论是科研探索还是实际应用都值得尝试和深入研究。【免费下载链接】moirai-1.0-R-large项目地址: https://ai.gitcode.com/hf_mirrors/Salesforce/moirai-1.0-R-large创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 LOTSA数据集预训练赋能：Moirai-1.0-R-Large为何能成为通用时间序列模型？
LOTSA数据集预训练赋能Moirai-1.0-R-Large为何能成为通用时间序列模型【免费下载链接】moirai-1.0-R-large项目地址: https://ai.gitcode.com/hf_mirrors/Salesforce/moirai-1.0-R-largeMoirai-1.0-R-Large是Salesforce推出的通用时间序列预测Transformer模型基于LOTSA数据集预训练采用掩码编码器架构能够处理多变量时间序列预测任务。该模型通过创新的多尺度补丁处理和混合分布输出在各类时间序列场景中展现出卓越的预测性能。 什么是Moirai-1.0-R-LargeMoiraiMasked Encoder-based Universal Time Series Forecasting Transformer是一个大型时间序列模型拥有3.11亿参数专为通用时间序列预测设计。它通过在包含海量时间序列数据的LOTSA数据集上预训练获得了强大的时间序列理解和预测能力。核心技术特性多尺度补丁处理支持8/16/32/64/128多种补丁尺寸能捕捉不同时间粒度的模式全自注意力Transformer深度24层、维度1024的Transformer架构实现长序列依赖建模混合分布输出融合Students t分布、正态分布、负二项分布和对数正态分布适应多样数据特性 模型架构解析Moirai的架构设计是其实现通用预测能力的关键。下图展示了模型如何将多变量时间序列数据通过补丁化处理转换为序列 tokens并通过Transformer进行特征提取和预测图1Moirai的整体架构展示了3变量时间序列的处理流程包括补丁化、嵌入和Transformer编码过程架构亮点输入处理层将原始时间序列分割为不同尺寸的补丁通过多尺度输入投影捕获多层次特征嵌入系统结合时间ID和变量ID嵌入保留序列的时序和变量关系信息Transformer编码器采用全自注意力机制建模序列内的复杂依赖关系混合分布输出通过多种概率分布的组合灵活建模不同类型时间序列的预测分布 为何选择Moirai-1.0-R-Large1. LOTSA数据集预训练优势Moirai在包含数百万时间序列的LOTSA数据集上进行预训练使其具备跨领域的时间序列模式识别能力对噪声和异常值的鲁棒性无需大量标注数据即可快速适应新场景2. 灵活的预测能力配置文件config.json显示模型支持最长512序列长度的输入可调节的上下文窗口和预测长度自动或手动设置的补丁大小8/16/32/64/1283. 丰富的模型家族选择Moirai提供不同参数规模的模型版本满足不同场景需求模型参数数量Moirai-1.0-R-Small1400万Moirai-1.0-R-Base9100万Moirai-1.0-R-Large3.11亿 快速开始使用要使用Moirai-1.0-R-Large进行时间序列预测需通过uni2ts库实现1. 环境准备git clone https://gitcode.com/hf_mirrors/Salesforce/moirai-1.0-R-large cd uni2ts virtualenv venv . venv/bin/activate pip install -e .[notebook]2. 基本预测代码通过几行代码即可加载预训练模型并进行预测from uni2ts.model.moirai import MoiraiForecast, MoiraiModule model MoiraiForecast( moduleMoiraiModule.from_pretrained(Salesforce/moirai-1.0-R-large), prediction_length20, # 预测长度 context_length200, # 上下文长度 patch_sizeauto # 自动选择补丁大小 ) predictor model.create_predictor(batch_size32) forecasts predictor.predict(test_data.input) 注意事项Moirai-1.0-R-Large目前主要用于研究目的在生产环境部署前应考虑模型大小和计算资源需求特定领域数据的微调必要性预测结果的不确定性评估 引用与学术信息如果使用Moirai进行研究请引用相关论文article{woo2024unified, title{Unified Training of Universal Time Series Forecasting Transformers}, author{Woo, Gerald and Liu, Chenghao and Kumar, Akshat and Xiong, Caiming and Savarese, Silvio and Sahoo, Doyen}, journal{arXiv preprint arXiv:2402.02592}, year{2024} }Moirai-1.0-R-Large通过创新架构和大规模预训练为时间序列预测提供了强大的通用解决方案无论是科研探索还是实际应用都值得尝试和深入研究。【免费下载链接】moirai-1.0-R-large项目地址: https://ai.gitcode.com/hf_mirrors/Salesforce/moirai-1.0-R-large创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考