AWS Machine Learning Blog· Mijanur Palash·· 4 小时前AI 评分38
如何在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 以实现多语言推理
Fine-tuning GPT-OSS-20B for multilingual reasoning on Amazon SageMaker HyperPod
AI 导读
GPT-OSS-20B 在 Amazon SageMaker HyperPod 上的多语言推理微调实验表明,SFT 完成了主要改进,GRPO 在仍有优化空间时提供增益。基础模型在 50 个测试案例中仅有 22% 使用目标语言推理。实验采用 LoRA,并通过 Qwen2.5-7B 对照实验考察不同能力差距下的训练方法选择。
来源:AWS Machine Learning Blog · aws.amazon.com