第二天：OpenAI 将推出强化学习微调（Reinforcement Fine-tuning）功能，让 AI 模型更懂"专业"！

这项基于 o1 系列模型的强化学习微调技术，让用户能够用自己的专业数据对模型进行定制化训练，使其在特定领域获得更专业的表现。

与传统的监督式微调不同，强化学习微调不仅仅是让模型模仿输入，而是教会模型在特定领域进行全新的推理。OpenAI 研究人员表示，只需几十个示例，模型就能学会在自定义领域用新的方式进行有效推理。

研究人员以识别罕见遗传病为例， 通过伯克利实验室研究人员提供的约 1100 个病例数据对 o1-mini 模型进行强化学习微调后，模型在预测致病基因的准确率上超过了未经微调的 o1 模型。微调后的 o1-mini 在首选基因预测的准确率达到 31%，高于原始 o1-mini 的 17% 和 O1 的 25%。

使用强化学习微调非常简单，用户只需提供训练数据集和评分标准，OpenAI 的训练系统就会自动完成模型优化。训练数据采用每行包含一个训练样本的 JSONL 格式。评分器则负责对模型的输出进行打分，帮助模型区分好的和差的答案。

这项功能目前正在通过 Alpha 项目向部分用户开放，预计将于明年初正式发布。OpenAI 表示，这项技术特别适合那些在复杂专业领域工作、希望获得 AI 辅助的团队。除了医疗领域，该技术在生物化学、AI 安全、法律等领域都显示出强大的应用前景。

这项技术的发布，标志着 OpenAI 将 AI 模型从通用型向专业型转变的重要一步。通过强化学习微调，各行各业的专家们都能基于自己的专业数据打造更专业的 AI 助手，这将大大加速 AI 在专业领域的应用。

OpenAI Alpha 项目申请链接：https://openai.com/form/rft-research-program