研究によると、LLMにおけるオンラインとオフラインRLのパフォーマンスのギャップが存在します—特にスケールで—しかし、オフラインアルゴリズムにオンポリシーサンプルを組み込むことで(反復的/セミオンラインRL)のギャップを埋めることができ、トレーニングデータの質がRLメソッドの選択を上回ることがよくあります。