per_page パラメーターを使用して、API の結果をページ単位で取得できます。さらに、次のチェックポイントと一括ダウンロードのヒントを使用すると、結果をより効率的に取得できます。
処理済みの run ID をチェックポイントに記録する
非常に大規模な project では、すでに処理した ID を記録しておき、再開時にはそれらをスキップします:list(api.runs(...)) は使用しないでください。すべてのページがメモリに読み込まれてしまいます。
一括ダウンロード時のレート制限
各 run で追加の API 呼び出しが発生する場合 (たとえばrun.file("output.log").download()) 、429 エラーを避けるため、短い待機時間を入れてください。
Runs Experiments API Artifacts