再現性

Reproducibility を使用して保存された結果に記録された手順を再実行し、そのファイルバージョンで新しい出力を比較します。 check は入力、実行レコード、環境情報、出力の比較を接続し、結果がどのように生成されたかを調べることができます。

利用場面

• 結果を共有する前に、キャプチャされた手順が一致する出力を生成するかどうかを確認します。
• 結果を確認すると、保存したファイルと新しい実行の違いを調べます。
• 同僚に仕事をするときは、関連するファイルやバージョンと一緒に検証レコードを保持します。

質問に答えるアクションを選択します。

アクション	業務内容
再現性	キャプチャされた手順を実行し、保存されたバージョンで出力を比較します。
総説	選択したエビデンスを評価し、レビュー調査結果を報告します。
スクリプトの生成	元のNotebookの外で使用するためのコードを再構築します。

開始前

保存した結果を開き、確認したいバージョンを選択します。 File actions → Provenance → Reproducibility に移動し、キャプチャされた入力ファイル、Notebook を実行し、環境ロックを検査します。

Areas needing attentionを最初に解決して下さい。 チェックは、そのバージョンの記録された証拠に依存します。 以前の実行が失敗または必要な証拠が欠落している場合, 正常に必要なコードを実行し、新しい結果バージョンを生成します。; 古いバージョンの欠損記録は、遡及的に埋め込まれていません。

チェックを開始するには、デスクトップインターフェイスが必要です。 サポートされている実行レコードが必要です。この機能は、会話全体を再生したり、あらゆる種類のファイルを確認したりしません。

環境の準備

まずは、Python または R のアプリケーション管理環境を使用してください。 Open-Science はコードが動くとき支えられた依存関係ロックを捕獲します。 パッケージリストまたはpip freeze出力だけでは、正確なパッケージソースを復元するのに十分ではありません。

1. Settings → Runtimes を開きます。 App-managed environment を準備し、Ready と Enable を確認します。 ランタイムの設定 を参照してください。
2. エージェントは、セッションの環境を選択し、元のコードの依存関係を調べるように依頼します。 サポートされているパッケージ管理フローを使用して、不足しているパッケージをインストールし、プロンプトが表示された場合、カーネルを再起動し、同じNotebookでインポートを検証します。 アクティブ通訳者を継続する前にチェックしてください。
3. 元の入力を使用して必要な準備とプロデューサーコードを再実行し、新しい結果バージョンを保存します。 元の結果は比較のために保って下さい; 設定を変更するだけで、キャプチャされた証拠を更新しません。
4. 新しいバージョンのProvenance → Environmentを開き、ロックと欠落したパッケージ診断を検査し、Reproducibilityに戻します。 Check reproducibilityが利用可能で、必要な入力と実行が現在あるとき続けてください。

既存の環境が完全にロックを欠いている場合は、Settings → Runtimes → Let the Agent create environmentsを有効にして、元の分析依存関係で別のアプリ管理環境を要求してください。 エージェントはそれを選択し、必要なインポートを確認し、手順3-4を繰り返します。 既存の環境を保って下さい; 解析方法の変更は、チェックを利用できるようにしてください。

新しいバージョンがまだUnavailableが表示された場合、View details、パッケージ名/バージョン、選択したランタイムを保持します。 再実行前に報告されたパッケージソース接続エラーを解決して下さい。 ロックがまだ捕獲できない場合、トラブルシューティングを止め、使用して下さい; 結果が統一されたままにします。

実践例 サンプルQCの要約を点検して下さい

GSE60450サンプルQCテーブル から Notebook で生成されたサマリーが表示されます。 ファイルの Provenance → Reproducibility タブを開き、キャプチャされた入力と実行を検査します。 ここでは、Not verified yetとUnavailableは、正確な環境ロックが欠落していることを示しています。 View details を使用して、環境準備のステップ に従って新しいバージョンを作成します。 この画面は、結果の再現に成功したことを示すものではありません。

チェックを実行する

1. Reproducibilityでは、選択した結果バージョンとその入力を確認します。
2. Check reproducibility、またはCheck againを別の試みで選択します。
3. Check from hereで保存された開始ポイントを選ぶ場合は、Files to restoreとRuns to executeを調べて、Start checkを選択します。 初期準備は、前のNotebook状態に依存したときにはまだ必要です。
4. 進行状況とログに従ってください。 チェックは、記録された入力と環境を分離して復元します。 停止する必要がある場合は、Cancelを使用してください。
5. チェックが完了すると、結果が一致するかどうかを決定する前に、各出力の比較の詳細を開きます。

セッションメニューは、複数のキャプチャされた結果バージョンを確認するためのCheck session artifactsも提供しています。 対象となるバージョンと個々の結果を調べる。 セッションレベルのアクションは、すべての結果がチェックされたことを確立しません。

比較結果を読む

結果	次回の予定
結果を再現しました	記録された比較基準を点検し、結論と共に保持して下さい。
結果が異なります	相違があなたの仕事に影響を及ぼすかどうかを決定する前に、異なるファイルと比較の詳細を調べます。
未検証	このバージョンのマッチは完了チェックができません。 利用可能な証拠を確認し、準備ができたらチェックを開始します。
チェック停止/キャンセルチェック	ログを読み、必要に応じて報告された原因を解決し、再試行します。 キャンセルは比較結果ではありません。

実行が完了しただけでは、出力が一致したとは判断できません。 平等性、境界画像/テーブルの比較と科学的基準は異なる質問に答えます。 記録された基準で出力が一致しても、科学的手法の妥当性が確認されたことにはなりません。

検証レコードの保存と共有

1. Export verification recordを選択し、レコードを保存します。
2. ダウンロードしたファイルを開き、どのソースファイル、バージョン、比較結果が記述されているかを確認します。
3. 関連するソースファイルとバージョンをレコードで保持します。 再現した出力をクリアする前に、保持制御を検査し、必要なファイルを保存します。

会話ブランチ、ファイル、エビデンスを一緒に手渡すには、.scienceの研究のパッケージを使用してください。 送信者から提供されたレコードは、受信コンピュータがチェックを再実行しているという意味ではありません。

チェックが終了することができないとき

Areas needing attention と最初の関連するログメッセージのインスペクト。 入力、不完全な証拠、またはサポートされていない操作を見逃すことは、検証を防ぐことができます。 大きいRDS/H5ADは内容比較のために荷を積まれません; 比較の不在は一致を確立しません。

準備が以前のNotebook状態に依存している場合は、実行証拠を調べて、新しい結果を生成する前に必要な準備を再実行します。 完了した比較から、停止または不完全なチェックを区別します。

既にサポートされているロックバンドルを持っている場合、アプリケーション外のパッケージを復元する必要がある場合は、ランタイムの回復条件に従ってください。 その手順は、欠落したロックを作成したり、上記の準備を置き換えたりしません。 依存関係を回復させるだけで、その出力が再現されていない。