Воспроизводимость
Используйте Reproducibility для повторения процедуры, записанной для сохраненного результата, и сравните новый вывод с этой версией файла. Проверка соединяет входные данные, записи исполнения, информацию об окружающей среде и сравнения выходных данных, чтобы вы могли проверить, как был получен результат.
Когда использовать
- Прежде чем поделиться результатом, проверьте, производит ли его захваченная процедура соответствующий результат.
- При просмотре результата проверьте различия между сохраненным файлом и новым прогоном.
- При передаче работы коллеге сохраняйте запись проверки вместе с соответствующими файлами и версиями.
Выберите действие, которое отвечает на ваш вопрос:
| Меры | Цель |
|---|---|
| Воспроизводимость | Перезапуск захваченной процедуры и сравнение ее результатов с сохраненными версиями. |
| Обзорная статья | Оцените выбранные доказательства и сообщите о результатах обзора. |
| Создать скрипт | Реконструкция кода для использования за пределами исходного Notebook. |
Прежде чем начать
Откройте сохраненный результат и выберите версию, которую вы хотите проверить. Перейдите в File actions → Provenance → Reproducibility и проверьте захваченные входные файлы, запуски Notebook и блокировки среды.
Сначала разрешите любой Areas needing attention. Проверка зависит от доказательств, записанных для этой версии. Если более раннее исполнение не увенчалось успехом или отсутствуют необходимые доказательства, успешно запустите необходимый код и создайте новую версию результата. Недостающая запись старой версии не заполняется задним числом.
Начало проверки требует интерфейса рабочего стола. Требуется сопровождение записей исполнения: эта функция не воспроизводит весь разговор или не проверяет каждый тип файла.
Подготовить окружающую среду
Для первой проверки используйте среду Python или R, управляемую приложением. Open-Science захватывает поддерживаемые блокировки зависимостей при запуске кода. Одного только пакетного списка или вывода pip freeze недостаточно для восстановления точных источников пакетов.
- Открыть Settings → Runtimes. Подготовьте App-managed environment и подтвердите Ready и Enable. Смотрите настройка времени выполнения.
- Попросите Агента выбрать эту среду для сеанса и проверить зависимости исходного кода. Установите отсутствующие пакеты через поддерживаемый поток управления пакетами, перезапустите ядро, если потребуется, а затем проверьте их импорт в том же Notebook. Проверьте активный переводчик, прежде чем продолжить.
- Перезагрузите необходимую подготовку и код производителя, используя исходные входные данные, а затем сохраните новую версию результата. сохранить исходный результат для сравнения; Одно только изменение настроек не обновляет захваченные доказательства.
- Откройте новую версию Provenance → Environment, проверьте ее блокировку и любую диагностику недостающего пакета, а затем вернитесь в Reproducibility. Продолжайте, когда Check reproducibility доступен, и необходимые входы и запуски присутствуют.
Если в существующей среде по-прежнему отсутствуют точные блокировки, включите Settings → Runtimes → Let the Agent create environments и попросите отдельную среду, управляемую приложениями, с исходными зависимостями анализа. Выберите его и проверьте необходимый импорт, а затем повторите шаги 3-4. сохранить существующую окружающую среду; Не меняйте метод анализа только для того, чтобы сделать проверку доступной.
Если в новой версии все еще отображается Unavailable, сохраните View details, имена пакетов/версий и выбранное время выполнения. Решите любой сообщенный ошибка пакетного подключения перед повторным запуском. Если замок все еще не может быть захвачен, остановитесь и используйте устранение неполадок. Оставьте результат непроверенным.
Практический пример Проверить образец резюме QC
Скриншот показывает резюме, сгенерированное в Notebook из GSE60450 образец таблицы QC. Откройте вкладку Provenance → Reproducibility файла, чтобы проверить его захваченные входные данные и запустить. Здесь Not verified yet и Unavailable указывают на то, что отсутствует точный замок окружения. Используйте View details, а затем следуйте за Меры по подготовке к окружающей среде, чтобы создать новую версию. Этот экран не показывает успешное воспроизведение результатов.
Проверь чек.
- В Reproducibility подтвердите выбранную версию результата и его вводы.
- Выберите Check reproducibility или Check again для другой попытки.
- Если вы выбираете сохраненную отправную точку с Check from here, проверьте Files to restore и Runs to execute, затем выберите Start check. Более ранняя подготовка может потребоваться, когда шаг зависит от предыдущего состояния Notebook.
- Следите за прогрессом и бревном. Проверка восстанавливает записанные входные данные и окружающую среду изолированно. Используйте Cancel, если вам нужно остановиться.
- Когда проверка заканчивается, откройте детали сравнения каждого вывода, прежде чем решить, соответствует ли результат.
Меню сеанса также предлагает Check session artifacts для проверки нескольких захваченных версий результатов. Проверить соответствующие версии и их индивидуальные результаты; Действия на уровне сессии не устанавливают, что каждый результат был проверен.
Прочитайте результат сравнения
| Результат | Что делать дальше |
|---|---|
| Результат воспроизведён | Проверить зарегистрированные критерии сравнения и сохранить их с заключением. |
| Результат отличается | Проверьте различные файлы и детали сравнения, прежде чем решить, влияет ли разница на вашу работу. |
| Ещё не проверено | Ни одна завершенная проверка не устанавливает соответствие для этой версии. Просмотрите имеющиеся доказательства и начните проверку, когда будете готовы. |
| Проверка остановлена / Проверка отменена | Прочитайте журнал, устраните сообщенную причину, если это необходимо, затем повторите попытку. Отмена не является результатом сравнения. |
Само завершение выполнения ещё не доказывает совпадение результатов. Равенство байтов, ограниченные сравнения изображений и таблиц и научные критерии отвечают на различные вопросы. Совпадение результатов по записанным критериям не подтверждает научную обоснованность метода.
Сохраните и поделитесь проверочной записью
- Выберите Export verification record и сохраните запись.
- Откройте загруженный файл и проверьте, какой исходный файл, версию и результат сравнения он описывает.
- Сохраните соответствующие исходные файлы и версии с этой записью. Перед очисткой воспроизведенных выходов проверьте элементы управления удержанием и сохраните нужные вам файлы.
Чтобы передать ветви разговора, файлы и доказательства вместе, используйте Исследовательский пакет .science. Запись, предоставленная отправителем, не означает, что принимающий компьютер повторно повторил проверку.
Когда проверка не может закончиться
Проверьте Areas needing attention и первое соответствующее сообщение журнала. Недостающие данные, неполные доказательства или неподдерживаемые операции могут препятствовать проверке. Большие файлы RDS/H5AD не загружаются для сравнения контента; Отсутствие сравнения не устанавливает соответствия.
Если подготовка зависит от более раннего состояния Notebook, проверьте доказательство казни и повторите необходимую подготовку, прежде чем генерировать новый результат. Держите остановленные или неполные проверки, отличные от завершенных сравнений.
Если у вас уже есть поддерживаемый пакет блокировки и вам нужно восстановить пакеты за пределами приложения, следуйте Условия восстановления Runtime. Эта процедура не создает отсутствующий замок или не заменяет препарат, описанный выше. Восстановление одних только зависимостей не означает, что результаты воспроизводятся.