재현성
Reproducibility을 사용하여 저장된 결과에 기록된 절차를 다시 실행하고 그 파일 버젼으로 새로운 출력을 비교합니다. 체크는 입력, 실행 기록, 환경 정보 및 출력 비교를 연결하므로 결과가 생성 된 방법을 검사 할 수 있습니다.
사용 상황
- 결과를 공유하기 전에 캡처 된 절차가 일치하는 출력을 생성합니다.
- 결과를 검토 할 때, 저장된 파일과 새로운 실행 사이의 차이를 검사합니다.
- 동료에게 일할 때, 관련 파일 및 버전과 함께 검증 기록을 유지합니다.
질문에 대한 답변을 선택하십시오.
| (주) | 제품정보 |
|---|---|
| 재현성 | 캡처 된 절차를 다시 실행하고 저장된 버전으로 출력을 비교합니다. |
| 종설 | 선택된 증거와 보고서 검토 발견을 분석합니다. |
| 스크립트 생성 | 원래 Notebook 이외의 사용을 위한 재구성 코드. |
시작하기 전에
저장된 결과를 열고 확인하려는 버전을 선택하십시오. File actions → Provenance → Reproducibility로 이동하고 캡처 된 입력 파일을 검사, Notebook 실행 및 환경 잠금.
Areas needing attention을 먼저 해결하십시오. 확인은 그 버전에 기록 된 증거에 따라 달라집니다. 초기 실행이 실패하거나 필요한 증거가 누락되면, 성공적으로 필요한 코드를 실행하고 새로운 결과 버전을 생성; 오래된 버전의 누락된 기록은 retroactively 채워지지 않습니다.
체크를 시작하면 데스크탑 인터페이스가 필요합니다. 지원된 실행 기록은 필수입니다: 이 기능은 전체 대화를 재생하거나 파일의 모든 종류를 확인하지 않습니다.
환경 준비
첫 번째 체크를 위해, 앱 관리 Python 또는 R 환경을 사용하십시오. Open-Science는 코드가 실행될 때 의존성 자물쇠를 지원했습니다. 패키지 목록 또는 pip freeze 출력은 혼자 정확한 패키지 소스를 복원하는 충분하지 않습니다.
- Settings → Runtimes을 엽니다. 필요한 언어에서 App-managed environment을 준비하고 Ready 및 Enable를 확인하십시오. runtime 설정 참조.
- 세션에 대한 환경을 선택하고 원래의 코드의 의존성을 검사하기 위해 에이전트에게 문의하십시오. 지원된 패키지 관리 흐름을 통해 누락된 패키지를 설치하면 커널을 다시 시작합니다. 그러면 동일한 Notebook에 가져 오기를 확인합니다. 계속하기 전에 활성 해석기을 확인하십시오.
- 원래 입력을 사용하여 필요한 준비 및 프로듀서 코드를 다시 실행, 다음 새로운 결과 버전을 저장합니다. 비교를 위한 본래 결과를 지키십시오; 설정 변경은 캡처 된 증거를 업데이트하지 않습니다.
- 새로운 버전의 Provenance → Environment을 열고, 잠금 및 누락 된 포장 진단을 검사하고 Reproducibility로 돌아갑니다. Check reproducibility을 사용할 수 있고 필요한 입력 및 실행이 현재 진행될 때 계속됩니다.
기존 환경이 여전히 정확한 잠금이 부족하면 Settings → Runtimes → Let the Agent create environments을 활성화하고 원래 분석 의존성을 가진 별도의 앱 관리 환경을 요청합니다. 에이전트가 그것을 선택하고 필요한 수입을 확인, 다음 반복 단계 3–4. 기존 환경 유지; 분석 방법을 변경하지 않고 체크를 사용할 수 있습니다.
새로운 버전이 여전히 Unavailable을 보여주는 경우, View details, 패키지 이름 / 버전 및 선택한 실행 시간을 유지하십시오. rerunning 전에 어떤 보고된 Package-source 연결 오류든지 해결하십시오. 잠금이 여전히 캡처 할 수없는 경우, 정지 및 사용 문제 해결; 결과를 취소합니다.
실습 예제 샘플 QC 요약 검사
스크린 샷은 GSE60450 샘플 QC 테이블에서 Notebook에서 생성 된 요약을 보여줍니다. 파일의 Provenance → Reproducibility 탭을 열고 캡처 입력 및 실행을 검사합니다. 여기에서 Not verified yet 및 Unavailable는 정확한 환경 자물쇠가 누락된다는 것을 나타냅니다. View details을 사용하여 환경 준비 단계을 따라 새로운 버전을 만듭니다. 이 화면은 결과 재현에 성공했음을 보여 주는 화면이 아닙니다.
자주 묻는 질문
- Reproducibility에서 선택한 결과 버전과 입력을 확인합니다.
- Check reproducibility, 또는 다른 시도를 위해 Check again을 선택하십시오.
- Check from here에 저장된 출발점을 선택하면 Files to restore 및 Runs to execute를 검사하고 Start check를 선택하십시오. 초기 준비는 이전 Notebook 상태에 따라 단계가 요구될 수 있습니다.
- 진행과 로그를 따르십시오. 체크는 고립에 있는 기록한 입력 및 환경을 복원합니다. 정지를 필요로 하는 경우에 Cancel를 사용하십시오.
- 체크가 완료되면, 결과 일치 여부를 결정하기 전에 각 출력의 비교 세부 사항을 엽니다.
세션 메뉴는 여러 캡처 된 결과 버전을 확인하기위한 Check session artifacts을 제공합니다. 해당 버전과 개별 결과 검사; 세션 레벨 동작은 모든 결과가 체크되어 있지 않다.
비교 결과를 읽으십시오
| 결과 | 다음을 할 것 |
|---|---|
| 결과가 재현됨 | 기록된 비교 기준을 검사하고 결론을 유지하십시오. |
| 결과가 다름 | 다른 파일 및 비교 세부 사항을 검사하기 전에 차이가 작업에 영향을 미치는지 결정합니다. |
| 아직 검증되지 않음 | 완료된 체크는 이 버전을 위한 일치를 설치하지 않습니다. 유효한 증거를 검토하고 준비 할 때 체크를 시작합니다. |
| 자주 묻는 질문 | 로그를 읽고, 필요한 경우보고 된 원인을 해결, 다음 재시. 취소는 비교 결과가 아닙니다. |
실행이 완료되었다는 사실만으로 출력이 일치한다고 판단할 수는 없습니다. Byte equality, 경계 이미지/테이블 비교 및 과학적인 기준은 다른 질문에 대답합니다. 기록된 기준에 따라 출력이 일치하더라도 과학적 방법의 타당성이 검증된 것은 아닙니다.
인증 기록 저장 및 공유
- Export verification record을 선택하고 기록을 저장하십시오.
- 다운로드 된 파일을 열고 소스 파일, 버전 및 비교 결과가 설명합니다.
- 관련 소스 파일과 그 기록과 버전 유지. 출력을 명확하게 하기 전에, 보유 통제를 검열하고 당신이 필요로 하는 파일을 저장하십시오.
대화 지점, 파일 및 증거를 통해 손으로 .science 연구 패키지을 사용합니다. 보낸 사람에 의해 공급된 기록은 수신 컴퓨터가 체크를 다시 실행하지 않는 것을 의미하지 않습니다.
체크가 완료될 수 없을 때
Inspect Areas needing attention 및 첫 번째 관련 로그 메시지. 입력, 불완전한 증거 또는 지원되지 않는 가동은 검증을 방지할 수 있습니다. 큰 RDS/H5AD 파일은 내용 비교를 위해 적재되지 않습니다; 비교의 부재는 일치하지 않습니다.
준비가 이전 Notebook 상태에 따라 실행 증거을 검사하고 새로운 결과를 생성하기 전에 필요한 준비를 다시 실행하십시오. 완료된 비교에서 멈출 수 없거나 불완전한 검사.
이미 지원된 자물쇠 번들을 가지고 있고 신청 외부 패키지를 복원해야 하는 경우, runtime restoration 상태을 따르십시오. 그 절차는 누락된 자물쇠를 창조하지 않거나 위에 준비를 대체하지 않습니다. 복원 의존성 혼자는 출력 재현을 설정하지 않습니다.