When a Research Indicator Fails Its Own Validation: A Critical Reassessment of CRTI and the Limits of Spectral Early-Warning Measures
Year: 2026
Type: preprint
Abstract: English Description When a Research Indicator Fails Its Own Validation: A Critical Reassessment of CRTI and the Limits of Spectral Early-Warning Measures Scientific Research Report | BenchEWS Research Programme | Version 1.0 | 10 November 2026 CRTI was developed within the BenchEWS research programme as a two-channel structural early-warning indicator for multivariate dynamical systems. This report presents a critical mathematical and numerical reassessment of its operational implementation and documents the decision to discontinue its dedicated development. For stationary, fully observed linear stochastic systems, the lag-whitened covariance operator underlying the structural channel is shown to be similar to the transposed system propagator. Consequently, the structural channel is a deterministic function of the propagator’s eigenvalue moduli and provides no additional information beyond the complete spectral representation under the stated assumptions. The analysis further establishes that the structural channel is scale invariant at the population level, is not generally monotonic in the dominant eigenvalue, and does not universally converge to one near criticality. It is mathematically distinct from the covariance-based effective-rank measure examined in the author’s peer-reviewed publication in AIP Advances (DOI: 10.1063/5.0337045), whose findings are not invalidated by this reassessment. The operational relaxation channel is shown to depend on measurement units, while an invariant correction corresponds to established spectral estimation methods. A nonlinear counterexample demonstrates that systems with identical local Jacobians can exhibit substantially different recovery probabilities because of differences in their basins of attraction. Numerical experiments and ablation studies did not establish incremental early-warning performance over established spectral baselines. These findings do not demonstrate the general uselessness of scalar spectral summaries or rule out potential benefits in other finite-sample settings. Scientific conclusion: The dedicated development of the operational CRTI indicator is discontinued as a research-prioritization decision, not as a universal impossibility theorem. The broader BenchEWS research programme continues, with emphasis on falsifiable benchmarking, system identification, recoverability and reproducibility. The publication includes the research report and supplementary materials containing mathematical documentation, analysis code, numerical data, a claim-evidence matrix, an AI-assisted adversarial audit and a revision history. Scientific transparency: This report has not undergone independent peer review. Its derivations, code, analysis and drafting received substantial AI assistance. The AI-assisted checks do not constitute independent human verification. Keywords — English Early-warning signals; Critical slowing down; Dynamical systems; System science; Spectral entropy; Effective rank; Time-lagged covariance; System identification; Recoverability; Basin stability; Nonlinear dynamics; Negative results; Scientific falsification; Research reproducibility; BenchEWS; CRTI. Deutsche Beschreibung Wenn ein Forschungsindikator an seiner eigenen Validierung scheitert: Eine kritische Neubewertung von CRTI und der Grenzen spektraler Frühwarnindikatoren Wissenschaftlicher Forschungsbericht | Forschungsprogramm BenchEWS | Version 1.0 | 10. November 2026 CRTI wurde innerhalb des Forschungsprogramms BenchEWS als zweikanaliger struktureller Frühwarnindikator für multivariate dynamische Systeme entwickelt. Dieser Bericht dokumentiert die kritische mathematische und numerische Neubewertung seiner operativen Implementierung sowie die Entscheidung, die eigenständige Entwicklung des Indikators einzustellen. Für stationäre, vollständig beobachtete lineare stochastische Systeme wird gezeigt, dass der zeitverzögert kovarianzbasierte, normalisierte Operator dem transponierten Systempropagator ähnlich ist. Damit stellt der strukturelle CRTI-Kanal unter den angegebenen Voraussetzungen eine deterministische Funktion der Eigenwertbeträge des Propagators dar und enthält gegenüber dessen vollständiger spektraler Darstellung keine zusätzliche Information. Die Untersuchung zeigt außerdem, dass der strukturelle Kanal auf Populationsebene skaleninvariant ist, sich gegenüber dem dominanten Eigenwert nicht generell monoton verhält und sich beim Annähern an kritische Zustände nicht notwendigerweise dem Wert eins nähert. Der untersuchte operative Indikator unterscheidet sich mathematisch von dem kovarianzbasierten Maß des effektiven Rangs, das in der begutachteten Veröffentlichung des Autors in AIP Advances (DOI: 10.1063/5.0337045) analysiert wurde. Deren Ergebnisse werden durch die vorliegende Neubewertung nicht widerlegt. Der operative Relaxationskanal erweist sich als abhängig von den Maßeinheiten der Beobachtungsgrößen. Eine koordinateninvariante Korrektur entspricht bereits etablierten spektralen Schätzverfahren. Ein nichtlineares Gegenbeispiel zeigt darüber hinaus, dass Systeme mit identischen lokalen Jacobi-Matrizen aufgrund unterschiedlicher Einzugsgebiete erheblich voneinander abweichende Rückkehrwahrscheinlichkeiten besitzen können. Die numerischen Untersuchungen und Ablationsstudien konnten keinen eigenständigen zusätzlichen Frühwarnnutzen gegenüber etablierten spektralen Vergleichsverfahren nachweisen. Daraus folgt jedoch weder eine allgemeine Nutzlosigkeit skalarer spektraler Kennzahlen noch der Ausschluss möglicher Vorteile unter anderen Stichprobenbedingungen. Wissenschaftliche Schlussfolgerung: Die eigenständige Entwicklung des operativen CRTI-Indikators wird als begründete Forschungspriorisierung eingestellt. Dies ist kein allgemeiner mathematischer Unmöglichkeitsbeweis. Das übergeordnete Forschungsprogramm BenchEWS wird fortgeführt und konzentriert sich auf falsifizierbare Vergleichsuntersuchungen, Systemidentifikation, Wiederherstellbarkeit und wissenschaftliche Reproduzierbarkeit. Die Veröffentlichung umfasst den wissenschaftlichen Hauptbericht sowie ergänzende Unterlagen mit mathematischer Dokumentation, Analysecode, numerischen Daten, einer Nachweismatrix, einer KI-gestützten kritischen Begutachtung und der dokumentierten Entwicklungsgeschichte. Wissenschaftliche Transparenz: Der Bericht wurde bislang keinem unabhängigen Peer-Review-Verfahren unterzogen. Mathematische Herleitungen, Programmcode, Auswertungen und Manuskripterstellung erfolgten mit erheblicher KI-Unterstützung. Die KI-gestützten Prüfungen ersetzen keine unabhängige menschliche Verifikation. Schlüsselwörter — Deutsch Frühwarnindikatoren; Kritische Verlangsamung; Dynamische Systeme; Systemwissenschaften; Spektrale Entropie; Effektiver Rang; Zeitverzögerte Kovarianz; Systemidentifikation; Wiederherstellbarkeit; Einzugsgebietsstabilität; Nichtlineare Dynamik; Negative Forschungsergebnisse; Wissenschaftliche Falsifikation; Reproduzierbarkeit; BenchEWS; CRTI.
Author: von Mallinckrodt, Bernd
Language: English
Subfield: Global and Planetary Change
Field: Environmental Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7225741616
Cites:
Cited by:
Related to: