Das Heftroman-Korpus: 437 Millionen Token deutscher Unterhaltungsliteratur als abgeleitete Textformate
Year: 2026
Type: dataset
Abstract: Das Urheberrecht hindert Forscher daran, die zeitgenössischen Korpora, auf denen ihre Ergebnisse beruhen, offen zugänglich zu machen. Abgeleitete Textformate (ATFs) bieten einen Ausweg. Sie entstehen, in dem die Texte gezielt transformiert werden, und zwar in zwei Schritten: Zunächst werden sie mit Annotationen angereichert und anschließend werden so viele Informationen entfernt, dass die Originale weder gelesen noch rekonstruiert werden können, die übrigen Daten jedoch für die computergestützte Analyse weiterhin nutzbar bleiben. Das hier verfügbare ATF-Korpus besteht aus 15.741 deutschen Heftromanen aus den Beständen der Deutschen Nationalbibliothek , das 437 Millionen Tokens umfasst. Jeder Roman ist in Form von Häufigkeitstabellen (Bag of Words, BoW) auf Segmentebene (je ca. 1.000 Tokens) mit Annotationen (Token, Lemma, Wortart, Named Entities) sowie einer generierten Zusammenfassung verfügbar. Der ATF-Datenbestand der Deutschen Nationalbibliothek wird in zwei unterschiedlichen Ausprägungen ATF-BoW als Bag of Words (Beispiel: AA_Example_ATF.tsv) ATF-Summary als Zusammenfassung der Heftromane (Beispiel: AA_Example_Summary.txt; Prompt: AA_Summary_Prompt.txt) für mehr als 15.000 Heftromane bereitgestellt. Im Folgenden bezeichnet ATF-XXX jeweils eine dieser beiden Ausprägungen. Dateiformat, Benennung und Integrität Jeder der beiden Datenbestände besteht aus Dateien im TSV-Format. Die Dateinamen enthalten als Merkmal die DNB-interne Identifikationsnummer (PICA Production Number, PPN). Die PPN besteht aus zehn Zeichen mit Zeichen aus {0, ..., 9, X}. Das Namensschema der abgeleiteten Textformate lautet: <PPN>.txt.tsv Beispiele: 1016766513.txt.tsv 101758978X.txt.tsv 102286677X.txt.tsv Die weiterführenden Informationen zur jeweiligen PPN und die Zuordnung zu den bibliografischen Metadaten sind der bereitgestellten Metadatendatei zu entnehmen. ZIP-Archive Aufgrund der Anzahl der Dateien werden diese in ZIP-Archiven bereitgestellt. Ein Archiv enthält jeweils 2.600 Dateien, mit Ausnahme des letzten Archivs eines Bestands, das die verbleibenden Dateien enthält. Um die Zuordnung einer Datei über die PPN zu einem ZIP-Archiv zu erleichtern, werden die Namen der ersten und letzten enthaltenen PPN in den Namen des ZIP-Archivs aufgenommen: ATF-XXX-<erste-PPN>-<letzte-PPN>.zip Beispiel: ATF-Summary-132545544X-133907625X.zip Die Dateinamen und Dateien werden innerhalb der Archive unverändert übernommen. Die Struktur eines ZIP-Archivs entspricht dabei der Struktur des veröffentlichten Datenbestands: ATF-XXX/├── 1234567891.txt.tsv├── 1234567892.txt.tsv├── ...└── 123456789X.txt.tsv Prüfsummen Zur Überprüfung der Datenintegrität werden SHA-256-Prüfsummen auf mehreren Ebenen bereitgestellt. Zunächst wird für jede einzelne TSV-Datei eine Prüfsumme berechnet. Für jede Datei enthält das zugehörige Manifest ATF-XXX.manifest eine Zeile der Form: SHA-256 size iso-timestamp filename Dabei bezeichnet: SHA-256: die kryptografische Prüfsumme der Datei, size: die Dateigröße in Byte, iso-timestamp: den ISO-8601-Zeitstempel der Datei, filename: den Pfad bzw. Dateinamen der Datei im veröffentlichten Bestand. Das Manifest selbst wird ebenfalls mit SHA-256 abgesichert: ATF-XXX.manifest ATF-XXX.manifest.sha256 Für jedes ZIP-Archiv wird zusätzlich eine eigene SHA-256-Prüfsumme bereitgestellt: ATF-XXX-<erste-PPN>-<letzte-PPN>.zip ATF-XXX-<erste-PPN>-<letzte-PPN>.zip.sha256 Damit kann sowohl die Integrität eines heruntergeladenen ZIP-Archivs als auch die Integrität jeder darin enthaltenen Einzeldatei überprüft werden. Die SHA-256-Prüfsummen der beiden Gesamtmanifests werden zusätzlich in den Metadaten des Zenodo-Records hinterlegt. Die entsprechenden Prüfinformationen werden darüber hinaus bei der Deutschen Nationalbibliothek vorgehalten und können im Bedarfsfall für einen unabhängigen Abgleich herangezogen werden.
Language: German
Subfield: Literature and Literary Theory
Field: Arts and Humanities
Domain: Social Sciences
Open Access status: green
OpenAlex ID: W7204180424