Evaluation of Sparse Autoencoder-based Refusal Features in LLMs: Dataset-dependence study
Year: 2025
Type: article
Abstract: Large Language Models (LLMs) werden zunehmend in sicherheitskritischen Anwen-dungsbereichen eingesetzt. Die Kontrolle ihres Verhaltens stellt daher eine zentrale Herausforderung für die Forschung dar. Ein wesentlicher Aspekt hierbei ist refusal, also die Fähigkeit eines Modells, gefährliche oder verletzende Eingaben abzulehnen und nicht darauf einzugehen. Obwohl aktuelle Modelle prinzipiell dazu in der Lage sind, bleiben sie anfällig für Umgehungstechniken. Während klassisches Finetuning als Standardmethode zur Integration solchen Verhaltens gilt, bietet Mechanistic Interpretabilty eine gezieltere Alternative: das direkte Eingreifen in die internen Mechanismen eines Modells. Eine Schlüsselrolle spielen dabei Sparse Autoencoder (SAEs), die darauf ausgelegt sind, aus den Modellaktivierungen ’entflochtene Features’ zu extrahieren, etwa ein Refusal-Feature das mit Ablehnungsverhalten korreliert. Die Effektivität solcher SAEs hängt jedoch stark von den verwendeten Trainingsdaten ab; die zugrunde liegenden Zusammenhänge wurden bisher kaum systematisch untersucht.In dieser Arbeit evaluieren wir systematisch SAEs, die auf unterschiedlichen Varianten von allgemeinem Pretraining und spezialisierten Instruction-Tuning Daten trainiert wurden. Wir zeigen, dass eine Kombination beider Datentypen besonders effektiv ist, um robuste und steuerbare Refusal-Feature, insbesondere in späteren Modell-Ebenen, zu isolieren. Unsere Ergebnisse legen einen klaren Unterschied offen: In frühen Layern erfolgt das Steuern über eine eher grobe ’brute-force’-artige Intervention, während in späteren Layern eine gezielte, subtilere Steuerung möglich ist, vorausgesetzt, das SAE wurde auf instruktionsreicheren Daten trainiert. Zudem zeigen wir einen zentralen Bruch in der kausalen Transferierbarkeit: Zwar lassen sich Feature-Repräsentationen, die ein SAE auf einem Basismodell erlernt hat, auf das instruktionsgetunte Pendant übertragen, jedoch verlieren sie dort ihre Fähigkeit, das Verhalten des Modells sinnvoll zu beeinflussen. Diese Arbeit liefert eine reproduzierbare Methodik zur Analyse der Datensensitivitätinterpretierbarer Steuerungswerkzeuge und verdeutlicht die Fragilität aktueller Steering-Methoden über Finetuning-Grenzen hinweg. Letztlich zeigen unsere Ergebnisse: Die Daten, mit denen Interpretierbarkeitsmethoden trainiert werden, sind ebenso entscheidend wie die Daten, auf denen das Modell selbst basiert.
Source: reposiTUm (TU Wien)
Author: Kerl, Tilman
Institution: TU Wien
Language: English
Subfield: Artificial Intelligence
Field: Computer Science
Domain: Physical Sciences
Open Access status: green
OpenAlex ID: W7094946856
FWCI:
Cites:
Cited by:
Related to: