OmniVoice Studio: Stimmen lokal klonen
Ich habe OmniVoice Studio an einem Freitagabend installiert, mit der typischen Erwartung von jemandem, der bereits zu viele "kostenlose Alternativen zu ElevenLabs" als wackelige Demos enden sah. Das Ergebnis war überraschend gut, wenn auch nicht fehlerfrei: Das Deutsche hält sich gut, wenngleich manche Aussprachen bei weniger gebräuchlichen Wörtern stolpern, und die Stimme, die ich in der Bibliothek ausgewählt hatte, stimmte nicht immer zu einhundert Prozent mit dem überein, was aus den Lautsprechern kam. Und genau in dieser Diskrepanz wird das Projekt interessant. Zeigt es doch sowohl den großen Sprung nach vorn bei synthetischem Audio als auch seine sensibelste Seite – die der Sicherheit und des verantwortungsvollen Umgangs. Sprachklonierung kann für Synchronisation oder Barrierefreiheit äußerst wertvoll sein, ist aber auch von Personen, die sich als jemand anderes ausgeben wollen, leicht missbrauchbar.
Das Erste, was geklärt werden muss, da der Name in jedem Reddit-Thread, in dem er erwähnt wurde, zu Missverständnissen führt, ist, dass "OmniVoice" zwei verschiedene Dinge bezeichnet. Auf der einen Seite gibt es das Modell, das vom k2-fsa-Team entwickelt wurde – den Köpfen hinter Kaldi und anderen historischen Werkzeugen zur Spracherkennung: eine Open-Source-Text-to-Speech-Engine unter der Apache-2.0-Lizenz, die darauf trainiert ist, über 600 Sprachen mit Zero-Shot-Cloning abzudecken. Das bedeutet, dass man für keine neue Stimme ein eigenes Modell trainieren muss. Auf der anderen Seite gibt es OmniVoice Studio, die von Palash Debnath entwickelte Desktop-Suite, die diese Engine aufnimmt und sie in eine echte Anwendung mit grafischer Benutzeroberfläche, Projektverwaltung, Video-Dubbing und systemweiter Sprachdiktierfunktion einbettet. Es ist der Unterschied zwischen einem Motor und dem Auto, das man darum herum gebaut hat: Ersteren findet man auf GitHub als Python-Bibliothek, Letzteres lädt man als App für macOS, Windows oder Linux herunter und öffnet es wie jedes andere Programm.
Es lohnt sich, dies sofort zu erwähnen, da im Internet auch kommerzielle Websites kursieren, die sich einfach "OmniVoice" nennen und kostenpflichtige Credits im Abonnement verkaufen: Sie sind nicht dasselbe Projekt, ja sie erklären sich explizit als nicht mit den Open-Source-Modellen verbunden, an die ihr Name erinnern könnte. Ein Detail, das man im Hinterkopf behalten sollte, bevor man auf einer beliebigen Suchmaschine nach "omnivoice pricing" sucht.
Wie es funktioniert
Der Workflow von Studio ist einfacher, als die Feature-Liste vermuten lässt. Man lädt ein Sprachbeispiel hoch – es genügen bereits wenige Sekunden sauber gesprochener Text – und das System generiert neues Audio, das die Klangfarbe und den Rhythmus in einer der unterstützten Sprachen reproduziert. Es ist kein spezielles Training für die einzelne Stimme erforderlich. Es handelt sich um das, was im Fachjargon als Zero-Shot-Ansatz bezeichnet wird: Das Modell lernt die Stimme im engeren Sinne nicht, sondern nutzt sie zum Zeitpunkt der Generierung als akustische Referenz. Ähnlich wie ein Synchronsprecher, der sich einen Clip anhört und versucht, die Intonation auf der Stelle zu reproduzieren, ohne sich monatelang mit der Rolle auseinanderzusetzen.
Zusätzlich zum Klonen bietet die Suite Voice Design, also den Aufbau synthetischer Stimmen basierend auf Attributen wie Geschlecht, Alter, Tonfall und Akzent, ganz ohne Ausgangsbeispiel: Man beschreibt die Stimme, die man erhalten möchte, und das System versucht, sie zu erzeugen. Hinzu kommen das Video-Dubbing, das Transkription, Übersetzung, Sprachresynthese und Synchronisation zusammenfügt, sowie die Diktierfunktion, die für die Echtzeit-Transkription während des Schreibens in jeder anderen Anwendung des Betriebssystems gedacht ist und über einen globalen Tastatur-Shortcut aufgerufen werden kann. Alles läuft lokal ab: Keine API-Keys, keine Accounts, kein Audio verlässt den Rechner, es sei denn, man wählt explizit eine Remote-Engine.
Der Praxistest, mit ein paar echten Zahlen
Ich habe sowohl die Standardstimmen aus der Bibliothek getestet – wobei sich Geschlecht, Tonfall und Alter über die verfügbaren Regler anpassen lassen – als auch das Klonen einiger bekannter Stimmen für rein technische Überprüfungszwecke. Dabei blieb alles streng lokal und die Dateien wurden nach Abschluss der Tests gelöscht. Auf meiner Hardware, einem Ryzen 7700 mit 32 GB DDR5-RAM und einer Radeon RX 9060 XT mit 16 GB VRAM, benötigte die Generierung von etwa zehn Sekunden Audio im Schnitt rund 200 Sekunden. Diese Generierungsgeschwindigkeit als weit entfernt von Echtzeit zu bezeichnen, ist eine Untertreibung.
Es lohnt sich zu erklären, warum dies nicht die Schuld des Modells an sich ist. Die offizielle Dokumentation der Suite stellt klar, dass der GPU-Support für AMD-Karten über ROCm läuft, was nur unter Linux verfügbar und ohnehin optional ist. Unter Windows hingegen bleiben AMD-GPUs, einschließlich der Radeons, von der Beschleunigung ausgeschlossen, sodass die Sprachsynthese letztendlich auf der CPU ausgeführt wird. Es ist dieselbe Art von Bruch, die diejenigen, die das Ökosystem lokaler Modelle für Audio oder Bilder verfolgen, nur zu gut kennen: NVIDIA genießt überall ausgereiften Support, während AMD außerhalb von Linux ein Bürger zweiter Klasse bleibt, ungeachtet dessen, wie leistungsfähig die Karte auf dem Papier ist. Wer AMD-Hardware besitzt und vernünftige Generierungszeiten wünscht, sollte ein Dual-Boot-System mit Linux in Betracht ziehen oder geduldig darauf warten, dass das ROCm-Ökosystem unter Windows reift.
In Bezug auf die reine Qualität, abgesehen von der Langsamkeit, waren die Ergebnisse gut bis sehr gut. Das Klonen meiner eigenen Stimme wirkte ordentlich, wenngleich die Qualität der über die Webcam aufgenommenen Datei nicht optimal war und man die eigene aufgenommene Stimme aufgrund der Knochenleitung, die die Wahrnehmung unserer selbst beim Live-Sprechen verzerrt, immer als etwas befremdlich empfindet. Für einen zuverlässigeren Test habe ich daher das Klonen von Stimmen bekannter Persönlichkeiten aus verschiedenen Bereichen versucht, und die Ergebnisse waren in den meisten Fällen überzeugend, mit einer einzigen Ausnahme, bei der das Ergebnis zwar ähnlich, aber nicht völlig wiederzuerkennen war. Der rein subjektive Eindruck ist, dass sich Stimmen mit sehr ausgeprägten klanglichen Merkmalen besser zum Klonen eignen als "durchschnittlichere" und weniger markante Stimmen. Ähnlich wie in Serial Experiments Lain, wo die klareren Identitäten den Übergang in das Netz überleben, während sich die verschwommenen auflösen.
Der unabhängige Testbericht von TECHSY zum k2-fsa-Modell allein, durchgeführt auf einer RTX 4090, berichtet von radikal anderen Zeiten als meinen: Ein Echtzeitfaktor von etwa 0,03, was etwa dreißigmal schneller ist als das gesprochene Wort selbst, bei einem Sprecherähnlichkeitswert von 0,830 auf multilingualen Benchmarks – höher als der für ElevenLabs im selben Test gemessene Wert. Das ist eine gewaltige Kluft im Vergleich zu meinen 200 Sekunden für zehn Sekunden Sprache. Zeigt sich doch daran sehr gut, wie sehr die reale Erfahrung mit diesen Werkzeugen weniger vom Modell und mehr von der tatsächlichen Hardwarekompatibilität abhängt: Gleiche Software, gleiche Architektur, aber völlig unterschiedliche Welten je nach dem Silizium unter der Haube.
Kostenlos, Open Source, aber mit ein paar Unterschieden
"Kostenlos" bedeutet nicht dasselbe für alle Nutzungsarten, und an dieser Stelle neigen Clickbait-Schlagzeilen dazu, die Dinge zu stark zu vereinfachen. Das k2-fsa-Modell wird unter der Apache-2.0-Lizenz vertrieben, die fast bedingungslos permissiv ist. Die Studio-Suite hingegen steht unter der AGPL-3.0, einer Netzwerk-Copyleft-Lizenz: Man kann sie auch im kommerziellen Bereich kostenlos nutzen, das erzeugte Audio verkaufen, Videos für Kunden synchronisieren und sie im Team verbreiten. Wenn man jedoch den Code der Suite modifiziert und sie anderen als Netzwerkdienst anbietet, muss man die eigenen Modifikationen ebenfalls unter denselben Bedingungen öffentlich zugänglich machen. Für diejenigen, die Studio ohne diese Verpflichtung zur Gegenseitigkeit in ein geschlossenes proprietäres Produkt integrieren möchten, ist eine separate kommerzielle Lizenz erhältlich, die direkt beim Entwickler angefordert werden kann. Es handelt sich um ein Lizenzmodell, das bei reifer Open-Source-Software üblich ist und die Entwicklung finanzieren soll, ohne das Projekt in eine Falle für diejenigen zu verwandeln, die es erweitern.
Das Projekt befindet sich noch in der aktiven Beta-Phase, was die Entwickler mit einer im Umfeld der "Alternativen zu"-Projekte auf GitHub recht seltenen Ehrlichkeit deklarieren: Zwischen den einzelnen Releases kann auch einmal etwas kaputtgehen, und wer die neuesten Fehlerbehebungen wünscht, muss aus dem Quellcode kompilieren, anstatt sich auf fertige Pakete zu verlassen.
OmniVoice Studio im Vergleich zu ElevenLabs: Ein ehrlicher Vergleich
Der natürliche Vergleich bietet sich mit ElevenLabs an, das nach wie vor die kommerzielle Referenz der Branche darstellt. Bei den Kosten ist der Unterschied eklatant: ElevenLabs rechnet pro generiertem Zeichen ab, mit Abonnements, die von wenigen Dollar im Monat bis hin zu erheblichen Beträgen für Enterprise-Pläne reichen. OmniVoice hingegen verursacht durch den lokalen Betrieb keine Kosten pro Generierung, sondern erfordert lediglich die Anfangsinvestition in die Hardware. Bei der Sprachabdeckung gewinnt das Open-Source-Projekt deutlich und bietet Hunderte von Sprachen im Vergleich zu den wenigen Dutzend, die der Cloud-Dienst abdeckt. Beim Datenschutz verhält es sich ähnlich: Bei OmniVoice verlässt das Audio nie den eigenen Rechner, während es bei einem Cloud-Dienst zwangsläufig andernorts verarbeitet wird, selbst wenn die Datenschutzrichtlinien noch so gewissenhaft sind.
Einen echten Vorteil behält ElevenLabs bei der Feinabstimmung des Endprodukts und der Vorhersehbarkeit: eine einzige, hochgradig optimierte Pipeline, die auf minimale Latenz ausgelegt ist. Dies ist ideal für Live-Konversationsanwendungen, bei denen es auf jeden Sekundenbruchteil ankommt. OmniVoice bietet als Community-Projekt, das auf heterogener Hardware laufen muss, stattdessen eine Reihe verschiedener Engines zur Auswahl, deren Qualität und Geschwindigkeit je nach Konfiguration stark variieren. Es ist ein ähnlicher Kompromiss, wie ihn jeder kennt, der Stable Diffusion lokal im Vergleich zu einem Dienst wie Midjourney genutzt hat: Mehr Kontrolle und null monatliche Gebühren, im Austausch für etwas Abstimmungsarbeit, die einem der Cloud-Dienst erspart.
Warum die lokale Verarbeitung wirklich zählt
Die konkretste Stärke von OmniVoice, abseits aller Diskussionen über die Audioqualität, ist wahrscheinlich folgende: Keine API-Keys, die man hüten muss, keine Accounts, die man erstellen muss, und keine Abhängigkeit von einem externen Server, der eines Tages seine Nutzungsbedingungen ändern, die Preise erhöhen oder einfach verschwinden könnte – und damit jahrelange Arbeit mit sich reißt. Für diejenigen, die mit synthetischen Markenstimmen, sensiblen Inhalten oder schlicht mit Material arbeiten, das nicht in den Verarbeitungsprotokollen Dritter landen soll, wiegt diese Art von Kontrolle schwerer als ein paar zusätzliche Sekunden Latenz.
Ethik und Sicherheit, ohne lange drum herumzureden
An dieser Stelle sollten wir direkt sein: Sprachklonierung ist ein mächtiges Werkzeug, und wie alle mächtigen Werkzeuge ist es ebenso nützlich wie missbrauchbar. Die offiziellen Quellen des k2-fsa-Projekts schreiben dies in ihrer Warnung unmissverständlich nieder: Es ist verboten, das Modell für nicht autorisiertes Klonen, Identitätsdiebstahl, Betrug oder andere illegale Aktivitäten zu nutzen. Die Verantwortung für eine gesetzeskonforme Nutzung liegt allein bei der Person, die das Audio generiert, nicht bei den Entwicklern des Modells. Es ist dasselbe Schema der verteilten Verantwortung, das wir seit Jahren bei der Bildbearbeitung mit künstlicher Intelligenz sehen, nur dass das Ziel hier intimer ist: die Stimme, die emotionale Signaturen trägt, die ein bearbeitetes Foto nicht in derselben Unmittelbarkeit replizieren kann.
Die Einwilligung bleibt der zentrale Dreh- und Angelpunkt. Das Klonen der eigenen Stimme oder der Stimme von jemandem, der seine ausdrückliche Zustimmung gegeben hat, ist für ein kreatives Projekt oder im Bereich der Barrierefreiheit ein ebenso legitimer wie offensichtlicher Einsatzbereich. Das Klonen der Stimme einer realen Person ohne Erlaubnis, etwa für ein satirisches Video, das ohne Kontext geteilt wird, oder schlimmer noch, für einen Telefonbetrug, ist eine völlig andere Geschichte. Dieses Risiko hat in den letzten Jahren bereits zu realen Fällen in den Nachrichten geführt, nicht nur zu theoretischen Szenarien auf IT-Sicherheitskonferenzen. OmniVoice versucht das Problem teilweise zu entschärfen, indem es ein unsichtbares Audio-Wasserzeichen integriert, das auf einer von Meta entwickelten Technologie basiert. Dieses ist so konzipiert, dass es auch nach einer Komprimierung lesbar bleibt, sodass man nachträglich überprüfen kann, ob eine Datei vom System generiert wurde. Das Wasserzeichen ist ein nützliches Werkzeug, aber keine endgültige Lösung, da es von Personen, die den Quellcode modifizieren, deaktiviert werden kann und weil es lediglich hilft, die Herkunft zurückzuverfolgen, anstatt die Generierung von vornherein zu verhindern.
Es bleiben offene Fragen, die das Projekt allein nicht lösen kann. Wer überprüft bei einem System, das definitionsgemäß keine Möglichkeit hat, die Identität des Nutzers zu kontrollieren, ob die vom Hochlader deklarierte Einwilligung auch echt ist? Welches Gewicht wird die kostenlose und ungefilterte Verfügbarkeit eines solchen Werkzeugs in den kommenden Jahren auf die Fähigkeit der Menschen haben, einer am Telefon oder per Sprachnachricht empfangenen Stimme zu vertrauen? Und vor allem: Wird die rechtliche Verantwortung, die heute in den Lizenzbedingungen fast vollständig auf den Endnutzer abgewälzt wird, standhalten, wenn die missbräuchliche Nutzung, wie es wahrscheinlich erscheint, weiter verbreitet und weniger amateurhaft wird?
Wem man es empfehlen kann und wem nicht
OmniVoice Studio ist hervorragend geeignet für unabhängige Synchronsprecher, die in mehreren Sprachen arbeiten, für Entwickler, die Sprachsynthese in ihr Produkt integrieren möchten, ohne für jedes generierte Zeichen zu bezahlen, für diejenigen, die mit sensiblen Daten arbeiten und es sich nicht leisten können, das Audio aus den eigenen Händen zu geben, sowie für Teams, die eine Batch-Verarbeitung ohne künstliche Nutzungslimits bevorzugen. Weniger geeignet ist es für diejenigen, die eine sofortige, einsatzbereite Feinabstimmung ohne jegliche Konfiguration suchen, für diejenigen, die mit wenigen Klicks fertige Stimmen abseits des Katalogs benötigen, ohne technische Einstellungen anzupassen, oder für Live-Konversationsanwendungen, bei denen Latenz ein nicht verhandelbares Kriterium darstellt: In diesen Fällen bleibt ein optimierter Cloud-Dienst vorerst die vernünftigere Wahl.
Schließlich lohnt sich eine breitere Betrachtung, die über das einzelne Projekt hinausgeht: Werkzeuge wie dieses senken die technische Hürde zur Erzeugung glaubwürdiger synthetischer Audiodaten rapide – ein Prozess, der stark an das erinnert, was wir vor einigen Jahren bei der Bildgenerierung erlebt haben. Die Frage, die sich zu stellen lohnt, ist nicht, ob sich die Sprachklonierung weiter verbessern wird, denn das wird sie fast mit Sicherheit. Vielmehr geht es darum, welche gesellschaftlichen, technischen und regulatorischen Infrastrukturen wir aufbauen können, um mit einer Welt zusammenzuleben, in der das Hören einer Stimme nicht mehr ausreicht, um deren Echtheit zu garantieren.