Fish Audio Drama 3 pozwala głosom AI zmieniać emocje w trakcie zdania

Fish Audio wprowadziło Drama 3, model zamiany tekstu na mowę zaprojektowany tak, by dialogi generowane przez AI brzmiały mniej jak czytanie scenariusza, a bardziej jak prawdziwa gra aktorska. Udostępniony 13 października model pozwala twórcom kontrolować emocje, tempo i sposób mówienia za pomocą zwykłego języka.

Zamiast polegać na podstawowych ustawieniach głosu, użytkownicy mogą umieszczać instrukcje bezpośrednio w swoich scenariuszach. Postać może zacząć mówić spokojnie, stopniowo okazywać coraz większą frustrację i zakończyć zdanie szeptem — wszystko to bez przełączania się między oddzielnymi nagraniami. Nawet syntetyczni aktorzy muszą teraz stosować się do wskazówek reżyserskich.

Drama 3 obsługuje również rozmowy z udziałem wielu postaci oraz 83 języki. Instrukcje można przypisywać do pojedynczych słów lub fragmentów tekstu, co pozwala twórcom akcentować konkretne wyrażenia bez zmieniania reszty scenariusza.

Według Fish Audio model osiągnął dokładność na poziomie 93,2% w teście porównawczym Pronunciation Robustness firmy Artificial Analysis, w porównaniu z 88,1% w przypadku jego poprzednika, S2.1 Pro. Dokładność wymowy nie musi jednak gwarantować przekonującego oddawania emocji.

Firma opracowuje również dwa zaawansowane narzędzia do edycji. Interactive Editing pozwoli użytkownikom dopracowywać sposób odczytania tekstu za pomocą dodatkowych instrukcji, natomiast Audio Inpainting ma umożliwiać zastępowanie pojedynczych słów bez ponownego generowania całych nagrań. Oba narzędzia nadal znajdują się w fazie ograniczonych testów dostępnych wyłącznie na zaproszenie.

Drama 3 jest dostępny na stronie internetowej Fish Audio, w aplikacjach mobilnych oraz przez API. Można również pobrać wagi modelu, choć wykorzystanie komercyjne podlega ograniczeniom licencyjnym.

Do 12 listopada dostęp do API kosztuje 10 USD za milion znaków, co oznacza 80% zniżki względem standardowej stawki wynoszącej 50 USD. Nowe subskrypcje dla twórców są również objęte 50% zniżką w okresie promocyjnym.