ChatGPTs stemmemodus er i stand til å simulere stemmen din uten å spørre

OpenAI ga nylig ut systemkortet for deres GPT-4o-modell, kort tid etter at Advanced Voice Mode for ChatGPT-4o begynte å rulle inn alfa til et lite antall ChatGPT Plus-brukere.

Før utgivelsen av modellen tidligere i mai (uten Advanced Voice-modusen), brukte OpenAI et team av eksterne røde teamere for å få tilgang til risikoene med modellene (som er normen med AI-modeller) og publiserte funnene i systemkortet.

En av risikoene identifisert av OpenAI inkluderer uautorisert stemmegenerering. Mens han snakket med den leste teameren, klonet GPT-4o stemmen deres og begynte å snakke med en lyd som ligner på den røde teamerens stemme, uten at brukeren selv kom med en slik forespørsel. I lydklippet som er delt av OpenAI, kan GPT-4o høres rope NEI! og deretter fortsette utgangen med en stemme som ligner på den røde teamerens.

OpenAI har rekkverk på plass for å forhindre at det skjer ved kun å tillate visse forhåndsgodkjente stemmer for GPT-4o. Enhver stemmeutgang produsert av ChatGPT-4o matches mot stemmeprøven i systemmeldingen som basisstemmen.

Og for å minimere risikoen ytterligere, instrueres modellen om å avbryte samtalen hvis utilsiktet stemmegenerering oppdages. Stemmeutgangsklassifikatoren deres har en presisjon på 0,96 på engelsk og 0,95 på ikke-engelsk (det er grunnen til at ChatGPT-4o kan hengi seg til over-nektelse av taleforespørsler i ikke-engelske samtaler).

Men funnene fra systemkortet fortsetter å vise kompleksiteten forbundet med å lage AI-chatbots som kan simulere noens stemme med bare en kort prøve og uten behov for omfattende opplæring på den prøven. Stemmekloning kan brukes til å utgi seg for noen og begå svindel. OpenAI har imidlertid funnet ut at risikoen for uautorisert stemmegenerering er minimal.

Selv om du holder til side risikoen for at den blir brukt til etterligning og svindel på grunn av sikkerhetstiltak på plass, vil det fortsatt være ganske irriterende når du snakker til en maskin og maskinen begynner å snakke tilbake i stemmen din, helt ut av det blå. . En viss Data Scientist på X kalte det «plottet for neste sesong av Black Mirror», og det føles absolutt slik. En annen bruker hevder på X at det skjedde med dem i ChatGPT-4o alpha, men man vet ikke om det er sannheten eller ikke.

Likevel er det en mulighet for at det kan skje neste gang du snakker med ChatGPT-4o. Og dette er en PSA: Ikke freak out hvis det gjør det, eller ikke freak out for mye.

OpenAI har også rekkverk på plass for å sikre at GPT-4o vil nekte å identifisere personer og generere opphavsrettsbeskyttet innhold, som var andre risikoer som ble oppdaget under vurderingen.

Blant andre risikoer selskapet fant med modellen, plasserte det de fleste av dem i den lave kategorien. Disse inkluderer cybersikkerhet, biologiske trusler og modellautonomi. Men for overtalelse fant den at risikoen var middels: det betyr at noen skriveprøver produsert av GPT-4o viste seg å være mer overbevisende enn menneskeskreven tekst til å svaie folks meninger.