Tal-till-text för svenska telefonsamtal – så testar ni ett transkriberings-API

Spela in ett litet, kontrollerat facit

Använd fiktiva repliker och testtalare. Ta med ett svenskt efternamn, ett datum, ett referensnummer, en rättelse och två personer som talar samtidigt. Spela in genom den telefonväg kunden faktiskt ska använda. Behåll en version av ljudet och en manuellt kontrollerad utskrift för varje fall.

Bestäm före jämförelsen hur ni räknar skrivsätt som ”tjugo” och ”20”, skiljetecken och utfyllnadsord. Spara råsvaret så att en ändrad normalisering kan utvärderas på nytt.

Räkna fel på två sätt

Ordfelfrekvens, WER, är summan av ersatta, utelämnade och tillagda ord delad med antalet ord i facit. Om facit har 100 ord och svaret har två ersättningar och ett utelämnat ord blir WER 3 procent. Redovisa även antal kritiska fel per samtal.

Fiktivt prov: ”Skicka inte fakturan före den femtonde.” En utskrift som tappar ”inte” ska få en egen markering för ändrad innebörd. Kontrollera transkriptet först och sammanfattningen därefter så att ni vet i vilket steg felet uppstod.

Fyll i en rad per försök

• Test-ID, ljudkanal, språkval, modellversion och datum.
• Ord i facit, ersättningar, utelämningar och tillägg.
• Fel på belopp, datum, negationer eller talare. Ange källrepliken.
• Tid från avslutat samtal till färdig text, felstatus vid avbrutet anrop och granskarens rättningstid.