Designing with AI-tools through the whole design process – shared school project with Sara – 2024 This project is be presented in Swedish

I Säker Stämma finns ett AI-filter som varnar för AI-genererade röstbedrägerier i realtid.

Syfte och projekt

Uppgiften var att hitta en idé till ett projekt som kan göra nytta, engagerar, och som går att utveckla genom hela designprocessen.

Vi valde att jobba vidare på det jobb jag påbörjat på Hyper Islands Business Development om bedrägerier, men med ett annat fokus: AI-genererade röstbedrägerier, vilka ännu är i sin linda i Sverige.

Säker Stämma skyddar mobilanvändare från AI-genererade röstbedrägerier. Lösningen är intuitiv, trygg och sömlöst integrerad i mobilabonnemanget – även för användare med låg digital vana.

Scenario användare utan Säker Stämma

Anna, en 67-årig pensionär, får ett samtal från någon som låter precis som hennes son Johan. Han säger att han är i en akut situation och behöver pengar omedelbart till en bilreparation.
Orolig gör Anna som hon blir ombedd och för över en stor summa.
Det hon inte vet är att rösten är AI-genererad, klonad från Johans inlägg på sociala medier. Hon har blivit lurad – av en röst som låter som någon hon litar på.

Scenario där Säker Stämma ger skydd!

Samma samtal. Samma stressade röst. Men den här gången är Säker Stämma aktiverat via Annas mobilabonnemang. I bakgrunden analyserar AI-tekniken avvikelser i röstens ton, mönster och bakgrundsmiljö – och flaggar för avvikelser.

En tydlig varning visas: “Detta samtal kan vara bedrägligt.”
Det ger Anna en chans att dubbelkolla innan hon agerar. Säker Stämmas varningssystem har Anna skräddarsytt efter sina önskemål och varnas via ljudsignaler, visuellt, en tydlig röst eller vibrationer. Säker Stämma gör det enkelt att snabbt avsluta samtalet och i realtid förhindra att bedrägeri begås.

De viktigaste insikterna
från researchfasen:

  • I researchfasen identifierade vi föräldrar och äldre som särskilt sårbara för AI-genererade röstbedrägerier, där unga riskerar att utsätta sina nära genom att sprida sina röster på sociala medier.

  • Insikten: AI behövs på användarens sida, inte bara bedragarens.

Insikter från intervjuer:

  • Många ser inte röstkloning som ett personligt hot – förrän de förstår hur övertygande det kan låta.

  • Enkelhet och automatisk aktivering via mobilabonnemang skapar trygghet.

  • Det finns en oro för integritet, men också en stark vilja att skydda sig och sina nära.

  • Varningar får inte skapa panik – utan ge tydliga och lugna val.

Viktigaste riskerna att hantera:

  • Felaktiga eller uteblivna varningar (falska positiva/negativa)

  • Oro kring övervakning eller datainsamling

  • Förtroendeproblem om AI:n upplevs som för osynlig – eller för påträngande

  • Risk att användare litar för mycket på tekniken och sänker sin vaksamhet

Del 2 i designprocessen

Vi tar oss vidare in i del 2, där vi börjar med att ta fram det första mock-upsen med hjälp av DALL-E, Musho och Uizard. Med gratisversionen kommer man inte så långt så vi köpte en månad med Uizard. ChatGPT hjälpte till att skriva prompt. Resultatet blev väldigt generellt, vilket kan vara ok i early stage, men det var lite frustrerande.

Bildgenerering
& Varumärke

Med MidJourney skapade vi illustrationer för onboarding med mjuka gröna pastellfärger som förmedlar trygghet och vänlighet. Recraft användes även för att skapa en vänlig varningsrobot med mjuka konturer och stora, milda ögon som varnar vid bedrägliga samtal utan att skapa panik. För varningsroboten användes Photoshops AI för att generera fyllningar, kinder och ögon. En sovande version togs fram manuellt för att illustrera en inaktiv robot som förmedlar lugn och integritet. Alla visuella element stödjer SäkerStämmas mål att skapa trygghet och en vänlig användarupplevelse.

Tone of Voice

Hur har vi jobbat med AI?
Under hösten har vi byggt upp en gemensam förståelse för SäkerStämma med ChatGPT genom återkommande resonnemang och diskussioner. Här angav vi en längre prompt för att ta fram en målgruppsanalys, som bland annat definierade SäkerStämmas tonalitet. Utifrån den bad vi i en prompt om förslag på varumärkets Tone of voice.

Den viktiga onboardingen som syftar till att skapa trygghet och säkerhet. I prototypen finns lite uppdateringar som gjordes i ett senare steg efter tester.

Redan i tidigt skede insåg vi att varningsskärmen är viktig. En avvägning i att vara tydlig men inte skrämmas. I prototypen nedan finns ett par uppdateringar i skissen.