Opgaven Flashcards
Hvis I skulle udføre projektet igen, hvad ville i så have gjort anderledes?
Sikre en bedre afdækkelse af miljøet
Hvordan:
Først undersøge evidens for passende forklaringer og udforme low fidelidy prototyper.
Afholde workshop med slutbruger, ledensen og evt. interessenter for at diskutere hvad gør en algoritme anvendelig, og hvordan anvendeligheden kan understøttes igennem en forklarlig brugergrænseflade. Her brugers low Fidelity prototyperne til at facilitere anden del af diskussionen.
Dette vil medvirke til identification af konkrete og vigtigste succes kriterier til brug ved evaluering og videre udvikling.
Dette er dog en tids og ressourcekrævende tilgang, der kræver opbakning og interesse fra ledelsen og brugere.
Hvad er den største svaghed ved jeres projekt?
Helt klart den lille sample størrelses for evalueringen, inddragelse af flere slutbrugere ville helt klart bidrage til muligheden for identificere vigtige udfordringer ved brugergrænsefladen og brugeres behov. Ligeledes ville det kunne give en bedre indikation for XUI potentiale til at forbedre anvendeligheden af algoritmen.
Hvornår er der tale om et UCD design ved udvikling af et produkt?
UCD omhandler forstå brugernes behov, krav og præferencer gennem forskellige metoder som brugerundersøgelser, brugerinvolvering og iterativ evaluering. Dog bør der ved UCD stræbes efter en tilstrækkelig mangfoldig gruppe af informanter for at opnå en mere omfattende og repræsentativ forståelse af brugernes behov og præferencer i en UCD-proces, som det desværre ikke blev opnået i vores speciale.
Hvad er UCD?
UCD står for User-Centered Design, hvilket er en tilgang til design og udvikling af produkter eller systemer, der fokuserer på brugernes behov, præferencer og perspektiver. UCD indebærer at involvere og engagere brugerne i hele designprocessen for at sikre, at det endelige produkt er brugervenligt, effektivt og tilfredsstiller brugernes krav og forventninger.
Er der andre UX framework tilgange i kunne have gjort brug af?
Jo der foreligger andre UX konceptere som er direkte udviklet til XAI, men der dog ikke er blevet peer-review endnu, eller kun er publiceret som bidrag til en konference. Disse bestod af :
Forståelighed: Kan brugerne forstå forklaringerne i et letlæseligt sprog?
Tilfredshed: Er brugerne tilfredse med forklaringen og føler, at de forstår AI-systemet?
Nytteværdi: Kan brugerne træffe beslutninger og handle baseret på forklaringen?
Pålidelighed: Har brugerne passende tillid til AI-modellens forudsigelser efter at have set forklaringen?
Det vurderes dog at resultaterne for evaluering ikke ville have været markant anderledes, da forståelighed ligeledes er forbundet med usability, nytteværdi og pålidelighed med desirability, og tilfredshed med value.
Ville i have gjort noget anderledes ved kvalitetsvurdering af jeres artikler?
Tjeklisterne fra LEGEND ligeledes som andre standardiserede tjeklister fokuserer meget på at evaluere kvaliteten af studiet iht. De krav der er for den type studie. Dette betyder at nogle af tjeklisterne har eks. fokuseret på om der har været opgivet p-værdier, om der beskriver blinding m.m. Da vores fokus har været mere kvalitativt og overordnet, vurderes det at en anden tilgang ville have været mere aktuel, hvor vi udførte en kvalitativ vurdering af artiklerne. Dette indebærer en dybere læsning og analyse af artiklerne for at vurdere deres relevans, validitet og pålidelighed i forhold til din fokusspørgsmålene og specialets fokus.
Hvordan håndterede i evt. bias i artiklerne?
Formålet med vores kvalitets vurdering var at identificere evt. væsentlige bias, der medførte at artiklerne ikke kunne være anvendelige, hvorfor vi i specialet ikke adskilte mellem høj eller lav kvalitet, men derimod ekskluderede de artikler som blev kategoriseret som ikke anvendelige ift. LEGEND. Havde vi udført en kvalitativ vurdering af artiklernes kvalitet, ville der være større mulighed for at inddele artiklerne ift. deres relevans for studie f.eks om deres population var læger, sygeplejersker eller en tredje sundhedsfaglig population. Ligeledes i hvilken grad studiernes valgte cases for udvikling af en XUI var overførbare til specialets område.
Er jeres evaluering formativ eller summativ?
Da prototypen er i sin første version og kræver flere iterationer for at nå en tilstrækkelig moden tilstand, der opfylder de nødvendige anvendelseskrav, har vores evaluering primært været formative. Formålet var at forstå produktet og forbedre det i løbet af udviklingsprocessen. Dog har vi også foretaget en summativ vurdering af dets potentielle effektivitet. Det er dog vigtigt at bemærke, at vi ikke kan vurdere den endelige effektivitet på baggrund af vores prototype, da den stadig er under udvikling og ikke er færdig. Den summativ evaluering, der typisk sigter mod at vurdere den endelige effektivitet, vil derfor være mere relevant, når produktet er fuldt udviklet.
Er der nogle ting som er vigtigt at tage forbehold for ved udførelse af en evaluering?
Der foreligge en række ISO standarder, som er internationale retningslinjer (der ikke er juridisk bindende, men anbefalinger) der skal medvirke til at sikre god kvalitet, effektivitet og brugerventeret design ved interaktive systemer. Disse beskriver måde design, udvikling og evaluering af brugergrænseflader.
Ved at følge ISO-standarderne kan man drage fordel af etablerede metoder og bedste praksis, hvilket kan bidrage til at sikre, at ens evalueringer og designbeslutninger er velbegrundede og af høj kvalitet.
