12 / 05 / 2010Le test d’utilisabilité classique revisité par une approche interprétative!

Cette étude exploratoire a été présentée dans le cadre du 78e congrès de l’ACFAS 2010 à l’Université de Montréal, au sein du colloque “2010: Une odyssée de l’espace virtuel ou la recherche sur les internautes et leurs avatars dans les métavers”, qui a été organisé par le professeur Benny RIGAUX-BRICMONT (Université Laval) – que j’en profite pour sincèrement remercier de tout son dévouement à mettre sur pied une programmation de conférences toutes fort intéressantes, et dans une ambiance interactive des plus chaleureuses!

Cette communication présente le fruit d’une approche réflexive appliquée à une pratique professionnelle d’ergonome des interfaces qui conduit des tests d’utilisabilité dans le cadre d’investigations servant la recherche commerciale.

En effet, développée dans le cadre de mon parcours doctoral et au-delà des courants dominants classiques et cognitifs, cette étude exploratoire tente d’intégrer des approches plus interprétatives de la recherche sur le comportement du consommateur, qui sont envisagées en complémentarité aux mesures cognitives quantitative et qualitative classiques du test d’utilisabilité. Ainsi, une tentative de re-conceptualisation du test d’utilisabilité est proposée en vue d’incorporer des éléments de nature plus interprétative dans l’analyse de l’interaction du consommateur avec un système d’information.

Les résultats de cette approche complémentaire explorant à la fois les dimensions cognitives et expérientielles symboliques et incarnées (corporalité du vécu sensoriel) sont encourageants. Bien que modestes, ils révèlent que la richesse de cette double analyse des données recueillies lors d’un test d’utilisabilité, favorise une compréhension accrue de ce qu’il est maintenant commun d’appeler « l’expérience usager ».

L’illustration de cette approche exploratoire est illustrée au travers d’un cas, celui du test d’utilisabilité du site Nouvelles de la Société Radio-Canada réalisé en 2005 (étude pour laquelle, après 5 ans, je suis désormais libérée de tout engagement de confidentialité dans le cadre de mes interventions professionelles).

17 / 10 / 2007Usability testing: Not a matter of users so much as of analysts – be it for the quantity or the quality approaches

Je trouve souvent que certains articles ont tendance à donner l’impression que pour réussir un bon test d’utilisabilité, tout est une question d’usagers: le bon nombre (quantité), les bons usagers (segments cibles), etc. Cela obstrue souvent l’immense travail d’analyse et le rôle crucial des analystes…et ce, que l’on parle d’approche quantitative ou qualitative.

Ce billet fait suite à la lecture de deux articles parus cette semaine par Jakob Nielsen du NN/g et Rachel Hinman d’Adaptive Path sur les tests d’utilisabilité et l’analyse des données ou encore tout le data qui provient de ces tests. J’aimerais insister ici sur la réalité derrière cet “écran usagers”…j’utilise ici le terme “écran” dans le double sens de ce qui se passe derrière le moniteur, mais aussi au sens de la “façade usagers” que l’on expose le plus souvent concernant les tests d’utilisabilité (en reléguant un peu trop à l’arrière boutique tout le “back-end” des analystes sur lesquels ces tests reposent également beaucoup pour produire des résultats de tests informatifs…).

Oui ce sont des tests avec des usagers, certes, mais ne nous laissons pas leurrer, derrière l’écran ce n’est pas tant une question de nombre d’usagers que de nombre d’alanystes (lire : de temps d’analyse peu importe le nombre d’analystes sur la job)…pour pouvoir traiter tout le data qui est extrait des tests – et dieu sait s’il y en a…des heures de vidéos et de verbatim, des milliers de lignes de notes, etc. Ceux qui sont passés par là devant ou derrière l’écran ou comme client à lire les gros rapports s’en souviennent j’en suis sûre!!!

Le premier article est l’Alertbox de Nielsen de cette semaine (15 octobre 2007). Cela présentait les tests d’utilisabilité simultanés auprès de plusieurs usagers (MUST: Multiple-User Simultaneous Testing). L’essentiel de son texte décrit cette approche moins courante pour des raisons de coûts évidentes, ainsi que les conditions de réalisation de ces tests (ex.: avoir plusieurs facilitateurs formés et on vous propose une formation de facilitateurs en passant!), et il met l’emphase sur les cas où il est préférable d’avoir de nombreux usagers comme pour les jeux vidéos (venant de lui: on comprend qu’il veut dire au moins plus que 5! ;-).

Il est clair que pour des résultats dits statistiques, chaque condition testée nécessite au moins 20 cas pour que le niveau de signification des résultats soient valides, au sens de généralisables à l’ensemble de la population. Tout ça c’était déjà bien clair pour nous tous. Aucun problème. Ce qui m’a surpris cependant, c’est qu’aucune mention n’est faite de l’armée d’analystes en arrière nécessairement nécessaires pour processer tout cela, car permettez-moi le jeu de mots facile mais: analyser le data est un must, c’est le cas de le dire…

Donc tester selon la méthode MUST – terme que Nielsen dit avoir emprunté à Dennis Wixon qui entretient en passant d’intéressants propos sur les critères d’évaluation de l’efficacité des différentes méthodes d’utilisabilité – (N.B.: obtenir le texte intégral nécessite un accès à la ACM Digital Library), ne prend pas seulement beaucoup d’usagers mais aussi beaucoup d’analystes ou de temps d’analystes…il ne faudrait pas l’oublier! C’est mon point ici et je vais l’appuyer avec le second article vu cette semaine dont je vous parlais.

Dans la newsletter d’Adaptive Path d’aujourd’hui le 17 octobre, dans son essai sur les “A-HA moments” Rachel Hinman nous rapporte très bien cette tendance à vouloir “faire oublier” la réalité du temps d’analyse, soit la vraie réalité derrière “l’écran” des tests usagers, la réalité de matière grise et de temps de réflexion qui donne des résultats concrets d’évaluation des interfaces et par conséquence, de pistes de (re)conception. Je vous avoue que je suis particulièrement sensible à cette réalité car je la vis doublement en recherche au doctorat où pour fins d’apprentissage et de rigueur, la dimension méthodologique n’est pas en option…mais pour plus de clarté, je vais citer les propos de Hinman ici:

I always get a little miffed when I hear user-experience folk describe their data analysis process as looking for “a-ha moments.” It seems like an evasive answer to a simple process question. But more importantly, it leaves one with the impression that coming up with research insights is an experience of epiphany, like Newton sitting under the apple tree discovering gravity.

In a recent talk about his current book, The Myths of Innovation, Scott Berkun emphasized that humans love stories of epiphanies because they diminish the sweat-effort, failure, and plain old hard work that goes into coming up with something that is truly innovative. He explained how the story of Newton sitting under the apple tree conveniently de-emphasizes his 15 years of dedication and study to the subject.

[capture de l'image de l'article de Hinman - site d'Adaptive Path]

Pour compléter mon point, je vous recommande également une autre approche de test d’utilisabilité. Il s’agit d’une approche qui ne mise pas sur la quantité d’usagers mais plutôt sur la qualité via la complémentarité des méthodes. De MUST on passe cette fois à CUT, pour Cooperative Usability Testing. Cette approche combinatoire est proposée par Frokjaer et Hornsbaek de l’Université de Copenhague au Danemark qui tentent de répondre à certains biais du test U classique. Voici le résumé de l’article pour vous mettre en appétit: “Cooperative usability testing: Complementing Usability Tests with User-Supported Interpretation Sessions” (N.B.: l’accès à l’article intégral nécessite un compte à la Digital ACM library):

“Recent criticism of think-aloud testing (TA) discusses discrepancies between theory and practice, the artificiality of the test situation, and inconsistencies in the evaluators’ interpretation of the process. Rather than enforcing a more strict TA procedure, we describe Cooperative Usability Testing (CUT), where test users and evaluators join expertise to understand the usability problems of the application evaluated. CUT consists of two sessions. In the interaction session, the test user tries out the application to uncover potential usability problems while the evaluators mainly observe, e.g. as in TA or contextual inquiry. In the interpretation session, evaluators and test users discuss what they consider the most important usability problems, supported by a video of the interaction session. In an exploratory study comparing CUT to TA, seven evaluators find that interpretation sessions contribute important usability information compared to TA. Also test users found participation in the interpretation session interesting.

Je dois vous dire que l’an dernier, dans le cadre d’un de mes cours portant sur l’approche interprétative, j’ai expérimenté une variante de cette méthode en réutilisant/réanalysant les verbatims des usagers à des fins de séance d’interprétation sur des thèmes spécifiques que nous avons laissé émerger du data. C’était proche donc mais ce n’était pas de l’interprétation par les usagers eux-mêmes – pour des raisons d’efficacité/de temps car il aurait fallu ensuite par dessus tout le data d’observation, analyser leur réinterprétation de la séance, ce que nous ne pouvions nous permettre dans le cadre d’un exercice de fin de session…Une chose est sûre, c’est qu’ici il ne s’agit pas d’une approche quantitative des tests U mais plus d’une approche qualitative avec moins d’usagers, cependant dans ce cas également, la quantité d’analyse à faire des interprétations est tout aussi importante…et prend autant de temps d’analyse…on ne peut la contourner pour obtenir de la qualité!

Pour la petite info, je peux vous dire que les résultats combinés du test usager avec l’approche interprétative furent surprenamment riches et très concluants! Cela permettait de dégager le lien entre les tâches effectuées sur un site par un usager et la symbolique de ce que représente cette activité pour l’usager et surtout par rapport à l’imbrication de l’activité et du contexte concret dans lequel elle se déroule (type d’industrie, type de site, type de compagnie, type de pages, type de comparables online – et offline! -, types de préférences, etc.). Donc par exemple, je suis usager et je navigue sur un site de nouvelles pour un test, je le fais comme tâche mais dans la vraie vie, je le fais surtout pour me tenir informé-e et pour cela je clique sur le gros titre ou dans la section “Sports” ou “Culture”, etc., mais au delà de cela, “qu’est-ce que cela représente/veut dire pour moi comme usager de consommer de l’information en général?” Et y a-t-il une représentation différente de l’activité quand elle est effectuée dans sa version papier vs dans sa version en ligne?

Car pour comprendre ce que représente une tâche sur un site par exemple, en fait il faut la comprendre aussi globalement que cela, dans la représentation mentale que s’en fait l’usager de façon générale (offline et online) et spécifique (dans les interfaces concrètement testées).

Pour moi, dans la même perspective que soulignée par Hinman dans son essai en rapport à l’innovation, cet exemple “expérimental” est une combinaison de méthodes que je vais désormais retenir absolument pour tout ce qui est nouveaux produits interactifs ou sites qui nécessitent de comprendre comment l’usager s’approprie la nouveauté et s’adapte symboliquement à elle…

Avec la vague de nouvelles interfaces AJAX et multimodales qui déferlent de plus en plus un peu partout, les produits actuels “brisent” de plus en plus le moule/pattern classique des interfaces Web traditionnelles que nous avons largement testées – ou fait testées- depuis une dizaine d’années, il va donc bien falloir que les méthodes d’évaluation de ces interfaces/produits/services évoluent en conséquence! Le test d’utilisabilité n’y fera pas exception!

Comme lien complémentaire en rapport avec ce propos méthodologique, je vous mentionne que dans la conférence intitulée L’ergonomie a-t-elle toujours la cote?donnée dans le cadre des conférences des midis-express de l’API en novembre 2006, Camille et moi avions recensé différentes évolutions méthodologiques actuelles et parfois encore expérimentales. Pour ceux que cela intéresse, voici le billet écrit à l’époque de l’événement sur ErgonomiA et où vous pouvez télécharger la présentation (le recensement figure dans les dernières diapos du ppt).

5 / 08 / 2005Les tests d’utilisabilité . . . un ultime passage obligé

Les tests d’utilisabilité . . . un ultime passage obligé
Gérard Blanc, Direction informatique, Juillet-Aout 2005

2005/7/1 – Les tests d’utilisabilité sont la clé de voûte de la « batterie de tests » à laquelle devraient être soumis tous logiciels, progiciels, applications ou sites Web. Cet ultime rempart de la qualité doit s’imposer comme un passage obligé et sans compromis. Lire l’article complet

16 / 06 / 2003Tests d’utilisabilité

Présentation sur la méthode et les objectifs des tests d’utilisabilité. Comment faire un test? Quoi tester? avec quels utilisateurs? comment les trouver? les qualifier?

TestsUtilisabilite.pdf

220-802 050-SEPROAUTH-02 M70-101 70-458 70-462 100-101 640-554 700-505 70-457 70-460 C2150-197 EX0-001 070-243 70-466 C_THR12_66 C4040-225 1Z0-061 70-331 EX300 1Z0-060 MB2-701 70-467 EX200 M70-301 70-489 C2180-278 MB7-702 MB2-702 70-487 70-243 70-414 70-466 200-120 MB2-703 070-462 70-462 70-461 9L0-012 C_BODI_20 PRINCE2 1Z0-851 70-432 1Y0-253 070-496 100-101 648-244 070-668 C4040-252 650-752 70-642 HP0-Y50 E20-385 500-285 70-410 70-461 70-462 70-483 EX300 070-461 MB2-702 MB7-702 220-802 400-101 646-206 700-501 70-480 C4040-108 MB2-701 70-412 70-466 200-120 C4040-225 1Z0-061 70-347 C4090-452 MB2-703 400-101 70-410 70-417 70-463 70-488 70-462 C2090-303 C2090-614 70-461 70-486 70-411 400-101 646-206 300-206 70-243 74-325 C2020-622 Windows 7 key Windows 8 key Office 2013 microsoft office 2010 cheap Windows 7 key Office 2007 key Office 2010 key Office 2008 key Windows 7 Windows 8 Office 2013 microsoft office 2010 cheap Windows 7 key microsoft Office 2007 key microsoft Office 2010 key windows 7 key windows 8 key Office 2013 key windows 81 key microsoft 2010 key office 2010 office 2007 key buy windows 7 key cheap windows 7 key dowload office 2010 key cheap windows xp key cheap windows 2008 buy microsoft 7 key windows 2011 key windows 2011 adobe photoshop key rolex replica watch swiss replica watches replica watches for men replica watches Rolex replica watches rolex swiss replica watch top rolex replica swiss rolex replica watches cheap replica omega rolex replica watches latest replica omega watches replica omega watches 70-432 1Y0-253 070-496 100-101 648-244 070-668 C4040-252 650-752 70-642 HP0-Y50 E20-385 500-285 70-410 70-461 220-801 220-802 N10-005 SY0-301 000-221 00-780 N0-101 1z0-051 C4090-450 C4120-783 EX200 MB2-700 MB3-700 MB6-869 OG0-093 VCP-510 VCP550 70-486 70-418 400-101 70-410 050-SEPROAUTH-02 200-120 MB2-703 070-462 1Z0-554 1Z0-567 200-001 250-310 250-371 640-878 70-461 70-462 200-120 70-488 MB2-703 70-410 70-461 70-480 70-532 200-120 MB2-703 070-462 70-462 70-461 070-410 JN0-102 70-411 C_TADM51_731 C4090-958 70-483 EX300 070-461 MB2-702 MB7-702 220-802 MB2-703 70-411 MB5-705 C_TADM51_731 70-346 70-486 70-347 70-480 70-483 70-412 70-463 MB2-700 70-417 C_TAW12_731 400-101 MB2-702 70-487 400-101 646-206 700-501 70-480 C4040-108 MB2-701 070-411 100-101 640-554 700-505 70-457 70-460 C2150-197 EX0-001 070-243 70-466 700-501 050-SEPROAUTH-02 M70-101 70-458 CCD-410 70-341 70-464 70-680 74-335 350-018 C_TFIN52_66 70-243 VCP-550 70-414 70-466 100-101 JN0-102 VCP550 640-554 70-331 EX300 1Z0-060 MB2-701 70-467 EX200 350-001 700-505 640-911 M70-301 70-489 400-101 70-410 050-SEPROAUTH-02 200-120 MB2-703 070-462 70-462 70-461 070-410 JN0-102 70-411 CCD-410 70-341 70-464 70-680 74-335 M70-201 117-101 810-420 C2180-276 C4040-221 1Z0-599 350-029 820-421 C_THR12_66 117-102 70-342 MB5-705 C_TADM51_731 70-346 70-486 70-347 70-480 70-483 70-412 70-463 MB2-700 70-417 70-480 C4040-108 MB2-701 070-411 100-101 640-554 700-505 70-457 70-460 C2150-197 EX0-001 070-243 70-466 C_THR12_66 C4040-225 1Z0-061 70-347 C4090-452 VCP-550 070-177