Recherche en opinion publique: tendances mergentes et applications concrtes

1
Recherche en opinion publique tendances
émergentes et applications concrètes
Christian Bourque VP Recherche Associé
2
Un peu dhistoire

• Léger Marketing a été créé en 1986 par Jean-Marc
  Léger et son père Marcel (sous le nom Léger
  Léger)
• Aujourdhui, Léger Marketing cest six bureaux au
  Canada (Montréal, Québec, Toronto, Winnipeg,
  Calgary et Edmonton). Cest aussi 3 bureaux aux
  États-Unis (Philadelphie, Denver et Orlando)
• Cest 100 professionnels et plus de 650 employés,
  dont la moitié à Montréal!
• Léger cest aussi deux centrales téléphoniques
  automatisées, sept salles de groupes de
  discussion et le plus grand panel dInternautes
  au Canada
• Léger Marketing est aujourdhui la plus grande
  firme de sondage en marketing et dopinion
  publique à propriété canadienne

3
Le bout fascinant!

• La boîte à outil
• Le sondage téléphonique  50 de nos revenus
• Les groupes de discussion  10
• Les sondages sur Internet  30
• Les autres méthodes  10
• Les secteurs
• Recherche sociale et affaires publiques 20
• Communications et média 20
• Branding et positionnement (marque et produit)
  30
• Satisfaction et CRM 30

4
Les grands changements dans lindustrie du
sondage dopinion
5
La qualité de la réponse

• 1. La qualité de la réponse contre la qualité du
  répondant
• 2. La remise en question des questionnaires
  monadiques
• 3. Les mesures indirectes
• 4. Choix, compromis, décisions

6
La qualité de la réponse

• 1. De la qualité du répondant à la qualité de la
  réponse
• 2. La remise en question des questionnaires
  monadiques
• 3. Les mesures indirectes
• 4. Choix, compromis, décisions

7
De la qualité du répondant à la qualité de la
réponse
1950 Entrevue face-à-face
1960 Entrevues téléphoniques et postales
1980 Entrevues par interception
Entrevues téléphoniques automatisées
Entrevues sur Internet

• Online is statistically reliable and
  representative
• La pénétration de Internet dépasse les 70! 80
  dici 2015!
• Aux États-Unis, le pourcentage de ménages sans
  téléphone fixe a augmenté de 400 en trois ans
  (près de 8 aujourdhui). Au Canada, 19 des
  18-34 ne vivant plus chez leurs parents nont
  plus de téléphone fixe.
• Au Canada, le taux de réponse aux sondages est
  maintenant en bas de 30!
• Aux Etats-Unis, plus du tiers des budgets en
  recherche par sondage sont dépensés en-ligne et
  la croissance est constante.

8
La qualité de la réponse

• Plusieurs critiquent le sondage Web sur la base
  du fait quil sagisse dune méthode
  non-probabiliste et que la participation est
  volontaire (self-selection bias)
• Pourtant le sondage téléphonique probabiliste
  comporte aussi ses enjeux de représentation.
• 30 de la population na pas accès à Internet.
  Cest si grave?
• Les influenceurs dans le milieu sont en ligne
• Les leaders sur les marchés sont en ligne
• Les leaders dopinion sont en ligne
• Les jeunes sont en ligne plus quau téléphone
• Certains groupes difficile à rejoindre au
  téléphone sont en ligne
• Ne vaut-il pas mieux un sondage non-probabiliste
  qui posent les bonnes questions à la bonne cible
  ou un sondage probabiliste qui posent des
  questions moins précises à un auditoire souvent
  trop large.

9
La qualité de la réponse

• Basé sur deux sondages identiques, un
  téléphonique (national) et lautre sur Internet
  (national)
• Quatre hypothèses
• H1 De façon globale, la direction des résultats
  sera la même entre le téléphone et le sondage
  Web. DÉMONTRÉ.
• H2 Les différences statistiques seront mineures
  quand il sagit de mesurer lopinion et la
  mémoire. DÉMONTRÉ.
• H3 Les différences statistiques seront
  inexistentes lorsquil sagit de mesurer des
  faits. DÉMONTRÉ.
• H4 La validité des réponses sera meilleure sur
  le Web, comparativement au sondage téléphonique.
  DÉMONTRÉ.

10
La qualité de la réponse

• 1. De la qualité du répondant à la qualité de la
  réponse
• 2. La remise en question des questionnaires
  monadiques
• 3. Les mesures indirectes
• 4. Choix, compromis, décisions

11
Captons-nous la réalité des gens avec nos
questions traditionnelles

• Nous nagissons pas selon ce que nous pensons,
  mais selon comment on se sent !
• Si laction est émotive, pourquoi utiliser le
  cognitif pour mesurer les motivations ?
• La plupart des décisions nous viennent de notre
  subconscient
• Linférence ne devient-elle pas la meilleure
  façon de comprendre?
• Pourtant, le sondage traditionnel est fondé sur
  une réponse faisant appel à la cognition, issue
  dune question écrite\verbale qui sollicite une
  réponse rationnelle.

12
Échelles et choix loin de la réalité du citoyen

• Lapproche la plus répandue est-elle toujours la
  meilleure
• Les échelles monadiques traditionnelles veulent
  dire quoi au juste (cest quoi 6 sur 10,
  comparativement à 7 sur 10) ?
• Labsence de variation cause toujours des
  problèmes (la moyenne est toujours 7.2 !)
• Les gens veulent répondre positivement! Le
  syndrome de la désirabilité sociale est le
  problème numéro un des sondages fondés sur
  linteraction sociale
• Tout devient important, tout devient bon
• On ne pense pas en chiffres, cest le sondage qui
  nous force à transposer nos émotions en données!
• Lêtre humain, confronté à une prise de position
  ou un argument bien formulé, sentira toujours une
  pression pour dire quil est daccord. Nous
  souhaitons dire oui!

13
Échelles et choix loin de la réalité du citoyen

• Lapproche la plus répandue est-elle toujours la
  meilleure
• Les questions traditionnelles limitent la non
  opinion ou lopinion neutre
• Les échelles daccord ne sont pas en mesure
  détablir la distance relative entre deux degrés
  dappui ou deux degrés dimportance
• La recherche CATI traditionnelle basée sur des
  échelles de mesure connues ne ressemble en rien
  au processus de choix réel des gens
• Notre vie est faite de petites et grandes
  décisions basées sur notre volonté de faire les
  bons compromis entre des avantages et des
  désavantages perçus ou réels. Pourquoi nos
  sondages ne sont-ils pas le reflet de cette
  réalité?
• Quand vous exprimez vos émotions et vos attitudes
  dans un contexte social, il y a de bonnes chances
  que vos réponses soient plutôt le reflet de votre
  évaluation de ce contexte social que de vos
  opinions réelles. Face aux autres, nous sommes
  un mauvais juge de notre personnalité.

14
Si vous lavez dessiné en haut de la page VOUS
ÊTES GÉNÉRALEMENT OPTIMISTE ET VOYEZ DU BON DANS
CHAQUE SITUATION!
Si vous lavez dessiné en bas de la page VOUS
ÊTES PLUTÔT PESSIMISTE ET DOUTEZ DES COMPÉTENCES
DES GENS AUTOUR DE VOUS
15
Si vous lavez dessiné regardant vers la gauche
VOUS VALORISEZ LES TRADITIONS, LAMITIÉ ET VOUS
VOUS SOUVENEZ DES DATES DANNIVERSAIRES ET AUTRES
DÉTAILS
Si vous lavez dessiné regardant vers la droite
VOUS ÊTES CRÉATIF ET RÊVEUR MAIS VOUS OUBLIEZ
FACILEMENT DES CHOSES IMPORTANTES POUR CEUX QUI
VOUS ENTOURENT
16
Si vous lavez dessiné de face VOUS ÊTES DIRECT,
UN PEU DÉFIANT ET VOUS AIMEZ JOUER LAVOCAT DU
DIABLE
17
Si vous avez dessiné les quatre pattes VOUS
VIVEZ EN FONCTION DE PRINCIPES DE VIES ASSEZ
RIGIDES, VOUS AVEZ DES CONVICTIONS ET AUSSI UNE
TÊTE DE (DANS LE BON SENS DU TERME)
Si vous avez dessiné deux pattes ou moins VOUS
ÊTES PLUS INSÉCURE, IMPULSIF ET CHANGEANT
18
Un cochon très détaillé VOUS ÊTES ORGANISÉ ET
TRÈS CONSCIENCIEUX
Un cochon avec peu de détails VOUS AIMEZ LE
RISQUE ET LAVENTURE
19
Si vous avez dessiné un cochon avec la queue
ATTENTION, LA LONGUEUR DE LA QUEUE INDIQUE VOTRE
DEGRÉ DE SATISFACTION OU INSATISFACTION ENVERS
VOTRE VIE SEXUELLE
20
(No Transcript)
21
Des preuves difficiles à contredire

• Le phénomène de la désirabilité sociale est
  présent partout, il fait partie de la nature
  humaine.
• Il y a une pression pour dire oui ou dexprimer
  une opinion.
• La forme téléphonique ne permet pas non plus
  dutiliser dautres représentations de la réalité
  que la forme verbale

22
La qualité de la réponse

• 1. De la qualité du répondant à la qualité de la
  réponse
• 2. La remise en question des questionnaires
  monadiques
• 3. Les mesures indirectes
• 4. Choix, compromis, décisions

23
Repousser les limites et mesurer lémotion
24
Mesurer lémotion
25
Des cadres théoriques qui évoluent rapidement
26
La technologie Tobii
27
La trahison de nos pupilles
28
Lethnographie à la rescousse des grandes marques

• En Europe, les méthodes ethnographiques basées
  sur lobservation participante connaissent une
  croissance importante.
• Deux principes de base 1) ne demandez pas aux
  gens comment ou pourquoi ils utilisent un
  produit, regardez-les lutiliser, et 2) en
  sortant le consommateur du contexte réel
  dutilisation du produit, on perd contact avec la
  réalité de ce consommateur
• En recherche sociale, lobservation prend souvent
  la forme dentrevues non dirigées dans le milieu
  de vie des gens. Un repas entre amis, plutôt
  quun groupe de discussion qui tente de mimer une
  certaine forme de représentativité.

29
La qualité de la réponse

• 1. De la qualité du répondant à la qualité de la
  réponse
• 2. La remise en question des questionnaires
  monadiques
• 3. Les mesures indirectes
• 4. Choix, compromis, décisions

30
Faire des choix

• Sur une échelle de 1 à 10, où 1 veut dire pas du
  tout important et 10 veut dire très important,
  dites-moi jusquà quel point chacun des éléments
  suivants est important pour vous.
• performance du moteur
• protection contre le vol
• prime dassurances associée
• look distinctif
• coûts des pièces de remplacement
• consommation dessence

31
Une question simple?

• Préférez-vous le modèle A ou le modèle B?

32
Voici la voiture préférée des Canadiens

• Le résultat de lanalyse conjointe? Voiture C

?
33
Cliquez sur votre choix préféré?
Dell Processus double-curs Mémoire ram de
2G Disque dur de 80G
HP Processeur double-coeurs Mémoire ram de
5G Disque dur de 80G
34
Maximum Difference (MaxDiff)

• Une méthode simplifiée de choix discrets mais qui
  répond aux mêmes impératifs 1) mesurer
  indirectement limportance relative, 2) remédier
  aux problèmes des échelles traditionnelles et 3)
  permettre aux répondants de faire des choix et de
  mettre en relations.
• Façon simple de mesurer limportance relative de
  divers attributs dans le choix dacheter, de
  voter en faveur, etc.
• Les scores dutilité issus du MaxDiff sont
  relatifs. Autrement dit, ils nous donnent un
  indicateur de distance réel entre limportance
  dun enjeu par rapport à un autre.
• Limite la fatigue du répondant, prend moins de
  temps et demeure plus juste.

35
La base

• Veuillez cocher deux éléments dans la colonne de
  gauche et deux dans la colonne de droite.

Éléments non-prioritaires Les moins importants Ne
vous inquiètes pas
Éléments prioritaires Les plus importants Plus
grandes inquiétudes
Item 1 Item 2 Item 3 Item 4 Item 5 Item 6 Item
7 Item 8 Item 9 Item 10
36
Maximum Difference

• Deux façons de présenter les résultats
• Pourcentage de la variation totale
• Moyenne zéro

37
Maximum Difference Scaling

• Deux façons de présenter les résultats
• Pourcentage de la variation totale
• Moyenne zéro

134
Item 5
76
Item 6
34
Item 2
9
Item 1
3
Item 10
-5
Item 9
-19
Item 8
-21
Item 3
-81
Item 4
-147
Item 7
38
Le contexte actuel
39
La qualité de la réponse

• La nécessité de la représentation complète
• Le sondage confirmatoire
• Le sondage outil de communication
• Le contexte de la rareté des ressources à venir

40
Certains principes de base
Christian Bourque VP Recherche Associé
41
Sans égard à la méthodecertains principes sont
toujours applicables

• La vie est faite de choix difficiles le sondage
  devrait lêtre aussi
• Rank is better than rate
• Les longues banques de questions attitudinales ne
  sont pas fiables
• Attention aux problèmes de perspectives
• Le sondage en amont plutôt quen aval
• Ciblez!

42
Faire des choix

• Parmi les deux choix suivants, lequel
  préférez-vous
• Voici deux points de vues sur notre système de
  justice criminelle. Lequel des deux correspond
  le mieux à votre opinion personnelle
• Lutilisation de lanalyse conjointe en
  communication (Message Optimization) peut être
  une solution intéressante dans la calibration des
  messages clés (qualitatif ou quantitatif)
• Positionner un problème comme un
   zero-sum game , même si la réalité serait plus
  complexe.

43
Une analyse conjointe en communication
Le matrice de départ Objectifs Impact sur Les
coûts Réglementaire de linitiative la
cible Message A Message E Message I Message
M Message B Message F Message J Message
N Message C Message G Message K Message O Message
D Message H Message L Message P
44
Cliquez sur votre message préféré?
Message A Message F Message K Message N
Message C Message E Message L Message P
45
Les extrants
Importance
Message optimal Message B Message E Message
K Message O
15,09
Les scores dutilité pour les messages sur les
objectifs
6,84
5,37
-27,30
46
Rank is better than rate

• Dans la mesure du possible, demander aux
  répondants de mettre en ordre ou de hiérarchiser,
  plutôt que leur demander de donner un score
  individuel à plusieurs éléments distincts.
• Il nest pas nécessaire non plus de demander de
  mettre tous les éléments en rang, mais juste les
  premiers rangs.
• Mettre en rang permet plus de variation et de
  distance entre les éléments.
• Si tout donne 8 sur 10, en quoi est-ce utile pour
  vous?

47
Rank is better than rate exemple concret
Lamélioration du système de la santé 9.1
Protection de lenvironnement 9.0 La
réduction de la dette 8.8 La mission
canadienne en Afghanistan 8.7 Le
développement économique 8.6 Lutte à la
pauvreté 8.4 Léducation 8.4 La
création demplois 8.3
Échelle dimportance de 1 à 10
Lamélioration du système de la santé 44 
La lutte à la pauvreté 15  La protection
de lenvironnement 12  Léducation 7 
Le développement économique 7  La mission
canadienne en Afghanistan 6  Le
remboursement de la dette 5  La création
demplois 4 
Méthode MaxDiff
Sondage Omnibus sur le web (deux vagues
subséquentes), novembre 2007. N1500 répondants
au Canada.
48
Éliminer les longues banques déléments

• Varier la structure du questionnaire de façon à
  éliminer les longues listes où les échelles sont
  constantes
• Dans un souci de paraître cohérent, le répondant
  voudra toujours répondre de la même façon !
• Varier la perspective ou les points de vues, le
  cas échéant.
• Découper les listes en y glissant des transitions
  ou des éléments dintroduction (ex  les
  prochaines questions traiteront des éléments liés
  à la sécurité  ou  toujours en utilisant la
  même échelle, dites-moi si vous quant aux  
• Ajouter une autre forme de validation interne
  (dans une banque de 10 éléments, ajoutez une
  onzième question du type parmi les 10 éléments
  suivants choisissez celui qui ). Ceci permettra
  de valider si les taux daccord ou dimportance
  individuels sont dans un ordre semblable à celui
  de la question de choix.

49
Attention à la perspective

• Nous posons nos questions à partir dun certain
  point de vue
• Une question exprimant un point de vue, une fois
  isolée ne permet au répondant de positionner ce
  point de vue dans son contexte global
• Les gens ne se contredisent pas dans les
  sondages, cest souvent le sondage qui place le
  répondant dans un contexte impossible
• Pourquoi ne pas placer les gens, dans un contexte
  où il doit choisir entre deux points de vue
  valables!
• Quel est mon  trade-off  si jappuie ta
  position?
• Ne pas trop bien écrire la question !

50
Un exemple bien réel
Surpris point de vue du distributeur

• 80 agree customer demand and customer
  preferences should determine which television
  services are distributed in Canada and how they
  are packaged by distributors
• 71 agree the CRTC should reduce regulation and
  rely more on competition and consumer demand
  whenever possible
• 64 agree cable and satellite distributors should
  have the ability to drop television services with
  very low audience demand
• 80 say that the CRTC should increase competition
  among Canadian television services by introducing
  competing services

Surpris point de vue du diffuseur (Friends of
Canadian TV)

• 55 believe the Canadian television production
  industry will not survive and succeed in an
  unregulated cable and satellite environment
• 74 think that less regulation is likely to
  reduce the choices of Canadian programs on TV
• 87 believe cable or satellite providers would
  likely favour channels they own over independent
  channels
• 88 believe it is important (53 very important)
  to have regulations and/or incentives to ensure
  the continued presence of independently owned
  Canadian broadcasters on cable and satellite
  line-ups

51
Le sondage en aval

• Dans un contexte de réduction des ressources,
  placez une portion plus importante du budget en
  aval et seulement un montant limité en
  confirmatoire en amont
• Par exemple, un sondage exploratoire détaillé
  (consultation publique, panel Web, qualitatif,
  ethnographie) auprès de la cible tôt dans le
  processus et une confirmation finale ( ballot
  box poll ) par le biais dun omnibus de type
  probabiliste
• Tout ne doit pas passer par des méthodes
  probabilistes, seulement la phase confirmatoire

52
Ciblez

• La part prépondérante des ressources devrait être
  accordé aux sondages auprès de la cible
• Permet de limiter la taille de léchantillon ()
  sans compromettre la portée réelle de létude
• Permet de travailler plus directement sur les
  influenceurs

53
La plus grande firme de sondage à propriété
canadienneMontréal Toronto
PhiladelphieQuébec Calgary DenverWinnipeg
Edmonton Orlando