Propensity to trust and the influence of source and medium cues in credibility evaluation

Lucassen, T. & Schraagen, J. M. (2012). Propensity to trust and the influence of source and medium cues in credibility evaluation. Journal of Information Science, 38, 564-575.

Credibility evaluation has become a daily task in the current world of online information that varies in quality. The way this task is performed has been a topic of research for some time now. In this study, we aim to extend this research by proposing an integrated layer model of trust. According to this model, trust in information is influenced by trust in its source. Moreover, source trust is influenced by trust in the medium, which in turn is influenced by a more general propensity to trust. We provide an initial validation of the proposed model by means of an online quasi-experiment (n = 152) in which participants rated the credibility of Wikipedia articles. Additionally, the results suggest that the participants were more likely to have too little trust in Wikipedia than too much trust.

(Full-text)

News items on Readability of Wikipedia

After our press release on this publication, the first online news items start to appear.

First, engineersonline posted this story, with virtually the same text as the official release.

Tweakers.net has also picked up the story, with a huge amount of (overall, thoughtful) comments.

Let’s see if other websites also pick it up!

UPDATE:

After De Telegraaf found the story on Tweakers, several other major Dutch and Belgian newspapers followed:

Webwereld also dedicated part of an article to this study, as did geenstijl.

Interview on EnschedeFM

I gave this interview about the readability of Wikipedia on EnschedeFM a few moments ago:

Interview met EnschedeFM

Press release: Leesbaarheid Wikipedia-artikelen te laag

Following this publication in First Monday, this press release was issued this morning:

UT-onderzoek: Leesbaarheid Wikipedia-artikelen te laag

Uitgebreid onderzoek naar leesbaarheid miljoenen Engelstalige Wikipedia-artikelen

 Uit onderzoek van de Universiteit Twente en het bedrijf Babbletics komt naar voren dat de leesbaarheid van het leeuwendeel van de Engelstalige Wikipedia-artikelen te laag is. Dit terwijl de populaire online encyclopedie als doel heeft om kennis te ontsluiten voor alle mensen. Uit het UT-onderzoek komt naar voren dat 73,5 procent van de artikelen ‘redelijk moeilijk’ tot ‘zeer moeilijk’ te lezen is. 45 procent van de artikelen valt zelfs in de categorieën ‘moeilijk’ en ‘zeer moeilijk’. De resultaten worden vandaag gepubliceerd in het wetenschappelijke vakblad First Monday.

 Wikipedia is in enkele jaren uitgegroeid tot een veel geraadpleegd medium. Het heeft zich tot doel gesteld alle menselijke kennis te ontsluiten voor iedereen. De online encyclopedie wordt tegenwoordig algemeen geaccepteerd als een relatief betrouwbare bron van informatie. Maar, volgens Teun Lucassen, onderzoeker van het onderzoeksinstituut CTIT van de Universiteit Twente, is er echter te weinig aandacht voor de leesbaarheid van de artikelen. In een uitgebreid onderzoek onderzocht de UT samen met het bedrijf Babbletics de leesbaarheid van nagenoeg alle Engelstalige Wikipedia-artikelen. Hiervoor gebruikten ze de Flesch Reading Ease test, een veelgebruikte formule die op basis van de gemiddelde zins- en woordlengte de leesbaarheid van teksten in kan schatten. Teksten met veel lange zinnen en lange woorden worden als moeilijk leesbaar beoordeeld. Een score tussen de 60 en 70 wordt als standaard gezien, een score tussen de 50 en 60 als redelijk moeilijk en een score onder de 50 als moeilijk tot zeer moeilijk.

Uit het onderzoek komt naar voren dat de gemiddelde score van een Wikipedia-artikel 51,2 is. 73,5 procent van de artikelen scoort onder de 60 (‘redelijk moeilijk’ tot ‘zeer moeilijk’). 45 procent van de artikelen scoort onder de 50 en is daarmee ‘moeilijk’ tot ‘zeer moeilijk’ te lezen.

 ‘Simpele Wikipedia’

Om leesbaarheidsproblemen te ondervangen introduceerde Wikipedia in 2003 al een ‘Simple English’ versie van de online encyclopedie. Deze is bestemd voor onder meer kinderen, volwassenen met leerproblemen en mensen die nog Engels aan het leren zijn. Uit het onderzoek komt naar voren dat de leesbaarheid van deze versie van Wikipedia ook te wensen overlaat. Maar liefst 42,3 procent van de artikelen scoorde onder de 60, terwijl op basis van de doelgroep een score van 80 zou mogen worden verwacht. Verder komt uit het onderzoek naar voren dat de leesbaarheid van de ‘Simple English’ versie al jaren gestaag daalt.

Aanbevelingen

Volgens Lucassen is Wikipedia een erg mooi medium, maar is er bij het schrijven van de artikelen nog te weinig aandacht voor de leesbaarheid. “Als Wikipedia de auteurs bij het schrijven, bewerken of plaatsen van artikelen een systeem biedt dat rechtstreeks advies geeft als de auteur te veel lange zinnen of woorden gebruikt, kan dit op eenvoudige manier de leesbaarheid verbeteren.”

Onderzoek

Het onderzoek is uitgevoerd door Teun Lucassen en Jan Maarten Schraagen van de vakgroep Cognitieve Psychologie & Ergonomie (CTIT, Universiteit Twente) en door Roald Dijkstra van het bedrijf Babbletics dat zich gespecialiseerd heeft in ‘interaction design’. In het onderzoek hebben ze met de Flesch Reading Ease test miljoenen Engelstalige Wikipedia-artikelen van langer dan vijf zinnen gecontroleerd. Op de website www.readabilityofwikipedia.com is een demonstratie van de gebruikte methode te vinden. Hier kunt u eenvoudig zelf de leesbaarheidsscore van individuele Engelstalige Wikipedia-artikelen en van zelfgeschreven teksten bepalen.

Readability of Wikipedia

Lucassen, T., Dijkstra, R.L., Schraagen, J.M. (2012) Readability of Wikipedia. First Monday, 17.

Wikipedia is becoming widely acknowledged as a reliable source of encyclopedic information. However, concerns have been expressed about its readability. Wikipedia articles might be written in a language too difficult to be understood by most of its visitors. In this study, we apply the Flesch reading ease test to all available articles from the English Wikipedia to investigate these concerns. The results show that overall readability is poor, with 75 percent of all articles scoring below the desired readability score. The ‘Simple English’ Wikipedia scores better, but its readability is still insufficient for its target audience. A demo of our methodology is available at www.readabilityofwikipedia.com.

(Full-text)

Topic familiarity and information skills in online credibility evaluation

Lucassen, T., Muilwijk, R., Noordzij, M. L., & Schraagen, J. M. (2013). Topic familiarity and information skills in online credibility evaluation. Journal of the American Society for Information Science and Technology, 64, 254-264.

With the rise of user generated content, evaluating the credibility of information has become increasingly important. It is already known that various user characteristics influence the way credibility evaluation is performed. Domain experts on the topic at hand primarily focus on semantic features of information (e.g., factual accuracy), whereas novices focus more on surface features (e.g., length of a text). In this study, we further explore two key influences on credibility evaluation, namely topic familiarity and information skills. Participants with varying expected levels of information skills (i.e., high school students, undergraduates, and post-graduates) evaluated Wikipedia articles of varying quality on familiar and unfamiliar topics while thinking aloud. When familiar with the topic, participants indeed focused primarily on semantic features of the information, whereas participants unfamiliar with the topic paid more attention to surface features. The utilization of surface features increased with information skills. Moreover, participants with better information skills calibrated their trust to the quality of the information, whereas trust of participants with poorer information skills did not. This study confirms the enabling character of domain expertise and information skills in credibility evaluation as predicted by the updated 3S-model of credibility evaluation.

(Full-text)

The role of topic familiarity in online credibility evaluation support

Lucassen, T. & Schraagen, J.M. (2012). The role of topic familiarity in online credibility evaluation support. In Proceedings of the Human Factors and Ergonomics Society 56th Annual Meeting. Boston, MA, USA.

Evaluating the credibility of information is a difficult yet essential task in a society where the Internet plays a large role. Familiarity with the topic at hand has been shown to have a large influence on the way credibility is evaluated; ‘familiar users’ tend to focus on semantic features, ‘unfamiliar users’ focus more on surface features. In this study, we attempt to find out whether these differences have consequences for the development of credibility evaluation support systems. Two simulated support systems were evaluated, one utilizing semantic features (aiming at familiar users), the other utilizing surface features (aiming at unfamiliar users). The results suggest that unfamiliar users have a preference for a surface support system. Familiar users have no clear preference, have less trust in the support, and report to be influenced less by a support system. We recommend to focus on unfamiliar users when developing credibility evaluation support.

(Full-text)

Article in school magazine “Dingetjes”

A news article on the PWS-study has been published in June edition of the school newspaper for parents of CSG Dingstede.

Download PDF here.

News article in Meppeler Courant

A news article on the research that my high school students performed (see this press release) has been published in the Meppeler Courant (local newspaper).

Press release: Scholieren doen wetenschappelijk Wikipedia onderzoek

The following press release was issued this morning. It is available on the Bachelorsite of Psychology Bachelor of the University of Twente, and in the newsletter for the faculty.

Scholieren doen wetenschappelijk Wikipedia onderzoek

Twee scholieren van het CSG Dingstede te Meppel presenteerden op 28 maart  de bevindingen van hun onderzoek naar hoe scholieren van het VWO de betrouwbaarheid van Wikipedia-artikelen beoordelen. Het gaat om Maria Dijkgraaf en Felicity Frinsel die in opdracht van de Universiteit Twente onderzoek uitvoerden voor hun profielwerkstuk. Begeleider Teun Lucassen: “Uit dit onderzoek blijkt dat bijna de helft van de scholieren – uit 2 en 5 VWO – nog niet weet dat iedereen anoniem bewerkingen mag uit voeren op Wikipedia-artikelen.”

Voor het vervaardigen van de profielwerkstukken werkt het CSG Dingstede anders dan de meeste andere scholen. De scholieren werken aan échte onderzoeksprojecten voor verschillende opdrachtgevers. Leerlingen leren hierdoor zelf gedegen onderzoek te doen. Promovendus Teun Lucassen van de Universiteit Twente doet onderzoek naar het vertrouwen in online media. De scholieren onderzochten in opdracht van Lucassen één aspect hiervan, namelijk het vertrouwen dat scholieren van voortgezet onderwijs hebben in Wikipedia.

Zowel de bovenbouwleerlingen (5VWO) als de onderbouwleerlingen (2 VWO) zijn in staat artikelen van goede en slechte kwaliteit van elkaar te onderscheiden. Lucassen: “Opmerkelijke bevinding is dat VWO2 leerlingen meer het idee hebben dat hun docenten Wikipedia betrouwbaar vinden dan dat VWO5 leerlingen dit idee hebben.” Een verklaring voor dit resultaat is dat VWO scholieren in de onderbouw minder les krijgen over brongebruik en dat de bronnen die ze moeten gebruiken dus ook aan minder hoge eisen hoeven te voldoen. Voor het inschatten van de betrouwbaarheid van de artikelen op Wikipedia, gebruiken onderbouw leerlingen andere kenmerken dan bovenbouw leerlingen. VWO2 leerlingen richten zich vooral op kenmerken zoals plaatjes, terwijl VWO5 leerlingen zich vooral richten op de bronnen die vermeld staan bij de tekst.

Aan het experiment hebben vier VWO klassen van CSG Dingstede deelgenomen. Het hele experiment was gedigitaliseerd. Nadat de deelnemers een vragenlijst ingevuld hadden, kregen ze vier Wikipedia artikelen te zien met daaronder vragen over de betrouwbaarheid van het desbetreffende artikel. Tot slot volgende nog een afsluitende vragenlijst.