Press release: De Wikipediaparadox: wat is waar?

Following my PhD defense on March 1st, the following press release was issued:

Promotieonderzoek Universiteit Twente naar vertrouwen in online informatie

Mensen vertrouwen slechte artikelen minder als ze weten dat ze van Wikipedia komen (in een andere layout is hun vertrouwen groter). Ondanks grove inhoudelijke fouten, daalt het vertrouwen in een Wikipedia-artikel niet of nauwelijks, zelfs bij experts op dat onderwerp. Mensen die negatief zijn over Wikipedia schatten minder goed in of een individueel artikel betrouwbaar is of niet. Dit zijn enkele bevindingen uit het promotieonderzoek van Teun Lucassen van het onderzoeksinstituut CTIT van de Universiteit Twente. Lucassen deed onderzoek naar de vraag hoe gebruikers de betrouwbaarheid van online informatie beoordelen. Op 1 maart promoveert hij op zijn onderzoek.

Voor de opkomst van het internet was het overzichtelijker: Informatie die ergens gedrukt stond, was in de regel juist, omdat deze gecontroleerd was door een redacteur of een journalist. Op internet kan echter iedereen eenvoudig allerhande informatie plaatsen, waardoor de gebruiker zelf moet inschatten hoe betrouwbaar die informatie is.

Teun Lucassen voerde een promotieonderzoek uit naar de vraag hoe gebruikers de betrouwbaarheid van online informatie beoordelen. Hierbij richtte hij zich in het bijzonder op de online encyclopedie Wikipedia. Volgens Lucassen is dit een erg geschikt voorbeeld vanwege wat hij de ‘Wikipediaparadox’ noemt: iedereen weet dat de informatie op Wikipedia over het algemeen van hoge kwaliteit is, maar door de open structuur kun je nooit helemaal zeker zijn van de betrouwbaarheid van individuele artikelen.

Nieuw model

In verschillende deelonderzoeken, waarin hij Wikipedia-artikelen manipuleerde, keek Lucassen hoe gebruikers de betrouwbaarheid van de artikelen inschatten. Zijn promotieonderzoek resulteerde in een nieuw wetenschappelijk model: het 3S-model van vertrouwen in informatie. Op basis van persoonlijke kenmerken van gebruikers – domeinexpertise, informatievaardigheden en ervaring met de bron – beschrijft het hoe gebruikers de betrouwbaarheid van individuele artikelen beoordelen.

De drie S’en uit het model staan voor semantic features (de inhoud), surface features (hoe wordt info gepresenteerd; denk aan afbeeldingen en referenties) en source features (de eigenschappen van de bron, in dit promotieonderzoek doorgaans Wikipedia). Uit het onderzoek komt naar voren dat iedereen, afhankelijk van zijn persoonlijke profiel, deze S’en gebruikt om de betrouwbaarheid van de informatie te beoordelen. De mate waarin ze deze gebruiken hangt echter sterk af van de drie persoonlijke kernmerken. Een gebruiker die bijvoorbeeld over minder inhoudelijke expertise over een gepresenteerd onderwerp beschikt, zal meer rekening houden met de presentatie van de informatie en de bron.

Verdediging

Lucassen voerde zijn promotieonderzoek uit bij het onderzoeksinstituut CTIT en de vakgroep Cognitieve Psychologie & Ergonomie van de Universiteit Twente. Hij werd hierbij begeleid door prof. dr. Jan Maarten Schraagen. Op 1 maart om 16.45 uur verdedigt hij zijn proefschrift in gebouw de Waaier op de campus van de Universiteit Twente.

PhD thesis: Trust in Online Information

On March 1, 2013, I will defend my PhD thesis. Below, you’ll find the short abstract.

Omslag ProefschriftThe introduction of the Internet has made it very easy to gain information on any topic imaginable. The downside of this development is that it has become much harder to evaluate the credibility of this information, as it is often unclear who the author is. In this dissertation, the way Internet users evaluate the credibility of online information is studied, with a focus on the relationship between user characteristics and information features. The online encyclopedia Wikipedia is used as a case study.

In the newly developed 3S-model of information trust, three evaluation strategies are defined. Primarily, the user may want to consider semantic features of the information (e.g., factual accuracy). However, this requires a level of domain expertise on the topic at hand. Alternatively, the user may look at surface features (i.e., the way the information is presented). While this strategy does not require domain expertise, more generic information skills are needed, since the user needs to know how certain information features are related to credibility. Finally, the user may consider the source of the information; this requires prior experiences with this source.

Multiple studies have provided validation for each of the strategies defined in the 3S-model. The model was placed in a broader perspective by also considering trust in a medium (as a collection of similar sources, such as websites), and a general propensity to trust.

The models not only provide insight into how credibility is evaluated, they also demonstrate many situations in which people have difficulties with this task. A potential solution for these problems is to provide users with a decision support system. In the second part of this dissertation, the application of such systems was studied. The choice between a user-based or a fully automated system was considered, as well as the choice between a simple (but understandable) or complex (but hard to understand) system. Moreover, the relationship between the strategies of the 3S-model and decision support was investigated.

(Full-text)

The influence of source cues and topic familiarity on credibility evaluation

Lucassen, T. & Schraagen, J. M. (2013). The influence of source cues and topic familiarity on credibility evaluation. Computers in Human Behavior, 29, 1387-1392.

An important cue in the evaluation of the credibility of online information is the source from which the information comes. Earlier, it has been hypothesized that the source of information is less important when one is familiar with the topic at hand. However, no conclusive results were found to confirm this hypothesis. In this study, we re-examine the relationship between the source of information and topic familiarity. In an experiment with Wikipedia articles with and without the standard Wikipedia layout, we showed that, contrary to our expectations, familiar users have less trust in the information when they know it comes from Wikipedia than when they do not know its source. For unfamiliar users, no differences were found. Moreover, source cues only influenced trust when the credibility of the information itself was ambiguous. These results are interpreted in the 3S-model of information trust (Lucassen & Schraagen, 2011).

(Full-text)

Mijn hoofd in de Meppeler Courant

En toen stond mijn hoofd ineens in de Meppeler Courant… CSG Dingstede heeft de officiële overhandiging van het PWS-verslag van vorig jaar gebruikt ter promotie van hun school. De bovenkant van het stukje is weggevallen, maar daar staat CSG Dingstede geeft leerlingen de kans iets te betekenen.

Artikel in Meppeler Courant

Quest: Wat weet Wiki?

Today, the latest issue of the popular science magazine Quest arrived, which features a full-length article on the credibility of Wikipedia, including a few quotes from me!

2013-01-02 11.37.15

Another item in the UT Alumni magazine!

The Alumni magazine of the University of Twente has dedicated another news item on my research in their latest issue:

Check out the full magazine here.

Wikimedia Conferentie Nederland 2012

Here is a great inspiring talk of Jimmy Wales at the Wikimedia Conferentie Nederland 2012.

http://vimeo.com/53253514

I also gave a short talk there, about high school students on Wikipedia. Here is a short impression video, I am at 1:15 for about a second.

http://vimeo.com/53280918

Emerce.nl: Zoals de waard is vertrouwt hij zijn Wikipedia

Emerce.nl, a website on online business, media, & marketing posted an item on my research, referring to a famous Duth saying. A nice piece!

Read the full story here.

Another interview on EnschedeFM!

I just gave another interview to EnschedeFM. Listen to it here:

Interview met EnschedeFM

The interview was accompanied by this news item on their website:

De resultaten van het onderzoek naar de betrouwbaarheid van Wikipedia door UT-wetenschapper Teun Lucassen zijn maandag gepubliceerd in het internationale wetenschapstijdschrift Journal of Information Science. Uit het onderzoek komt naar voren dat gebruikmakers van Wikipedia zich bewust moeten zijn van de manier waarop de artikelen op de digitale encyclopedie tot stand komen. Het onderzoek werd uitgevoerd onder 152 proefpersonen uit de hele wereld. Ze kregen artikelen van wisselende kwaliteit voorgelegd waarna ze een inschatting van de betrouwbaarheid van die artikelen moesten maken.

Press release: Mensen met positieve Wikipedia-houding beter in inschatten betrouwbaarheid

Following this publication in the Journal of Information Science, this press release was issued:

Mensen met positieve Wikipedia-houding beter in inschatten betrouwbaarheid

UT-onderzoek naar vertrouwen in digitale informatie

Uit onderzoek van het onderzoeksinstituut CTIT van de Universiteit Twente komt naar voren dat mensen die negatief zijn over het medium Wikipedia niet goed zijn in het inschatten van de betrouwbaarheid van artikelen op die site. “Zij schatten alle informatie van deze bron in als even onbetrouwbaar, waardoor ze ook veel goede informatie mislopen”, aldus UT-onderzoeker Teun Lucassen. Mensen die in de basis positief ten opzichte van Wikipedia staan, bleken wel goed in staat om de betrouwbaarheid van specifieke artikelen in te schatten. De resultaten van dit onderzoek zijn afgelopen weekend gepubliceerd in het wetenschappelijke tijdschrift Journal of Information Science.


Met de opkomst van digitale informatie wordt het steeds belangrijker om goed in te schatten of bepaalde informatie betrouwbaar is of niet. Wikipedia is bijvoorbeeld een veelgebruikte bron van informatie. Maar, omdat iedereen zelf informatie aan deze online encyclopedie kan toevoegen, bevat een deel van de artikelen inhoudelijke fouten en onjuiste informatie. De gebruiker moet dus zelf een inschatting maken of het artikel dat hij leest betrouwbaar is of niet.

UT-wetenschapper Teun Lucassen, doet onderzoek naar de manier waarop mensen de betrouwbaarheid van online informatie inschatten en kijkt hierbij veelvuldig naar Wikipedia. Uit een nieuw onderzoek van hem komt naar voren dat het vertrouwen dat mensen in het medium Wikipedia hebben een belangrijke rol speelt bij hun vermogen de betrouwbaarheid van individuele Wikipedia-artikelen in te schatten. Mensen die minder vertrouwen hebben in het medium blijken de betrouwbaarheid van de artikelen per definitie laag in te schatten, onafhankelijk van de daadwerkelijke kwaliteit. Mensen die wel vertrouwen hebben in Wikipedia bleken veel beter in staat te zijn om onderscheid tussen goede en slechte artikelen te maken. Teun Lucassen: “Je moet altijd voldoende kritisch naar de artikelen kijken. Maar het is zonde dat mensen met een negatieve houding ten opzichte van Wikipedia alles skippen, ook de goede artikelen. Wikipedia kan een goede bron van informatie zijn, maar je moet je natuurlijk wel altijd bewust zijn van de manier waarop artikelen tot stand komen.”

Onderzoek

Het onderzoek werd uitgevoerd onder 152 proefpersonen uit de hele wereld. Deze kregen artikelen van wisselende kwaliteit voorgelegd waarna ze een inschatting van de betrouwbaarheid van die artikelen moesten maken. Op basis van gestandaardiseerde vragenlijsten werd vervolgens bepaald in welke mate de respondenten over het algemeen geneigd zijn informatie te vertrouwen en hoezeer ze vertrouwen hebben in informatie op het internet en in Wikipedia in het bijzonder. Het onderzoek werd uitgevoerd door Teun Lucassen en Jan Maarten Schraagen van de vakgroep Cognitieve Psychologie & Ergonomie van het onderzoeksinstituut CTIT van de Universiteit Twente.