Zo testen wij

Op de werkbank in de garage van Henk Brouwers in Zwolle staat tijdens een stofzuigertest een bakje met havermout, rijst en fijn zand. Ernaast liggen een keukenweegschaal, een stopwatch en een zakje met twee gram hondenhaar van Moos, de labrador van Wendy, per post verstuurd uit Maastricht. Buren die even binnenlopen vragen weleens waar dat allemaal voor is. Het eerlijke antwoord: dit is ons lab.

We testen niet in witte ruimtes, maar in echte huizen, keukens en tuinen. Wel met vaste regels, die we voor elke test opschrijven. Die regels staan hieronder, allemaal en zonder geheimen.

1. Alles begint bij het hoofddoel

Voordat we ook maar één product bestellen, beantwoorden we een vraag: wat betekent "de beste" eigenlijk bij dit soort product? Dat antwoord noemen we het hoofddoel. Het is een zin die jij ook zou kunnen zeggen, en je vindt hem op elke kaart op de pagina Lopende tests.

Een paar voorbeelden uit onze tests:

• Steelstofzuigers: welke maakt een rijtjeshuis van 110 vierkante meter met trap, vloerkleed en hondenhaar schoon op één acculading?
• Airfryers met twee manden: welke maakt friet en kip voor vijf personen in één ronde klaar zonder dat de manden een kwartier in de week moeten?
• Oordopjes met noise cancelling: welke houden de wind en het verkeer buiten op de fiets en in de trein, en zitten na een uur nog goed?
• Robotmaaiers zonder begrenzingsdraad: welke maait een onregelmatige tuin met borders en een moestuinbak netjes zonder vast te lopen?

In een vergelijking beslist het hoofddoel wie wint. Al het andere telt alleen bij een gelijkspel. Waarom zo streng? Omdat je niks hebt aan een airfryer met een prachtige app als de friet slap blijft, terwijl je hem voor de friet gekocht hebt. Het hoofddoel voorkomt dat we ons laten verblinden door bijzaken.

Ook de volgorde telt. Het hoofddoel staat vast voordat het eerste pakket binnenkomt. We passen het tijdens de test niet aan, ook niet als een product ons op iets heel anders inpakt. Dat zou zijn alsof je bij klaverjassen de regels verandert nadat je de kaarten hebt gezien.

2. Welke kandidaten we kiezen

We beginnen breed: de bestsellers bij Coolblue, bol.com en MediaMarkt, de modellen die steeds terugkomen op fora als Tweakers, de nieuwkomers waar iedereen het nu over heeft en de producten waar je ons per mail naar vraagt. Meestal komen er 12 tot 20 namen uit.

Daarna schrappen we. Modellen met veel meldingen over veiligheid, verdachte reviews, geen onderdelen of geen bereikbare klantenservice in het Nederlands vallen af voordat we een cent uitgeven. Er blijven vier tot acht modellen over, en die kopen we echt.

3. Gekocht zoals jij het zou kopen

Elk product betalen we zelf, bij Nederlandse winkels als Coolblue, bol.com, MediaMarkt, Blokker, HEMA, Kruidvat, Gamma, Praxis, Intratuin of Zooplus, tegen de normale prijs. De fabrikant weet niet dat er een test loopt. Zo maken we mee wat jij meemaakt: de bezorging, de verpakking, de handleiding die wel of niet helpt, en het eerste telefoontje met de klantenservice als er iets hapert.

Persexemplaren en leenproducten nemen we niet aan. Een apparaat dat speciaal voor testers is uitgezocht, zegt weinig over het exemplaar dat bij jou op de mat valt.

Al onze testers wonen in Nederland. We kopen dus de versie die hier verkocht wordt, met de Nederlandse stekker, de Nederlandstalige handleiding en de prijs in euro's.

4. Hoe lang een test duurt

De meeste gebreken zie je niet op de eerste dag. Accu's lopen terug, filters slibben dicht, vullingen zakken in, apps krijgen updates. De duur van een test hangt dus af van het product en niet van onze planning.

Is de officiële test klaar, dan blijft een deel van de producten in een langetermijntest. Daar lees je verderop meer over.

5. Waarmee we meten

We gaan niet op ons gevoel af, we meten. Onze spullen zijn niet bijzonder, maar ze zijn bij alle testers hetzelfde. Zo blijven metingen uit Zwolle, Tilburg en Haarlem met elkaar te vergelijken.

• Geluidsmeter: geluid in dB, altijd op één meter afstand, op drie meter bij robotmaaiers en bladblazers
• Energiemeter in het stopcontact: stroomverbruik per kop koffie, per wasbeurt, per uur stand-by, omgerekend naar euro's met het gemiddelde Nederlandse stroomtarief
• Digitale keukenweegschaal: testvuil voor en na het zuigen, verbruik van kattenbakvulling, gewicht van de producten
• Stopwatch en tabel: accuduur, opwarmtijd, tijd voor schoonmaak en onderhoud
• Infrarood- en kernthermometer: oppervlak van kussens, melkschuim, platen van stijltangen, kip uit de airfryer
• Hartslagband als referentie: daarmee controleren we elke hartslagmeting aan de pols, in het oor of aan de vinger
• Schrift: het ruitjesschrift van Marieke naast de koffiemachine is inmiddels bekend in heel Lombok

Daarnaast hebben we eigen vaste standaarden. Voor stofzuigers strooien we 50 gram van een mengsel van havermout, rijst en fijn zand op drie ondergronden: tegelvloer, laminaat en een hoogpolig vloerkleed. Voor dierenhaar is het 2 gram echt hondenhaar op een donker wollen kleed. Voor matrassen zet Ingrid een vol glas water op het voeteneind terwijl haar man Kees zich omdraait.

6. De beoordelingsformulieren

Elke categorie heeft een formulier met eigen criteria en eigen wegingen. Samen tellen de wegingen altijd op tot 100. We leggen het formulier vast voor de test en passen het alleen aan als er een heel nieuw soort product bijkomt. Dit zijn de zes formulieren die we het vaakst gebruiken.

Huis & Schoonmaak

Steelstofzuigers, robotstofzuigers, stoomgeneratoren, ontvochtigers en zelfreinigende kattenbakken. Ze gaan vooral langs Henk in Zwolle, de kattenbakken langs Wendy in Maastricht.

Koffie & Keuken

Volautomatische espressomachines, filterkoffiezetapparaten, airfryers en keukenmachines. Ze gaan vooral langs Marieke in Utrecht, die er elke doordeweekse avond voor vijf mee kookt.

Techniek & Gadgets

Smartphones, oordopjes, smartwatches, tablets en powerbanks. Ze gaan vooral langs Ruud in Groningen. Koffers, powerbanks en koptelefoons voor onderweg neemt Jeroen mee tussen Amsterdam-Noord en Schiphol.

Gezondheid & Slaap

Matrassen, onderdekens, wake-up lights, bloeddrukmeters en massagepistolen. Ze gaan langs Ingrid in Haarlem, de elektrische tandenborstels langs Sanne in Rotterdam.

Beauty & Verzorging

Stijltangen, föhns, multistylers en warmeluchtborstels. Ze gaan langs Sanne in Rotterdam, vaak met haar zus Shanice in de stoel ernaast.

Tuin & Buiten

Robotmaaiers, bladblazers op accu en fietsverlichting. Ze gaan vooral langs Bart in zijn achtertuin in Tilburg en op de polderwegen eromheen.

7. Hoe het cijfer ontstaat

Elk criterium krijgt een waarde van 0 tot 10. Die vermenigvuldigen we met de weging en delen we door 100. De uitkomst is het cijfer dat je bovenaan in de cirkel van elke review ziet. Daaronder tonen we de vier belangrijkste waarden als balken, zodat je in één oogopslag ziet waar een product uitblinkt en waar het tekortschiet.

Een rekenvoorbeeld met het formulier Huis: schoonmaakkracht 9,2, dierenhaar 9,5, accu 8,8, wendbaarheid 7,8, kosten op termijn 7,2 en prijs en kwaliteit 8,0 geven samen een 8,7. Een product kan dus goed scoren met een zwak punt, maar alleen als het overtuigt op wat telt.

Er zijn twee uitzonderingen op de berekening. Een echt veiligheidsprobleem, zoals een accu die zichtbaar opzwelt, betekent uitsluiting, hoe goed de rest ook is. En een product dat tijdens de test kapotgaat, krijgt geen aanbeveling zolang we niet weten of het om één exemplaar ging.

8. Hoe we klantreviews lezen

Negen weken is lang, maar geen twee jaar. Voor elk model lezen we dus geverifieerde reviews van meerdere winkels, meestal tussen de 200 en 500. Het aantal sterren interesseert ons weinig. We zoeken naar patronen die steeds terugkomen.

• Eerst de late reviews: wat mensen na drie maanden of langer schrijven, weegt zwaarder dan het enthousiasme op de dag dat de doos openging.
• Eén en twee sterren met aandacht: die sorteren we op oorzaak. Melden veel mensen hetzelfde gebrek, zoals een scharnier of een accu, dan verliest het product punten, ook als ons exemplaar het volhield.
• Bezorgproblemen tellen niet mee: een gedeukte doos zegt iets over de bezorger, niet over het product.
• Wat niet klopt, laten we weg: veel reviews met vijf sterren in dezelfde week, opvallend gelijke zinnen of reviews die duidelijk over een ander model gaan.

Daarna lezen we gespecialiseerde fora en discussies in de community, zoals op Tweakers. Daar vind je vaak mensen die een product al twee keer uit elkaar hebben gehaald.

9. Wanneer we opnieuw testen

Elke review heeft een datum. Uiterlijk om de zes maanden kijken we of hij nog klopt. In deze gevallen doen we dat eerder:

• Er komt een nieuw model uit, of het geteste model is niet meer te koop.
• De prijs verandert zo sterk dat de verhouding tussen prijs en kwaliteit verschuift.
• Een software-update verandert een belangrijke functie.
• Meerdere lezers melden ons hetzelfde probleem.

Meldingen van lezers hebben al meer dan één product terug op de testbank gezet. Valt jou iets op, laat het ons weten.

10. Wat er na de test met de producten gebeurt

Veel producten blijven gewoon waar ze getest zijn en draaien door als langetermijntest. De steelstofzuiger waarvan Henk na een jaar de accu opnieuw heeft getest, is er zo een. Het ruitjesschrift van Marieke ook: Joost schrijft er nog steeds in, terwijl de test allang voorbij is. Na drie, zes en twaalf maanden werken we de review bij als er iets veranderd is.

Wat we niet houden, geven we door. Werkende producten gaan naar kringloopwinkels en buurthuizen, of we verkopen ze als gebruikt testexemplaar, altijd met erbij hoe lang ze gedraaid hebben. De opbrengst gaat naar de volgende test. Kapotte apparaten brengen we naar de milieustraat.

Eén ding doen we nooit: producten terugsturen met de bedenktijd van 14 dagen. Die bedenktijd is bedoeld voor kopers die een product willen proberen, niet voor redacties die op hun kosten willen besparen.

Veelgestelde vragen over onze methode