In dit nummer van Minerva bespreken we een studie waarbij een herhaaldelijk uitgevoerde cognitieve zelftest (de SAGE-zelftest) vergeleken wordt met een herhaaldelijk uitgevoerde MMSE-test bij patiënten die men gedurende bijna 7 jaar opvolgde in een geheugenkliniek. De auteurs kwamen tot het besluit dat men met de SAGE-zelftest minstens 6 maanden vroeger dan met de MMSE-test een conversie van milde cognitieve stoornis (MCI) naar dementie kan detecteren (1,2). Hoe de auteurs tot dit besluit kwamen, doet echter denken aan wat we eerder bespraken in een methodologisch artikel in Minerva. We haalden toen aan dat een statistisch significant verschil in uitkomst tussen de start en de beëindiging van een behandeling in één studie-arm niet gebruikt mag worden om de superioriteit aan te tonen ten opzichte van placebo in een andere studie-arm waar men geen statistisch significant verschil zag tijdens de follow-up (3).  

In plaats van de klassieke diagnostische criteria te gebruiken, waarbij een test beoordeeld wordt op zijn aantonende en uitsluitende kracht op basis van sensitiviteit en specificiteit, wordt in deze studie alleen gekeken naar de snelheid waarmee de score van beide testen afzonderlijk afneemt ten opzichte van de beginwaarden. Er wordt dus geen directe statistische vergelijking gemaakt tussen de SAGE- en de MMSE-scores. Evenmin wordt er gekeken naar het aantal deelnemers bij wie de testresultaten op basis van vooropgestelde criteria veranderd zijn. Men stelt geen absoluut aantal punten voorop als afkapwaarde, zoals bijvoorbeeld ‘het aantal deelnemers dat minder scoort dan x punten’ of ‘het aantal deelnemers met een verschil van y punten tussen twee metingen met een tussentijd van zes maanden of een jaar’. Zonder dit aan een klinisch relevante afname te koppelen en zonder directe vergelijking tussen SAGE en MMSE gebruiken de onderzoekers een regressiecurve om per test de daling in score weer te geven (zie figuur 1*). We zien dat beide curves vrij gelijklopend dalen voor SAGE en MMSE. De onderzoekers publiceren echter ook een tabel waarin ze, zowel voor de SAGE- als de MMSE-test, de gemiddelde afname per meetmoment ten opzichte van de beginwaarden weergeven (zie tabel 1**). Voor elke afname berekent men een p-waarde en men spreekt van een statistisch significante afname wanneer de p-waarde kleiner is dan 0,0055. Zo zien we bijvoorbeeld dat het verschil tussen SAGE en MMSE op meetpunt V3 in de groep die evolueert van MCI naar niet-alzheimer dementie ogenschijnlijk klein is, maar de p-waarde voor SAGE (p=0,0051) lijkt net statistisch significant en voor MMSE (p=0,0061) net niet statistisch significant te zijn. Op basis van dit minimale verschil concluderen de auteurs dat men met de SAGE-test dementie vroeger kan opsporen. Maar is dat wel betrouwbaar? Vooreerst is de statistische precisie erg afhankelijk van het aantal deelnemers. In sommige subgroepen is het aantal deelnemers laag (zoals n=49 in de groep van MCI die naar AD en n=21 die naar niet AD dementie evolueert). Bovendien moeten we er ook rekening mee houden dat een eenmalige significante daling veroorzaakt kan zijn door bijvoorbeeld 'ruis' bij afname van de zelftest. Ook mogen we een eventueel leereffect van herhaaldelijk testen niet uit het oog verliezen. Alhoewel de onderzoekers met dit laatste rekening hielden door de SAGE-test in 4 gevarieerde versies aan te bieden, wat het leereffect van de zelfafname had moeten afremmen. 

Op basis van dit alles lijkt het ons dus onmogelijk om op basis van tabel 2 te claimen dat de SAGE-zelftest de conversie van MCI naar dementie minstens 6 maanden eerder detecteert dan MMSE. Evenmin kan men op basis van de studie een valide uitspraak doen over het verschil in aantonende en uitsluitende kracht van SAGE ten opzichte van de MMSE (4,5). De betrouwbaarheid, validiteit en andere criteria, waaraan een goed bruikbare test moet voldoen, laten we hierbij nog buiten beschouwing (6). 

Besluit

Het indirect vergelijken van consecutieve meetresultaten van twee testen levert onbetrouwbare resultaten op die we hooguit als beschrijvend en hypothesevormend mogen beschouwen.

Figuur 1.*

Bron: Scharre DW, Chang SI, Nagaraja HN, et al. Self-Administered Gerocognitive Examination: longitudinal cohort testing for the early detection of dementia conversion. Alzheimers Res Ther 2021;13:192. DOI: 10.1186/s13195-021-00930-4

Tabel 1.**

Bron: Scharre DW, Chang SI, Nagaraja HN, et al. Self-Administered Gerocognitive Examination: longitudinal cohort testing for the early detection of dementia conversion. Alzheimers Res Ther 2021;13:192. DOI: 10.1186/s13195-021-00930-4

Referenties 

1. Tournoy Jos. Kan een cognitieve zelftest de conversie van MCI naar dementie vroeger opsporen ? Minerva Duiding 21/03/2023.
2. Scharre DW, Chang SI, Nagaraja HN, et al. Self-Administered Gerocognitive Examination: longitudinal cohort testing for the early detection of dementia conversion. Alzheimers Res Ther 2021;13:192. DOI: 10.1186/s13195-021-00930-4
3. Chevalier P. Hoe studie-armen correct met elkaar vergelijken? Minerva 2011;10(9):116. 
4.  Schoenmakers B. Korte cognitieve testen om klinische Alzheimer-dementie te onderscheiden van milde cognitieve achteruitgang of normaal cognitief functioneren. Minerva Duiding 17/12/2020.
5. Hemmy LS, Linskens EJ, Silverman PC, et al. Brief cognitive tests for distinguishing clinical Alzheimer-type dementia from mild cognitive impairment or normal cognition in older adults with suspected cognitive impairment. Ann Intern Med 2020;172:678-87. DOI: 10.7326/M19-3889
6. Michiels B. Waarop letten bij de interpretatie van de resultaten uit diagnostische studies? Minerva 2015;14(6):76.