Informative value of Patient Reported Outcomes (PRO) in Health Technology Assessment (HTA)

GMS Health Technol Assess. 2011 Feb 2;7:Doc01. doi: 10.3205/hta000092.

Abstract

Background: "Patient-Reported Outcome" (PRO) is used as an umbrella term for different concepts for measuring subjectively perceived health status e. g. as treatment effects. Their common characteristic is, that the appraisal of the health status is reported by the patient himself. In order to describe the informative value of PRO in Health Technology Assessment (HTA) first an overview of concepts, classifications and methods of measurement is given. The overview is complemented by an empirical analysis of clinical trials and HTA-reports on rheumatoid arthritis and breast cancer in order to report on type, frequency and consequences of PRO used in these documents.

Methods: For both issues systematic reviews of the literature have been performed. The search for methodological literature covers the publication period from 1990 to 2009, the search for clinical trials of rheumatoid arthritis and breast cancer covers the period 2005 to 2009. Both searches were performed in the medical databases of the German Institute of Medical Documentation and Information (DIMDI). The search for HTA-reports and methodological papers of HTA-agencies was performed in the CRD-Databases (CRD = Centre for Reviews and Dissemination) and by handsearching the websites of INAHTA member agencies (INAHTA = International Network of Agencies for Health Technology Assessment). For all issues specific inclusion and exclusion criteria were defined. The methodological quality of randomized controlled trials (RCT) was assessed by a modified version of the Cochrane Risk of Bias Tool. For the methodological part information extraction from the literature is structured by the report's chapters, for the empirical part data extraction sheets were constructed. All information is summarized in a qualitative manner.

Results: Concerning the methodological issues the literature search retrieved 158 documents (87 documents related to definition or classification, 125 documents related to operationalisation of PRO). For the empirical analyses 225 RCT (rheumatoid arthritis: 77; breast cancer: 148) and 40 HTA-reports and method papers were found. The analysis of the methodological literature confirms the role of PRO as an umbrella term for a variety of different concepts. The newest classification system facilitates the description of PRO measures by construct, target population and the method of measurement. Steps of operationalisation involve defining a conceptual framework, instrument development, exploration of measurement properties or, possibly, the modification of existing instruments. Seven out of 59 RCT analysing the effects of antibody therapy for rheumatoid arthritis define PRO as the primary endpoint, 38 trials utilize composite measures (ACR, DAS) and ten trials report clinical or radiological parameters as the primary endpoint. Six out of 123 chemotherapy trials for breast cancer define PRO as the primary endpoint, while 98 trials report clinical endpoints (survival, tumour response, progression) in their primary analyses. Discrepancies in the number of trials result from inaccurate specifications of endpoints in the publications. This distribution is reflected in the HTA-reports: while almost all reports on rheumatoid arthritis refer to PRO, this is only the case in about half of the reports on breast cancer.

Conclusions: As definition and classification of PRO are concerned, coherent concepts are found in the literature. Their operationalisation and implementation must be guided by scientific principles. The type and frequency of PRO used in clinical trials largely depend on the disease analysed. The HTA-community seems to pursue the utilization of PRO proactively - in case of missing data the need for further research is stated.

Hintergrund und Zielsetzung: Patient-Reported Outcome (PRO) wird als Oberbegriff für unterschiedliche Konzepte zur Messung subjektiv empfundener Gesundheitszustände verwendet. Sie sind dadurch gekennzeichnet, dass der Patient selbst seine Einschätzung berichtet. Um den Stellenwert von PRO im Kontext von HTA-Verfahren (HTA = Health Technology Assessment) zu beschreiben, wird zunächst eine Übersicht über Konzepte, Klassifikationen und methodische Messansätze erstellt. Diese Übersicht wird ergänzt um eine empirische Analyse von klinischen Studien und HTA-Berichten mit dem Ziel, Art, Häufigkeit und Konsequenzen der verwendeten PRO zu dokumentieren.

Methodik: Beide Fragestellungen werden mithilfe von systematischen Literaturübersichten bearbeitet. Für den methodischen Teil wird in den medizinnahen Datenbanken des Deutschen Instituts für Medizinische Dokumentation und Information (DIMDI) mit einer Recherchestrategie aus drei Modulen im Zeitraum von 1990 bis 2009 gesucht. Die Recherche nach randomisierten klinischen Studien (RCT) zu den Krankheitsbildern rheumatoide Arthritis (RA) und Mammakarzinom erfolgt ebenfalls in den Datenbanken des DIMDI, für den Zeitraum von 2005 bis 2009. Die Recherche nach HTA-Berichten und -Methodenpapieren umfasst die Datenbanken des Centre for Reviews and Dissemination (CRD) und Handsuchen. Für alle Fragestellungen werden spezifische Ein- und Ausschlusskriterien zur Literaturselektion definiert. Die methodische Qualität der RCT wird mithilfe eines in Anlehnung an das „Risk of Bias Tool“ der Cochrane Collaboration konzipierten Instruments bewertet. Die Informationsextraktion erfolgt für den methodischen Teil strukturiert durch die Kapitelgliederung, für den empirischen Teil in Extraktionsbögen. Alle Informationen werden qualitativ beschreibend zusammengefasst.

Ergebnisse: Aus den Recherchen können 158 Dokumente zur Bearbeitung der methodischen Fragestellungen (87 Dokumente zu Definition/Klassifikation; 125 Dokumente zur Operationalisierung) und 225 RCT (77 RA, 148 Mammakarzinom) sowie 40 HTA-Berichte zur Bearbeitung der empirischen Fragestellungen gewonnen werden. Die Analysen zu Definitionen bestätigen PRO als Oberbegriff für eine Vielzahl von patientenberichteten Endpunkten. Das neueste Klassifikationssystem ermöglicht die Beschreibung der PRO nach dem Konstrukt, der Zielpopulation und der Messmethode. Ausführungen zur Operationalisierung beziehen sich auf den Konzeptrahmen, die Instrumentenentwicklung, -eigenschaften und -modifikationsmöglichkeiten. Von 59 Studien zur Antikörpertherapie der RA verwenden sieben ausschließlich PRO, 38 gemischte Zielgrößen (American College of Rheumatology [ACR], Disease Activity Score [DAS]) und zehn rein klinische bzw. radiologische Parameter als primäre Outcomes. Von 123 Studien zur Chemotherapie des Mammakarzinoms stützen sich nur sechs auf PRO als primäre Zielgröße; 98 Studien gebrauchen klinische Parameter (Überlebenszeit, Tumoransprechen, Progression). Abweichungen von der Gesamtzahl resultieren aus ungenauen Angaben der Zielgrößen. Diese Verteilung spiegelt sich auch in den analysierten HTA-Berichten wieder. In den Berichten zur RA werden durchweg PRO-Zielgrößen berichtet, während in den Berichten zum Mammakarzinom dies in knapp der Hälfte der Publikationen der Fall ist. Zusammenhänge zwischen Studienqualität und der Verwendung von PRO sind nicht erkennbar.

Schlussfolgerungen: Für die Definition und die Klassifikation von PRO existieren inzwischen schlüssige Konzepte, deren Umsetzung wissenschaftlichen Kriterien genügen muss. Die Häufigkeit und die Art der in klinischen Studien verwendeten PRO variieren abhängig vom untersuchten Krankheitsbild. Im Kontext von HTA wird die Notwendigkeit zur Erfassung von PRO wahrgenommen, bei fehlenden Daten wird Forschungsbedarf formuliert.

Keywords: EBM; HTA; HTA report; HTA-report; Health Technology Assessment; RCT; academic review; accident; arthritis, rheumatoid; biomedical technology assessment; blinded; blinded study; blinded trial; blinding; breast cancer; breast neoplasms; carcinoma of the breast; care; clinical studies; clinical trials; clinical trials as topic; concept; controlled clinical study; controlled clinical trial; controlled clinical trials as topic; cost analysis; cost control; cost effectiveness; cost reduction; cost-benefit analyses; cost-benefit-analyses; cost-cutting; cost-effectiveness; costs; costs and cost analysis; cross-over procedure; cross-over studies; cross-over trials; crossover procedure; decision making; diagnosis; double blind; double blind method; double blind procedure; double-blind method; double-blind procedure; doubleblind; economic aspect; economics; economics, medical; effectiveness; efficacy; efficiency; endpoint; endpoint determination; ethics; evaluation studies as topic; evidence based medicine; evidence-based medicine; health; health economic studies; health economics; health policy; health status; humans; judgement; juridical; medical assessment; medical costs; medical evaluation; meta analysis; meta analysis as topic; meta-analysis; methods; models, economic; multicenter studies; multicenter studies as topic; multicenter trial; multicenter trials; patient report; patient reported outcome; patient satisfaction; patient statement; patient-relevant; patient-relevant endpoint; patient-reported outcome; patients; peer review; pharmacoeconomics; placebo; placebo effect; placebos; prevention; prospective studies; quality of life; random; random allocation; randomisation; randomised clinical study; randomised clinical trial; randomised controlled study; randomised controlled trial; randomised study; randomised trial; randomization; randomized clinical study; randomized clinical trial; randomized controlled study; randomized controlled trial; randomized controlled trials as topic; randomized study; randomized trial; rehabilitation; report; research article; research-article; review; review literature; review literature as topic; rheumatoid arthritis; rights; risk assessment; sensitivity; sickness costs; single blind; single blind method; single blind procedure; single-blind; single-blind method; single-blind procedure; social economic factors; socioeconomic factors; socioeconomics; specifity; systematic review; technical report; technology; technology assessment; technology assessment, biomedical; technology evaluation; technology, medical; therapy; treatment; trial, cross-over; trial, crossover; triple blind; triple blind method; triple blind procedure; triple-blind procedure; tripleblind; tripleblind method; validation studies; validation studies as topic.