Performance of administrative database frailty instruments in predicting clinical outcomes and cost for patients undergoing transcatheter aortic valve implantation: a historical cohort study

Can J Anaesth. 2023 Jan;70(1):116-129. doi: 10.1007/s12630-022-02354-6. Epub 2022 Dec 28.

Abstract

Purpose: Frailty instruments may improve prognostic estimates for patients undergoing transcatheter aortic valve implantation (TAVI). Few studies have evaluated and compared the performance of administrative database frailty instruments for patients undergoing TAVI. This study aimed to examine the performance of administrative database frailty instruments in predicting clinical outcomes and costs in patients who underwent TAVI.

Methods: We conducted a historical cohort study of 3,848 patients aged 66 yr or older who underwent a TAVI procedure in Ontario, Canada from 1 April 2012 to 31 March 2018. We used the Johns Hopkins Adjusted Clinical Group (ACG) frailty indicator and the Hospital Frailty Risk Score (HFRS) to assign frailty status. Outcomes of interest were in-hospital mortality, one-year mortality, rehospitalization, and healthcare costs. We compared the performance of the two frailty instruments with that of a reference model that adjusted baseline covariates and procedural characteristics. Accuracy measures included c-statistics, Akaike information criterion (AIC), Bayesian information criterion (BIC), integrated discrimination improvement (IDI), net reclassification index (NRI), bias, and accuracy of cost estimates.

Results: A total of 863 patients (22.4%) were identified as frail using the Johns Hopkins ACG frailty indicator and 865 (22.5%) were identified as frail using the HFRS. Although agreement between the frailty instruments was fair (Kappa statistic = 0.322), each instrument classified different subgroups as frail. Both the Johns Hopkins ACG frailty indicator (rate ratio [RR], 1.13; 95% confidence interval [CI], 1.06 to 1.20) and the HFRS (RR, 1.14; 95% CI, 1.07 to 1.21) were significantly associated with increased one-year costs. Compared with the reference model, both the Johns Hopkins ACG frailty indicator and HFRS significantly improved NRI for one-year mortality (Johns Hopkins ACG frailty indicator: NRI, 0.160; P < 0.001; HFRS: NRI, 0.146; P = 0.001) and rehospitalization (Johns Hopkins ACG frailty indicator: NRI, 0.201; P < 0.001; HFRS: NRI, 0.141; P = 0.001). These improvements in NRI largely resulted from classification improvement among those who did not experience the event. With one-year mortality, there was a significant improvement in IDI (IDI, 0.003; P < 0.001) with the Johns Hopkins ACG frailty indicator. This improvement in performance resulted from an increase in the mean probability of the event among those with the event.

Conclusion: Preoperative frailty assessment may add some predictive value for TAVI outcomes. Use of administrative database frailty instruments may provide small but significant improvements in case-mix adjustment when profiling hospitals for certain outcomes.

RéSUMé: OBJECTIF: L’utilisation d’indicateur de fragilité pourrait améliorer l’évaluation pronostique des patients bénéficiant d’un remplacement valvulaire aortique par voie percutanée (procédure TAVI). Peu d’études ont évalué et comparé la performance des instruments d’évaluation de la fragilité développés à partir de données administratives chez les patients bénéficiant d’un TAVI. Nous avions pour objectif d’examiner la performance des instruments d’évaluation de la fragilité développés à partir de données administratives dans la prédiction des issues cliniques et des coûts chez les patients ayant bénéficié d’un TAVI. MéTHODE: Nous avons réalisé une étude de cohorte historique auprès de 3848 patients âgés de 66 ans ou plus qui ont bénéficié d’une procédure TAVI en Ontario, Canada, du 1er avril 2012 au 31 mars 2018. Nous avons utilisé l’indicateur de fragilité ACG (Adjusted Clinical Group) de Johns Hopkins et le score de risque de fragilité à l’hôpital (HFRS) pour définir la fragilité. Les critères d’évaluation étaient la mortalité hospitalière, la mortalité à un an, la réhospitalisation et les coûts des soins de santé. Nous avons comparé la performance des deux instruments d’évaluation de la fragilité à celle d’un modèle de référence qui ajustait les covariables de base et les caractéristiques procédurales. Les mesures d’exactitude comprenaient l’analyse statistique c, le critère d’information d’Akaike (AIC), le critère d’information bayésien (BIC), l’amélioration de la discrimination intégrée (IDI), l’indice NRI (net reclassification index), le biais et l’exactitude des estimations de coûts. RéSULTATS: Au total, 863 patients (22,4 %) ont été identifiés comme fragiles à l’aide de l’indicateur de fragilité ACG de Johns Hopkins, et 865 (22,5 %) ont été identifiés comme fragiles à l’aide du HFRS. Bien que l’agrément entre les instruments d’évaluation de la fragilité ait été acceptable (statistique de Kappa = 0,322), chaque instrument a classé des sous-groupes différents comme étant fragiles. L’indicateur de fragilité ACG de Johns Hopkins (rapport de taux [RR], 1,13; intervalle de confiance à 95 % [IC], 1,06 à 1,20) et le HFRS (RR, 1,14; IC 95 %, 1,07 à 1,21) étaient associés de façon significative à une augmentation des coûts sur un an. Par rapport au modèle de référence, l’indicateur de fragilité ACG de Johns Hopkins améliorent de façon significative le NRI pour la mortalité (l’indicateur de fragilité ACG de Johns Hopkins: NRI, 0.160; P < 0.001; HFRS: NRI, 0.146; P = 0.001) et la réhospitalisation (l’indicateur de fragilité ACG: NRI, 0.201; P < 0.001; HFRS: NRI, 0.141; P = 0.001) à un an. Ces améliorations du NRI résultent en grande partie de l’amélioration de la classification chez ceux qui n’ont pas bénéficié d’un TAVI. En ce qui a trait à la mortalité à un an, il y a eu une amélioration significative de l’IDI (IDI, 0,003; P < 0,001) avec l’indicateur de fragilité ACG de Johns Hopkins. Cette amélioration de la performance résultait d’une augmentation de la probabilité moyenne de TAVI chez les personnes ayant vécu l’événement. CONCLUSION: L’évaluation préopératoire de la fragilité peut ajouter une certaine valeur prédictive aux issues cliniques suivant une procédure de TAVI. L’utilisation d’instruments d’évaluation de la fragilité développés à partir de données administratives peut apporter des améliorations mineures mais significatives pour l’ajustement de risque lors de l’évaluation des hôpitaux en fonction de certaines issues cliniques.

Keywords: Hospital Frailty Risk Score; Johns Hopkins Adjusted Clinical Group frailty indicator; cost analysis; frailty; predictive performance; transcatheter aortic valve implantation.

MeSH terms

  • Aged
  • Aortic Valve / surgery
  • Aortic Valve Stenosis* / surgery
  • Bayes Theorem
  • Cohort Studies
  • Frail Elderly
  • Frailty*
  • Geriatric Assessment
  • Humans
  • Ontario / epidemiology
  • Risk Factors
  • Transcatheter Aortic Valve Replacement*
  • Treatment Outcome