J Bras PneumoljbpneuJornal Brasileiro de PneumologiaJ. bras. pneumol.1806-37131806-3756Sociedade Brasileira de Pneumologia e TisiologianHVQM5B33TpNSSJSGDCvm5JS1806-3713201800010000410.1590/S1806-37562018000000017CONTINUING EDUCATION: SCIENTIFIC METHODOLOGYUnderstanding diagnostic tests. Part 3.0000-0001-6548-1384FerreiraJuliana Carvalho120000-0001-5742-2157PatinoCecilia Maria13. Methods in Epidemiologic, Clinical, and Operations Research-MECOR-program, American Thoracic Society/Asociación Latinoamericana del Tórax, Montevideo, Uruguay.Methods in Epidemiologic, Clinical, and Operations Research-MECOR-programAmerican Thoracic Society/Asociación Latinoamericana del TóraxMontevideoUruguay. Divisão de Pneumologia, Instituto do Coração, Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo (SP) Brasil.Universidade de São PauloHospital das ClínicasFaculdade de MedicinaUniversidade de São PauloSão PauloSPBrazil. Department of Preventive Medicine, Keck School of Medicine, University of Southern California, Los Angeles (CA) USA.University of Southern CaliforniaDepartment of Preventive MedicineKeck School of MedicineUniversity of Southern CaliforniaLos AngelesCAUSAJan-Feb201844010404This is an open-access article distributed under the terms of the Creative Commons Attribution License
In the previous articles from this series1,2 we discussed important characteristics used in order to evaluate diagnostic tests: sensitivity, specificity, positive predictive value, and negative predictive value. In this final part, we discuss positive likelihood ratio (LR+), negative likelihood ratio (LR−), and ROC curves.
LIKELIHOOD RATIOS
LRs combine sensitivity and specificity to quantify how helpful a new diagnostic test is in changing (increasing or decreasing) the probability of having a disease compared with the prevalence of that disease (pretest probability) in the population studied. The LR+ of a test is the probability of a positive result in patients with the disease divided by the probability of a positive result in patients without the disease, whereas LR− is the probability of a negative result in patients with the disease divided by the probability of a negative result in patients without the disease. LR+ ranges from 1 to infinity, and an LR+ of 1 indicates that the probability of a positive test result is the same for patients with and without the disease; therefore, the test is useless. An LR+ greater than 1 supports the presence of the disease, and the greater LR+ is, the more a positive test result increases the probability of the disease when compared with the pretest probability. LR− ranges from 1 to 0, and the closer the LR is to 0, the lower the probability of the disease is if the test result is negative.
ROC CURVES
We use ROC curves to make a global assessment of the value of a diagnostic test by calculating the area under the curve (AUC). The values of the AUC can vary from 0 to 1.0, and values over 0.8 indicate that the diagnostic test has very good accuracy. The ROC curve plots sensitivity (true positives) against “1 − specificity” (false negatives) for all the possible cut-off values of the new test (Figure 1). As we have previously discussed, there is always a trade-off between sensitivity and specificity when we define a cut-off value for quantitative test results. If a new test were perfect, there would be a complete separation of values between patients with and without the disease, the cut-off value would be the lowest value among patients with disease, and the AUC would be 1. However, since there are no perfect tests, there will always be some false positive or some false negative results. The more accurate a test is, the greater the AUC is, which is the probability that a random person with the disease has a higher value of the measurement than a random person without the disease.3
ROC curve plotting sensitivity vs. “1 − specificity” for two different tests. Both tests have good accuracy; however, test 1 (closed circles) has an area under the curve (AUC) of 0.946 and test 2 has an AUC of 0.832 (open circles), meaning that test 1 has overall better accuracy to discriminate between patients with and without the disease. This figure was created with fictitious data.
MAKING SENSE OF DIAGNOSTIC TEST PERFORMANCE CHARACTERISTICS
If you are wondering which of the parameters described is more useful to evaluate a diagnostic test-sensitivity, specificity, LRs, or ROC curve-the answer is: it depends! Each parameter describes a specific characteristic of the test, and depending on how you will use the test, one or another may be more useful. Now that you understand these concepts, interpreting a test result will be much more than just looking at the result.
References1 Ferreira JC, Patino CM. Understanding diagnostic tests. Part 1. J Bras Pneumol. 2017;43(5):330. https://doi.org/10.1590/s1806-37562017000000330FerreiraJCPatinoCMUnderstanding diagnostic tests Part 1J Bras Pneumol2017435330330https://doi.org/10.1590/s1806-375620170000003302 Patino CM, Ferreira JC. Understanding diagnostic tests. Part 2. J Bras Pneumol. 2017;43(6):408. https://doi.org/10.1590/s1806-37562017000000424PatinoCMFerreiraJCUnderstanding diagnostic tests Part 2J Bras Pneumol2017436408408https://doi.org/10.1590/s1806-375620170000004243 Altman DG, Bland JM. Diagnostic tests 3: receiver operating characteristic plots. BMJ. 1994;309(6948):188. https://doi.org/10.1136/bmj.309.6948.188AltmanDGBlandJMDiagnostic tests 3 receiver operating characteristic plotsBMJ19943096948188188https://doi.org/10.1136/bmj.309.6948.188EDUCAÇÃO CONTINUADA: METODOLOGIA CIENTÍFICAEntendendo os testes diagnósticos. Parte 3.0000-0001-6548-1384FerreiraJuliana Carvalho120000-0001-5742-2157PatinoCecilia Maria13. Methods in Epidemiologic, Clinical, and Operations Research-MECOR-program, American Thoracic Society/Asociación Latinoamericana del Tórax, Montevideo, Uruguay. . Divisão de Pneumologia, Instituto do Coração, Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo (SP) Brasil. . Department of Preventive Medicine, Keck School of Medicine, University of Southern California, Los Angeles (CA) USA.
Nos artigos anteriores desta série,1,2 discutimos características importantes usadas para avaliar os testes diagnósticos: sensibilidade, especificidade, valor preditivo positivo e valor preditivo negativo. Nesta última parte, discutiremos razão de verossimilhança positiva (RV+), razão de verossimilhança negativa (RV−) e curvas ROC.
RAZÕES DE VEROSSIMILHANÇA
As RV combinam sensibilidade e especificidade para quantificar o quão útil um novo teste diagnóstico é para mudar (aumentar ou diminuir) a probabilidade de ter uma doença em comparação com a prevalência dessa doença (probabilidade pré-teste) na população estudada. A RV+ é a probabilidade de um resultado positivo em pacientes com a doença dividida pela probabilidade de um resultado positivo em pacientes sem a doença, ao passo que a RV− é a probabilidade de um resultado negativo em pacientes com a doença dividida pela probabilidade de um resultado negativo em pacientes sem a doença. A RV+ varia de 1 a infinito, e uma RV+ igual a 1 indica que a probabilidade de resultado positivo do teste é a mesma para pacientes com e sem a doença; portanto, o teste é inútil. Uma RV+ maior que 1 corrobora a presença da doença; quanto maior a RV+, maior será a probabilidade de que o resultado positivo do teste aumente a probabilidade de doença se o resultado do teste for positivo. A RV− varia de 1 a 0, e quanto mais próxima de 0 a RV for, menor será a probabilidade de doença na presença de resultado negativo do teste.
CURVAS ROC
Usamos curvas ROC para fazer uma avaliação global do valor de um teste diagnóstico por meio do cálculo da área sob a curva (ASC). Os valores da ASC podem variar de 0 a 1,0; valores > 0,8 indicam que a precisão do teste diagnóstico é muito boa. A curva ROC é uma representação gráfica da sensibilidade (verdadeiro-positivos) contra “1 − especificidade” (falso-negativos) para todos os valores de corte possíveis de um novo teste (Figura 1). Como discutimos na parte 1, há sempre uma troca entre sensibilidade e especificidade quando definimos um valor de corte para resultados de testes quantitativos. Se um novo teste fosse perfeito, haveria uma separação completa de valores entre pacientes com e sem a doença, o valor de corte seria o menor valor em pacientes com a doença e a ASC seria = 1. No entanto, como não há testes perfeitos, sempre haverá resultados falso-positivos ou falso-negativos. Quanto mais preciso for um teste, maior será a ASC, que é a probabilidade de que o valor da medida seja maior em uma pessoa qualquer com a doença do que em uma pessoa qualquer sem a doença.3
Curva ROC da sensibilidade contra “1 − especificidade” de dois testes diferentes. Ambos têm boa precisão; entretanto, o teste 1 (círculos fechados) apresenta área sob a curva (ASC) = 0,946 e o teste 2 apresenta ASC = 0,832 (círculos abertos), o que significa que o teste 1 é de modo geral mais preciso para discriminar entre pacientes com e sem doença. Esta figura foi criada com dados fictícios.
ENTENDENDO AS CARACTERÍSTICAS DO DESEMPENHO DOS TESTES DIAGNÓSTICOS
Se você está se perguntando qual dos parâmetros descritos é mais útil para avaliar um teste diagnóstico - sensibilidade, especificidade, RVs ou curva ROC - a resposta é: depende! Cada parâmetro descreve uma característica específica do teste, e a utilidade de cada parâmetro dependerá de como você usará o teste. Agora que você entende esses conceitos, interpretar o resultado de um teste será muito mais do que apenas ver o resultado.