J Bras Pneumol jbpneu Jornal Brasileiro de Pneumologia J. bras. pneumol. 1806-3713 1806-3756 Sociedade Brasileira de Pneumologia e Tisiologia 6zfcry9h4PW5CybVBKNCyKR S1806-37132018000500353 10.1590/S1806-37562018000000303 CONTINUING EDUCATION: SCIENTIFIC METHODOLOGY Meeting the assumptions of statistical tests: an important and often forgotten step to reporting valid results 0000-0001-5742-2157 Patino Cecilia Maria 1 2 0000-0001-6548-1384 Ferreira Juliana Carvalho 1 3 . Methods in Epidemiologic, Clinical, and Operations Research-MECOR-program, American Thoracic Society/Asociación Latinoamericana del Tórax, Montevideo, Uruguay. Clinical, and Operations Research-MECOR-program Asociación Latinoamericana del Tórax Montevideo Uruguay . Department of Preventive Medicine, Keck School of Medicine, University of Southern California, Los Angeles, CA, USA. University of Southern California Department of Preventive Medicine Keck School of Medicine University of Southern California Los Angeles CA USA . Divisão de Pneumologia, Instituto do Coração, Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo (SP) Brasil. Universidade de São Paulo Hospital das Clínicas Faculdade de Medicina Universidade de São Paulo São Paulo SP Brazil Sep-Oct 2018 44 05 353 353 © 2018 Sociedade Brasileira de Pneumologia e Tisiologia 2018 SciELO This is an open-access article distributed under the terms of the Creative Commons Attribution License PRACTICAL SCENARIO

A secondary analysis of a randomized controlled trial was conducted to evaluate whether atopic status was associated with asthma severity and asthma control among inner-city adolescents in the USA.1 To answer this question, the authors evaluated the differences between atopic and non-atopic patients, in terms of asthma control and asthma severity scores, using a t-test, and reported the results as means ± SDs. The results showed that the atopic patients, when compared with non-atopic patients, had similar asthma control scores (18.1 ± 4.2 vs. 18.2 ± 3.7; p = 0.95) but worse asthma severity scores (5.5 ± 2.9 vs. 4.7 ± 2.8; p = 0.04).

BACKGROUND

As part of the process of answering research questions using quantitative methods, investigators select a statistical analytical approach based on various characteristics of the study, such as the nature of the variables collected (e.g., continuous, categorical, time-to-event variables), as well as the study design. Once the analysis is completed, it is expected that investigators take an additional step in the analysis process to make sure that the a priori assumptions of the statistical test selected are met in the dataset assembled for the study.

All statistical tests have underlying assumptions that need to be met so that the test provides results that are valid (without unacceptable error) regarding the parameter the test is calculating (e.g., mean, proportion, odds ratio, etc.). In our example, the authors used a t-test to calculate the mean and the standard deviation of asthma control and severity asthma scores in atopic and non-atopic patients using data collected from the study population as a means to represent the truth in similar patients from the source population (adolescents with asthma in the USA). This process, called inference, is only valid if the assumptions of the statistical test are met (Table 1).

Example of assumptions of a statistical test.
Statistical test Assumption How to corroborate
t-Test Sampling: The participants in the study are randomly sampled from the source population. Check the protocol.
Sample size: The sample size calculated for the study is achieved. Check sample size calculation in the protocol and check if sample size was reached by the number of participants included in the study.
Normal distribution: The scale of measurement of the outcome variable is continuous and is normally distributed (or at least symmetric). Conduct descriptive statistics on the outcome variable and create a graph showing the distribution which should follow a bell curve.
Homogeneity of variances: The variance (standard deviation) of the data collected on the continuous variable across the two comparison groups is similar. Use valid statistical methods to test for homogeneity.

It is good practice, as investigators, to acknowledge that the assumptions of the statistical tests used to answer their research question have been evaluated and whether they were met or not. If the assumptions of the tests are met, which should be reported in the results section of the study, this assures the scientific community that the results of the study have met one of the important criteria related to their validity. However, it has been suggested that the assumptions of statistical techniques are often not checked2 or reported. Reasons for not assessing assumptions include: 1. researchers being unaware of the assumptions of the statistical tests used in the study, such as a t-test, ANOVA, or regression analysis; 2. researchers being unaware of standard approaches used to check assumptions of statistical tests and evaluate if they are violated or not; 3. researchers being unaware of how to remedy violations of the assumptions of a statistical model or how to select a new test when violations cannot be remedied; and 4. researchers being confident in the robustness of the statistical test used and choosing not to check its assumptions.

As educators and investigators, we all need to contribute to the overall goal of reporting high quality research conducted among the populations we serve. Testing the assumptions of statistical tests or models used to answer our research questions is a good start!

REFERENCES 1 Arroyave WD, Rabito FA, Carlson JC, Sever ML, Lefante J. Asthma severity, not asthma control, is worse in atopic compared with nonatopic adolescents with asthma. Ann Allergy Asthma Immunol 2016;116(1):18-25. https://doi.org/10.1016/j.anai.2015.10.015 Arroyave WD Rabito FA Carlson JC Sever ML Lefante J Asthma severity, not asthma control, is worse in atopic compared with nonatopic adolescents with asthma Ann Allergy Asthma Immunol 2016 116 1 18 25 https://doi.org/10.1016/j.anai.2015.10.015 2 Hoekstra R, Kiers HA, Johnson A. Are assumptions of well-known statistical techniques checked, and why (not)? Front Psychol. 2012;3:137. https://doi.org/10.3389/fpsyg.2012.00137 Hoekstra R Kiers HA Johnson A Are assumptions of well-known statistical techniques checked, and why (not) Front Psychol 2012 3 137 137 https://doi.org/10.3389/fpsyg.2012.00137 EDUCAÇÃO CONTINUADA: METODOLOGIA CIENTÍFICA Atender as premissas dos testes estatísticos: um passo importante e muitas vezes negligenciado na comunicação de resultados válidos 0000-0001-5742-2157 Patino Cecilia Maria 1 2 0000-0001-6548-1384 Ferreira Juliana Carvalho 1 3 . Methods in Epidemiologic, Clinical, and Operations Research-MECOR-program, American Thoracic Society/Asociación Latinoamericana del Tórax, Montevideo, Uruguay. Department of Preventive Medicine, Keck School of Medicine, University of Southern California, Los Angeles, CA, USA. . Divisão de Pneumologia, Instituto do Coração, Hospital das Clínicas, Faculdade de Medicina, Universidade de São Paulo, São Paulo (SP) Brasil. CENÁRIO REAL

Foi realizada uma análise secundária de um estudo randomizado controlado para avaliar se o status de atopia estava associado à gravidade e ao controle da asma entre adolescentes urbanos nos EUA. (1 Para responder essa pergunta, os autores avaliaram as diferenças entre pacientes atópicos e não atópicos, em termos de escores de controle da asma e de gravidade da doença, usando um teste t, e relataram os resultados como média ± dp. Os resultados mostraram que os pacientes atópicos, quando comparados aos não atópicos, tiveram escores de controle da asma similares (18,1 ± 4,2 vs. 18,2 ± 3,7; p = 0,95), mas escores de gravidade piores (5,5 ± 2,9 vs. 4,7 ± 2,8; p = 0,04).

 CONTEXTO

Como parte do processo de responder as perguntas de estudo usando métodos quantitativos, os pesquisadores selecionam um método estatístico analítico baseado em várias características do estudo, como a natureza das variáveis coletadas (por exemplo, variáveis contínuas, categóricas e time-to-event), bem como no desenho do estudo. Uma vez concluída a análise, espera-se que os investigadores deem um passo adicional no processo analítico certificando-se de que as premissas iniciais do teste estatístico selecionado tenham sido atendidas no banco de dados montado para o estudo.

Todos os testes estatísticos têm premissas de base que precisam ser atendidas para que o teste forneça resultados válidos (sem erros inaceitáveis) em relação ao parâmetro que o teste está calculando (por exemplo, média, proporção, razão de chances, etc.). Em nosso exemplo, os autores usaram um teste t para calcular a média e o desvio-padrão dos escores de controle e de gravidade da asma em pacientes atópicos e não atópicos usando dados coletados da população do estudo como um meio de representar a verdade em pacientes similares da população de origem (adolescentes com asma nos EUA). Esse processo, denominado inferência, só é válido se as premissas do teste estatístico forem atendidas (Tabela 1).

Exemplo de premissas de um teste estatístico.
Teste estatístico Premissas Como corroborar
Teste t Amostragem: Os participantes do estudo são amostrados aleatoriamente da população de origem. Verificar o protocolo
Tamanho da amostra: O tamanho da amostra calculado para o estudo é alcançado. Verificar o cálculo do tamanho da amostra no protocolo e verificar se o tamanho da amostra foi atingido pelo número de participantes incluídos no estudo.
Distribuição normal: A escala de medição da variável de desfecho é contínua e sua distribuição é normal (ou pelo menos simétrica). Realizar estatísticas descritivas sobre a variável de desfecho e criar um gráfico mostrando a distribuição, que deve seguir uma curva em forma de sino.
Homogeneidade de variâncias: A variância (desvio-padrão) dos dados coletados sobre a variável contínua entre os dois grupos de comparação é similar. Usar métodos estatísticos válidos para testar a homogeneidade.

É uma boa prática, como investigadores, saber se as premissas dos testes estatísticos usados para responder suas perguntas foram avaliadas e se foram ou não atendidas. Se as premissas dos testes tiverem sido atendidas, o que deve ser relatado na seção de resultados do estudo, isso garante à comunidade científica que os resultados do estudo atenderam um dos critérios importantes relacionados a sua validade. Contudo, foi sugerido que as premissas de técnicas estatísticas não são frequentemente verificadas2) nem relatadas. As razões para não se avaliarem as premissas incluem: 1. os pesquisadores desconhecem as premissas dos testes estatísticos utilizados no estudo, como as do teste t, da ANOVA ou de uma análise de regressão; 2. os pesquisadores desconhecem os métodos padronizados utilizados para verificar as premissas dos testes estatísticos e avaliar se elas foram violadas ou não; 3. os pesquisadores não sabem como remediar as violações às premissas de um modelo estatístico ou como escolher um novo teste quando as violações não podem ser remediadas; e 4. os pesquisadores confiam na robustez do teste estatístico utilizado e optam por não checar suas premissas.

Como educadores e pesquisadores, todos precisamos contribuir para o objetivo maior de relatar pesquisas de alta qualidade realizadas nas populações que servimos. Testar as premissas dos testes ou os modelos estatísticos usados para responder nossas perguntas de estudo é um bom começo!