Nesse artigo, apresentaremos alguns conceitos da psicometria e das medidas psicométricas, bem como os questionários Mental Toughness, que são todos medidas psicométricas de alta qualidade. Esse tema é relevante para aqueles que querem fazer melhor uso dos resultados e compreender mais como medir o conceito Mental Toughness.
Uma medida psicométrica, quando usada de forma adequada, trará informações valiosas, podendo ajudar a entender melhor as pessoas e obter melhores previsões sobre elas, principalmente sobre aspectos relacionados a desempenho, potencial, comportamento, bem-estar e impacto sobre os outros. Importante ressaltar que usamos o termo “melhores previsões” e não previsões perfeitas, uma vez que os testes psicométricos são ferramentas estatísticas, tratam de probabilidades e não de certezas.
O que levar em consideração nas medições?
Tipos de medidas existentes
A escala STEN
Os Quatro questionário Mental Toughness
Existem muitos instrumentos psicométricos disponíveis. Poucos possuem boa confiabilidade e poder preditivo razoável. A construção de um teste de boa qualidade leva muito tempo para garantir que ele faça o que se propõe a fazer. Os testes psicométricos dependem, essencialmente, de um bom desenhador.
Uma das características de uma medida psicométrica de alta qualidade é que o item ou itens das perguntas devem ser transparentes. Com isso, queremos dizer que o propósito deve estar claro para a pessoa que responderá à pergunta. Caso contrário, não há como interpretar a resposta. Cada respondente pode entender o item de forma diferente. Portanto, o item deve ser objetivo para que qualquer pessoa o responda, caso contrário, não há como comparar os resultados.
Ao selecionar um teste psicométrico, é importante conhecer os fundamentos envolvidos. Abaixo, algumas questões que devem ser feitas para ajudar a escolher a melhor opção:
- Que tipo de teste é? Isso, obviamente, afeta o tipo de resultado que você espera.
- Se for uma medida estatística, é tecnicamente confiável e válida? Cada vez mais, existe a preocupação com algo chamado impacto adverso que significa “o teste discrimina, de alguma forma, contra um determinado grupo? Se caso afirmativo, isso é confiável?”
Ao concluir um teste e obter um resultado – uma pontuação – podemos dizer que as pessoas com essa mesma pontuação podem, normalmente, apresentar um conjunto específico de características. Significa que, estatisticamente, temos um grau particular de confiança de que X por cento das pessoas que atingiram essa pontuação exibiram características associadas a mesma. Isso não significa que todas as pessoas que atingem essa pontuação serão idênticas em comportamento. Portanto, é importante haver um processo de feedback e análise dos resultados antes de atribuir um valor a eles.
Os resultados são abertos à interpretação, o que é bom. O teste (Assessment) gera um relatório razoavelmente abrangente, que precisará ser analisado e discutido com a pessoa que o realizou. É importante lembrar que Mental Toughness é um traço da sua personalidade, portanto a recomendação é tentar obter informações adicionais sobre a pessoa para poder analisar e compreender melhor os resultados. Isso pode ser feito por meio de conversas e entrevistas individuais, comentários adicionais ou observações de outras pessoas.
Após obter essas informações adicionais, poderá verificar se estão consistentes com os resultados que apareceram no Assessment. Caso haja inconsistências, é importante investigar e examinar as diferenças com mais atenção e profundidade.
Para resumir, é importante entender que testes/Assessments:
- São ferramentas estatísticas – avaliam probabilidades e não certezas (“é provável que você seja assim” e não “você é assim”)
- Os resultados podem ser passíveis de interpretação – portanto, os resultados precisam ser analisados e verificados cuidadosamente
- Dependem de um bom desenhador.
A medida psicométrica ajuda gerentes, coaches e mentores a tomar melhores decisões sobre as pessoas – no entanto não são ferramentas infalíveis.
A maioria dos testes de personalidade mede uma resposta habitual a eventos. Essa é a nossa resposta padrão em determinadas situações. A grande maioria das medidas de personalidade avalia aspectos comportamentais da personalidade – como agimos quando algo ocorre. O questionário Mental Toughness é metacognitivo. Ele avalia nossas respostas mentais padrão quando os eventos ocorrem.
Quais são os tipos de medidas existentes?
Existem duas categorias distintas de medidas: as medidas ipsativas e as medidas normativas. Aliás, ainda que popularmente sejam chamados de testes, a rigor, são medidas. É um termo mais adequado. O termo “testes” pode implicar para alguns que há um aspecto de aprovação/reprovação na medida, que não é o caso.
Saiba mais sobre a medida ipsativa e suas aplicações
As medidas ipsativas raramente podem ser usadas em situações de recrutamento e seleção porque é difícil comparar as pessoas de forma confiável, uma vez que todas podem ter visões diferentes.
No entanto, são úteis em processos de coaching e mentoring, bem como nos processos de desenvolvimento humano, porque podem ser moderadamente eficazes na identificação do que as pessoas pensam sobre elas mesmas. São boas medidas para expandir o autoconhecimento, abrindo discussões reflexivas.
Um exemplo de medida ipsativa bastante conhecida é o MBTI, o indicador do tipo Myers Briggs e outras similares que podemos encontrar no mercado.
Os testes ipsativos são testes que perguntam aos indivíduos sobre suas crenças em determinadas escalas. Porém, isso é feito de forma que ele não compreenda o que essa escala representa. Como se faz isso?
O teste faz com que a pessoa tenha que escolher entre duas opções. Por exemplo: Você prefere ler um livro ou sair com os amigos ou fazer as duas coisas ou nenhuma delas?
Saiba mais sobre a medida normativa e suas aplicações
As medidas normativas, por outro lado, são construídas de forma diferente. Os itens são elaborados para avaliar a resposta do indivíduo a uma atividade ou situação específica de maneira relevante para o construto que está sendo avaliado.
As respostas são, geralmente, reunidas em uma variedade de itens. Os desenhadores do teste, normalmente, usam algo chamado escala Likert, que possui uma variedade de opções disponíveis para uma resposta. Uma escala amplamente utilizada é a escala de 5 pontos que oferece opções de concordo totalmente e concordo até não concordo ou discordo e discordo totalmente. Alguns podem usar seis ou sete pontos ao longo de uma escala.
Como, geralmente, cada item é muito específico quanto ao significado e interpretação e é possível estabelecer uma norma, podemos comparar os resultados entre diferentes indivíduos. Além de ser útil para o processo de autoconhecimento, permite diferenciar os indivíduos de forma confiável.
As medidas normativas são, frequentemente, usadas no processo de recrutamento, bem como no processo de coaching e de desenvolvimento humano. A própria norma é estabelecida testando um grande número de pessoas que são representativas da população à qual os testes serão ou poderão ser aplicados.
Um resumo geral sobre os tipos de medidas existentes para que você possa memorizar e compreender as diferenças e aplicações:
Ipsativo
- Avalia as crenças de uma pessoa sobre ela mesma – mas sem que a pessoa saiba o que a escala representa. Todos terão uma visão diferente.
- Não pode ser usado para comparar características entre pessoas
Normativo
- Compara os resultados de uma pessoa com as de um grupo normativo
- Pode, portanto, ser usada para comparar indivíduos
- O grupo de normas é criado administrando o teste a uma grande amostra representativa de pessoas adequadas para comparação
O que é a escala STEN?
A maioria das medidas psicométricas relata pontuações em algo chamado Escala Sten, que geralmente é uma escala de 1 a 10. Está baseada na curva de distribuição normal, podendo incluir aspectos referentes a tamanho, peso, altura, dentre outros que estão distribuídos.
Os traços de personalidade também são, normalmente, distribuídos. A curva de distribuição normal reflete a proporção de pessoas que podem ser encontradas em cada ponto da escala Sten. Essa curva também é conhecida como Curva de Bell porque tem a forma de um sino.
O tamanho da amostra é selecionado de acordo com uma fórmula estatística para que possa ser considerada uma amostra razoável de toda a população. A amostra também deve ser o que se chama de amostra estratificada. Ou seja, a amostra de pessoas que foram testadas deve representar os tipos de pessoas que se encontram na população e aproximadamente nas mesmas proporções.
Por exemplo, os desenvolvedores de teste procuram as proporções corretas por gênero e garantem que isso seja representado na amostra. Outros critérios importantes podem incluir idade, etnia e assim por diante. Um sistema de pontuação é atribuído aos itens. Para uma escala específica, as pontuações dos itens que contribuem para essa escala são agregadas e isso produz uma pontuação bruta. Isso é, então, convertido em uma pontuação Sten por referência à norma, para indicar onde na população os resultados do indivíduo estão em relação à norma.
Em alguns casos, pode-se estabelecer uma norma local, mas a realidade é que a maioria das pessoas está interessada em saber como o indivíduo se compara à média do planeta. Isso é especialmente verdadeiro à medida que a globalização se torna normal. De fato, na maioria dos territórios hoje em dia, a força de trabalho é composta por uma mistura de pessoas de diversas culturas e origens.
Bons editores de teste desenvolverão normas globais e realizarão estudos de equivalência para garantir que a norma global seja estatisticamente relevante para aquele território e que a medida diferencie as pessoas no mesmo local. Se for o caso, estabelecerão normas específicas.
A curva de distribuição normal é, comumente, usada quando estamos olhando para indivíduos que são retirados de qualquer ponto da população.
O MTQ, em todas as suas formas, usa a curva de distribuição normal. Às vezes, o grupo-alvo e as amostras são extraídas de partes selecionadas da população. Nesse caso, você não pode garantir que a forma da curva para essa população seja normalmente distribuída.
A prática é usar um sistema de pontuação Sten que, simplesmente, divide o intervalo de respostas em 10 décimos iguais. Assim, Sten 1 representa dez por cento da população para os próximos dez por cento e assim por diante.
Nosso trabalho com os Questionários Mental Toughness descobriu que, geralmente, as normas para Mental Toughness geral em territórios específicos permanecem estatisticamente constantes, com exceção no Oriente Médio. As medidas MTQ são medidas normativas. Outras medidas normativas populares que são consideradas medidas de alta qualidade incluem medidas como 15FQ, 16PF, OPQ, Hogan e Neo.
Sobre Confiabilidade e Validade
Uma medida confiável é aquela que você realiza hoje e, se em quatro semanas aplicada novamente, os mesmos resultados são obtidos ou serão muito semelhantes. Isso é claro, supondo que nada de significativo tenha acontecido com você nesse meio tempo, não havendo razão para você ter mudado, você deveria obter a mesma pontuação que obteve na primeira.
Se em amostras grandes você tiver um resultado diferente, então o teste está com algum defeito ou está detectando algo que está mudando, mas para o qual não foi projetado. Isso significa que não é confiável.
Para calcular a confiabilidade, existem fórmulas que fornecem uma medida de confiabilidade. Uma estatística comumente usada é chamada de Alfa de Cronbach. A Sociedade Britânica de Psicologia e o Departamento Laboral dos EUA fornecem orientação sobre qual é uma pontuação aceitável para uma medida, se ela for considerada uma boa, a pontuação deve ser de 0,7 ou superior.
Todas as medidas da AQR International excedem confortavelmente uma pontuação de 0,7.
Sobre a validade: Será que o teste é eficaz para medir o que deveria?
Existem vários tipos de validade. São eles:
Validade de Face – o teste parece um teste válido? Trata-se, essencialmente, de um juízo sobre o conteúdo e a apresentação da medida. Se a pessoa que está realizando o Assessment não achar que a medida é uma medida séria, seja pelo conteúdo, pela aparência ou pela estranheza das perguntas, pode não responder adequadamente.
Validade de conteúdo – os itens do teste refletem a competência que está sendo avaliada? Esta é uma questão técnica sobre os itens usados em um questionário. São perguntas relevantes para o propósito do questionário e parecem perguntas que irão gerar informações relevantes? Isso, normalmente, é avaliado por meio de revisão em duplas de especialistas independentes. As medidas MTQ são, geralmente, aceitas como tendo boa validade de conteúdo.
Validade de construção – o método mede o atributo reivindicado? Não existe uma fórmula objetiva para avaliar a validade de conteúdo ou de construção. Essa avaliação também é, geralmente, feita por especialistas.
Validade Preditiva ou Concorrente – a medida permite previsões sobre o desempenho? “O teste pode fazer previsões sobre o indivíduo em termos de propósito, estrutura e conteúdo da medida? São previsões nas quais podemos confiar?” Assim como a confiabilidade, a validade concorrente pode ser avaliada por meio de um cálculo técnico.
Saiba mais sobre os questionários Mental Toughness
Ao avaliar o perfil Mental Toughness, estamos procurando avaliar algo que está acontecendo em nossa mente, ou seja, como pensamos. Podemos observar o comportamento, mas não podemos observar o que está acontecendo na “cabeça” de alguém – incluindo a nossa. Tampouco podemos avaliar o comportamento e inferir como a pessoa está respondendo mentalmente.
Estudos casuais mostram que, muitas vezes, coaches, gestores, professores e mentores diagnosticam erroneamente as respostas mentais de um indivíduo.
Os questionários Mental Toughness foram desenvolvidos para ajudar a fazer avaliações, de uma melhor forma, sobre as respostas mentais de uma pessoa. São medidas psicométricas de alta qualidade que foram avaliadas, independentemente, como sendo tecnicamente confiáveis e válidas.
Os 4 Questionários Mental Toughness
Existem quatro tipos de Questionários Mental Toughness – que avaliam o espectro de forma geral: 4Cs e os 8 fatores. Todos são derivados do mesmo conjunto básico de itens. Todos estão disponíveis em formato on-line. No entanto, para a América Latina, apenas o MQTPlus está disponível para ser usado para diversas finalidades:
MTQLite – um questionário curto com 10 itens. Leva de 2 a 3 minutos para ser concluído e provê uma avaliação geral de Mental Toughness apenas.
MTQ4Cs – o próximo nível de medida. Fornece um resultado Mental Toughness geral e para cada um dos 4 Constructos. Tem 24 itens e leva de 5 a 6 minutos para ser concluído.
MTQ48 – a versão que foi originalmente desenvolvida pelo Professor Clough em 2002. Contém 48 itens e leva de 10 a 12 minutos para ser concluído por adultos e até 15 minutos por adolescentes. Ainda é amplamente utilizado. Esse Assessment está disponível em diversos idiomas por ser amplamente aplicado em Escolas e Universidades com adolescentes devido à sua brevidade comparativa. Ele gera informações sobre Mental Toughness de forma geral: os 4Cs e quatro dos fatores que estão associados aos construtos Controle e Confiança. Muito utilizado em pesquisas. Os dados de confiabilidade do Assessment MTQ48 são positivos.
MTQPlus – mais completo e disponível em diversos idiomas. O Assessment que temos disponível e preparado para ser aplicado na América Latina, pois foram feitas as traduções para o português e espanhol. Contém 63 itens e leva cerca de 15 a 16 minutos para ser concluído pela maioria dos adultos. Também surgiu como uma medida muito confiável e válida, aprimorando as propriedades técnicas da medida MTQ48, que já era aceita como uma medida de alta qualidade. Amplamente utilizado junto às organizações com o objetivo de suportar processos como:
- Recrutamento e Seleção
- Desenvolvimento Organizacional
- Coaching e Mentoring individual
- Programas de desenvolvimento de líderes e equipes
A chave para saber se você deve aplicar o Assessment MQTPlus Mental Toughness é responder às questões abaixo:
A minha organização ou área deseja ter ou desenvolver profissionais com perfil Mental Toughness? Isto é, que sejam capazes de lidar melhor com aspectos como: desempenho, potencial, bem-estar, aberta a mudanças e impacto positivo sobre o entorno?
Desejo ter na minha organização pessoas que respondam de forma mais positiva aos estressores, desafios e pressões no dia-a-dia do trabalho?
Gostaria de ter líderes e equipes que tenham maior consciência sobre seus potenciais e fraquezas para a melhorar as relações e a qualidade do ambiente no trabalho?
Se a resposta é sim, recomendamos que aplique o Assessment como ferramenta de diagnóstico inicial para que os resultados possam ser analisados com o objetivo de elaborar planos de ação de desenvolvimento, sempre alinhados à estratégia do negócio.