Dicas sobre testes remotos com os especialistas da UXalliance

Muitos pesquisadores de UX têm focado mais em métodos presenciais de pesquisa, portanto a experiência de pesquisa remota pode ser limitada. Por isso, os profissionais da UXalliance estão escrevendo uma série de artigos sobre pesquisa remota.

Este artigo trata especificamente dos testes de usabilidade remotos, abrangendo uma variedade de abordagens.

O teste remoto é muitas vezes subestimado pelos pesquisadores. O teste presencial é importante para muitos estudos (especialmente para pesquisa exploratória e contextual). No entanto, o teste remoto também tem muitas vantagens.

A seguir, vamos explorar o que o teste remoto pode oferecer. Este conhecimento é importante agora, enquanto a Covid-19 está entre nós, mas também posteriormente, porque vai permitir alcançar um melhor equilíbrio entre os métodos de pesquisa presencial e remota. Pensando assim, poderíamos dizer que este seria um efeito positivo inesperado da Covid-19?

Introdução aos métodos de teste de usabilidade remoto

Antes de discutirmos detalhes, é importante ressaltar que há uma ampla variedade de métodos de teste remoto e uma variedade ainda maior de ferramentas e serviços. Para oferecer uma visão geral melhor, agrupamos os métodos de teste remoto em três grupos.

1.Teste Remoto Moderado
Esse é o método que mais se assemelha aos testes presenciais. Há um moderador e um participante e eles interagem em tempo real. O papel do moderador é observar o participante enquanto ele tenta concluir a tarefa e fazer perguntas de acompanhamento à medida que avança. O teste moderado remoto pode ser feito usando uma ferramenta de videoconferência com a funcionalidade de compartilhamento de tela (como Zoom, Gotomeeting ou Skype) e uma webcam para capturar os comentários não verbais do participante.

Os testes remotos moderados permitem que você obtenha um feedback qualitativo valioso que não é possível obter em um teste não moderado. Por exemplo: se o participante parar de pensar em voz alta, o moderador poderá perguntar o que está pensando ou, se ele não entender a tarefa, o moderador poderá fornecer esclarecimentos. Isso torna o teste remoto moderado o método adequado para testar protótipos iniciais e/ou funcionalidades complexas.

2. Teste Remoto Não Moderado
Testes remotos não moderados são realizados pelo participante em seu próprio tempo, sozinho, sem um moderador. Esse tipo de teste é feito com um roteiro de tarefas que aparecem escritas na tela, e pode ou não incluir perguntas adicionais. Ferramentas de teste remoto não moderado, como App Quality, UserTesting, UserFeel ou Userlytics, são amplamente utilizadas para esse fim. Elas permitem que você compartilhe um link para seu produto ou protótipo e faça o upload de um roteiro com instruções detalhadas para os participantes.

Embora sejam ferramentas para testes remotos sem a presença de um moderador, em algumas delas é possível pedir aos participantes que executem as tarefas no modo “Think aloud” — Pensar em voz alta, pois elas gravam também os comentários em áudio e, em alguns casos, a webcam do participante. As gravações de tela, áudio e vídeo ficam disponíveis para os pesquisadores após a conclusão dos testes.

Testes remotos não moderados permitem reunir rapidamente resultados de vários usuários. O recrutamento geralmente é rápido e vários usuários podem concluir o teste ao mesmo tempo, portanto, não há necessidade de agendamento de horários específicos para cada sessão. Como esse método não inclui um moderador nem uma sala de testes, isso ajuda a manter os custos num nível mais baixo. Muitas ferramentas de teste não moderado incluem em seus serviços o recrutamento dos participantes para o teste — o que pode facilitar o processo.

A desvantagem do teste não moderado é que ele não permite perguntas ou esclarecimentos de acompanhamento. Isso significa que não é um bom método para testar protótipos que requerem assistência ou exploração mais profunda de conceitos e idéias.

3. Teste Remoto Quantitativo
Normalmente, os testes do usuário visam coletar dados qualitativos, pois devem fornecer informações sobre o “como” e o “porquê” do comportamento do usuário. No entanto, se você estiver mais interessado em “o que” e “quantos”, poderá se concentrar em métodos quantitativos. Geralmente, são mais úteis se você deseja medir a usabilidade ao longo do tempo ou convencer aqueles interessados mais orientados a dados.

Os testes quantitativos com usuários sempre são não moderados e se concentram em métricas como: tempo gasto na tarefa, satisfação, taxa de sucesso, dificuldade percebida. A maioria das ferramentas de teste não moderado oferece uma combinação de métricas quantitativas e qualitativas. Algumas plataformas de testes quantitativos são especializadas em alguns domínios, como arquitetura da informação, e podem incluir mapas de calor, mapas de rolagem ou mapas de navegação (“tree testing”).

Ter uma visão geral dos métodos é ótimo, mas como você escolhe entre eles? Abaixo, discutiremos os pontos fortes e fracos de cada método. Além disso, abordaremos o recrutamento e o tamanho da amostra.

Quando usar o Teste Remoto Moderado

O teste remoto moderado é uma ótima alternativa para pesquisas presenciais. De muitas maneiras, esse método permite que se faça uma sessão de teste típica na qual o comportamento do usuário pode ser observado e o moderador pode fazer perguntas diretamente, durante e depois das tarefas.

Os pontos fortes deste método são:

• Você pode usar protótipos que requerem assistência: o moderador pode solicitar ações e intervir quando o participante estiver bloqueado devido aos limites do próprio protótipo.
• Você pode testar no contexto real dos usuários.
• Você pode fazer perguntas de acompanhamento ao observar um evento ou comportamento inesperados do usuário.
• Não requer um roteiro de entrevista rígido, pois a presença do moderador adiciona flexibilidade ao teste.

Os pontos fracos deste método são:

• Você não pode controlar a configuração no local dos participantes. Vai ter que lidar com interrupções e ruídos indesejados (cães latindo, campainha tocando, crianças interrompendo).
• O teste em dispositivos móveis é complicado: pode ser difícil configurar uma plataforma apropriada para compartilhar a tela dos dispositivos móveis do participante e você não vê os gestos das mãos do participante.
• Moderação e análise são tão demoradas quanto as de entrevistas presenciais e igualmente caras. Portanto, é um método recomendado para uma amostra pequena.
• A qualidade dos dados coletados geralmente depende da qualidade da conexão à internet (portanto, atenção a testes com participantes localizados em áreas com internet ruim). Você deve verificar a qualidade da conexão à internet dos participantes antes de cada entrevista, durante o recrutamento.
• O streaming da tradução simultânea pode ser complicado de configurar. Por exemplo, veja a ilustração abaixo para um teste remoto moderado realizado na Holanda usando o Zoom. Nessa situação, o moderador e o participante estavam falando em holandês, enquanto o anotador e o cliente precisavam ouvir apenas o áudio traduzido para o inglês.

Ilustração da configuração de um teste moderado remoto com tradução simultânea

O teste remoto moderado é mais indicado para os estágios iniciais, quando você precisa testar um protótipo. Testes de protótipo normalmente requerem orientação, e o entendimento de algumas reações dos participantes exigem uma investigação mais detalhada durante as sessões. É muito bom para responder aos “porquê” e obter feedback sobre as motivações e o comportamento dos usuários.

Quando usar o teste remoto não moderado

Às vezes, a velocidade do projeto, a necessidade de testar uma grande amostra ou restrições orçamentárias acabam indo contra o uso de métodos moderados. Nesses casos, é possível adotar os testes remotos não moderados, usando uma variedade de serviços e plataformas online. Elas oferecem acesso a um grande número de participantes que podem realizar o teste ao mesmo tempo, ingressando no estudo quando estiverem disponíveis. Isso torna a fase de coleta de dados bem mais rápida, pois os participantes podem concluir suas sessões simultaneamente.

Teste remoto não moderado: os participantes são instruídos a executar a tarefa verbalizando suas ações, impressões e sentimentos (método “Thinking Aloud”). O áudio/vídeo da sessão é gravado e coletado para análise posterior.

Os principais pontos fortes do teste remoto não moderado são:

• É possível visualizar a gravação de áudio/vídeo de ações e comentários do usuário para identificar os motivos de comportamentos, e podemos obter métricas.
• É possível sentir o estado emocional e a frustração dos participantes a partir de pistas visuais de suas expressões (se usar uma webcam) e do seu tom de voz.
• A coleta de dados para amostras grandes é mais rápida do que com testes moderados.
• O recrutamento pode ser feito mais rapidamente através de plataformas de crowdsourcing (onde os participantes se inscrevem de forma voluntária e são verificados por um questionário de triagem); o recrutamento por esse método pode ser surpreendentemente rápido — dias em vez de semanas (mas é necessário atenção para perfis com especificidades)
• Os testes em vários idiomas podem ser realizados por uma única equipe, pois eles podem ser suportados por tradutores para localizar o teste e também traduzir comentários verbais após a conclusão. (Nota — ainda é necessário entender o idioma local para poder verificar a tradução)

Os principais pontos fracos do teste remoto não moderado são:

• Normalmente, exige a mesma quantidade de tempo para analisar que nos testes moderados, pois o pesquisador precisa assistir as gravações da sessão. É possível assistir apenas algumas das sessões (com base em uma análise das métricas de desempenho registradas), mas isso compromete a qualidade da análise.
• É adequado apenas para protótipos que não precisam de assistência, pois não há moderador para explicar ou fornecer orientação. Quando os participantes ficam sem saber o que fazer, eles abandonam a tarefa sem a possibilidade de recuperá-los.
• As questões pós-tarefa e pós-teste são predefinidas e não podem aprofundar a compreensão dos eventos registrados na sessão. Comportamentos imprevistos não podem ser questionados.
• Requer uma preparação séria do roteiro, com perguntas estritas (não haverá a flexibilidade de um moderador), e isso consome bastante tempo.

Quando usar o Teste Remoto Quantitativo

Teste remoto quantitativo: os participantes realizam as tarefas e apenas seus cliques e interações são registrados, além de perguntas pós-tarefa e pós-teste. Normalmente, não há gravação de áudio e vídeo da sessão e não requer análise de lookback.

Várias plataformas de teste remoto no mercado permitem que participantes remotos concluam as sessões de teste por conta própria, sem a necessidade de gravar a sessão.

Os principais pontos fortes do teste remoto quantitativo:

• O teste é totalmente automatizado, portanto, há uma quantidade mínima de trabalho a ser realizado para coletar os dados.
• A análise e os relatórios também podem ser parcialmente automatizados, registrando cliques e caminhos de navegação, além de métricas de desempenho (como tempo na tarefa) e métricas de auto-relato dos participantes.
• As plataformas de teste podem suportar a compreensão dos dados usando algoritmos para facilitar a análise dos dados.
• Você pode avaliar quantitativamente o desempenho e os erros, em uma escala estatisticamente significativa, pois uma amostra maior não se traduz em um período maior de tempo para análise.
• Os dados quantitativos podem ser persuasivos para as partes interessadas da empresa, por si só ou em combinação com dados qualitativos.
• Os testes quantitativos permitem uma comparação confiável dos resultados dos testes ao longo do tempo (benchmarking).

Os principais pontos fracos do teste remoto quantitativo:

• Não é possível determinar facilmente as motivações e as razões por trás do comportamento detectado dos participantes. Por exemplo, você pode descobrir quantos participantes clicaram no botão voltar na página de pagamentos. No entanto, você não saberá se eles fizeram isso porque o método de pagamento desejado não está disponível ou porque a ordem de ações na página não está clara.
• A falta de moderação e a gravação de vídeo ao vivo limitam as ideias que você pode coletar sobre as opiniões e impressões dos participantes às perguntas que você projetou previamente e construiu no teste. Uma solução possível seria incluir perguntas abertas após a tarefa e no questionário pós-teste, no entanto, isso prolongaria a quantidade de tempo necessária para a análise.

O teste automatizado puramente quantitativo não inclui o pensamento em voz alta e a gravação de vídeo. É totalmente diferente de outros métodos de teste remoto e não substitui o teste moderado. É útil quando o escopo do projeto é limitado e quando você tem perguntas simples para respostas diretas. É mais adequado para os estágios posteriores, quando o design está quase pronto e há algumas questões pendentes e diretas sobre os recursos.

Outras formas de teste quantitativo não moderado são aquelas usadas na etapa de Arquitetura da Informação, como Card Sorting e Tree Testing (teste da navegação). Nesses métodos, o objetivo é determinar o modelo mental de informação ou a aderência a uma Arquitetura da Informação; portanto, a falta de comentários e verbalização do usuário é um pequeno sacrifício, em comparação com as vantagens de uma análise automatizada de cluster dos resultados, coletada a partir de um grande número de participantes.

Recrutamento e tamanho da amostra

Quantos participantes você deve considerar para testes remotos? Em geral, as considerações para testes presenciais normais são válidas: uma pesquisa qualitativa pode ser realizada com uma pequena amostra de poucos indivíduos até dezenas. Isso ocorre porque você busca qualidade versus quantidade: insights detalhados em vez de uma validação estatisticamente significativa. Nesse caso, o melhor método é o teste moderado, pois você tem a orientação de um moderador para entender e explorar melhor essas ideias.

Se você já tem uma melhor compreensão do problema, mas deseja coletar feedback articulado dos usuários, também pode escolher testes não moderados se a plataforma permitir gravar o “Think Aloud” (Pensar em voz alta). Nesse caso, você também deseja um tamanho de amostra relativamente pequeno para manter o esforço de análise, ouvindo as gravações, o mais curto possível. Se você está investigando um evento ou comportamento específico que pode ser rastreado (por exemplo, um clique em uma frase usada como chamariz), pode ser necessária uma amostra grande para permitir que você filtre os participantes nos quais deseja se concentrar. Existem algumas plataformas de teste remotas não moderadas (ex: UserTribe, AppQuality) que oferecem crowdsourcing de pesquisadores para escutar as gravações do “Think Aloud”. Essas plataformas economizam tempo, mas geralmente têm um preço comparável ao de você mesmo fazer.

Se sua pergunta de pesquisa é simples o suficiente para ser respondida por testes remotos não moderados, sem gravação da sessão e você deseja usar um tamanho de amostra grande, você definitivamente deve considerar o teste quantitativo. Isso é especialmente indicado quando você deseja comparar métricas precisas de desempenho de soluções alternativas. Nesse caso, uma grande amostra de centenas de participantes é valiosa para obter resultados significativos.

A maioria das ferramentas modernas de teste remoto inclui serviços de recrutamento, com base em um painel de testadores, ou através de um novo recrutamento através de redes sociais (recrutamento em massa). Isso fornece recrutamento rápido (uma questão de dias em vez de semanas), mas a qualidade pode sofrer se você não for cuidadoso. Aconselhamos tomar cuidado extra ao elaborar um questionário de triagem para excluir participantes não relevantes para o seu estudo (com critérios de exclusão claros) e tornar obrigatório passar pelo questionário para ser admitido no estudo. Você pode criar alguma redundância em sua amostra por segurança, ou seja, repetir perguntas chave antes de iniciar o teste para checar se a pessoa tem mesmo o perfil desejado.

Conclusão: adicione testes remotos ao seu mix de métodos!

O Teste de Usabilidade com usuários é importante demais para ser ignorado em um mundo de Covid-19. Portanto, muitos pesquisadores de UX estão considerando seriamente testes remotos pela primeira vez. Felizmente, existem métodos, ferramentas e serviços bem estabelecidos.

Este artigo mostrou o que o teste remoto pode oferecer, especialmente em comparação com o teste presencial. E em um mundo restrito pela Covid-19, as vantagens do teste remoto se tornam ainda mais aparentes. Incentivamos todos os pesquisadores de UX a se familiarizarem com os testes remotos. Seja durante a pandemia ou posteriormente, o teste remoto é um ótimo complemento para a sua caixa de ferramentas.

Esperamos que este artigo tenha aumentado sua conscientização sobre os métodos disponíveis de teste remoto. Não deixe que a complexidade dos métodos avançados o assuste, o básico não é tão difícil assim. Afinal, é apenas mais uma maneira de fazer pesquisas com usuários!

Se você achou este artigo interessante, consulte os outros artigos da UXalliance (em inglês) também. Eles se concentram em outros aspectos da pesquisa de UX em um mundo de Covid-19.

Obrigado pela leitura. Mantenha-se seguro e compartilhe seus comentários conosco!

A UXalliance criou a UX-PM Certification e está presente em 25 países.

A MSUX — Mercedes Sanchez UX Research é a única empresa brasileira que faz parte da UXalliance e a única autorizada a ministrar a UX-PM Certification no Brasil. Desde 2006 realizamos estudos internacionais para clientes de todo o mundo, participamos de artigos, palestras e seminários, como o UX Masterclass, de reuniões remotas mensais e também de encontros de trabalho anuais presenciais — atualmente adiados (snif!).