Material do Radar da Semana · Radar 23 · Dez semanas. Começa numa segunda e termina com decisão escrita
No ensaio da Education Endowment Foundation, o grupo com assistente de IA gastou 2,5 horas por semana preparando aula, contra 3,3 horas do grupo sem ele, sem perda de qualidade. Mas a ferramenta entrou em apenas 7% das aulas de uma semana média, e o uso caiu ao longo das dez semanas. A pergunta do piloto não é se a ferramenta funciona. É se o uso se sustenta na sua escola.
Semana 0. Preparação
Uma semana antes de começar, sem ninguém usando nada.
- A pergunta do piloto está escrita em uma frase e admite resposta negativa. Exemplo: esta ferramenta devolve tempo de preparo ao professor sem piorar a qualidade do material, e o uso se mantém em dez semanas?
- A medida primária é o tempo semanal de preparo de aula, em horas, registrado pelo próprio professor. Uma primária e no máximo duas secundárias. Satisfação nunca é a primária.
- De oito a doze professores entram no piloto, metade com a ferramenta e metade sem. Sorteie dentro de cada área. Comparação com o grupo sem a ferramenta é o que separa experimento de impressão.
- O critério de desistência está escrito e assinado antes do início. Complete a frase: se a economia média de tempo for menor que ____ minutos por semana, nós não adotamos.
Semanas 1 e 2. Linha de base
Ninguém usa a ferramenta ainda. Todos registram.
- Os dois grupos registram o tempo de preparo nas duas semanas, no mesmo formulário. Sem linha de base não existe avaliação, existe opinião.
- Recolha dois planos de aula de cada professor, guardados sem identificação de grupo. Serão o material da avaliação cega na semana 9.
- A formação de uso acontece no fim da semana 2, com os dois grupos presentes. Formar só o grupo tratado introduz diferença de atenção, e não de ferramenta.
Semanas 3 a 8. Uso acompanhado
Seis semanas de uso real, com acompanhamento curto toda semana.
- O grupo tratado usa a ferramenta livremente. Ninguém é obrigado a usar em nenhuma aula. Uso obrigatório mede obediência. O piloto precisa medir adoção.
- Registro semanal de cada professor: horas de preparo, aulas da semana e aulas com a ferramenta. Três campos, dois minutos. Formulário longo mata o registro na terceira semana.
- Dez minutos de conversa por semana, com a coordenação, sobre o que travou. Este é o item que o ensaio inglês não teve, e é onde a queda de uso começa a ser evitada.
- Anote o percentual de aulas com a ferramenta toda semana e olhe a curva, não a média. Média de dez semanas esconde uma queda. A curva mostra.
Semana 9. Medição
Uma semana só para medir, sem mexer em nada.
- Recolha dois planos de aula recentes de cada professor, outra vez sem identificação.
- Dois professores de fora do piloto avaliam os planos sem saber de que grupo vieram. Use uma rubrica curta, de cinco critérios. O que você quer saber é se piorou, e não se encantou.
- Calcule a média de horas de preparo por grupo e a diferença entre elas. Reporte a diferença em minutos por semana. É a unidade que o professor entende.
Semana 10. Decisão
Com data marcada desde a semana 0 e um responsável com nome.
- Compare o resultado com o critério de desistência escrito na semana 0. Critério definido depois do resultado não é critério. É narrativa.
- Decida entre adotar, adotar para um grupo específico, repetir com ajuste ou não adotar. No ensaio inglês o ganho foi maior entre professores em início de carreira. Adoção dirigida é uma decisão legítima.
- Leve o resultado ao time do mesmo jeito nos dois casos, inclusive se for negativo. Piloto divulgado só quando dá certo ensina a equipe a esconder resultado. Aí você perde o instrumento, não só o piloto.
Três erros que invalidam o piloto
- Medir satisfação em vez de efeito. Quase todo mundo gosta de ferramenta nova nas primeiras três semanas. Satisfação é dado secundário, nunca o primário.
- Usar voluntários entusiasmados. Quem se oferece não é o professor médio da sua escola. Se funciona só com ele, não funciona.
- Não acompanhar semanalmente. O estudo mostra uso decrescente ao longo das dez semanas. Nenhum relatório mensal captura isso em tempo de corrigir.
O registro semanal do professor
O PDF traz uma folha por professor, com três campos por semana ao longo das dez semanas: horas de preparo, aulas na semana e aulas com a ferramenta, além de uma coluna para o que travou. No cabeçalho, o grupo (com ou sem ferramenta), o critério de desistência escrito na semana 0, a data da decisão e o responsável. Dois minutos de preenchimento. Se levar mais do que isso, o registro morre na terceira semana.
Nota de uso. Este protocolo não mede aprendizagem de aluno, e o ensaio inglês também não mediu. Ele mede trabalho docente e sustentação de uso, que já são bastante para uma decisão de compra. Se você quiser falar de aprendizagem, isso é outro estudo, mais longo e com outro desenho.
Comprar ferramenta é decisão de uma tarde. Sustentar o uso é decisão de todas as semanas.
Deixe um comentário