Autor(es): Silvia Maria Riceto Ronchim; Faculdade de Ciências Médicas

Resumo: Aperfeiçoar o sistema de avaliação da aprendizagem no curso de Medicina, implantando o feedback na avaliação cognitiva por meio de estratégia que otimize o trabalho docente e dos funcionários, que contribua para a redução de custos com as provas e que, ao mesmo tempo, agregue qualidade no processo de avaliação da aprendizagem nas disciplinas do curso Descrição resumida: A avaliação da aprendizagem deve ser compreendida como uma ferramenta de ensino e não como um instrumento mensurável e classificatório do processo de ensino-aprendizagem. A literatura nos mostra a importância da qualificação dos instrumentos de aprendizagem, bem como, a importância do feedback para o estudante. O feedback imediato aumenta a retenção do conhecimento (Passeri, Mazur) e melhora o desempenho dos estudantes no processo ensino-aprendizagem. Entretanto falar em feedback da avaliação num curso com 745 estudantes e 281 professores onde cada disciplina possui em média 120 alunos, parece ser algo muito longe de ser concretizado. A atuação do professor universitário envolve o ensino, a pesquisa e a extensão e o curso de Medicina possui também uma estrutura curricular com uma carga horária elevada de atividades práticas em ambientes hospitalares. Com isso, não é uma tarefa fácil para o professor oferecer o feedback individual das provas para cada um dos 120 estudantes matriculados em sua disciplina. Tendo como objetivo principal a implantação do feedback de avaliação da aprendizagem para qualificar ainda mais nosso curso de Medicina e considerando a impossibilidade de oferecer esse valioso recurso individual ao estudante, este projeto teve início em 2010 com a idéia de ter na FCM um ambiente específico para avaliação e, posteriormente, num estudo desenvolvido em parceria com a Harvard University (pós-doutorado) concluímos que para a qualidade da formação médica é fundamental que os estudantes obtenham ao final das provas o feedback imediato do seu desempenho para que não haja a assimilação de conceitos errados quando os mesmos não são esclarecidos ao estudante. No curso de Medicina as provas eram aplicadas por professores com o suporte de funcionários do departamento e principalmente de funcionários da Secretaria do curso de Medicina. As provas eram xerocadas e aplicadas aos estudantes, sendo posteriormente distribuídas entre os professores que elaboraram questões para que fosse feita a correção. A orientação para o estudante era de que quem tivesse alguma dúvida em relação a nota que procurasse o professor para fazer a revisão da prova. Em nosso estudo comprovou-se que o fato do estudante não possuir o feedback simultâneo, uma maioria significativa assimila o erro de conceito e repete esse erro no decorrer dos anos, o que poderia ser evitado se houvesse a correção do erro por meio do feedback. Somado a isso e pensando em gestão de trabalho, muitas horas eram dedicadas as tarefas de elaboração e aplicação de provas, tanto horas-trabalho docente, como horas-trabalho dos funcionários, além do alto custo de papel e cartuchos de impressão, especialmente em provas com imagens, o que correspondem a maioria delas. Desta forma nossa proposta foi implantar as provas teóricas de forma online e com feedback simultâneo e construir uma estrutura que atendesse a demanda de aplicação de provas. Definimos então que as provas seriam aplicadas na Plataforma Moodle para que ocorra o feedback imediato ao estudante, facilitando a correção pelos professores que pode ser feita on-line para as questões dissertativas. Com isso nós reduzimos a zero os custos com impressão de provas e criamos uma Sala de Avaliação com capacidade para 145 estudantes realizarem as provas ao mesmo tempo, ou seja, foi criada uma estrutura física que oferecesse condições para a conclusão do projeto. Resultados: A inauguração da nossa Sala de Avaliação ocorreu no dia 26/11/21 e a partir desta data as provas passaram a ser aplicadas neste ambiente que possui estrutura adequada e compatível com a expectativa do nosso projeto que levou aproximadamente 12 anos para ser concretizado. Neste novo ambiente, quando o estudante termina a sua prova ele recebe o feedback imediato das questões que já foi inserido no sistema quando da inclusão da questão. Se a prova for elaborada apenas com questões de múltipla escolha, o estudante já sai da prova com a sua nota, após o feedback. Caso a prova tenha questões dissertativas, o estudante recebe o feedback de todas as questões, recebe a nota nas questões de múltipla escolha e aguarda a correção apenas das questões dissertativas. Essas questões são disponibilizadas aos docentes o que permite a correção simultânea de vários professores numa mesma prova, pois a correção também é on-line. A aplicação das provas que antes era muito difícil por conta de que não dispúnhamos de muitas pessoas para aplicarem em diferentes salas de aula ao mesmo tempo, hoje conta com apenas uma pessoa na sala que possui à sua disposição um monitor de acompanhamento dos 145 estudantes, considerando que a sala ainda dispõe de diversas câmeras para estimular que as provas sejam realizadas de forma individual. A redução dos custos com a impressão de provas foi algo extremamente significativo para a Coordenadoria de Graduação e Secretaria de Departamentos. Se pensarmos que uma única disciplina, por exemplo, a MD136-Emergência aplicava duas provas com média de 20 páginas cada uma, para uma turma de 120 estudantes, só nesta disciplina houve uma redução de 4.800 cópias, considerando ainda o custo com os cartuchos de tintas coloridas, uma vez que muitas dessas questões possuíam imagens. Considerando em média o número de páginas impressas por disciplina e, considerando que o curso de Medicina possui 63 disciplinas, houve uma redução de impressão de aproximadamente 302.400 páginas de prova por ano, agregado a isso o inúmeros cartuchos de impressão. Atualmente temos 204 modelos de provas inseridas nesta Plataforma e o ambiente permite que estudantes de diferentes turmas realizem a prova simultaneamente na sala de avaliação, pois o sistema possui entrada individual de acesso. Obviamente não seria possível implantar a prova on-line sem oferecer estrutura física para a aplicação da mesma e, portanto, a demora para a conclusão deste projeto ficou a cargo de recursos financeiros ao longo desses anos para o investimento na sala de avaliação Na documentação em anexo encaminho as fotos da estrutura física da nossa sala de avaliação, hoje disponível para a aplicação das provas.

Palavras-Chave: Aprendizagem - Avaliação; Desempenho

Notas: Vencedor 7º colocado - menção honrosa Dimensão: Este projeto atualmente atende às expectativas imediatas e estimulou a criação de um novo projeto que está sendo construído de forma gradativa e que tem como principal objetivo trabalhar agora na qualidade das questões e num controle maior de análise do desempenho dos estudantes. Este novo projeto denominado “Centralização da Avaliação Cognitiva” teve início agora em Agosto/2022. Por muito tempo, avaliar o progresso do estudante ao longo do curso foi um desafio, considerando que os dados de avaliação sempre foram impressos. Atualmente é possível realizar análises estatísticas, ou seja, ao término da prova, o professor recebe a estatística com gráficos gerados pela própria Plataforma Moodle. Considerando que nossa estrutura física já está bem adequada, conseguimos agora direcionar nossos esforços para qualificar ainda mais nossos instrumentos de avaliação. A expectativa futura que planejamos era a de captar recursos com a locação desta sala de avaliação a ser revertida na qualidade da própria estrutura física. Nossa meta futura era de que a sala de avaliação fosse auto-sustentável financeiramente, ou seja, que ela mesma captasse recursos para a manutenção de sua própria estrutura física e tecnológica. Esta era uma expectativa futura, mas para nossa surpresa, já tivemos uma primeira experiência. Nos dias 20 e 21/08/22 foi realizada a primeira locação desta sala para a Sociedade Brasileira de Endocrinologia e Metabologia – SBEM, para aplicação de prova de título de especialista. Todo o valor da locação será revertido para nossa própria estrutura física dos ambientes de ensino da FCM/Unicamp. Abrangência: Este projeto está à disposição dos 13 Departamentos da FCM atendendo 281 docentes, 745 estudantes do curso de Graduação em Medicina, 134 estudantes do curso de Graduação em Fonoaudiologia, além dos 1505 estudantes de Pós-Graduação e 766 estudantes dos programas de Residência Médica. De uma forma geral, a capacidade de alcance está disponível para uso de todas as 3.431 pessoas internamente envolvidas ou que podem envolver-se em alguma atividade realizada nesta Sala de Avaliação. O uso desta sala também está à disposição dos professores do Instituto de Biologia da Unicamp que ministram disciplinas pertencentes ao ciclo básico da formação médica. Esta sala de Avaliação também pode ter o alcance de outras Unidades da Unicamp e de locações externas à Universidade. Replicabilidade: Como assessora pedagógica do curso de Medicina eu entendo que todos os cursos deveriam investir no processo de avaliação da aprendizagem e considerar que o feedback simultâneo da prova é fundamental para a formação do aluno. Para que a avaliação cumpra sua função é importante que o estudante conheça de forma imediata quais foram seus acertos e erros. Quanto antes o aluno obtiver um feedback da avaliação, mais facilmente ele tende a reforçar as respostas certas, a superar suas deficiências e a corrigir seus erros. Estudos demonstram que o feedback está relacionado à melhoria do desempenho do aluno. Este projeto pode ser implantado em qualquer curso da Universidade uma vez que utilizamos a Plataforma Moodle que é muito recomendada pelo GGTE – Grupo Gestor de Tecnologias Educacionais. Quando começamos este projeto dividimos com o GGTE nossas inseguranças por conta de que a FCM foi a primeira Unidade a usar de forma intensa esta Plataforma. Fizemos na FCM manuais de uso da Plataforma. Entretanto, hoje as Unidades podem contar com diversos treinamentos que a própria Universidade oferece. Mais uma vez é importante destacar que apenas a Plataforma em si não será eficiente se não proporcionarmos um ambiente adequado para aplicação e utilização da mesma. O uso apenas da Plataforma em ambiente onde não há um controle efetivo da avaliação, não permitirá os mesmos resultados esperados. Desta forma, recomendamos que outras Unidades unam esforços para criar um ambiente condizente com a importância que a avaliação da aprendizagem requer. Como coordenadora de apoio acadêmico e ciente das limitações de recursos financeiros e contratação de recursos humanos, entendo que é importante replicar projetos como este que otimizem o trabalho dos docentes e funcionários, bem como, que reduza gastos e que gere lucros para a sua sustentabilidade. Desta forma contribuímos para uma gestão mais efetiva. Estamos à disposição para oferecer nosso projeto que inclui os custos orçamentários, bem como, a tecnologia que optamos por utilizar nesta sala de avaliação. Eficácia: Antes desse projeto, nossas avaliações cognitivas eram realizadas com provas impressas sem o feedback imediato aos estudantes. A elaboração dessas provas mobilizavam muitas horas de trabalho docente e de trabalho de secretários dos Departamentos e funcionários técnicos da Secretaria do curso de Medicina. O custo com impressão de provas era muito alto considerando não só os papéis mas as impressões, principalmente por conta de que as provas do curso de Medicina possuem questões com muitas imagens que precisam estar nítidas e coloridas para melhor compreensão e interpretação dos enunciados. Somado a isso, o trabalho de correção das provas também demandavam muitas horas de trabalho do professor e muitas vezes apoiados pelos funcionários. Ainda assim, a correção levava um tempo maior e em alguns casos o estudante recebia a sua nota somente no final do semestre. Apesar dos grandes esforços na correção das mesmas haviam muitas reclamações dos estudantes quanto a demora no processo, manifestações estas expressadas por meio da Avaliação Interna Institucional do Curso de Disciplina. Por outro lado, sempre houveram muitas solicitações dos docentes para apoio em relação a esse processo relacionado a avaliação da aprendizagem. É importante destacar que o curso de Medicina possui muitas disciplinas integradas entre departamentos e a elaboração de provas inicia-se com a busca de questões entre os departamentos , formatação da prova, aplicação, distribuição das provas entre os diversos professores para correção, compilação das correções, inserção das notas no sistema e administração dos pedidos de revisão de provas que inclui agendamento do professor ou da equipe gestora da disciplina. Com a implantação desse projeto, as questões são inseridas uma única vez no sistema e ficam armazenadas no banco de questões, assim como o feedback correspondente às respostas esperadas. O coordenador da disciplina pode acessar o sistema e escolher as questões que irão compor a prova, tendo à sua disposição a estatística básica das questões com acertos e erros e grau de confiabilidade da questão com base na sua última aplicação. Neste aspecto facilitou para o coordenador da disciplina o processo de coleta de questões principalmente em disciplinas interdepartamentais. A maioria das questões nas avaliações cognitivas são elaboradas no formato de múltipla-escolha e agora o sistema já faz a correção automática. Nas questões dissertativas, o professor faz a correção on-line também. Quando o estudante termina a prova, ele recebe na tela seguinte o feedback das questões para analisar seus acertos e erros e compreender suas dificuldades no processo ensino-aprendizagem e em seguida já recebe a nota na prova. Quando há questões dissertativas é informado ao estudante que aquela nota corresponde somente às questões de múltipla-escolha. Neste processo conseguimos oferecer o feedback simultâneo ao estudante melhorando ainda mais a qualidade da sua formação. Sempre houveram muitos elogios dos estudantes ao método de implantação da prova e muitas vezes observamos o quanto os mesmos aproveitam a atividade de feedback, permanecendo na sala após finalizada a prova, aprendendo com o feedback. Atualmente há muito pouco caso de revisão de prova por conta de que a mesma já promove o esclarecimento de grande parte das dúvidas dos estudantes. Outra grande satisfação deste projeto refere-se a redução de custos e otimização do trabalho por parte da gestão do curso de Medicina. Redução de custo: O curso de Medicina possui 63 disciplinas ministradas para seis turmas de aproximadamente 120 estudantes em cada. Neste conjunto de disciplinas temos provas teóricas de diferentes modelos e formatos. Algumas mais extensas e aplicadas somente duas vezes no semestre, outras mais curtas porém aplicadas quatro vezes no semestre. Desta forma fizemos uma estimativa de custos que foram reduzidos com base numa média obtida entre o perfil de todas as disciplinas: 01 disciplina = 40 páginas de impressão 40 páginas para 120 estudantes = 4.800 páginas por disciplina 4.800 páginas x 63 disciplinas = 302.400 impressões/ano Para minimizar o impacto, se considerarmos impressões frente/verso, o que não é a realidade, pois muitas disciplinas precisavam que a impressão fosse feita em folhas únicas por conta da distribuição das questões para correção de diferentes professores, temos: 151.200 folhas de papel A4 Agregado a este custo de impressão e uso de papel temos também o uso de cartuchos que, se considerarmos que em média 1 cartucho realiza 30.000 impressões em branco e preto, temos a redução de no mínimo 10 cartuchos por ano. É importante destacar também que não é possível mensurar aqui o custo de horas- trabalho docente e de funcionários com esse processo de avaliação, além do contrato de locação da máquina de xerox. Em síntese, a redução de custos mensuráveis com material é de ao menos: - 151.200 folhas A4 - 302.400 impressões - 10 cartuchos de impressão a laser Redução de tempo: Torna-se difícil mensurar a redução de tempo de trabalho pois não houve um controle sistemático de quantas horas cada profissional envolvido com a avaliação, destinava tempo para essa atividade. Entretanto, um dos objetivos de elaboração desse projeto foi exatamente otimizar a carga horária de trabalho, uma vez que a demanda era muito alta para essa atividade em específico, pois soma a carga horária de diversas pessoas envolvidas com o processo. Integração: Para o desenvolvimento deste projeto foram envolvidas diversas áreas da FCM que juntas, contribuíram de forma direta ou indireta com este o projeto, são elas: Diretoria da FCM, Coordenadoria do Curso de Medicina, Secretaria e Assessoria pedagógica, Coordenadoria de Apoio Acadêmico, Espaços e Centro de Simulação Realística, Setor de Suporte didático e divulgação técnico científica, Coordenadoria de Pós-Graduação por meio da Residência Médica, Coordenadoria de Pesquisa, Coordenadoria administrativa, financeira e operacional por meio da Manutenção e Serviços Auxiliares, Orçamentos, Finanças e Patrimônio, Compra e Almoxarifado, Setor de Projetos e Processos e o Setor de Tecnologia da Informação. Além dos Departamentos: Anestesiologia, Oncologia e Radiologia; Cirurgia, Clínica Médica, Medicina Translacional, Neurologia, Oftalmologia e Otorrinolaringologia; Ortopedia, Reumatologia e Traumatologia; Patologia, Pediatria, Psiquiatria, Saúde Coletiva e Tocoginecologia que também contribuíram por meio de representações em reuniões onde partes desse projeto eram discutidas, assim como, a representação do Instituto de Biologia. É importante enfatizar o trabalho da Secretaria do Curso de Medicina e da Coordenadoria de Apoio Acadêmico que, por meio de seus funcionários, mantém este projeto, que levou ao menos 12 anos para ser implantado na íntegra, ativo e com capacidade de ampliar ainda mais, dando margem à novos projetos.

Descrição Física: 1 recurso online (2 p.) il., digital, arquivo PDF

Imprenta: Campinas, SP: Unicamp, 2022

INDICADORES

TEXTO COMPLETO PDF