Orientador(es): SEAN WOLFGAND MATSUI SIQUEIRA, MARCELO TIBAU DE VASCONCELLOS DIAS
Área temática: INFORMÁTICA
Modalidade de apresentação: SESSÃO DE PÔSTER
Bolsa: IC/UNIRIO
Este trabalho está no contexto de “Busca como um Processo de Aprendizagem” (Searching as Learning - SaL), que redefine a busca na Web como um processo ativo de aprendizado, em vez de uma simples tarefa de recuperação de informações. Métricas tradicionais de usabilidade e recuperação, como cliques e tempo de permanência, são utilizadas para avaliar ferramentas de busca, mas se mostram insuficientes para capturar as atividades intelectuais envolvidas no aprendizado, como a compreensão de ideias e a interpretação conceitual. Tibau (2024) identificou comportamentos de busca que indicam aprendizado e operacionalizou os achados na métrica DKG (Grau de Ganho de Conhecimento), fundamentada na Teoria da Informação de Shannon. Essa métrica modela o aprendizado como uma redução da incerteza (entropia) no estado de conhecimento do usuário, integrando a similaridade semântica entre as consultas e os documentos clicados, refletindo tanto a novidade quanto o refinamento conceitual. Este trabalho envolveu o desenvolvimento de dois artefatos tecnológicos para implementar e testar essa métrica, de modo a permitir a escalabilidade da solução no contexto de SaL. Inicialmente, foi desenvolvida uma ferramenta de busca com a DKG embutida, a qual, embora funcional, restringia o ambiente de navegação dos usuários. A fim de tornar a coleta de dados mais natural e menos intrusiva, essa ferramenta foi substituída por um plug-in leve para o navegador Chrome, que permite a coleta dos dados necessários para o cálculo da DKG enquanto o usuário realiza buscas em sua ferramenta de busca habitual. Deste modo, foi possível generalizar o comportamento observado no experimento para o comportamento natural do usuário em situações reais. Além disso, a adoção do plug-in aumenta a escalabilidade da pesquisa, pois facilita a aplicação do experimento a um maior número de participantes e em diferentes contextos, sem demandar alterações complexas na infraestrutura técnica. Com a extensão do Chrome, foi conduzido um novo experimento com cinco participantes voluntários. A metodologia combinou testes pré e pós-tarefa, o método Concurrent Think-Aloud (CTA) (Kelley et al., 2015) e o registro automatizado de dados pela extensão, que calculava os valores de DKG. A comparação entre os testes pré e pós-tarefa confirmou ganhos de conhecimento entre todos os participantes, ainda que em níveis variados. Aqueles que empregaram estratégias sistemáticas de avaliação e integração das informações como a comparação entre sites e a identificação de ideias centrais apresentaram valores de DKG mais elevados. Em contrapartida, participantes que demonstraram sinais de desorientação ou frustração apresentaram menores ganhos. Esses resultados preliminares reforçam que a métrica DKG é responsiva às variações no uso de estratégias cognitivas durante a busca. Embora as medidas automatizadas confirmem que o aprendizado ocorre, é a análise das transcrições que revela por que os resultados diferem entre os participantes. Assim, os achados fortalecem o potencial da DKG como uma ferramenta de diagnóstico e avaliação, abrindo caminho para o desenvolvimento de sistemas de busca que não apenas recuperam informação, mas que ativamente estimulam e medem o processo de aprendizagem do usuário.
KELLEY, T.; CAPOBIANCO, B.; KALUF, K. Concurrent think-aloud protocols to assess elementary design students. Int. J. Technol. Des. Educ., v. 25, n. 4, p. 521–540, 2015. Disponível em: https://doi.org/10.1007/s10798-014-9291-y SCHMUCKLER, M. A. What is ecological validity? A dimensional analysis. Infancy, v. 2, n. 4, p. 419–436, 2001. Disponível em: https://doi.org/10.1207/S15327078IN0204_02 TIBAU, M. Quantifying knowledge gain in online searches: the DKG metric. Rio de Janeiro: UNIRIO, 2024. 180 p. Tese (Doutorado em Informática) – UNIRIO.