Loading...
Fighting health-related misinformation in social media with large language models
Robles Pagán, Moisés
Robles Pagán, Moisés
Citations
Altmetric:
Abstract
Combating disinformation in social media is a critical problem, notably when the disinformation targets healthcare. We explore how to fine-tune Large Language Models (LLM) to counteract health-related disinformation on social media. The fine-tuned base models for this project are T5, BERT, and LlaMa-2. We divide the fine-tuning into two sections: 1) classifying if the text is health-related and 2) verifying if the text contains disinformation. To rebut disinformation we use Retrieval Augmented Generation (RAG) to query trusted medical sources. Our experiment shows that the models can classify health-related with 94% precision, 95% recall, and 90% F1. We also show that we classify disinformation texts with 99% precision, 95% recall, and 97% F1. We present an investigation that can help health experts combat and rebut disinformation on different social media platforms.
Combatir la desinformación en las redes sociales es un problema crítico, notablemente cuando se trata de desinformación en el campo de la salud. Aquí exploramos como afinamos un Large Language Model (LLM) para contrarrestar desinformación relacionada a salud en las redes sociales. Los modelos bases a entrenar en esta investigación son T5, BERT y LLaMa-2. Dividimos este proceso de entrenar en 2 secciones: 1) clasificar si un texto es relacionado a salud y 2) verificar si el texto contiene desinformación. Para refutar la desinformación utilizamos Retrieval Augmented Generation (RAG) para hacer consultas a fuentes médicos confiables. Nuestro experimento muestra que los modelos pueden clasificar textos relacionados a salud con una precisión de 99%, recall de 95% y F1 de 97%. Además, presentamos que en los resultados de clasificación de desinformación se obtuvo un 99% de precisión, recall de 95% y F1 de 97%. Presentamos una investigación que puede asistir a los expertos en salud a combatir y refutar desinformación en las distintas redes sociales.
Combatir la desinformación en las redes sociales es un problema crítico, notablemente cuando se trata de desinformación en el campo de la salud. Aquí exploramos como afinamos un Large Language Model (LLM) para contrarrestar desinformación relacionada a salud en las redes sociales. Los modelos bases a entrenar en esta investigación son T5, BERT y LLaMa-2. Dividimos este proceso de entrenar en 2 secciones: 1) clasificar si un texto es relacionado a salud y 2) verificar si el texto contiene desinformación. Para refutar la desinformación utilizamos Retrieval Augmented Generation (RAG) para hacer consultas a fuentes médicos confiables. Nuestro experimento muestra que los modelos pueden clasificar textos relacionados a salud con una precisión de 99%, recall de 95% y F1 de 97%. Además, presentamos que en los resultados de clasificación de desinformación se obtuvo un 99% de precisión, recall de 95% y F1 de 97%. Presentamos una investigación que puede asistir a los expertos en salud a combatir y refutar desinformación en las distintas redes sociales.
Description
Date
2024-12-12