La investigación tuvo como objetivo determinar el uso de ChatGPT en la mejora de la producción de textos académicos de la experiencia curricular de Competencia Comunicativa. Se empleó un diseño preexperimental con un grupo de control no equivalente para generar hipótesis y evaluar una intervención. Se seleccionaron dos grupos de estudiantes, principalmente de entornos urbanos y con el mismo docente, quienes recibieron la misma instrucción y estrategias de enseñanza. La intervención consistió en emplear ChatGPT para mejorar la redacción de los estudiantes del grupo experimental. Se evaluó la calidad de la redacción en ambos grupos mediante una rúbrica elaborada por los docentes coordinadores a nivel nacional, y se realizaron análisis estadísticos inferenciales para determinar diferencias significativas entre los grupos después de la intervención. Aunque el diseño empleado limita la capacidad de establecer conclusiones definitivas sobre causalidad, proporciona una base de investigación preliminar que puede orientar investigaciones futuras más rigurosas.

Palabras clave: Enseñanza-aprendizaje; Inteligencia Artificial; ChatGPT; Textos académicos

Abstract

The objective of the research was to determine the use of ChatGPT in improving the production of academic texts of the Communicative Competence curricular experience. A preexperimental design was carried out with a control group equivalent to generating hypotheses and evaluating an intervention. They were selected from groups of students, mainly from urban environments and with the same teacher, who received the same instruction and teaching strategies. The intervention consisted of using ChatGPT to improve the writing of the students in the experimental group. The quality of writing was evaluated in both groups using a rubric developed by the coordinating teachers at the national level, and inferential statistical analyzes were performed to determine significant differences between the groups after the intervention. Although the design used limits the ability to draw definitive conclusions about causality, it provides a basis for preliminary research that can guide more rigorous future research.

Keywords: Teaching-learning; Artificial intelligence; ChatGPT; Academic texts

INTRODUCCIÓN

La educación se transforma gracias a la inteligencia artificial, ofreciendo personalización y eficacia en la enseñanza. Sin embargo, esto suscita inquietudes entre los educadores, temiendo la obsolescencia de sus roles tradicionales (Cebrián-Robles et al., 2020). Al respecto, Sarrazola-Alzate (2023) señala que, en la actualidad, uno de los desafíos que presenta la implementación de la Inteligencia Artificial en el ámbito académico es superar los problemas de interacción y comportamiento inapropiado de los modelos. La relación entre humano y máquina plantea un riesgo tanto para estudiantes como para docentes, ya que pueden encontrarse con información incorrecta o sesgada.

Un ejemplo del empleo de las nuevas tecnologías de la información se encuentra en Inglaterra que ha implementado un currículo que promueve la alfabetización digital desde los 5 años, enfocándose en habilidades pedagógicas y competencia digital para docentes. Esto construye la confianza entre educadores y estudiantes, facilitando la integración ética de la tecnología en la educación (Federación Mundial de Organizaciones de Ingeniería, 2019, citado por Moreno-Padilla, 2019).

No obstante, surgen desafíos y preocupaciones en la IA educativa, incluyendo el temor a la sustitución de educadores como facilitadores del aprendizaje y preocupaciones sobre la retroalimentación y evaluación adecuada (Díaz, 2023).

Sin embargo, es importante recordar que, tal como indica Lopezosa (2023) la dimensión ética sugiere que, si una entidad no puede ser responsabilizada, tampoco debe ser tratada como autora. En otras palabras, el concepto de autoría implica la posesión de conciencia, lo que permite que se le exija rendir cuentas, algo que obviamente, no podemos exigir a la IA, pero sí a las personas, en este caso particular, a los docentes.

Este artículo se enfoca en determinar si el uso de ChatGPT mejora la producción de textos académicos a través de una investigación aplicada y preexperimental. Las habilidades de escritura son cruciales para el éxito académico y profesional. ChatGPT enriquece las prácticas educativas al proporcionar retroalimentación instantánea y personalizada a los estudiantes. Detecta errores gramaticales y sugiere mejoras en la estructura y organización de los textos, especialmente útil para estudiantes que necesitan retroalimentación inmediata de sus profesores.

MÉTODO

La investigación aplicada abordó un problema específico en un contexto determinado (Hernández et al., 2016). Se empleó un diseño preexperimental con un grupo de control no equivalente para generar hipótesis y evaluar una intervención (Campbell, 1969, citado en Chávez Valdez et al., 2020). Se seleccionaron dos grupos de estudiantes de 16 a 19 años, principalmente de entornos urbanos y con el mismo docente. Ambos grupos recibieron la misma instrucción y estrategias de enseñanza.

La intervención consistió en emplear ChatGPT para mejorar la redacción de los estudiantes del grupo experimental, proporcionando asistencia y sugerencias. La mayoría de estos estudiantes provenían de instituciones educativas públicas, lo que limita su conocimiento de las TIC (Arias Gallegos, 2015). Se evaluó la calidad de la redacción en ambos grupos mediante una rúbrica elaborada por los docentes coordinadores a nivel nacional. Se realizaron análisis estadísticos inferenciales para determinar si existían diferencias significativas entre los grupos después de la intervención.

Aunque el diseño preexperimental con grupo de control no equivalente limita la capacidad de establecer conclusiones definitivas sobre causalidad, proporciona una base de investigación y datos preliminares que pueden orientar investigaciones futuras más rigurosas.

Procedimientos

La investigación comenzó con la coordinación previa con docentes y recopilación de datos a través de actividades de redacción de estudiantes. Los trabajos se evaluaron con instrumentos apropiados, y se manipuló la variable dependiente durante las sesiones de ChatGPT. La población incluyó a 1192 estudiantes de Competencia Comunicativa matriculados en el primer semestre de 2023.

Muestra

La muestra estuvo integrada por 99 estudiantes de la experiencia curricular de Competencia Comunicativa del primer semestre académico, Huaraz 2023.

Los criterios de inclusión fueron: matrícula en Competencia Comunicativa, asistencia regular, firma de consentimiento informado, poseer celular con internet y registro en ChatGPT. Los criterios de exclusión fueron: no estar matriculado en Competencia Comunicativa, asistencia irregular, no firmar consentimiento informado, no tener celular con internet y no tener registro en ChatGPT.

La investigación implicó coordinación con docentes, recopilación de datos mediante actividades de redacción y evaluación con rúbricas. La variable dependiente se manejó en las sesiones con ChatGPT.

Técnicas e instrumentos de recolección de datos

Se empleó la técnica de la observación y el instrumento utilizado fue la rúbrica de evaluación. A fin de dejar constancia de los criterios y descriptores evaluados, se adjunta la rúbrica de evaluación empleada para las sesiones 4 y 5. Ambas fueron elaboradas y validadas por los docentes de la experiencia curricular de Competencia Comunicativa a nivel nacional

RESULTADOS

Tabla 1. Rúbrica de calificación

Fuente: Sesión 4 de la experiencia curricular de Competencia Comunicativa 2023-I.

Análisis estadístico

Esta etapa se enfoca en interpretar los resultados mediante análisis numéricos usando la prueba de hipótesis de Student. Se consideraron solo los resultados de los criterios 3, 4 y 5 de la rúbrica, ya que están relacionados con la redacción. Los resultados obtenidos fueron los siguientes:

Nivel: Logrado

Grupo de control:

Criterio 3: 12

Criterio 4: 14

Criterio 5: 0

Grupo experimental:

Criterio 3: 6

Criterio 4: 7

Criterio 5: 0

La prueba de Student se realizó utilizando un nivel de significancia de 0.05 (5%).

Paso 1: Se calculó la media del grupo de control:

Media del grupo experimental:

Paso 2: Se calculó la desviación estándar del grupo de control:

Paso 4: Se determinó el valor crítico con un nivel de significancia de 0.05 y considerando que tenemos 3 grados de libertad (número de muestras en cada grupo - 1), consultamos la tabla de distribución t de Student para obtener el valor crítico. Se consideró un valor crítico de aproximadamente 2,92.

Paso 5: Se comparó el valor de prueba con el valor crítico. El valor de prueba (2.33) no supera el valor crítico (2.92), lo que significa que no hay una diferencia estadísticamente significativa entre los grupos de control y experimental en los criterios 3, 4 y 5.

En conclusión, tras un análisis riguroso, no encontramos evidencia que respalde diferencias significativas entre los grupos de control y experimental en los criterios 3, 4 y 5. Los datos sugieren que ambos grupos son comparables en estos criterios. No se puede afirmar que el grupo experimental tuvo un impacto estadísticamente significativo en estos aspectos. Sin embargo, otros factores no contemplados podrían influir en los resultados.

Nivel: En proceso

Grupo de control:

Criterio 3: 20

Criterio 4: 13

Criterio 5: 38

Grupo experimental:

Criterio 3: 24

Criterio 4: 19

Criterio 5: 35

La prueba de Student se realizó utilizando un nivel de significancia de 0.05 (5%).

Paso 1: Se calculó la media del grupo de control:

Media del grupo experimental:

Paso 2: Se calculó la desviación estándar del grupo de control:

Paso 5: Se comparó el valor de prueba con el valor crítico. El valor de prueba (-0.60) no supera el valor crítico (2.92), lo que indica que no hay una diferencia estadísticamente significativa entre los grupos de control y experimental en los criterios 3, 4 y 5 para el nivel “En proceso”.

En síntesis, después de un análisis minucioso, no se encontró evidencia que respalde diferencias significativas entre los grupos de control y experimental en los criterios 3, 4 y 5. Los datos sugieren que ambos grupos son comparables en estos criterios. No se puede afirmar que el grupo experimental tuvo un impacto estadísticamente significativo en estos aspectos. Sin embargo, otros factores no considerados podrían estar influyendo en los resultados. Es relevante tener esto presente.

Nivel: En inicio

Grupo experimental:

Criterio 3: 7

Criterio 4: 12

Criterio 5: 1

Grupo de control:

Criterio 3: 5

Criterio 4: 9

Criterio 5: 0

La prueba de Student se realizó utilizando un nivel de significancia de 0.05 (5%).

Paso 1: Se calculó la media del grupo de control:

Media del grupo experimental:

Paso 2: Se calculó la desviación estándar del grupo de control:

Paso 5: Se comparó el valor de prueba con el valor crítico. El valor de prueba (-1.07) no supera el valor crítico (2.92), lo que indica que no hay una diferencia estadísticamente significativa entre los grupos de control y experimental en los criterios 3, 4 y 5 para el nivel “En inicio”.

En resumen, tras una evaluación exhaustiva de los datos y la aplicación de pruebas estadísticas con un nivel de significancia del 0.05, se llega a la conclusión de que no se dispone de evidencia estadística que respalde la existencia de diferencias significativas entre los grupos de control y experimental en los criterios 3, 4 y 5 en el nivel “En inicio”. Esto sugiere que, a la luz de los datos recopilados y los análisis efectuados, ambos grupos son semejantes en relación a estos criterios, y no es posible afirmar que el grupo experimental haya tenido un impacto estadísticamente significativo en comparación con el grupo de control en estos aspectos específicos. No obstante, es importante recordar que otros factores no contemplados en este estudio podrían influir en los resultados.

DISCUSIÓN

En este estudio preexperimental, se investigó el impacto de ChatGPT en la mejora de la producción de textos académicos en Competencia Comunicativa durante el semestre académico 2023-1. Se objetivos para identificar ventajas y desventajas del ChatGPT, evaluar su eficacia y verificar su impacto en la eficiencia de producción. Se conformaron dos grupos: uno control con enfoque tradicional y otro experimental con ChatGPT. Los resultados no revelaron diferencias significativas entre los grupos en la mejora de la producción de textos, lo que sugiere que el ChatGPT no tuvo un impacto positivo en el semestre académico estudiado.

El análisis estadístico no encontró diferencias significativas en la mejora de la producción de textos académicos entre el grupo experimental y el de control en los niveles planteados en la rúbrica. Los datos no respaldan una ventaja clara del ChatGPT en comparación con el enfoque tradicional. No obstante, el proyecto preexperimental tiene limitaciones, como el tamaño pequeño de la muestra, la falta de aleatoriaización y la duración limitada. Estas restricciones podrían haber afectado la capacidad del estudio para identificar diferencias significativas entre los grupos.

A pesar de las limitaciones, este proyecto exploró el uso de ChatGPT en la producción de textos académicos. Los resultados no respaldaron la superioridad de ChatGPT en comparación con el enfoque tradicional en el contexto de Competencia Comunicativa en Huaraz durante el semestre académico 2023- 1. Sin embargo, se reconoce que los avances en inteligencia artificial y procesamiento del lenguaje natural mejorarán rápidamente, resultando futuros estudios en diferentes aspectos del uso de estas tecnologías en la producción de textos académicos.

Estos resultados guardan relación con lo mencionado por Flores y García (2023) quienes señalan que la IA no reemplaza la empatía y el papel de los docentes en la educación, sino que es un apoyo para mejorar las prácticas pedagógicas. Las investigaciones indican que factores más allá de lo académico sucederán en el proceso de enseñanza-aprendizaje. La IA mejora la educación al complementar las habilidades docentes y adaptarlas a las necesidades individuales de los estudiantes.

CONCLUSIONES

Los resultados estadísticos no mostraron diferencias significativas entre el grupo de control y el grupo experimental en los criterios 3, 4 y 5 de la rúbrica utilizada. Por tanto, no se puede afirmar que el uso de ChatGPT sea efectivo para mejorar la producción de textos académicos en el plan de estudios de Competencia Comunicativa durante el semestre académico 2023-1, Huaraz.

Aunque puedan existir ventajas del uso de ChatGPT en la producción de textos académicos, los resultados estadísticos no respaldan de manera sólida los beneficios de su integración. Por lo tanto, es necesario realizar un análisis más exhaustivo y considerar otros factores antes de tomar decisiones sobre su implementación en los procesos de escritura académica.

A pesar de la evaluación de la eficacia de ChatGPT como herramienta para mejorar la producción de textos académicos, los resultados estadísticos no proporcionaron evidencia suficiente para afirmar su potencial en el fortalecimiento de las habilidades de escritura de los estudiantes. Es necesario realizar investigaciones adicionales y considerar otros métodos de evaluación para obtener conclusiones más sólidas.

A partir de los resultados estadísticos, no se puede confirmar que el uso de ChatGPT incremente la eficiencia y eficacia en la producción de textos académicos en el plan de estudios de Competencia Comunicativa durante el primer semestre académico del 2023. Los datos no respaldan un impacto positivo significativo en el proceso de escritura, y se requiere una revisión más profunda para evaluar su verdadero valor y beneficio en este contexto.

REFERENCIAS

Arias Gallegos, W. R. (2015). Tecnologías de la información y la comunicación en colegios públicos y privados de Arequipa. Interacciones, 1(1), 11-28. file:///C:/Users/Personal/Downloads/Dialnet-TecnologiasDeLaInformacionYLaComunicacionEnColegio-5759433.pdf

Arredondo, C. (2020). Inteligencia artificial en la educación: uso del chatbot en un curso de pregrado sobre Investigación Académica en una universidad privada de Lima. [Tesis de Maestría, Pontificia Universidad Católica del Perú]. PUCP. https://tesis.pucp.edu.pe/repositorio/bitstream/handle/20.500.12404/20996/Arredondo_Castillo_Inteligencia_artificial_educaci%c3%b3n.pdf?sequence=1&isAllowed=y

Berente, N.; Gu, B.; Recker, J. & Santhanam, R. (2021). Managing artificial intelligence [Gestión de la inteligencia artificial]. MIS Quarterly, 45(3)

Cebrián-Robles, V.; Raposo-Rivas, M. & Ruiz-Rey, F. (2020). Conocimiento de los estudiantes universitarios sobre herramientas antiplagio y medidas preventivas. Pixel-Bit: Revista de Medios y Educación, 57, 129-149. https://doi.org/10.12795/pixelbit.2020.i57.05

Chatterjee, J. & Dethlefs, N. (2022). This new conversational AI model can be your friend, philosopher, and guide… and even your worst enemy [Este nuevo modelo de IA conversacional puede ser su amigo, filósofo y guía... e incluso su peor enemigo]. Patterns, 4(1), 1-3. https://doi.org/10.1016/j.patter.2022.100676

Chávez Valdez, S. M.; Esparza del Villar, O. A. & Riosvelasco Moreno, L. (2020). Diseños preexperimentales y cuasiexperimentales aplicados a las ciencias sociales y a la educación. Enseñanza e Investigación en Psicología, 2(2), 167-178. https://cathi.uacj.mx/handle/20.500.11961/15924

Chen, L.; Chen, P. & Lin, Z. (April, 2020). Artificial intelligence in education: a review [Inteligencia artificial en la educación: una revisión]. IEEE Access, 8. https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9069875

Chuan-Chuan, L. & Mentón-Pulmón, H. (2023). Understanding the user satisfaction and loyalty of customer service chatbots [Comprender la satisfacción y lealtad del usuario de los chatbots de servicio al cliente]. Journal of Retailing and Consumer Services, 71, 2-10. https://doi.org/10.1016/j.jretconser.2022.103211

Díaz, D. (2023). Inteligencia artificial vs. Turnitin: implicaciones para el plagio académico. Revista Cognosis. Revista de Filosofía, Letras y Ciencias de la Educación, 8(1), 17-23. https://revistas.utm.edu.ec/index.php/Cognosis/article/view/5517/6269

Díaz, C. M. (2020). Avance de la robótica con inteligencia artificial al 2018 y los requerimientos del mercado laboral de los próximos 10 años. [Tesis de maestría, Universidad de Buenos Aires]. http://repositoriouba.sisbi.uba.ar/gsdl/cgi-bin/library.cgi?a=d&c=tpos&d=1502-1574_DiazCM_oai

Flores, J. M. & García, F. J. (2023). Reflexiones sobre la ética, potencialidades y retos de la Inteligencia Artificial en el marco de la Educación de Calidad (ODS4). Comunicar, Revista Científica de Educomunicación. 31(74).

Hernández, R.; Fernández, C. & Baptista, P. (2016). Metodología de la investigación. (6.a ed.). McGraw-Hill.

Irais, S. & Navarrete, A. (2023) ChatGPT ¿riesgo u oportunidad para la educación y escuelas? Conecta. El sitio de noticias del Tecnológico de Monterrey. https://conecta.tec.mx/es/noticias/nacional/educacion/chatgpt-riesgo-u-oportunidadpara-la-educacion-y-escuelas

Jiao W.; Wang W.; Huang, J.T.; Wang X., & Tu, Z. (March, 2023). Is ChatGPT A Good Translator? Yes With GPT-4 As The Engine [¿ChatGPT es un buen traductor? Sí con GPT-4 como motor]. arXiv. https://arxiv.org/pdf/2301.08745.pdf

Lopezosa, C. (2023, mayo). ChatGPT y comunicación científica: hacia un uso de la Inteligencia Artificial que sea tan útil como responsable. Hipertext.net, (26), pp. 17-21. https://doi.org/10.31009/hipertext.net.2023.i26.03.

Lopezosa, C. & Codina L. (2023). ChatGPT y programas CAQDAS para el análisis cualitativo de entrevistas: pasos para combinar la inteligencia artificial de OpenAI con ATLAS.ti, Nvivo y MAXQDA. DigiDoc Research Group. https://repositori.upf.edu/handle/10230/55477

Miseldra, J. Gil; Marín, M. J.; Cachicatari Vargas, E. & Guanilo Gómez, S. L. (2021). Aportes de modelos de escritura académica para la redacción de artículos científicos y tesis doctorales. Revista de filosofía, 38(99), 518-530. https://doi.org/10.5281/zenodo.5663999

Moreno-Padilla, R. (2019). La llegada de la inteligencia artificial a la educación. RITI Journal, 7(14). 260-270. https://doi.org/10.36825/RITI.07.14.022

Padrón, C.; Quesada, N.; Pérez, A.; González, P. & Martínez, L. (2014). Aspectos importantes de la redacción científica. Revista de Ciencias Médicas de Pinar del Río, 18(2), 362-380. http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-31942014000200020

Prathamesh, C.; Shubham J.; Mohamed E. & Amina O. (Ed.) (2023). Artificial Intelligence in Higher Education [Inteligencia Artificial en la Educación Superior]. CRC Press. https://doi.org/10.1201/9781003184157-1

Sandoval, J. S. (2020) Las reglas como los límites de la inteligencia artificial: Wittgenstein y la imposibilidad de una regla sobre la aplicación de reglas. [Universidad Nacional Autónoma de México, tesis de titulación]. UNAM. http://132.248.9.195/ptd2020/octubre/0804687/Index.html

Sarrazola-Alzate, A. (2023, diciembre). Uso de ChatGPT como herramienta en las aulas de clase. Revista EIA, 20(40), pp. 1-23. https://doi.org/10.24050/reia.v20i40.1718

Spring nature (Ed.) (January, 2023). Tools such as ChatGPT threaten transparent science; here are our ground rules for their use [Herramientas como ChatGPT amenazan la ciencia transparente; aquí están nuestras reglas básicas para su uso]. Nature, 613. https://doi.org/10.1038/d41586-023-00191-1

Susnjak, T. (2022, December) ChatGPT: The End of Online Exam Integrity? [ChatGPT: ¿El fin de la integridad de los exámenes en línea?]. arXiv. https://arxiv.org/pdf/2212.09292.pdf

Torres, L. O. (2022). Agentes Virtuales Cognitivos en el proceso del aprendizaje en el Perú: Escenario al 2032. [Pontificia Universidad Católica de Lima, tesis de maestría]. PUCP. https://tesis.pucp.edu.pe/repositorio/bitstream/handle/20.500.12404/23239/Torres_Barrios_Agentes_Virtuales_Cognitivos.pdf?sequence=1&isAllowed=y

Van Dis, E. A. M.; Bollen, J.; Van Rooij, R.; Zuidema, W. & Bockting, C. L. (2023). ChatGPT: five priorities for research [ChatGPT: cinco prioridades para la investigación]. Nature. 614, 224–226.

World Federation of Engineering Organizations. (2019). Report on Mobile Learning Week 2019. https://www.wfeo.org/report-on-mobile-learningweek-2019/