INTERVIEWING A ROBOT

Notes on the experimental application of the EEAF methodology using the ChatGPT artificial intelligence tool.

Authors

DOI:

https://doi.org/10.13037/ci.vol24.e20238987

Keywords:

Artificial Inteligence, CHATGPT, Natural Language Processing

Abstract

It presents the methodology EEAF - Exploratory Interview for the Evaluation of Functionalities - to be used by Communication researchers, in the study of characteristics or analysis of textual material, created by artificial intelligence algorithms. In this work we use the ChatGPT conversation tool and propose a set of metrics: transparency, structuring, precision, variety and updating, for evaluation in the experiment. In general, texts created via code showed the need for human review, especially in materials that dealt with objective facts and data.

 

Downloads

Download data is not yet available.

Author Biography

Márcio Carneiro dos Santos, Universidade Federal do Maranhão

Professor da área de Jornalismo em Redes Digitais do Departamento de Comunicação Social da UFMA. Doutor em Tecnologias da Inteligência e Design Digital pela PUC-SP. Coordenador  do LABCOM/UFMA.

References

AMADEU, Sérgio. Democracia e os códigos invisíveis: Como os algoritmos estão modulando comportamentos e escolhas políticas. São Paulo: Edições Sesc (Coleção Democracia Digital), 2019.

AP - The Associated Press. Leveraging AI to advance the power of facts: Artificial Intelligence at the Associate Press, 2022. Disponível em : https://www.ap.org/discover/artificial-intelligence . Acessado em 10/01/2023 .

DOS SANTOS, Márcio Carneiro. Internet das Coisas e sistemas inteligentes no jornalismo: o conceito de presença diluído entre as narrativas da complexidade urbana. Comunicação & Inovação, v. 17, n. 34, p. 21-39, 2016.

____________________________. Inteligência híbrida e análise de sentimentos: integrando

curadoria humana e coleta de dados automatizada para avaliar a comunicação de governo.

Conexão-Comunicação e Cultura, v. 17, n. 33, 2018.

______________________________. A datificação de um campo de conhecimento: como algoritmos, números e abordagens quantitativas estão mudando a comunicação. Organicom, v. 16, n. 31, p. 145-157, 2019.

GUZMAN, Andrea L; SETH C. Lewis. 2019. Artificial Intelligence and Communication: A

Human–Machine Communication Research Agenda. New Media & Society. doi:10.1177/

________________________________. What is human-machine communication, anyway. Human-machine communication: Rethinking communication, technology, and ourselves, p. 1-28, 2018.

JONES, Steven. Against technology: From the Luddites to neo-Luddism. Routledge, 2013.

LATZER, Michael et al. The economics of algorithmic selection on the Internet. In: Handbook on the Economics of the Internet. Edward Elgar Publishing, p. 395-425, 2016.

LEMOS, André. Epistemologia da comunicação, neomaterialismo e cultura digital. Galáxia (São Paulo), p. 54-66, 2020.

MANOVICH, Lev. El software toma el mando. Editorial UOC, 2014.

MAYER-SCHÖNBERGER, Viktor; CUKIER, Kenneth. Big data: A revolution that will transform how we live, work, and think. Houghton Mifflin Harcourt, 2013.

Mollman Steve. ChatGPT has gained 1 million followers in a single week. Here’s why the A.I. chatbot is primed to disrupt search as we know it. Yahoo Finance, 2022. Disponível em: https://finance.yahoo.com/news/chatgpt-gained-1-million-followers-224523258.html . . Acessado em 09 de dezembro de 2022.

MUSIANI, Francesca. Governance by algorithms. Internet Policy Review, v. 2, n. 3, p. 1-8, 2013.

NAPOLI, Philip. The algorithm as institution: Toward a theoretical framework for automated media production and consumption. Fordham University Schools of Business Research Paper, 2013.

REITER, Ehud; SRIPADA, Somayajulu; ROBERTSON, Roma. Acquiring correct knowledge for natural language generation. Journal of Artificial Intelligence Research, v. 18, p. 491-516, 2003.

SILVA, Tarcízio. Racismo Algorítmico em Plataformas Digitais: microagressões e discriminação em código. In: Anais VI Simpósio Internacional Lavits, 2019. Disponível em: https://lavits.org/wp-content/uploads/2019/12/Silva-2019-LAVITSS.pdf . Acesso em 06/02/2023.

SQUIRRA, Sebastião Carlos. A tecnologia e a evolução podem levar a comunicação para a esfera das mentes. Revista Famecos, v. 23, n. 1, 2016.

________________________. A informação essencial a vida, as máquinas e a comunicação. Lumina, v. 10, n. 2, 2016a.

LIMA JR, Walter Teixeira; VERGILI, Rafael. Digital Inclusion and Computational Thinking: New Challenges and Opportunities for Media Professionals. Information and Technology Literacy: Concepts, Methodologies, Tools, and Applications, p. 759-773, 2018.

VEEL, Kristin. (2018). Make data sing: The automation of storytelling. Big Data & Society, 5(1), 205395171875668. doi:10.1177/2053951718756686 .

Published

2023-05-08