\documentclass[conference]{IEEEtran}
\IEEEoverridecommandlockouts
% The preceding line is only needed to identify funding in the first footnote. If that is unneeded, please comment it out.
\usepackage{cite}
\usepackage{url} 
\usepackage{amsmath,amssymb,amsfonts}
\usepackage[utf8]{inputenc}
%\usepackage{algorithmic}
\usepackage{graphicx}
\usepackage{textcomp}
\usepackage{xcolor}
\usepackage{fancyhdr}
\def\BibTeX{{\rm B\kern-.05em{\sc i\kern-.025em b}\kern-.08em
    T\kern-.1667em\lower.7ex\hbox{E}\kern-.125emX}}
\begin{document}

\title{Avaliação da experiência do usuário na utilização de um protótipo de chatbot para o apoio a prevenção do câncer do colo do útero.\\
%{\footnotesize \textsuperscript{*}Note: Sub-titles are not captured in Xplore and
%should not be used}
%\thanks{Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e Tecnologia de Mato Grosso do Sul}
}

%Instituto Federal de Mato Grosso do Sul (Campus Nova Andradina)
%Estudante do Instituto Federal de Mato Grosso do Sul, do Curso Técnico em Informática Integrado do Campus de Nova Andradina/Mato Grosso do Sul.

%\author{
%	\IEEEauthorblockN{Luiz Fernando Picolo}
%	\IEEEauthorblockA{\textit{Instituto Federal de Mato Grosso do Sul (IFMS)}\\
%		Nova Andradina, Mato Grosso do Sul, Brasil\\
%		luiz.picolo@ifms.edu.br}
%	\and
%	\IEEEauthorblockN{Manuella Silva Sampaio}
%	\IEEEauthorblockA{\textit{Instituto Federal de Mato Grosso do Sul (IFMS)}\\
%		Nova Andradina, Mato Grosso do Sul, Brasil\\
%		manuella.sampaio@estudantes.ifms.edu.br}
%	\and
%	\IEEEauthorblockN{Felipe de Mauro Paulo}
%	\IEEEauthorblockA{\textit{Instituto Federal de Mato Grosso do Sul (IFMS)}\\
%		Nova Andradina, Mato Grosso do Sul, Brasil\\
%		felipe.paulo@estudantes.ifms.edu.br}
%	\and
%	\IEEEauthorblockN{Renato de Souza Garcia}
%	\IEEEauthorblockA{\textit{Instituto Federal de Mato Grosso do Sul (IFMS)}\\
%		Nova Andradina, Mato Grosso do Sul, Brasil\\
%		renato.garcia@ifms.edu.br}
%}

\maketitle
\pagestyle{fancy}
\fancyhf{}
\fancyfoot[LE, LO]{ReCiC- Revista de Ciência de Computação ISSN:XXXX}
\begin{abstract}
	Este estudo teve como objetivo avaliar a experiência do usuário na utilização do protótipo de chatbot Liz, desenvolvido para apoiar a prevenção do câncer do colo do útero por meio de informações, lembretes e agendamento do exame preventivo. Foi realizada uma pesquisa de abordagem quantitativa e qualitativa com 58 participantes, que utilizaram o chatbot e responderam aos instrumentos System Usability Scale (SUS), Technology Acceptance Model (TAM) e Flow Experiencie Questionarie FEQ, além de uma questão aberta. Os dados quantitativos foram analisados por meio dos escores dos instrumentos, enquanto os dados qualitativos foram submetidos à análise lexical no software IRAMUTEQ, utilizando nuvem de palavras, análise de similitude e Análise Fatorial de Correspondência (AFC). Os resultados quantitativos indicaram boa usabilidade, com escore SUS de 75,5 pontos, além de elevada aceitação, utilidade percebida, facilidade de uso e experiência de fluxo. Na análise qualitativa, o termo \textit{agendamento} apresentou maior centralidade, associado a aspectos como facilidade, clareza e funcionalidade. A análise de similitude e a AFC reforçaram a predominância de percepções positivas, embora também tenham identificado dificuldades pontuais na interação. Os resultados indicam que o chatbot Liz apresenta boa usabilidade, aceitação e experiência de interação, demonstrando potencial como ferramenta de apoio à prevenção do câncer do colo do útero.
\end{abstract}

\begin{IEEEkeywords}
Chatbot, Interação, Prevenção, Câncer do colo do útero.
\end{IEEEkeywords}

\section{Introdução}

O câncer é um importante problema de saúde pública, caracterizado pelo crescimento desordenado de células que podem invadir tecidos adjacentes ou outros órgãos. No Brasil, estima-se a ocorrência de aproximadamente 781 mil casos novos de câncer para cada ano do triênio 2026--2028, considerando todas as localizações tumorais, incluindo o câncer de pele não melanoma \cite{INCA2026,BrasilINCA2026}.

Entre os tipos de câncer que acometem a população feminina, destaca-se o câncer do colo do útero, associado à infecção persistente por determinados tipos do papilomavírus humano (HPV). Embora a infecção seja frequente e, na maioria dos casos, regrida espontaneamente, algumas alterações celulares podem evoluir para lesões precursoras e, posteriormente, para o câncer. A identificação dessas alterações por meio do rastreamento possibilita a adoção de medidas preventivas e terapêuticas oportunas \cite{INCA2022}. Nesse contexto, o exame citopatológico, conhecido como Papanicolau, constitui uma estratégia importante para detectar alterações cervicais e prevenir a progressão da doença \cite{Rama2008}.

No município de Nova Andradina, localizado na região leste de Mato Grosso do Sul, o rastreamento do câncer do colo do útero é realizado principalmente no âmbito da Estratégia Saúde da Família (ESF). Essa estratégia busca reorganizar a assistência à saúde, articulando ações de prevenção, promoção e acompanhamento da população \cite{BrasilAPS2020}. Além disso, a atenção primária constitui um espaço relevante para a organização das ações de rastreamento e para a ampliação do acesso à informação sobre prevenção e cuidados em saúde \cite{Vale2010}.

Contudo, de acordo com Almeida \cite{Almeida2018}, o câncer de colo de útero afeta principalmente os grupos socioeconômicos mais baixos, e questões sociais influenciam no adoecimento e no acesso ao tratamento oncológico. Diante dessa realidade, foi necessário buscar um meio de comunicação que fosse comum e abrangesse a maioria das pacientes, independentemente de seu nível socioeconômico ou nível de educação.

Neste contexto, o WhatsApp se destaca como o aplicativo de comunicação mais utilizado. Está presente em 99\% dos smartphones dos brasileiros, sendo que 93\% utilizam o aplicativo diariamente. Dos brasileiros, 90\% utilizam o aplicativo para enviar mensagens de texto, e 81\% se comunicam por áudio \cite{Ventura2020}. Na área médica, a utilização do WhatsApp como ferramenta para fortalecer a relação entre profissional de saúde e paciente tem sido positiva, em conformidade com o Parecer CFM Nº 14/2017, abrangendo uma ampla gama de aspectos \cite{Nazareth2020}.

Nesse cenário, os chatbots, também denominados agentes conversacionais, apresentam potencial para apoiar a disseminação de informações sobre saúde e facilitar o esclarecimento de dúvidas relacionadas à prevenção. Entretanto, a utilização deste tipo de tecnologia na saúde exige avaliações que considerem não apenas seu funcionamento técnico, mas também a qualidade da interação, a usabilidade e a percepção dos usuários \cite{DeneckeMay2022,Laranjo2018,Milne2020}. Na perspectiva da Interação Humano-Computador (IHC), torna-se fundamental investigar como os usuários percebem a utilidade, a facilidade de uso, a clareza, a satisfação e a confiabilidade da interação com esses sistemas. Assim, a avaliação deve considerar tanto aspectos pragmáticos, como a facilidade de encontrar e compreender informações, quanto aspectos subjetivos, como a satisfação durante a interação \cite{ISO9241_2102019,DeneckeMay2022}.

Todavia, os recursos humanos sempre são limitados e a comunicação, quando feita diretamente por uma pessoa, pode sofrer interferências, prolongando, atrasando ou até mesmo anulando a efetividade da comunicação entre profissional de saúde e paciente. Dessa forma, uma das alternativas para reduzir esses erros e viabilizar o acompanhamento médico das pacientes é o uso de Tecnologias da Informação e Comunicação (TIC), especialmente por meio de técnicas de Inteligência Artificial, como os chatbots. Os chatbots são programas de computador que interagem com os usuários usando linguagem natural, podendo ser por texto ou voz. Essa tecnologia teve início na década de 1960, com o objetivo de simular a conversa humana. No entanto, com o avanço no desenvolvimento de chatbots, arquiteturas e capacidades computacionais, seu uso se expandiu consideravelmente \cite{AbuShawar2007}. Para compreender a entrada do usuário e fornecer uma resposta relevante, os chatbots utilizam Inteligência Artificial (IA) e técnicas de Aprendizado Profundo (Deep Learning).

Assim, com base nos conceitos e no problema apresentado, foi desenvolvido um protótipo de chatbot chamado Liz \cite{Picolo2024ChatbotPrevencao}, como forma de avaliação inicial da proposta. Essa iniciativa contou com a parceria entre o Instituto Federal de Mato Grosso do Sul, campus de Nova Andradina (IFMS/NA), a Prefeitura de Nova Andradina (PMNA) e o apoio da Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e Tecnologia do Estado de Mato Grosso do Sul (FUNDECT - PICTEC 1 - 02/2021).

Sua função é automatizar a comunicação entre os profissionais da saúde e as pacientes, atuando principalmente no lembrete, agendamento e reagendamento do exame preventivo, além de fornecer informações básicas sobre os problemas e conceitos relacionados ao câncer do colo do útero.

O protótipo, concebido como uma representação preliminar do sistema para fins de prova de conceito, deve ser submetido a uma avaliação centrada no usuário, considerando a experiência das usuárias durante a interação com a solução. Essa etapa deverá permitir analisar aspectos relacionados à usabilidade, facilidade de interação, compreensão das funcionalidades, satisfação e adequação do sistema às necessidades das usuárias e ao contexto de utilização \cite{Preece2013}. A avaliação deverá envolver a participação de usuários representativos do público-alvo, que poderão executar tarefas previamente definidas utilizando o protótipo, possibilitando a coleta de dados quantitativos e qualitativos sobre sua experiência de uso \cite{Barbosa2021}. Conforme os princípios de projeto centrado no ser humano estabelecidos pela ISO 9241-210, o feedback dos usuários constitui uma fonte fundamental para identificar limitações e oportunidades de melhoria, permitindo que as soluções sejam progressivamente refinadas a partir de avaliações realizadas em contextos representativos de uso \cite{ISO9241-210}. Dessa forma, os resultados obtidos na avaliação da experiência do usuário poderão subsidiar novas iterações do protótipo, contribuindo para o aprimoramento de suas funcionalidades e para a redução de incertezas relacionadas à usabilidade, aos requisitos e à adequação da solução antes de uma eventual implantação.

Portanto, a proposta deste trabalho foi a avaliação do protótipo já desenvolvido. A avaliação da experiência do usuário constitui uma etapa importante para analisar a usabilidade, a aceitação e a percepção dos usuários em relação a sistemas interativos, sendo especialmente relevante em aplicações na área da Saúde \cite{Arnold2009}. Diante desse contexto, estabelece-se a seguinte pergunta de pesquisa: como as usuárias avaliam a usabilidade, a aceitação e a experiência de fluxo durante a interação com o protótipo de chatbot Liz, desenvolvido para apoiar a comunicação e fornecer informações relacionadas à prevenção do câncer do colo do útero?

A hipótese deste trabalho é que o protótipo Liz apresentará resultados positivos na avaliação da usabilidade e da aceitação pelas usuárias, bem como na percepção da experiência de fluxo durante a interação. Espera-se que os resultados indiquem que a solução é compreensível, apresenta facilidade de uso e proporciona uma experiência de interação satisfatória, considerando as necessidades do público-alvo e o contexto de utilização. Essa hipótese será examinada com base nos indicadores coletados durante a avaliação do protótipo, sem pressupor efeitos sobre a adesão ao exame preventivo, uma vez que esse desfecho não foi mensurado no estudo.

\section{Fundamentação Teórica}

\subsection{Usabilidade e experiência do usuário}

A ISO 9241-11 define usabilidade como o grau em que um sistema, produto ou serviço pode ser utilizado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto de uso determinado \cite{ISO9241-11}. A eficácia diz respeito à exatidão e à completude com que os objetivos são alcançados; a eficiência relaciona os resultados obtidos aos recursos empregados; e a satisfação corresponde às respostas físicas, cognitivas e emocionais decorrentes do uso. A usabilidade, portanto, não constitui uma propriedade absoluta da tecnologia, pois depende dos usuários, das tarefas, dos objetivos e do ambiente em que a interação ocorre.

A experiência do usuário possui escopo mais amplo e compreende as percepções e respostas resultantes do uso ou da expectativa de uso de um sistema. A ISO 9241-210 orienta que o projeto centrado no ser humano considere explicitamente usuários, tarefas e ambientes, envolva os usuários ao longo do desenvolvimento, seja conduzido e refinado por avaliações e trate a experiência de forma integral \cite{ISO9241-210}. Dessa forma, uma solução pode permitir a conclusão de uma tarefa e, ainda assim, produzir uma experiência insatisfatória, confusa ou pouco confiável.

Nas interfaces conversacionais, a interação ocorre por turnos de diálogo, e não apenas pela manipulação de elementos gráficos. Sua avaliação deve considerar, além da conclusão da tarefa e do tempo despendido, a compreensão das mensagens, a coerência e a continuidade do diálogo, a recuperação diante de entradas inesperadas, a adequação das respostas, a orientação fornecida ao usuário e a confiança na interação. Métricas convencionais oferecem informações relevantes, mas podem não captar isoladamente todos os aspectos próprios de um chatbot; por isso, recomenda-se combinar medidas padronizadas com observação das tarefas e dados qualitativos sobre o diálogo \cite{Holmes2019}.

\subsection{System Usability Scale}

A \textit{System Usability Scale} (SUS), proposta por Brooke \cite{Brooke1996}, é um instrumento breve e independente de tecnologia para mensurar a percepção global de usabilidade. A escala contém dez afirmações respondidas em uma escala Likert de cinco pontos, alternando itens positivos e negativos. Para calcular o escore, subtrai-se 1 da resposta de cada item ímpar e subtrai-se de 5 a resposta de cada item par. As dez contribuições, cada uma variando de 0 a 4, são somadas e multiplicadas por 2,5, resultando em um escore entre 0 e 100. Esse valor não deve ser interpretado como porcentagem nem a partir de itens isolados, mas como uma medida global comparável a dados normativos.

Bangor, Kortum e Miller \cite{Bangor2009} relacionaram os escores da SUS a adjetivos atribuídos pelos usuários: valores em torno de 71,4 foram associados a ``bom'', enquanto valores próximos de 85,5 foram associados a ``excelente''. Sauro e Lewis \cite{SauroLewis2016} situam o escore 68 aproximadamente no centro da distribuição de referência; assim, escores superiores a esse valor indicam usabilidade percebida acima da média, sem que 68 corresponda a 68\% de usabilidade. Neste estudo, foi utilizada a \textit{Escala de Usabilidade de Sistema -- versão brasileira}, traduzida e adaptada transculturalmente por Lourenço, Carmona e Lopes \cite{Lourenco2022}. Essa versão preserva os dez itens e a forma de pontuação do instrumento original e apresentou equivalência semântica, idiomática, conceitual e cultural, além de consistência interna e validade de construto adequadas.

\subsection{Technology Acceptance Model}

O \textit{Technology Acceptance Model} (TAM), formulado por Davis \cite{Davis1989}, explica a aceitação de sistemas de informação principalmente por meio da utilidade percebida e da facilidade de uso percebida. A utilidade percebida representa o grau em que uma pessoa acredita que o uso da tecnologia melhorará seu desempenho ou favorecerá a realização de uma tarefa. A facilidade de uso percebida corresponde ao grau em que a pessoa acredita que utilizar a tecnologia exigirá pouco esforço. Esses construtos influenciam a atitude e a intenção comportamental de uso, entendida como a predisposição para utilizar ou continuar utilizando a solução.

Extensões posteriores ampliaram a explicação da aceitação tecnológica. O TAM2 incorporou processos de influência social e processos cognitivo-instrumentais como antecedentes da utilidade percebida e da intenção de uso \cite{VenkateshDavis2000}. A \textit{Unified Theory of Acceptance and Use of Technology} (UTAUT), por sua vez, integrou construtos de diferentes modelos em torno da expectativa de desempenho, expectativa de esforço, influência social e condições facilitadoras \cite{Venkatesh2003}. Embora essas extensões contextualizem a evolução teórica do campo, a avaliação realizada neste estudo concentrou-se nos construtos do TAM original: utilidade percebida, facilidade de uso percebida e intenção de uso.

\subsection{Experiência de fluxo}

A experiência de fluxo está relacionada ao estado de envolvimento intenso no qual a atenção se concentra na atividade, as ações parecem ocorrer de forma fluida e a realização da tarefa se torna intrinsecamente satisfatória \cite{csikszentmihalyi1975,csikszentmihalyi1997}. Esse estado é favorecido quando existe equilíbrio entre o desafio apresentado e as habilidades da pessoa, quando os objetivos são claros e quando a atividade fornece retorno compreensível sobre seu andamento.

A \textit{Flow State Scale-2} (FSS-2), desenvolvida por Jackson e Eklund \cite{jackson2002}, operacionaliza o fluxo em nove dimensões: equilíbrio entre desafio e habilidade; fusão entre ação e consciência; objetivos claros; retorno inequívoco; concentração na tarefa; senso de controle; perda da autoconsciência; transformação da percepção do tempo; e experiência autotélica. A versão curta da escala utiliza nove itens, um para cada dimensão, preservando o modelo conceitual e reduzindo a carga de resposta \cite{Jackson2008}. Essa brevidade é pertinente à avaliação de chatbots, pois permite examinar concentração, controle, clareza e envolvimento logo após a interação, sem impor um questionário extenso ao participante. No contexto do chatbot Liz, o fluxo complementa as medidas funcionais ao indicar se o diálogo favoreceu uma experiência contínua, compreensível e envolvente.

\subsection{Articulação entre usabilidade, aceitação e fluxo}

Usabilidade, aceitação e fluxo descrevem dimensões distintas e complementares da interação. A usabilidade indica se as participantes conseguem realizar as tarefas com eficácia, eficiência e satisfação e como percebem a facilidade global do sistema. A aceitação examina se reconhecem utilidade na solução, se consideram seu uso pouco oneroso e se demonstram intenção de utilizá-la. O fluxo acrescenta a dimensão experiencial, avaliando concentração, controle, clareza e envolvimento durante a atividade.

Esses construtos não são equivalentes: um sistema pode ser fácil de usar, mas percebido como pouco útil; pode ser considerado útil, mas produzir uma interação fragmentada; ou pode ser envolvente sem assegurar a conclusão correta da tarefa. Sua análise conjunta permite verificar se o chatbot Liz combina qualidade operacional, disposição para adoção e uma experiência de interação satisfatória. A análise qualitativa amplia essa triangulação ao revelar, nas manifestações dos participantes, aspectos do diálogo e do contexto que os escores quantitativos não descrevem isoladamente.

\subsection{Análise lexical de dados textuais}

O IRAMUTEQ é um software gratuito, desenvolvido sob a lógica \textit{open source} e licenciado pela GNU GPL (v2), que funciona ancorado no ambiente estatístico R e permite realizar diferentes tipos de análise de dados textuais. Entre suas funcionalidades estão análises simples, como a lexicografia básica e o cálculo da frequência de palavras, e procedimentos multivariados, como a classificação hierárquica descendente e a análise de similitude. Nas análises lexicais clássicas, o programa identifica e reformata as unidades de texto, transforma Unidades de Contexto Iniciais (UCI) em Unidades de Contexto Elementares (UCE), calcula a frequência média e o número de \textit{hapax}, realiza lematização e cria dicionários de formas reduzidas, distinguindo formas ativas e suplementares \cite{Camargo2013}.

A nuvem de palavras organiza graficamente os termos de acordo com sua frequência, permitindo a identificação rápida das palavras-chave de um corpus. A análise de similitude, fundamentada na teoria dos grafos, identifica coocorrências entre os termos e evidencia suas conexões, contribuindo para a compreensão da estrutura do texto e de seus padrões de associação semântica \cite{Camargo2013}.

A Análise Fatorial de Correspondência (AFC) permite visualizar a distribuição das palavras em um plano cartesiano e identificar padrões de associação e oposição entre os termos. Sua interpretação considera a posição das palavras em relação aos eixos fatoriais: termos próximos tendem a compartilhar significados ou contextos semelhantes, enquanto termos distantes apresentam menor relação semântica \cite{Martins2020}.

\section{Trabalhos relacionados}

Carvalho et al.~\cite{carvalho2024} conduziram um mapeamento sistemático de 27 estudos sobre avaliação de usabilidade de chatbots. Os autores encontraram predomínio de questionários (86,95\%), com destaque para SUS e TAM, e observaram que os estudos se concentravam na verificação, validação e teste, depois das decisões iniciais de requisitos e design. Esse resultado é útil para situar a presente pesquisa, que avalia um protótipo em uma etapa de validação inicial e pretende retroalimentar suas próximas iterações.

No domínio da saúde, Holmes et al. \cite{Holmes2019} avaliaram um chatbot de controle de peso utilizando observação de tarefas, SUS, UEQ e o Chatbot Usability Questionnaire (CUQ). O estudo mostrou que o SUS e outras medidas convencionais são úteis, mas não capturam sozinhas todos os aspectos da usabilidade conversacional, especialmente a continuidade do diálogo, o tratamento de erros e a adequação das respostas. Esse achado reforça a importância de combinar escalas com evidências qualitativas.

Ainda em saúde, Le Bonniec et al. \cite{LeBonniec2025} desenvolveram e validaram o AppDate-You, um chatbot de apoio à decisão sobre rastreamento do câncer do colo do útero para mulheres em situação socioeconômica desfavorável. O processo foi centrado no usuário e incluiu entrevistas, grupos focais, teste do protótipo e teste em campo. As participantes relataram satisfação, valor educativo e facilidade de uso, embora tenham sido identificadas respostas repetitivas e necessidade de esclarecer alguns termos médicos. O estudo é próximo ao presente trabalho pelo tema de rastreamento, mas avalia uma solução de decisão e prepara uma etapa posterior para medir a participação efetiva no rastreamento.

Silva et al. \cite{Silva2023} investigaram a intenção de uso de chatbots no comércio eletrônico, com ênfase em confiança, risco percebido e experiência de \textit{flow}. O estudo quantitativo contou com 226 participantes europeus e utilizou Modelagem de Equações Estruturais. A confiança aumentou a intenção de uso e a experiência de \textit{flow}, oferecendo evidência para a articulação entre aceitação e experiência subjetiva, embora em um domínio não relacionado à saúde.

Martins et al. \cite{Martins2026} desenvolveram, validaram e avaliaram a usabilidade do chatbot ChatLinoHans para apoiar profissionais de saúde na abordagem de lesões da hanseníase. A validação envolveu profissionais de saúde e Tecnologia da Informação, obtendo IVC global de 0,98, concordância de 85,7\% a 100\% na avaliação da aparência e pontuações de usabilidade entre 77,5 e 100. O IRaMuTeQ foi empregado na construção da base de conhecimento, e não como análise lexical das percepções dos participantes.

\begin{table*}[t]
\centering
\caption{Comparação entre estudos relacionados e o presente estudo}
\label{tab:trabalhos-relacionados}
\scriptsize
\begin{tabular}{p{2.5cm} p{2.1cm} p{2.5cm} p{1.6cm} p{5.1cm}}
\hline
\textbf{Estudo} & \textbf{Objetivo e domínio} & \shortstack{\textbf{Instrumentos/}\\\textbf{procedimentos}} & \textbf{Amostra} & \shortstack{\textbf{Principais resultados}\\\textbf{e posicionamento}} \\
\hline
Carvalho et al. \cite{carvalho2024} & Mapear avaliações de usabilidade de chatbots & Revisão sistemática; SUS e TAM entre os instrumentos identificados & 27 estudos & Predomínio de questionários e avaliações tardias; fundamenta a necessidade de combinar métodos e avaliar protótipos antes da implantação. \\
Holmes et al. \cite{Holmes2019} & Avaliar chatbot de controle de peso em saúde & Observação de tarefas, SUS, UEQ e CUQ & Usuários de chatbot de saúde & Métricas convencionais não cobrem toda a usabilidade conversacional; sustenta a inclusão de percepções qualitativas. \\
Le Bonniec et al. \cite{LeBonniec2025} & Apoiar decisão sobre rastreamento do câncer do colo do útero & Entrevistas, grupos focais, testes alfa e beta & Mulheres de 30--65 anos e profissionais; beta: 15 mulheres & Boa aceitação e valor educativo, com problemas pontuais de repetição e terminologia; aproxima-se do domínio deste estudo. \\
Silva et al. \cite{Silva2023} & Explicar aceitação e fluxo em chatbot de comércio & TAM ampliado, confiança, risco e SEM & 226 participantes & Confiança associada à intenção de uso e ao fluxo; oferece base para a articulação dos construtos. \\
Martins et al. \cite{Martins2026} & Validar chatbot para abordagem da hanseníase & Validação de conteúdo, aparência, usabilidade e IRaMuTeQ & Profissionais de saúde e TI & Evidências satisfatórias de validade e usabilidade; IRaMuTeQ aplicado à base de conhecimento. \\
Presente estudo & Avaliar o protótipo Liz para prevenção e agendamento do exame do colo do útero & SUS, TAM, FSS-\textit{short} e análise lexical de pergunta aberta & 58 participantes & Integra escalas padronizadas e percepções lexicais em uma validação inicial do protótipo. \\
\hline
\end{tabular}
\end{table*}

Em conjunto, esses trabalhos mostram que há estudos sobre chatbots de saúde, rastreamento do câncer do colo do útero, SUS, TAM e \textit{flow}, mas eles diferem quanto ao objetivo e ao momento do ciclo de desenvolvimento. A lacuna deste trabalho não é a ausência de avaliações de chatbots em saúde nem a inexistência de estudos com escalas padronizadas. A contribuição está na integração, em um protótipo de apoio à prevenção do câncer do colo do útero, de SUS, TAM e FSS-\textit{short} com análise lexical das percepções registradas em uma pergunta aberta. Como não foram analisados registros de conversa, logs ou transcrições dos diálogos, os resultados qualitativos não devem ser apresentados como análise direta da interação conversacional.

Quanto ao ciclo de desenvolvimento, o presente estudo situa-se entre a validação do protótipo e a preparação de novas iterações, e não em uma avaliação de impacto ou de efetividade em larga escala. Os achados sobre facilidade de uso, utilidade, intenção de uso, fluxo e percepções lexicais podem retroalimentar o projeto ao orientar a revisão de mensagens, o tratamento de erros, a clareza das opções de agendamento e a priorização de funcionalidades antes de uma implantação mais ampla.

\section{Metodologia}

\subsection{Aspectos éticos}

A Resolução nº 466/2012 do Conselho Nacional de Saúde (CNS) \cite{BrasilResolucao466} estabelece que todo projeto de pesquisa envolvendo seres humanos deve seguir as diretrizes nela previstas. No entanto, conforme o Artigo 1º, parágrafo único, da Resolução nº 510, de 7 de abril de 2016 \cite{BrasilResolucao510}, certas atividades não precisam ser registradas nem avaliadas pelo sistema CEP/CONEP, como é o caso de pesquisas de opinião pública com participantes não identificados.

Neste estudo, essa situação é descrita na seção referente ao percurso metodológico, especificamente na etapa 3 — aplicação do teste. Nessa fase, não houve identificação dos respondentes, tampouco coleta de dados que pudessem associar respostas a pessoas específicas, garantindo assim a privacidade e o sigilo dos participantes e proporcionando um ambiente de segurança e confidencialidade. Ainda assim, em conformidade com o item II.3 da referida normativa, foi assegurada assistência aos participantes durante todo o processo, mesmo com o anonimato mantido.

A Resolução nº 466/2012 também destaca, em seu item II.23, que o respeito à dignidade humana exige a obtenção do consentimento livre e informado dos participantes. Essa etapa está detalhada no percurso metodológico: os participantes foram devidamente informados sobre os objetivos do estudo e cientes de que sua participação seria voluntária. Para isso, foi utilizado o Termo de Consentimento Livre e Esclarecido (TCLE) antes do preenchimento do formulário, garantindo que o participante tivesse conhecimento completo sobre a pesquisa antes de iniciar sua participação.

Por fim, cabe ressaltar que, em conformidade com a Resolução nº 466/2012 \cite{BrasilResolucao466}, não houve envolvimento de menores de idade e que todos os dados coletados foram utilizados exclusivamente para os fins previstos neste estudo, sem qualquer uso adicional.

\subsection{Tipo da Pesquisa}

O estudo adotou uma abordagem de caráter quantitativo, utilizando procedimentos de quantificação tanto na etapa de coleta das informações quanto na análise dos dados por meio de técnicas estatísticas \cite{Richardson1999} e qualitativa buscando a compreensão detalhada dos significados e características situacionais apresentados \cite{Richardson1999}.

A pesquisa teve natureza aplicada, buscando produzir conhecimentos voltados à utilização prática, orientados para a solução de problemas específicos. Quanto aos objetivos, foi classificada como exploratória, por procurar ampliar a compreensão sobre o problema e torná-lo mais claro. Como procedimento metodológico, empregou-se o levantamento, com a intenção de reunir dados organizados que possibilitassem uma análise mais aprofundada \cite{Gerhardt2009}.

\subsection{Percurso metodológico}

A avaliação do chatbot seguiu a estrutura metodológica proposta por Barbosa et al. \cite{Arnold2009}, que organiza o processo em cinco atividades fundamentais, garantindo o rigor científico e a validade dos resultados coletados. \\

\noindent\textbf{1. Contextualização e Análise de Domínio:} Inicialmente, realizou-se um estudo sobre a situação atual para compreender o domínio do problema, os perfis dos usuários e o contexto de uso do sistema. Esta etapa permitiu identificar os objetivos e as tarefas críticas que serviriam de base para os cenários de avaliação. \\

\noindent\textbf{2. Planejamento e Preparação:} Nesta fase, foram definidos os objetivos específicos da avaliação e o seu escopo. O planejamento incluiu o recrutamento de participantes, a preparação da infraestrutura tecnológica e dos materiais de apoio, como termos de consentimento livre e esclarecido (TCLE) e roteiros. Como meios para a avaliação quantitativa foram utilizados o Modelo de Aceitação da Tecnologia (TAM), teste de usabilidade System Usability Scale (SUS) e o Questionários de experiência de fluxo (FEC). Já para a parte qualitativa foi adicionada uma pergunta aberta, na qual o usuário poderia expor sua opinião após utilizar o software. Previamente à execução principal, foi realizado um Teste Piloto para validar o planejamento e os materiais, permitindo ajustes antes da coleta definitiva de dados \cite{Bailer2011}. \\

\noindent\textbf{2. Coleta de Dados e Observação:} A execução seguiu os preceitos éticos, com o acolhimento cordial dos participantes e a coleta dos dados mediante a aceitação do termo de consentimento. Como condução os participantes foram estimulados a utilizar todas as funcionalidades da aplicação por meio de um roteiro, como pode ser visto na Figura \ref{fig:roteiro}. Após o uso, estes seguiam para responder o questionário. \\

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.25]{diagrama-1.jpg}}
	\caption{Roteiro para uso do Chatbot Liz}
	\label{fig:roteiro}
\end{figure}

Os dados foram registrados por meio de formulários eletrônicos sendo estes mantidos para análise posterior.\\

\noindent\textbf{4. Interpretação de Dados:} Os dados registrados foram submetidos a um processo de análise seguindo rigorosamente as especificações de cada técnica, onde os avaliadores buscaram atribuir significado aos dados coletados. Para os dados qualitativos foi utilizado o software Irameteq. Esta etapa focou em identificar rupturas na comunicação e responder às perguntas de pesquisa formuladas no planejamento, podendo incluir análises manuais ou automáticas, dependendo do tipo de dado registrado.\\

\noindent\textbf{5. Consolidação e Relato dos Resultados:} Por fim, os achados individuais foram consolidados em uma análise para identificar recorrências e tendências de problemas que afetam grupos de usuários. As descobertas foram organizadas em um relatório final detalhando os objetivos, o método aplicado, o perfil dos participantes, o sumário dos dados, a lista de problemas identificados e, crucialmente, sugestões fundamentadas de reprojeto da interface e interação

\section{Análise dos resultados}

O estudo contou com 58 participantes, com idades entre 18 e 64 anos. Embora o chatbot seja direcionado ao agendamento do exame para o público feminino, não houve necessidade, nesta etapa, de separação por gênero, pois a avaliação concentrou-se exclusivamente na experiência de uso do sistema. Estudos mais específicos poderão ser conduzidos em fases posteriores e estão disponível mediante solicitação.

\subsection{Análise quantitativa}

\subsubsection{\textbf{Usabilidade}}

Os resultados da aplicação do SUS, apresentados na Figura \ref{fig:sus}, indicam uma percepção predominantemente positiva dos participantes em relação à usabilidade do sistema. Observa-se elevada concordância nos itens formulados positivamente, especialmente nos itens 3 e 7, que registraram 83\% e 86\% de respostas favoráveis, respectivamente. Esses resultados sugerem que os participantes consideraram o sistema fácil de utilizar e de aprender.

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.45]{susGrafico.png}}
	\caption{Resultados do SUS para o Chatbot Liz}
	\label{fig:sus}
\end{figure}

Nos itens formulados negativamente, também se verificou uma tendência favorável, evidenciada pela predominância de respostas de discordância. Destacam-se os itens 4 e 10, nos quais 86\% e 85\% dos participantes, respectivamente, discordaram das afirmações negativas. De forma semelhante, 69\% discordaram do item 2 e 64\% do item 8, indicando baixa percepção de complexidade, dificuldade ou inconsistência na utilização do sistema.

Apesar da tendência geral positiva, o item 6 apresentou maior dispersão nas respostas, com 41\% de discordância, 31\% de neutralidade e 29\% de concordância, constituindo o resultado menos homogêneo entre os dez itens avaliados. Esse comportamento sugere a existência de um aspecto específico da experiência de uso que merece investigação adicional. De modo geral, entretanto, a distribuição das respostas evidencia uma avaliação favorável da usabilidade do sistema, especialmente no que se refere à facilidade de uso, aprendizagem e ausência de complexidade percebida.

A partir da distribuição das respostas, foi calculado o escore global. Considerando o procedimento padrão de cálculo do instrumento, o sistema obteve um escore estimado de aproximadamente \textbf{75,5 pontos}.

\subsubsection{\textbf{Aceitação}}

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.4]{tamGrafico.png}}
	\caption{Resultados do Questionário de Aceitação (TAM)}
	\label{fig:tam}
\end{figure}

A análise dos resultados do TAM evidencia uma forte tendência de concordância entre os participantes, especialmente nos itens relacionados à utilidade percebida (UP) e à facilidade de uso percebida (FUP). Os itens UP1, UP2 e UP3 apresentaram percentuais elevados de concordância, indicando que os usuários perceberam o chatbot como uma ferramenta útil para o agendamento do exame. De maneira semelhante, os itens FUP1, FUP2 e FUP3 demonstraram que os participantes consideraram o sistema simples de operar, reforçando a percepção de facilidade de uso.

Os itens associados à intenção de uso percebida (IUP) também apresentaram resultados positivos, com predominância de respostas favoráveis. Isso sugere que os participantes demonstraram predisposição para utilizar novamente o chatbot, reconhecendo seu valor prático e sua eficiência no contexto proposto. A baixa incidência de discordância e a presença moderada de neutralidade reforçam que, embora alguns aspectos possam ter sido percebidos com menor intensidade, o conjunto da experiência foi amplamente satisfatório e alinhado aos princípios do TAM.

\subsubsection{\textbf{Experiência de Fluxo}}

O questionário baseado na FSS-\textit{short} foi aplicado para avaliar as sensações psicológicas dos participantes durante a utilização da ferramenta. Os participantes responderam aos nove itens do instrumento.

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.37]{flowGrafico.png}}
	\caption{Resultados do Questionário de Experiência de Fluxo}
	\label{fig:flow}
\end{figure}

Os resultados evidenciam uma tendência clara de concordância elevada entre os participantes, indicando que a ferramenta proporcionou uma experiência alinhada aos princípios centrais da teoria do flow. A predominância de respostas positivas — especialmente nas categorias \textit{Concordo parcialmente} e \textit{Concordo totalmente} — revela que os usuários vivenciaram estados de imersão, concentração e envolvimento compatíveis com as dimensões avaliadas pela versão \textit{short} da FSS. A baixa incidência de discordância e a presença moderada de neutralidade reforçam que, embora alguns aspectos possam ter sido percebidos com menor intensidade, o conjunto da experiência foi amplamente satisfatório e favoreceu a sensação de controle, clareza de objetivos e prazer intrínseco durante a atividade. Esses achados sugerem que a ferramenta foi eficaz em promover condições psicológicas propícias ao estado de flow, fortalecendo sua adequação ao contexto investigado.

De forma integrada, os resultados obtidos por meio dos três instrumentos de avaliação — SUS, TAM e FEQ — revelam que o chatbot apresenta desempenho sólido em diferentes dimensões da experiência do usuário. O resultados também conversam com os trabalhos de Silva et al. \cite{Silva2023} e Camargo et al. \cite{Camargo2013}, na qual apresentam resultados satisfatórios na aplicação das ferramentas de mensuração. Os achados do SUS indicam que o sistema é amplamente percebido como fácil de usar, aprender e operar, com baixa percepção de complexidade ou inconsistência. Complementarmente, o questionário baseado TAM demonstra que os participantes reconhecem a utilidade prática da ferramenta, consideram sua interação simples e manifestam intenção positiva de utilizá-la novamente, evidenciando forte aceitação da tecnologia. Por fim, os resultados da FEQ mostram que o chatbot é capaz de promover estados de imersão, concentração e envolvimento compatíveis com a teoria do \textit{flow}, reforçando que a experiência proporcionada é não apenas funcional, mas também psicologicamente engajadora. Em conjunto, esses instrumentos apontam que o sistema oferece boa usabilidade, é bem aceito pelos usuários e favorece uma interação envolvente, sustentando sua adequação ao contexto de aplicação e seu potencial para adoção contínua.

\subsection{Análise qualitativa}

As respostas à questão aberta foram processadas no IRAMUTEQ por meio de nuvem de palavras, análise de similitude e Análise Fatorial de Correspondência (AFC). Os resultados de cada procedimento são apresentados a seguir.

\subsubsection{\textbf{Núvem de Palavras}}

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.37]{nuvemdepalavras.png}}
	\caption{Núvem de Palavras}
	\label{fig:nuvem de palavras}
\end{figure}

A análise evidencia as palavras em maior destaque, como \textit{agendamento}, \textit{chatbot}, \textit{mensagem}, \textit{muito}, \textit{achar}, \textit{bem} e \textit{vez}, indicam que os usuários associaram fortemente o uso da ferramenta ao processo de marcar consultas e à comunicação automatizada. Outros termos relevantes, como \textit{cadastro}, \textit{confirmar}, \textit{informação} e \textit{atendimento}, reforçam a percepção de clareza e praticidade na interação. Já palavras como \textit{fácil}, \textit{bom} e \textit{usuário} apontam para uma avaliação positiva da usabilidade, enquanto termos como \textit{erro} e \textit{pessoa} sugerem dificuldades pontuais. Dessa forma, a nuvem de palavras complementa os resultados quantitativos, revelando que o chatbot foi associado a uma experiência prática, clara e predominantemente positiva \cite{Camargo2013}.

\subsubsection{\textbf{Análise de similitude}}

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.25]{analisedesimilitude.png}}
	\caption{Arvoré de Similitudes}
	\label{fig:similitudes}
\end{figure}

A análise de similitude, como vista na Figura \ref{fig:similitudes}, evidencia que o termo \textit{agendamento} ocupa posição central na rede semântica, funcionando como núcleo das interações relatadas pelos participantes. As conexões mais fortes estabelecidas com palavras como \textit{mensagem}, \textit{vez}, \textit{bem} e \textit{achar} indicam que o processo de marcar consultas foi o aspecto mais recorrente e estruturador da experiência de uso do chatbot. Além disso, ramificações secundárias que incluem termos como \textit{erro}, \textit{pessoa} e \textit{fácil} revelam tanto percepções positivas de simplicidade quanto relatos de dificuldades pontuais. A presença de palavras como \textit{cadastro} e \textit{confirmação} reforça a importância dos elementos funcionais da interação, enquanto \textit{ideia} e \textit{problema} apontam para reflexões críticas sobre o uso da ferramenta. Em conjunto, essa análise qualitativa complementa os resultados quantitativos, demonstrando que o chatbot Liz foi fortemente associado ao ato de agendar exames, mas também trouxe à tona nuances ligadas à clareza das mensagens, à facilidade de uso e às limitações percebidas pelos usuários.

\subsubsection{\textbf{Análise Fatorial de Correspondência}}

A AFC apresentada na Figura \ref{fig:correspondencia} mostra que palavras como \textit{ótimo}, \textit{intuitivo}, \textit{geral} e \textit{pessoa} se agrupam em um mesmo quadrante, sugerindo avaliações positivas e percepções relacionadas à experiência geral de uso. Em contraste, termos como \textit{digitar}, \textit{único}, \textit{responder} e \textit{até} aparecem mais dispersos, indicando especificidades ou menor associação ao núcleo semântico predominante.

\begin{figure}[htbp]
	\centerline{\includegraphics[scale=0.25]{analisefatorialdecorrespondencia-palavra.png}}
	\caption{Análise Fatorial de Correspondência}
	\label{fig:correspondencia}
\end{figure}

Os eixos fatoriais, que explicam 24,5\% e 17,8\% da variância, respectivamente, organizam duas dimensões principais do discurso: uma relacionada à avaliação da experiência e outra à operacionalidade da interação. Considerando a distância entre os termos e sua separação entre quadrantes, é possível inferir relações de dependência moderada entre palavras próximas e dependência baixa ou nula entre aquelas posicionadas em lados opostos dos eixos. Assim, a AFC revela tanto agrupamentos semânticos consistentes quanto dispersões que refletem a diversidade de percepções dos usuários sobre o chatbot.

A integração dos três métodos qualitativos aplicados — nuvem de palavras, análise de similitude e Análise Fatorial de Correspondência (AFC) — evidencia um padrão consistente nas percepções dos participantes sobre o uso do chatbot Liz, compativel com os apresentados por Martins et al. \cite{Martins2026}. A nuvem de palavras destacou a centralidade do termo \textit{agendamento}, acompanhado de palavras como \textit{mensagem}, \textit{vez} e \textit{bem}, indicando que o processo de marcação de consultas foi o elemento mais recorrente no discurso. A análise de similitude reforçou essa centralidade ao posicionar \textit{agendamento} como núcleo da rede semântica, conectado a termos que expressam tanto funcionalidade quanto experiência de uso, revelando dependências moderadas entre palavras relacionadas à clareza e à praticidade da interação. Complementarmente, a AFC mostrou a organização dessas relações em dimensões fatoriais que explicam 24,5\% e 17,8\% da variância, agrupando termos positivos como \textit{ótimo}, \textit{intuitivo} e \textit{geral} em um quadrante, enquanto palavras como \textit{digitar} e \textit{responder} surgiram em posições mais distantes, indicando menor associação ao núcleo semântico predominante. Em conjunto, os três métodos convergem ao demonstrar que o chatbot foi amplamente associado à facilidade de uso e à efetividade no agendamento, embora também tenham emergido nuances relacionadas a dificuldades pontuais e à diversidade de experiências dos usuários.


\section{Limitações do Projeto}

Embora os resultados obtidos na validação inicial do protótipo Liz tenham sido positivos, algumas limitações precisam ser destacadas para orientar futuras pesquisas e aprimoramentos:

\begin{itemize}
	\item \textbf{Tamanho da amostra:} O estudo contou com apenas 58 participantes, o que restringe a generalização dos resultados para populações maiores e mais diversas.
	
	\item \textbf{Contexto controlado:} A aplicação foi realizada em ambiente específico e supervisionado, não refletindo integralmente as condições reais de uso em diferentes cenários de atendimento. Outro fato foi que as pessoas possuiam familiaridade com celulares e mensageiros, não refletindo casos de baixa escolaridade ou analfabetismo.
	
	\item \textbf{Escopo funcional:} O chatbot foi projetado para funções básicas de lembrete e agendamento. Recursos mais avançados, como integração com sistemas de prontuário eletrônico ou suporte a múltiplos idiomas, ainda não foram implementados.
	
	\item \textbf{Dependência tecnológica:} O uso do WhatsApp como principal canal de comunicação pode limitar o alcance em grupos populacionais que não utilizam o aplicativo ou que possuem restrições de acesso à internet.
	
	\item \textbf{Avaliação longitudinal:} O estudo não contemplou análises de longo prazo sobre adesão contínua, impacto na cobertura do exame preventivo ou redução efetiva de casos de câncer do colo do útero.
\end{itemize}

Essas limitações indicam a necessidade de novos estudos com amostras ampliadas, em diferentes contextos de aplicação e com funcionalidades adicionais, de modo a fortalecer a robustez dos resultados e ampliar o potencial de impacto do protótipo Liz na saúde pública.

\section{Considerações Finais}

O desenvolvimento e a validação do protótipo de chatbot Liz demonstraram o potencial das tecnologias de Inteligência Artificial como ferramentas de apoio à saúde pública, especialmente no contexto da prevenção do câncer do colo do útero. Os resultados obtidos evidenciaram que o sistema apresenta boa usabilidade, elevada aceitação pelos usuários e capacidade de promover uma experiência de interação envolvente, reforçando sua adequação ao cenário de aplicação.

A análise realizada por meio dos instrumentos SUS, TAM e FSS-\textit{short} mostrou que o chatbot é percebido como simples de utilizar, útil para o agendamento de exames e capaz de proporcionar estados de imersão e concentração compatíveis com a teoria do \textit{flow}. Esses achados indicam que a solução proposta pode contribuir para reduzir barreiras de comunicação entre profissionais de saúde e pacientes, além de favorecer a adesão às práticas preventivas.

Os resultados qualitativos complementam e aprofundam essas evidências. A nuvem de palavras revelou a centralidade do termo \textit{agendamento}, indicando que o processo de marcação de consultas foi o elemento mais recorrente no discurso dos participantes. A análise de similitude reforçou essa percepção ao posicionar \textit{agendamento} como núcleo da rede semântica, conectado a termos que expressam funcionalidade, clareza e facilidade de uso. Já a Análise Fatorial de Correspondência (AFC) evidenciou agrupamentos semânticos coerentes, com palavras associadas a avaliações positivas — como \textit{ótimo}, \textit{intuitivo} e \textit{geral} — concentradas em um mesmo quadrante, enquanto termos relacionados a dificuldades pontuais, como \textit{digitar} e \textit{responder}, apareceram mais dispersos. Em conjunto, esses três métodos qualitativos convergem ao demonstrar que os usuários perceberam o chatbot como uma ferramenta eficaz, clara e funcional, embora tenham emergido nuances que refletem diferentes experiências individuais.

Apesar dos resultados positivos, é importante destacar que esta etapa corresponde a uma validação inicial, realizada em ambiente controlado. Estudos futuros deverão ampliar a amostra de participantes, explorar diferentes contextos de uso e avaliar o impacto do chatbot em indicadores concretos de saúde, como aumento da cobertura do exame preventivo e redução da taxa de abandono. Além disso, melhorias contínuas na interface e nos recursos de interação poderão potencializar ainda mais a eficácia da ferramenta.

\section{Agradecimentos}

Agradecemos à Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e Tecnologia do Estado de Mato Grosso do Sul (FUNDECT) pelo suporte financeiro e incentivo à pesquisa, fundamentais para a realização deste estudo. Manifestamos também nossa gratidão ao Instituto Federal de Mato Grosso do Sul (IFMS) pelo apoio institucional e pela infraestrutura disponibilizada, que contribuíram decisivamente para o desenvolvimento e a consolidação deste trabalho.

\section{Declaração sobre o uso de inteligência artificial}

Em conformidade com o Art. 2º, inciso III, do Manual de Publicações da SBC, os autores declaram que o uso de Inteligência Artificial (IA) generativa foi realizado apenas para a revisão textual. 


\begin{thebibliography}{00}	
	\bibitem{AbuShawar2007}
	ABU SHAWAR, Bayan; ATWELL, Eric. Chatbots: Are they Really Useful?.
	\textit{Journal for Language Technology and Computational Linguistics},
	v. 22, n. 1, 2007.
	
	\bibitem{Almeida2018}
	DE ALMEIDA, Karina Isabel Vieira. Desigualdade social e câncer do colo do útero: uma revisão sistemática.
	\textit{Anais do XVI Encontro Nacional de Pesquisadores em Serviço Social},
	v. 16, n. 1, 2018.
	Disponível em: \url{https://periodicos.ufes.br/abepss/article/view/23409}.
	Acesso em: 21 maio 2026.
	
	\bibitem{Arnold2009}
	ARNOLD, Donald M. et al. The design and interpretation of pilot trials in clinical research in critical care.
	\textit{Critical Care Medicine}, v. 37, suppl., p. S69--S74, 2009.
	
	\bibitem{Bailer2011}
	BAILER, Cyntia; TOMITCH, Lêda Maria Braga; D’ELY, Raquel Carolina Souza Ferraz.
	O planejamento como processo dinâmico: a importância do estudo piloto para uma pesquisa experimental em linguística aplicada.
	\textit{Intercâmbio}, v. 24, 2011.
	
	\bibitem{Barbosa2021}
	BARBOSA, Simone Diniz Junqueira et al.
	\textit{Interação humano-computador e experiência do usuário}.
	1. ed. Rio de Janeiro: Simone Diniz Junqueira Barbosa, 2021. E-book.

	\bibitem{Bangor2009}
	BANGOR, Aaron; KORTUM, Philip; MILLER, James.
	Determining what individual SUS scores mean: adding an adjective rating scale.
	\textit{Journal of Usability Studies}, v. 4, n. 3, p. 114--123, 2009.

	\bibitem{Brooke1996}
	BROOKE, John.
	SUS: A ``quick and dirty'' usability scale.
	In: JORDAN, Patrick W.; THOMAS, Bruce; WEERDMEESTER, Bernard A.; MCCLELLAND, Ian L. (ed.).
	\textit{Usability Evaluation in Industry}. London: Taylor \& Francis, 1996. p. 189--194.
	
	\bibitem{BrasilAPS2020}
	BRASIL. O que é Atenção Primária?.
	[S. l.]: [s. d.], 2020.
	Disponível em: \url{https://aps.saude.gov.br/smp/smpoquee}.
	
	\bibitem{BrasilINCA2022}
	BRASIL. Instituto Nacional do Câncer (INCA): Tipos de Câncer.
	Ministério da Saúde. [S. l.], 2022.
	Disponível em: \url{https://www.gov.br/inca/pt-br/assuntos/cancer/tipos/}.
	Acesso em: 3 maio 2026.
	
	\bibitem{BrasilINCA2023}
	BRASIL. Instituto Nacional do Câncer (Inca). Ministério da Saúde.
	\textit{Estimativa 2023: incidência de câncer no Brasil}.
	[S. l.]: [s. d.], 2023.
	Disponível em: \url{https://www.inca.gov.br/sites/ufu.sti.inca.local/files//media/document//estimativa-2023.pdf}.
	Acesso em: 11 mar. 2026.
	
	\bibitem{BrasilINCA2026}
	INSTITUTO NACIONAL DE CÂNCER (INCA).
	\textit{Estimativa 2026: incidência de câncer no Brasil}.
	Rio de Janeiro: INCA, 2026. 168 p.
	ISBN 978-65-88517-52-9.
	
	\bibitem{BrasilResolucao466}
	BRASIL. Resolução n.º 466, de 12 de dezembro de 2012:
	Dispõe sobre diretrizes e normas regulamentadoras de pesquisas envolvendo seres humanos.
	[S. l.]: [s. d.], 2013.
	
	\bibitem{BrasilResolucao510}
	BRASIL. Resolução n.º 510, de 7 de abril de 2016.
	Brasília: Ministério da Saúde, 2016.
	
	\bibitem{Camargo2013}
	CAMARGO, Brigido Vizeu; JUSTO, Ana Maria.
	IRAMUTEQ: um software gratuito para análise de dados textuais.
	\textit{Temas em Psicologia}, Ribeirão Preto, v. 21, n. 2, p. 513--518, dez. 2013.
	Disponível em: \url{http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-389X2013000200016&lng=pt&nrm=iso}.
	Acesso em: 2 set. 2026.
	DOI: \url{https://doi.org/10.9788/TP2013.2-16}.
	
	\bibitem{carvalho2024}
	CARVALHO, Lucas; LEIFHEIT, Bhruno Roan; RIVERO, Luis; NAKAMURA, Walter;
	GUERINO, Guilherme; VALLE, Pedro Henrique Dias; SOUZA, Renato; SILVA, Williamson.
	What Do We Know About Usability Evaluation for Chatbots?: A systematic mapping study.
	In: \textit{Proceedings of the XX Brazilian Symposium on Information Systems (SBSI '24)}.
	Juiz de Fora, Brazil, 2024. ACM, New York, NY, USA.
	DOI: \url{https://doi.org/10.1145/3658271.3658324}.
	
	\bibitem{csikszentmihalyi1975}
	CSIKSZENTMIHALYI, M.; CSIKSZENTMIHALYI, I. S. (org.).
	\textit{Beyond boredom and anxiety: The experience of play in work and games}.
	San Francisco: Jossey-Bass, 1975.
	
	\bibitem{csikszentmihalyi1997}
	CSIKSZENTMIHALYI, M.
	\textit{Finding flow: The psychology of engagement with everyday life}.
	New York: Basic Books, 1997.

	\bibitem{Davis1989}
	DAVIS, Fred D.
	Perceived usefulness, perceived ease of use, and user acceptance of information technology.
	\textit{MIS Quarterly}, v. 13, n. 3, p. 319--340, 1989.
	DOI: \url{https://doi.org/10.2307/249008}.
	
	\bibitem{Gerhardt2009}
	GERHARDT, Margô; MONTAGNER, Graziela.
	\textit{Pesquisa em Ciências Sociais: métodos e técnicas}.
	Porto Alegre: Editora UFRGS, 2009.
	
	\bibitem{INCA2022}
	INCA. Instituto Nacional do Câncer - INCA.
	O que é câncer?.
	[S. l.]: [s. d.], 2026.
	Disponível em: \url{https://www.gov.br/inca/pt-br/assuntos/cancer/o-que-e-cancer/}.
	Acesso em: 4 jun. 2026.
	
	\bibitem{INCA2026}
	INSTITUTO NACIONAL DE CÂNCER (INCA).
	\textit{O que é câncer?}.
	[S. l.], 2026.
	Disponível em: \url{https://www.gov.br/inca/pt-br/assuntos/cancer/o-que-e-cancer/}.
	Acesso em: 4 set. 2026.
	
	\bibitem{ISO9241-210}
	INTERNATIONAL ORGANIZATION FOR STANDARDIZATION.
	\textit{Ergonomics of human-system interaction -- Part 210: Human-centred design for interactive systems}.
	ISO 9241-210:2019. Geneva: ISO, 2019.

	\bibitem{ISO9241-11}
	INTERNATIONAL ORGANIZATION FOR STANDARDIZATION.
	\textit{Ergonomics of human-system interaction -- Part 11: Usability: Definitions and concepts}.
	ISO 9241-11:2018. Geneva: ISO, 2018.
	
	\bibitem{jackson2002}
	JACKSON, S. A.; EKLUND, R. C.
	Assessing flow in physical activity: The Flow State Scale-2 and Dispositional Flow Scale-2.
	\textit{Journal of Sport and Exercise Psychology}, v. 24, n. 2, p. 133--150, 2002.

	\bibitem{Jackson2008}
	JACKSON, Susan A.; MARTIN, Andrew J.; EKLUND, Robert C.
	Long and short measures of flow: the construct validity of the FSS-2, DFS-2, and new brief counterparts.
	\textit{Journal of Sport and Exercise Psychology}, v. 30, n. 5, p. 561--587, 2008.
	DOI: \url{https://doi.org/10.1123/jsep.30.5.561}.

	\bibitem{Lourenco2022}
	LOURENÇO, Douglas Fabiano; CARMONA, Elenice Valentim; LOPES, Maria Helena Baena de Moraes.
	Translation and cross-cultural adaptation of the System Usability Scale to Brazilian Portuguese.
	\textit{Aquichan}, v. 22, n. 2, e2228, 2022.
	DOI: \url{https://doi.org/10.5294/aqui.2022.22.2.8}.

	\bibitem{Holmes2019}
	HOLMES, Samuel et al.
	Usability testing of a healthcare chatbot: can we use conventional methods to assess conversational user interfaces?.
	In: \textit{Proceedings of the 31st European Conference on Cognitive Ergonomics}.
	New York: ACM, 2019. p. 207--214.
	DOI: \url{https://doi.org/10.1145/3335082.3335094}.
	
	\bibitem{Martins2020}
	MARTINS, I.; LIMA, V. M. R.; AMARAL-ROSA, M. P.; MOREIRA, L. J.; RAMOS, M. G.
	Handcrafted and software-assisted procedures for Discursive Textual Analysis: analytical convergences or divergences?.
	In: COSTA, A. P.; REIS, L. P.; MOREIRA, A. (Org.).
	\textit{Computer Supported Qualitative Research}.
	Cham: Springer Nature Switzerland, 2020. v. 1068, p. 189--205.
	
	\bibitem{Martins2026}
	MARTINS, R. M. G.; ALVES, D. A.; ALVES, S. A. A.; MARTINS, F. J. G.;
	LIMA, L. G. A.; PEREIRA, M. L. D.
	Desenvolvimento e validação de chatbot para abordagem de lesões da hanseníase.
	\textit{Ciência \& Saúde Coletiva}, v. 31, n. 5, e01402026, 2026.
	DOI: \url{https://doi.org/10.1590/1413-81232026315.01402026}.
	
	\bibitem{Nazareth2020}
	NAZARETH, Rodrigo Trisoglino; DE ALMEIDA, José Júlio Gonçalves; BASTOS, Alder Thiago.
	Utilização do WhatsApp e o parecer CFM n.º 14/2017.
	\textit{Revista da Universidade Ibirapuera}, 2020.
	Disponível em: \url{https://www.ibirapuera.br/seer/index.php/rev/article/view/222}.
	Acesso em: 21 maio 2026.
	
	\bibitem{Picolo2024ChatbotPrevencao}
	PICOLO, L.; TOMBINI, G. F.; DOS SANTOS, R. A. A.; DE SOUZA, C.;
	ENZ, L. de G.
	UMA Proposta de Chatbot para Apoio à Conscientização e Prevenção do Câncer do Colo do Útero no Contexto do Sistema de Saúde Pública do Município de Nova Andradina.
	\textit{Encontro Internacional de Gestão, Desenvolvimento e Inovação (EIGEDIN)},
	v. 7, n. 1, maio 2024.
	Disponível em: \url{https://periodicos.ufms.br/index.php/EIGEDIN/article/view/20590}.
	
	\bibitem{Preece2013}
	PREECE, Jennifer; ROGERS, Yvonne; SHARP, Helen.
	\textit{Design de interação: além da interação humano-computador}.
	3. ed. Porto Alegre: Bookman, 2013.
	
	\bibitem{Rama2008}
	RAMA, C. et al.
	Rastreamento anterior para câncer de colo uterino em mulheres com alterações citológicas ou histológicas.
	\textit{Revista de Saúde Pública}, v. 42, n. 3, p. 411--419, 2008.
	Disponível em: \url{http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-89102008000300004&lng=pt&tlng=pt}.
	Acesso em: 11 mar. 2026.
	
	\bibitem{Richardson1999}
	RICHARDSON, Roberto J.
	\textit{Pesquisa social: métodos e técnicas}.
	4. ed. São Paulo: Atlas, 1999.

	\bibitem{SauroLewis2016}
	SAURO, Jeff; LEWIS, James R.
	\textit{Quantifying the user experience: practical statistics for user research}.
	2. ed. Cambridge: Morgan Kaufmann, 2016.
	
	\bibitem{Silva2023}
	SILVA, S. C.; DE CICCO, R.; VLA\v{C}I\'C, B.; ELMASHHARA, M. G.
	Using chatbots in e-retailing: how to mitigate perceived risk and enhance the flow experience.
	\textit{International Journal of Retail \& Distribution Management},
	v. 51, n. 3, p. 285--305, 2023.
	DOI: \url{https://doi.org/10.1108/IJRDM-05-2022-0163}.
	
	\bibitem{Vale2010}
	VALE, Diama Bhadra Andrade Peixoto do et al.
	Avaliação do rastreamento do câncer do colo do útero na Estratégia Saúde da Família no Município de Amparo, São Paulo, Brasil.
	\textit{Cadernos de Saúde Pública}, v. 26, n. 2, p. 383--390, 2010.
	Disponível em: \url{http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-311X2010000200017&lng=pt&tlng=pt}.
	Acesso em: 22 jun. 2026.
	
	\bibitem{Ventura2020}
	VENTURA, Felipe.
	WhatsApp chega a 99\% dos celulares no Brasil; Telegram cresce.
	[S. l.], 2020.
	Disponível em: \url{https://tecnoblog.net/noticias/2020/02/27/whatsapp-chega-a-99-por-cento-celulares-brasil-telegram-cresce/}.
	Acesso em: 4 jun. 2026.

	\bibitem{VenkateshDavis2000}
	VENKATESH, Viswanath; DAVIS, Fred D.
	A theoretical extension of the Technology Acceptance Model: four longitudinal field studies.
	\textit{Management Science}, v. 46, n. 2, p. 186--204, 2000.
	DOI: \url{https://doi.org/10.1287/mnsc.46.2.186.11926}.

	\bibitem{Venkatesh2003}
	VENKATESH, Viswanath; MORRIS, Michael G.; DAVIS, Gordon B.; DAVIS, Fred D.
	User acceptance of information technology: toward a unified view.
	\textit{MIS Quarterly}, v. 27, n. 3, p. 425--478, 2003.
	DOI: \url{https://doi.org/10.2307/30036540}.
	
	\bibitem{Wishbox2017}
	REDAÇÃO WISHBOX.
	Protótipo: Entenda o Que é, Para Que Utilizar e Como Fazer.
	[S. l.], 2017.
	Disponível em: \url{https://www.wishbox.net.br/blog/prototipo/}.
	Acesso em: 4 jun. 2026.
	
	\bibitem{DeneckeMay2022}
	DENECKE, K.; MAY, R.
	Usability Assessment of Conversational Agents in Healthcare: A Literature Review.
	In: \textit{Challenges of Trustable AI and Added-Value on Health}.
	Studies in Health Technology and Informatics, 2022.
	DOI: https://doi.org/10.3233/SHTI220431.
	
	\bibitem{Laranjo2018}
	LARANJO, L. et al.
	Conversational agents in healthcare: a systematic review.
	\textit{Journal of the American Medical Informatics Association},
	v. 25, n. 9, p. 1248--1258, 2018.
	DOI: https://doi.org/10.1093/jamia/ocy072.

	\bibitem{LeBonniec2025}
	LE BONNIEC, Alice; SAUVAGET, Catherine; LUCAS, Eric; NASSIRI, Abdelhak; SELMOUNI, Farida.
	Design and validation of a chatbot-based cervical cancer screening decision aid for women experiencing socioeconomic disadvantage: user-centered approach study.
	\textit{JMIR Cancer}, v. 11, e70251, 2025.
	DOI: \url{https://doi.org/10.2196/70251}.
	
	\bibitem{Milne2020}
	MILNE, D. et al.
	The Effectiveness of Artificial Intelligence Conversational Agents in Health Care: Systematic Review.
	\textit{Journal of Medical Internet Research}, 2020.
	DOI: https://doi.org/10.2196/20346.
	
	\bibitem{WHO2021}
	WORLD HEALTH ORGANIZATION.
	\textit{Ethics and Governance of Artificial Intelligence for Health: WHO Guidance}.
	Geneva: World Health Organization, 2021.
	ISBN: 978-92-4-002920-0.
	Disponível em: \url{https://www.who.int/publications/i/item/9789240029200}.
	
	\bibitem{Hua2025}
	HUA, Y. et al.
	Standardizing and Scaffolding Health Care AI-Chatbot Evaluation: Systematic Review.
	\textit{JMIR AI}, v. 4, 2025.
	DOI: https://doi.org/10.2196/69006.
	
	\bibitem{ISO9241_2102019}
	INTERNATIONAL ORGANIZATION FOR STANDARDIZATION.
	\textit{ISO 9241-210:2019: Ergonomics of Human-System Interaction -- Part 210: Human-Centred Design for Interactive Systems}.
	Geneva: ISO, 2019.
	Disponível em: \url{https://www.iso.org/standard/77520.html}.
	
	\end{thebibliography}
\end{document}