Atualizado
This commit is contained in:
+69
-71
@@ -9,6 +9,7 @@
|
||||
\usepackage{graphicx}
|
||||
\usepackage{textcomp}
|
||||
\usepackage{xcolor}
|
||||
\usepackage{array}
|
||||
\usepackage{fancyhdr}
|
||||
\def\BibTeX{{\rm B\kern-.05em{\sc i\kern-.025em b}\kern-.08em
|
||||
T\kern-.1667em\lower.7ex\hbox{E}\kern-.125emX}}
|
||||
@@ -50,7 +51,7 @@
|
||||
\fancyhf{}
|
||||
\fancyfoot[LE, LO]{ReCiC- Revista de Ciência de Computação ISSN:XXXX}
|
||||
\begin{abstract}
|
||||
\textbf{Objetivo:} avaliar a usabilidade, a aceitação e a experiência de fluxo durante a interação com o protótipo de chatbot Liz, desenvolvido para apoiar a prevenção do câncer do colo do útero. \textbf{Metodologia:} foi realizado estudo quanti-qualitativo com 58 participantes, com idades entre 18 e 64 anos, que utilizaram o chatbot e responderam à System Usability Scale (SUS), ao Technology Acceptance Model (TAM), à Flow State Scale -- versão curta (FSS-short) e a uma questão aberta. Os dados foram analisados por escores dos instrumentos e por análise lexical no IRAMUTEQ, incluindo nuvem de palavras, análise de similitude e Análise Fatorial de Correspondência. \textbf{Resultados:} o escore SUS reportado foi 75,5 pontos. O TAM indicou percepções favoráveis de utilidade, facilidade e intenção de uso, e a FSS-short apontou envolvimento na interação. Na análise textual, \textit{agendamento} foi o termo central, associado a facilidade, clareza e funcionalidade, embora também tenham emergido dificuldades pontuais relacionadas à digitação, respostas e erros. \textbf{Conclusão:} os achados sustentam uma avaliação inicial positiva do chatbot. A principal contribuição é uma abordagem integrada que combina medidas padronizadas e percepções textuais para orientar o reprojeto de interfaces conversacionais em saúde, sem permitir concluir, nesta etapa, efeitos sobre adesão ao exame.
|
||||
O objetivo deste estudo foi avaliar a usabilidade, a aceitação e a experiência de fluxo durante a interação com o protótipo do chatbot Liz, desenvolvido para apoiar a prevenção do câncer do colo do útero. Para isso, foi realizado um estudo de abordagem quanti-qualitativa com 58 participantes, com idades entre 18 e 64 anos, que interagiram com o chatbot e avaliaram sua usabilidade, aceitação tecnológica e experiência de fluxo por meio de instrumentos padronizados (System Usability Scale (SUS), Technology Acceptance Model (TAM) e versão curta da Flow State Scale (FSS-short)), além de responderem a uma questão aberta sobre a experiência de interação. Os dados foram analisados por meio dos escores dos instrumentos e de análise lexical no IRAMUTEQ, incluindo nuvem de palavras, análise de similitude e Análise Fatorial de Correspondência. Em relação à usabilidade, o escore da SUS foi de 75,5 pontos. Complementarmente, os resultados do TAM indicaram percepções favoráveis quanto à utilidade, à facilidade de uso e à intenção de uso do chatbot, enquanto a FSS-short evidenciou envolvimento dos participantes durante a interação. Esses resultados quantitativos foram complementados pela análise textual das respostas abertas, na qual o termo *agendamento* ocupou posição central, associado a aspectos como facilidade, clareza e funcionalidade. Apesar dessas percepções positivas, também foram identificadas dificuldades pontuais relacionadas à digitação, às respostas do chatbot e à ocorrência de erros. Em conjunto, os achados indicam uma avaliação inicial positiva do chatbot Liz. A principal contribuição do estudo consiste na integração de medidas padronizadas de avaliação com as percepções expressas pelos participantes, oferecendo subsídios para o aprimoramento de interfaces conversacionais em saúde. Contudo, os resultados não permitem inferir, nesta etapa, efeitos sobre a adesão ao exame preventivo.
|
||||
\end{abstract}
|
||||
|
||||
\begin{IEEEkeywords}
|
||||
@@ -59,9 +60,9 @@ Agentes conversacionais, Usabilidade, Experiência do usuário, Saúde digital,
|
||||
|
||||
\section{Introdução}
|
||||
|
||||
O câncer é um importante problema de saúde pública, caracterizado pelo crescimento desordenado de células que podem invadir tecidos adjacentes ou outros órgãos. No Brasil, estima-se a ocorrência de aproximadamente 781 mil casos novos de câncer para cada ano do triênio 2026--2028, considerando todas as localizações tumorais, incluindo o câncer de pele não melanoma \cite{INCA2026,BrasilINCA2026}.
|
||||
O câncer é um importante problema de saúde pública e ocorre quando as células do corpo crescem de forma descontrolada, podendo atingir tecidos próximos ou outros órgãos. No Brasil, estima-se que sejam registrados cerca de 781 mil novos casos de câncer por ano no triênio 2026–2028, considerando todos os tipos da doença \cite{INCA2026,BrasilINCA2026}.
|
||||
|
||||
Entre os tipos de câncer que acometem a população feminina, destaca-se o câncer do colo do útero, associado à infecção persistente por determinados tipos do papilomavírus humano (HPV). Embora a infecção seja frequente e, na maioria dos casos, regrida espontaneamente, algumas alterações celulares podem evoluir para lesões precursoras e, posteriormente, para o câncer. A identificação dessas alterações por meio do rastreamento possibilita a adoção de medidas preventivas e terapêuticas oportunas \cite{INCA2022,BrasilINCA2022,BrasilINCA2023}. Nesse contexto, o exame citopatológico, conhecido como Papanicolau, constitui uma estratégia importante para detectar alterações cervicais e prevenir a progressão da doença \cite{Rama2008}.
|
||||
Entre os tipos de câncer que afetam as mulheres, destaca-se o câncer do colo do útero, que está relacionado à infecção persistente por alguns tipos do papilomavírus humano (HPV) \cite{BrasilINCA2023}. Essa infecção é comum e, na maioria dos casos, desaparece naturalmente. No entanto, em algumas situações, pode causar alterações nas células que, com o tempo, podem evoluir para lesões que antecedem o câncer e, posteriormente, para a doença. A identificação dessas alterações por meio de exame preventivo permite iniciar medidas de prevenção e tratamento no momento adequado \cite{INCA2022,BrasilINCA2022,BrasilINCA2023}. Nesse sentido, o exame citopatológico, conhecido como Papanicolau, é importante para identificar alterações nas células do colo do útero e evitar que a doença se desenvolva \cite{Rama2008}.
|
||||
|
||||
No município de Nova Andradina, localizado na região leste de Mato Grosso do Sul, o rastreamento do câncer do colo do útero é realizado principalmente no âmbito da Estratégia Saúde da Família (ESF). Essa estratégia busca reorganizar a assistência à saúde, articulando ações de prevenção, promoção e acompanhamento da população \cite{BrasilAPS2020}. Além disso, a atenção primária constitui um espaço relevante para a organização das ações de rastreamento e para a ampliação do acesso à informação sobre prevenção e cuidados em saúde \cite{Vale2010}.
|
||||
|
||||
@@ -71,13 +72,11 @@ Neste contexto, o WhatsApp se destaca como o aplicativo de comunicação mais ut
|
||||
|
||||
Nesse cenário, os chatbots, também denominados agentes conversacionais, apresentam potencial para apoiar a disseminação de informações sobre saúde e facilitar o esclarecimento de dúvidas relacionadas à prevenção. Entretanto, a utilização deste tipo de tecnologia na saúde exige avaliações que considerem não apenas seu funcionamento técnico, mas também a qualidade da interação, a usabilidade e a percepção dos usuários \cite{DeneckeMay2022,Laranjo2018,Milne2020}. Na perspectiva da Interação Humano-Computador (IHC), torna-se fundamental investigar como os usuários percebem a utilidade, a facilidade de uso, a clareza, a satisfação e a confiabilidade da interação com esses sistemas. Assim, a avaliação deve considerar tanto aspectos pragmáticos, como a facilidade de encontrar e compreender informações, quanto aspectos subjetivos, como a satisfação durante a interação \cite{ISO9241_2102019,DeneckeMay2022}.
|
||||
|
||||
Todavia, os recursos humanos sempre são limitados e a comunicação, quando feita diretamente por uma pessoa, pode sofrer interferências, prolongando, atrasando ou até mesmo anulando a efetividade da comunicação entre profissional de saúde e paciente. Dessa forma, uma das alternativas para reduzir esses erros e viabilizar o acompanhamento médico das pacientes é o uso de Tecnologias da Informação e Comunicação (TIC), especialmente por meio de técnicas de Inteligência Artificial, como os chatbots. Os chatbots são programas de computador que interagem com os usuários usando linguagem natural, podendo ser por texto ou voz. Essa tecnologia teve início na década de 1960, com o objetivo de simular a conversa humana. No entanto, com o avanço no desenvolvimento de chatbots, arquiteturas e capacidades computacionais, seu uso se expandiu consideravelmente \cite{AbuShawar2007}. Para compreender a entrada do usuário e fornecer uma resposta relevante, os chatbots utilizam Inteligência Artificial (IA) e técnicas de Aprendizado Profundo (Deep Learning).
|
||||
|
||||
Assim, com base nos conceitos e no problema apresentado, foi desenvolvido um protótipo de chatbot chamado Liz \cite{Picolo2024ChatbotPrevencao}, como forma de avaliação inicial da proposta. Essa iniciativa contou com a parceria entre o Instituto Federal de Mato Grosso do Sul, campus de Nova Andradina (IFMS/NA), a Prefeitura de Nova Andradina (PMNA) e o apoio da Fundação de Apoio ao Desenvolvimento do Ensino, Ciência e Tecnologia do Estado de Mato Grosso do Sul (FUNDECT - PICTEC 1 - 02/2021).
|
||||
|
||||
Sua função é automatizar a comunicação entre os profissionais da saúde e as pacientes, atuando principalmente no lembrete, agendamento e reagendamento do exame preventivo, além de fornecer informações básicas sobre os problemas e conceitos relacionados ao câncer do colo do útero.
|
||||
|
||||
O protótipo, concebido como uma representação preliminar do sistema para fins de prova de conceito, deve ser submetido a uma avaliação centrada no usuário, considerando a experiência das usuárias durante a interação com a solução. Essa etapa deverá permitir analisar aspectos relacionados à usabilidade, facilidade de interação, compreensão das funcionalidades, satisfação e adequação do sistema às necessidades das usuárias e ao contexto de utilização \cite{Preece2013}. A avaliação deverá envolver a participação de usuários representativos do público-alvo, que poderão executar tarefas previamente definidas utilizando o protótipo, possibilitando a coleta de dados quantitativos e qualitativos sobre sua experiência de uso \cite{Barbosa2021}. Conforme os princípios de projeto centrado no ser humano estabelecidos pela ISO 9241-210, o feedback dos usuários constitui uma fonte fundamental para identificar limitações e oportunidades de melhoria, permitindo que as soluções sejam progressivamente refinadas a partir de avaliações realizadas em contextos representativos de uso \cite{ISO9241-210}. Dessa forma, os resultados obtidos na avaliação da experiência do usuário poderão subsidiar novas iterações do protótipo, contribuindo para o aprimoramento de suas funcionalidades e para a redução de incertezas relacionadas à usabilidade, aos requisitos e à adequação da solução antes de uma eventual implantação.
|
||||
O protótipo, concebido como uma representação preliminar do sistema para fins de prova de conceito, foi submetido a uma avaliação centrada no usuário, considerando a experiência das usuárias durante a interação com a solução. Segundo Preece \citeonline{Preece2013}, essa etapa analisar aspectos relacionados à usabilidade, facilidade de interação, compreensão das funcionalidades, satisfação e adequação do sistema às necessidades das usuárias e ao contexto de utilização \cite{Preece2013}. A avaliação deve envolver a participação de usuários representativos do público-alvo, que poderão executar tarefas previamente definidas utilizando o protótipo, possibilitando a coleta de dados quantitativos e qualitativos sobre sua experiência de uso \cite{Barbosa2021}. Conforme os princípios de projeto centrado no ser humano estabelecidos pela ISO 9241-210, o feedback dos usuários constitui uma fonte fundamental para identificar limitações e oportunidades de melhoria, permitindo que as soluções sejam progressivamente refinadas a partir de avaliações realizadas em contextos representativos de uso \cite{ISO9241-210}. Dessa forma, os resultados obtidos na avaliação da experiência do usuário poderão subsidiar novas iterações do protótipo, contribuindo para o aprimoramento de suas funcionalidades e para a redução de incertezas relacionadas à usabilidade, aos requisitos e à adequação da solução antes de uma eventual implantação.
|
||||
|
||||
Portanto, a proposta deste trabalho foi a avaliação do protótipo já desenvolvido. A avaliação da experiência do usuário constitui uma etapa importante para analisar a usabilidade, a aceitação e a percepção dos usuários em relação a sistemas interativos, sendo especialmente relevante em aplicações na área da Saúde \cite{Arnold2009}. Diante desse contexto, estabelece-se a seguinte pergunta de pesquisa: como as usuárias avaliam a usabilidade, a aceitação e a experiência de fluxo durante a interação com o protótipo de chatbot Liz, desenvolvido para apoiar a comunicação e fornecer informações relacionadas à prevenção do câncer do colo do útero?
|
||||
|
||||
@@ -85,6 +84,8 @@ A hipótese deste trabalho é que o protótipo Liz apresentará resultados posit
|
||||
|
||||
\section{Fundamentação Teórica}
|
||||
|
||||
Nesta seção serão apresentados as ferramentas de mensuração quantitativa e qualitativa utilizadas para a avaliação do chatbot.
|
||||
|
||||
\subsection{Usabilidade e experiência do usuário}
|
||||
|
||||
A ISO 9241-11 define usabilidade como o grau em que um sistema, produto ou serviço pode ser utilizado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto de uso determinado \cite{ISO9241-11}. A eficácia diz respeito à exatidão e à completude com que os objetivos são alcançados; a eficiência relaciona os resultados obtidos aos recursos empregados; e a satisfação corresponde às respostas físicas, cognitivas e emocionais decorrentes do uso. A usabilidade, portanto, não constitui uma propriedade absoluta da tecnologia, pois depende dos usuários, das tarefas, dos objetivos e do ambiente em que a interação ocorre.
|
||||
@@ -113,9 +114,9 @@ A \textit{Flow State Scale-2} (FSS-2), desenvolvida por Jackson e Eklund \cite{j
|
||||
|
||||
\subsection{Articulação entre usabilidade, aceitação e fluxo}
|
||||
|
||||
Usabilidade, aceitação e fluxo descrevem dimensões distintas e complementares da interação. A usabilidade indica se as participantes conseguem realizar as tarefas com eficácia, eficiência e satisfação e como percebem a facilidade global do sistema. A aceitação examina se reconhecem utilidade na solução, se consideram seu uso pouco oneroso e se demonstram intenção de utilizá-la. O fluxo acrescenta a dimensão experiencial, avaliando concentração, controle, clareza e envolvimento durante a atividade.
|
||||
Usabilidade, aceitação e fluxo descrevem, como apontado anteriormente, são dimensões distintas e complementares da interação. A usabilidade indica se as participantes conseguem realizar as tarefas com eficácia, eficiência e satisfação e como percebem a facilidade global do sistema \cite{ISO9241-11}. A aceitação examina se reconhecem utilidade na solução, se consideram seu uso pouco oneroso e se demonstram intenção de utilizá-la \cite{Davis1989}. Já o fluxo acrescenta a dimensão experiencial, avaliando concentração, controle, clareza e envolvimento durante a atividade \cite{jackson2002}.
|
||||
|
||||
Esses construtos não são equivalentes: um sistema pode ser fácil de usar, mas percebido como pouco útil; pode ser considerado útil, mas produzir uma interação fragmentada; ou pode ser envolvente sem assegurar a conclusão correta da tarefa. Sua análise conjunta permite verificar se o chatbot Liz combina qualidade operacional, disposição para adoção e uma experiência de interação satisfatória. A análise qualitativa amplia essa triangulação ao revelar, nas manifestações dos participantes, aspectos do diálogo e do contexto que os escores quantitativos não descrevem isoladamente.
|
||||
Esses construtos não são equivalentes: um sistema pode ser fácil de usar, mas percebido como pouco útil; pode ser considerado útil, mas produzir uma interação fragmentada; ou pode ser envolvente sem assegurar a conclusão correta da tarefa. Logo, a análise conjunta permite verificar se o chatbot Liz combina qualidade operacional, disposição para adoção e uma experiência de interação satisfatória. A análise qualitativa amplia essa triangulação ao revelar, nas manifestações dos participantes, aspectos do diálogo e do contexto que os escores quantitativos não descrevem isoladamente.
|
||||
|
||||
\subsection{Análise lexical de dados textuais}
|
||||
|
||||
@@ -138,27 +139,63 @@ Silva et al. \cite{Silva2023} investigaram a intenção de uso de chatbots no co
|
||||
Martins et al. \cite{Martins2026} desenvolveram, validaram e avaliaram a usabilidade do chatbot ChatLinoHans para apoiar profissionais de saúde na abordagem de lesões da hanseníase. A validação envolveu profissionais de saúde e Tecnologia da Informação, obtendo IVC global de 0,98, concordância de 85,7\% a 100\% na avaliação da aparência e pontuações de usabilidade entre 77,5 e 100. O IRaMuTeQ foi empregado na construção da base de conhecimento, e não como análise lexical das percepções dos participantes.
|
||||
|
||||
\begin{table*}[t]
|
||||
\centering
|
||||
\caption{Comparação entre estudos relacionados e o presente estudo}
|
||||
\label{tab:trabalhos-relacionados}
|
||||
\scriptsize
|
||||
\begin{tabular}{p{2.5cm} p{2.1cm} p{2.5cm} p{1.6cm} p{5.1cm}}
|
||||
\hline
|
||||
\textbf{Estudo} & \textbf{Objetivo e domínio} & \shortstack{\textbf{Instrumentos/}\\\textbf{procedimentos}} & \textbf{Amostra} & \shortstack{\textbf{Principais resultados}\\\textbf{e posicionamento}} \\
|
||||
\hline
|
||||
Carvalho et al. \cite{carvalho2024} & Mapear avaliações de usabilidade de chatbots & Revisão sistemática; SUS e TAM entre os instrumentos identificados & 27 estudos & Predomínio de questionários e avaliações tardias; fundamenta a necessidade de combinar métodos e avaliar protótipos antes da implantação. \\
|
||||
Holmes et al. \cite{Holmes2019} & Avaliar chatbot de controle de peso em saúde & Observação de tarefas, SUS, UEQ e CUQ & Usuários de chatbot de saúde & Métricas convencionais não cobrem toda a usabilidade conversacional; sustenta a inclusão de percepções qualitativas. \\
|
||||
Le Bonniec et al. \cite{LeBonniec2025} & Apoiar decisão sobre rastreamento do câncer do colo do útero & Entrevistas, grupos focais, testes alfa e beta & Mulheres de 30--65 anos e profissionais; beta: 15 mulheres & Boa aceitação e valor educativo, com problemas pontuais de repetição e terminologia; aproxima-se do domínio deste estudo. \\
|
||||
Silva et al. \cite{Silva2023} & Explicar aceitação e fluxo em chatbot de comércio & TAM ampliado, confiança, risco e SEM & 226 participantes & Confiança associada à intenção de uso e ao fluxo; oferece base para a articulação dos construtos. \\
|
||||
Martins et al. \cite{Martins2026} & Validar chatbot para abordagem da hanseníase & Validação de conteúdo, aparência, usabilidade e IRaMuTeQ & Profissionais de saúde e TI & Evidências satisfatórias de validade e usabilidade; IRaMuTeQ aplicado à base de conhecimento. \\
|
||||
Presente estudo & Avaliar o protótipo Liz para prevenção e agendamento do exame do colo do útero & SUS, TAM, FSS-\textit{short} e análise lexical de pergunta aberta & 58 participantes & Integra escalas padronizadas e percepções lexicais em uma validação inicial do protótipo. \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\centering
|
||||
\caption{Comparação entre estudos relacionados e o presente estudo}
|
||||
\label{tab:trabalhos-relacionados}
|
||||
\scriptsize
|
||||
\begin{tabular}{|
|
||||
>{\raggedright\arraybackslash}m{2.5cm}|
|
||||
>{\raggedright\arraybackslash}m{2.1cm}|
|
||||
>{\raggedright\arraybackslash}m{2.5cm}|
|
||||
>{\raggedright\arraybackslash}m{1.6cm}|
|
||||
>{\raggedright\arraybackslash}m{5.1cm}|}
|
||||
\hline
|
||||
\textbf{Estudo} &
|
||||
\textbf{Objetivo e domínio} &
|
||||
\textbf{Instrumentos} &
|
||||
\textbf{Amostra} &
|
||||
\textbf{Principais resultados e posicionamento} \\
|
||||
\hline
|
||||
Carvalho et al. \cite{carvalho2024} &
|
||||
Mapear avaliações de usabilidade de chatbots &
|
||||
Revisão sistemática; SUS e TAM entre os instrumentos identificados &
|
||||
27 estudos &
|
||||
Predomínio de questionários e avaliações tardias; fundamenta a necessidade de combinar métodos e avaliar protótipos antes da implantação. \\
|
||||
\hline
|
||||
Holmes et al. \cite{Holmes2019} &
|
||||
Avaliar chatbot de controle de peso em saúde &
|
||||
Observação de tarefas, SUS, UEQ e CUQ &
|
||||
Usuários de chatbot de saúde &
|
||||
Métricas convencionais não cobrem toda a usabilidade conversacional; sustenta a inclusão de percepções qualitativas. \\
|
||||
\hline
|
||||
Le Bonniec et al. \cite{LeBonniec2025} &
|
||||
Apoiar decisão sobre rastreamento do câncer do colo do útero &
|
||||
Entrevistas, grupos focais, testes alfa e beta &
|
||||
Mulheres de 30--65 anos e profissionais; beta: 15 mulheres &
|
||||
Boa aceitação e valor educativo, com problemas pontuais de repetição e terminologia; aproxima-se do domínio deste estudo. \\
|
||||
\hline
|
||||
Silva et al. \cite{Silva2023} &
|
||||
Explicar aceitação e fluxo em chatbot de comércio &
|
||||
TAM ampliado, confiança, risco e SEM &
|
||||
226 participantes &
|
||||
Confiança associada à intenção de uso e ao fluxo; oferece base para a articulação dos construtos. \\
|
||||
\hline
|
||||
Martins et al. \cite{Martins2026} &
|
||||
Validar chatbot para abordagem da hanseníase &
|
||||
Validação de conteúdo, aparência, usabilidade e IRaMuTeQ &
|
||||
Profissionais de saúde e TI &
|
||||
Evidências satisfatórias de validade e usabilidade; IRaMuTeQ aplicado à base de conhecimento. \\
|
||||
\hline
|
||||
Presente estudo &
|
||||
Avaliar o protótipo Liz para prevenção e agendamento do exame do colo do útero &
|
||||
SUS, TAM, FSS-\textit{short} e análise lexical de pergunta aberta &
|
||||
58 participantes &
|
||||
Integra escalas padronizadas e percepções lexicais em uma validação inicial do protótipo. \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\end{table*}
|
||||
|
||||
Em conjunto, esses trabalhos mostram que há estudos sobre chatbots de saúde, rastreamento do câncer do colo do útero, SUS, TAM e \textit{flow}, mas eles diferem quanto ao objetivo e ao momento do ciclo de desenvolvimento. A lacuna deste trabalho não é a ausência de avaliações de chatbots em saúde nem a inexistência de estudos com escalas padronizadas. A contribuição está na integração, em um protótipo de apoio à prevenção do câncer do colo do útero, de SUS, TAM e FSS-\textit{short} com análise lexical das percepções registradas em uma pergunta aberta. Como não foram analisados registros de conversa, logs ou transcrições dos diálogos, os resultados qualitativos não devem ser apresentados como análise direta da interação conversacional.
|
||||
|
||||
Quanto ao ciclo de desenvolvimento, o presente estudo situa-se entre a validação do protótipo e a preparação de novas iterações, e não em uma avaliação de impacto ou de efetividade em larga escala. Os achados sobre facilidade de uso, utilidade, intenção de uso, fluxo e percepções lexicais podem retroalimentar o projeto ao orientar a revisão de mensagens, o tratamento de erros, a clareza das opções de agendamento e a priorização de funcionalidades antes de uma implantação mais ampla.
|
||||
Em conjunto, como pode ser visualizado na Tabela \ref{tab:trabalhos-relacionados}, os trabalhos relacionados evidenciam avanços na avaliação da usabilidade, da aceitação e da experiência de uso de chatbots, especialmente no domínio da saúde. Entretanto, também revelam lacunas quanto à integração de diferentes perspectivas de avaliação e à utilização sistemática dos resultados para orientar as etapas iniciais do desenvolvimento. Enquanto parte dos estudos privilegia instrumentos quantitativos padronizados, outros enfatizam processos de validação centrados no usuário, sem necessariamente articular medidas de usabilidade, aceitação, experiência subjetiva e análise das percepções expressas livremente pelos participantes. Além disso, embora existam iniciativas voltadas ao rastreamento do câncer do colo do útero, permanecem oportunidades para investigar, de forma integrada, a experiência de uso de chatbots destinados à prevenção e ao apoio ao agendamento do exame. Nesse contexto, o presente estudo busca contribuir para o preenchimento dessa lacuna ao combinar SUS, TAM e FSS-\textit{short} com análise lexical das respostas a uma pergunta aberta, permitindo examinar diferentes dimensões da interação com o protótipo Liz. Essa abordagem não pretende superar isoladamente as limitações dos estudos anteriores, mas ampliar a compreensão sobre a experiência dos participantes por meio da complementaridade entre medidas estruturadas e percepções textuais. Por se tratar de uma validação inicial, os resultados devem ser interpretados como subsídios para o aprimoramento do protótipo, e não como evidência de efetividade na ampliação do rastreamento. Assim, destaca-se a necessidade de estudos posteriores que investiguem a experiência de uso em contextos reais, a diversidade dos públicos atendidos e os efeitos da ferramenta sobre o acesso e a adesão ao exame preventivo.
|
||||
|
||||
\section{Descrição do artefato}
|
||||
|
||||
@@ -166,17 +203,15 @@ O chatbot Liz foi desenvolvido como um protótipo de apoio à conscientização
|
||||
|
||||
\subsection{Arquitetura e tecnologias}
|
||||
|
||||
O código disponibilizado pelos autores organiza o sistema em uma aplicação principal Node.js/Express, uma camada de persistência com Sequelize e PostgreSQL e um serviço de integração com o WhatsApp. O projeto também utiliza AdminJS para administração, Redis e Node-Resque para enfileiramento assíncrono, RiveScript para a base de diálogos, `node-telegram-bot-api` para o Telegram e `node-schedule` para as tarefas programadas. A execução é preparada para Docker, com variáveis de ambiente para as credenciais e os serviços externos \cite{ProjetoChatbotSaude}.
|
||||
O chatbot Liz, em sua versão mais recentes, é organizado em uma aplicação principal Node.js/Express, uma camada de persistência com Sequelize e PostgreSQL e um serviço de integração com o WhatsApp. O projeto também utiliza AdminJS para administração, Redis e Node-Resque para enfileiramento assíncrono, RiveScript para a base de diálogos, node-telegram-bot-api para o Telegram e node-schedule para as tarefas programadas \cite{ProjetoChatbotSaude}.
|
||||
|
||||
Na integração com o WhatsApp, o serviço separado utiliza `whatsapp-web.js` com `LocalAuth` para manter a sessão autenticada. As mensagens recebidas são encaminhadas por um stream gRPC para o trabalhador do sistema principal; o trabalhador coloca o evento em uma fila Redis, processa a mensagem e devolve a resposta pelo mesmo serviço gRPC. Para o envio, o serviço normaliza o identificador do destinatário para o formato do WhatsApp e chama a API local do cliente conectado. O Telegram segue fluxo semelhante de recepção por webhook/polling e processamento pelo trabalhador.
|
||||
Na integração com o WhatsApp, o serviço separado utiliza whatsapp-web.js com LocalAuth para manter a sessão autenticada. As mensagens recebidas são encaminhadas por um stream gRPC para o worker do sistema principal; o worker coloca o evento em uma fila Redis, processa a mensagem e devolve a resposta pelo mesmo serviço gRPC. Para o envio, o serviço normaliza o identificador do destinatário para o formato do WhatsApp e chama a API local do cliente conectado. O Telegram segue fluxo semelhante de recepção por webhook/polling e processamento pelo trabalhador.
|
||||
|
||||
Os dados de domínio são persistidos principalmente nas entidades `Paciente`, `Esf`, `Agendamento`, `Informacao`, `Avaliacao` e `Usuario`. O cadastro relaciona a paciente ao posto da ESF e ao identificador do canal de mensagens. Os agendamentos armazenam a data e o horário previstos, a data confirmada e o estado de processamento. O serviço de agendamento executa uma rotina periódica, consulta exames próximos e envia lembretes para os identificadores de WhatsApp e Telegram cadastrados.
|
||||
Os dados de domínio são persistidos principalmente nas entidades Paciente, Esf, Agendamento, Informacao, Avaliacao e Usuario. O cadastro relaciona a paciente ao posto da ESF e ao identificador do canal de mensagens. Os agendamentos armazenam a data e o horário previstos, a data confirmada e o estado de processamento. O serviço de agendamento executa uma rotina periódica, consulta exames próximos e envia lembretes para os identificadores de WhatsApp e Telegram cadastrados.
|
||||
|
||||
\subsection{Abordagem conversacional}
|
||||
|
||||
Embora a introdução mencione Inteligência Artificial e \textit{Deep Learning}, a implementação disponibilizada para o protótipo Liz é predominantemente baseada em regras. A biblioteca RiveScript carrega arquivos `.rive` com tópicos, padrões de entrada, respostas, variáveis de contexto e chamadas para funções JavaScript. O processamento não corresponde ao treinamento de um modelo de aprendizado profundo: as mensagens são normalizadas, comparadas às regras e encaminhadas para funções de negócio que consultam ou alteram o banco de dados. Assim, a referência à IA deve ser entendida como enquadramento tecnológico do projeto, e não como evidência de que o protótipo avaliado empregou um modelo treinado de \textit{Deep Learning}.
|
||||
|
||||
Essa caracterização é importante para a reprodutibilidade: a base conversacional pode ser inspecionada nos tópicos de cadastro, boas-vindas, menus, informações, agendamento, finalização e avaliação, enquanto as operações de persistência ficam encapsuladas no modelo `ChatBot`. A revisão do autor descreve o uso de processamento de linguagem natural como possibilidade para chatbots, mas o artefato publicado utiliza principalmente seleção orientada por menus e números \cite{Picolo2022ChatbotSaude,Picolo2024ChatbotPrevencao}.
|
||||
O protótipo é predominantemente baseada em regras. A biblioteca RiveScript carrega arquivos \textbf{.rive} com tópicos, padrões de entrada, respostas, variáveis de contexto e chamadas para funções JavaScript. O processamento não corresponde ao treinamento de um modelo de aprendizado profundo: as mensagens são normalizadas, comparadas às regras e encaminhadas para funções de negócio que consultam ou alteram o banco de dados. A base conversacional pode ser inspecionada nos tópicos de cadastro, boas-vindas, menus, informações, agendamento, finalização e avaliação, enquanto as operações de persistência ficam encapsuladas no modelo ChatBot \cite{Picolo2022ChatbotSaude,Picolo2024ChatbotPrevencao}.
|
||||
|
||||
\subsection{Fluxos e funcionalidades}
|
||||
|
||||
@@ -184,7 +219,7 @@ O fluxo inicial verifica se o identificador do canal já está associado a uma p
|
||||
|
||||
Depois do cadastro, o menu principal oferece quatro caminhos: (1) agendar o exame preventivo; (2) consultar o exame marcado; (3) consultar informações sobre o câncer do colo do útero; e (4) finalizar o atendimento. O agendamento é conduzido por etapas: escolha do dia da semana, confirmação do dia, escolha do intervalo de horário e confirmação do pedido. A consulta recupera a data registrada; o módulo de informações lista temas mantidos no banco e apresenta o conteúdo selecionado; ao final, a paciente pode atribuir uma nota de 0 a 10 ao atendimento.
|
||||
|
||||
Os diagramas de fluxo utilizados no projeto descrevem a navegação por menus e confirmações. Neste artigo, o roteiro de uso apresentado na Figura \ref{fig:roteiro} sintetiza a sequência de cadastro, consulta, agendamento e acesso às informações. A implementação original também disponibiliza diagramas de casos de uso, classes, entidade-relacionamento e fluxo de diálogo no repositório do projeto \cite{ProjetoChatbotSaude}.
|
||||
Neste artigo, o roteiro de uso apresentado na Figura \ref{fig:roteiro} sintetiza a sequência de cadastro, consulta, agendamento e acesso às informações. A implementação original também disponibiliza diagramas de casos de uso, classes, entidade-relacionamento e fluxo de diálogo no repositório do projeto \cite{ProjetoChatbotSaude}.
|
||||
|
||||
\subsection{Tratamento de falhas e entradas não reconhecidas}
|
||||
|
||||
@@ -232,22 +267,6 @@ Os dados foram registrados por meio de formulários eletrônicos sendo estes man
|
||||
|
||||
\noindent\textbf{5. Consolidação e Relato dos Resultados:} Por fim, os achados individuais foram consolidados em uma análise para identificar recorrências e tendências de problemas que afetam grupos de usuários. As descobertas foram organizadas em um relatório final detalhando os objetivos, o método aplicado, o perfil dos participantes, o sumário dos dados, a lista de problemas identificados e, crucialmente, sugestões fundamentadas de reprojeto da interface e interação
|
||||
|
||||
\subsection{Participantes e contexto da coleta}
|
||||
|
||||
Participaram 58 pessoas, com idades entre 18 e 64 anos. O manuscrito informa apenas a faixa etária e não apresenta a distribuição por sexo, escolaridade, familiaridade com smartphones e WhatsApp, vínculo com a atenção primária, forma de recrutamento, local, período ou critérios de inclusão e exclusão. Essas variáveis devem ser acrescentadas para que a amostra possa ser confrontada com a justificativa social do estudo. Também deve ser apresentada, quando disponível, uma análise específica das mulheres na faixa etária de rastreamento; se essa estratificação não tiver sido coletada, a adequação da amostra geral deve ser assumida como limitação e retomada nos trabalhos futuros.
|
||||
|
||||
\subsection{Instrumentos e variáveis}
|
||||
|
||||
Para evitar a alternância entre FEQ, FEC, FSS e FSS-short, este artigo adota exclusivamente a denominação \textit{Flow State Scale -- versão curta} (FSS-short), conforme a versão breve descrita por Jackson, Martin e Eklund \cite{Jackson2008}. O instrumento possui nove itens, correspondentes às nove dimensões do modelo de fluxo, e não sete itens. O SUS foi aplicado em sua versão brasileira validada por Lourenço, Carmona e Lopes \cite{Lourenco2022}; o TAM foi operacionalizado a partir dos construtos originais de Davis \cite{Davis1989}; e a FSS-short foi baseada no trabalho de Jackson, Martin e Eklund \cite{Jackson2008}. Caso os itens tenham sido traduzidos ou adaptados pelos autores, o procedimento de tradução, revisão e pré-teste deve ser documentado.
|
||||
|
||||
Os itens devem ser identificados no material suplementar ou em apêndice. Para o TAM, recomenda-se informar os códigos UP1--UP3 (utilidade percebida), FUP1--FUP3 (facilidade de uso percebida) e IUP1--IUP3 (intenção de uso percebida), além dos nove itens da FSS-short e dos dez itens do SUS. A referência a “Tabela 14” é substituída, portanto, pela tabela de itens do instrumento correspondente, a ser numerada conforme a versão final do artigo.
|
||||
|
||||
\subsection{Procedimentos de análise}
|
||||
|
||||
O escore do SUS deve ser calculado individualmente: para itens ímpares subtrai-se 1 da resposta; para itens pares subtrai-se a resposta de 5; somam-se as dez contribuições e multiplica-se o resultado por 2,5. Só depois se calcula a média dos escores dos participantes, que pode ser interpretada com os referenciais de Bangor, Kortum e Miller \cite{Bangor2009} e Sauro e Lewis \cite{SauroLewis2016}. Para o TAM e a FSS-short, devem ser calculadas as médias dos itens de cada construto/dimensão e sua consistência interna, preferencialmente pelo alfa de Cronbach ou pelo ômega de McDonald, reportando-se o número de respondentes válidos.
|
||||
|
||||
Na análise textual, o corpus foi formado pelas respostas à pergunta aberta. A descrição final deve informar o número de textos e de segmentos de texto, ocorrências, formas e \textit{hapax}, bem como o percentual de aproveitamento. Também deve distinguir formas ativas, utilizadas na interpretação lexical, de formas suplementares, mantidas como apoio ou ilustração, e indicar o tratamento de artigos, pronomes, conjunções, números e demais palavras sem conteúdo semântico. A AFC deve explicitar sua matriz de cruzamento: no presente desenho, ela não deve ser apresentada como se tivesse usado registros de conversa, mas como uma análise das formas lexicais e das categorias/variáveis efetivamente fornecidas ao IRAMUTEQ. Se o corpus permitir, recomenda-se complementar a AFC com a Classificação Hierárquica Descendente (CHD); alternativamente, podem ser usadas como variáveis ilustrativas a faixa etária, o sexo e a escolaridade, desde que essas informações tenham sido coletadas.
|
||||
|
||||
\section{Análise dos resultados}
|
||||
|
||||
O estudo contou com 58 participantes, com idades entre 18 e 64 anos. Embora o chatbot seja direcionado ao agendamento do exame para o público feminino, a análise publicada não apresenta a distribuição por sexo nem resultados separados para mulheres na faixa etária de rastreamento. Assim, os resultados devem ser interpretados como uma validação inicial da experiência de uso, e não como evidência específica de adesão ao rastreamento nessa população. A estratificação por sexo, idade, escolaridade e familiaridade digital deverá ser incorporada em uma etapa posterior, caso os dados tenham sido coletados.
|
||||
@@ -338,27 +357,6 @@ Os eixos fatoriais, que explicam 24,5\% e 17,8\% da variância, respectivamente,
|
||||
|
||||
A integração dos três métodos qualitativos aplicados — nuvem de palavras, análise de similitude e Análise Fatorial de Correspondência (AFC) — evidencia um padrão consistente nas percepções dos participantes sobre o uso do chatbot Liz, compatível com os apresentados por Martins et al. \cite{Martins2026}. A nuvem de palavras destacou a centralidade do termo \textit{agendamento}, acompanhado de palavras como \textit{mensagem}, \textit{vez} e \textit{bem}. A análise de similitude reforçou essa centralidade ao posicionar \textit{agendamento} como núcleo da rede semântica, conectado a termos de funcionalidade e experiência de uso. Complementarmente, a AFC mostrou agrupamentos e contrastes lexicais nas dimensões fatoriais, sem que sua geometria seja interpretada como causalidade. Em conjunto, os métodos associam o chatbot à facilidade de uso e à efetividade no agendamento, embora também revelem dificuldades pontuais.
|
||||
|
||||
\subsection{Problemas identificados e recomendações de reprojeto}
|
||||
|
||||
\begin{table}[htbp]
|
||||
\centering
|
||||
\caption{Problemas e oportunidades de reprojeto identificados na avaliação}
|
||||
\label{tab:reprojeto}
|
||||
\scriptsize
|
||||
\begin{tabular}{p{0.19\columnwidth}p{0.27\columnwidth}p{0.13\columnwidth}p{0.29\columnwidth}}
|
||||
\hline
|
||||
\textbf{Problema} & \textbf{Evidência} & \textbf{Severidade} & \textbf{Recomendação} \\
|
||||
\hline
|
||||
Aprendizagem e inconsistência percebidas & SUS item 6: 29\% de concordância e alta dispersão & Média & Simplificar instruções, explicitar o estado da conversa e oferecer ajuda contextual. \\
|
||||
Digitação e operação & SUS item 8: 20\% de concordância; termos ``digitar'' e ``responder'' na AFC & Média & Reduzir texto livre, ampliar opções numeradas e aceitar variações de entrada. \\
|
||||
Utilidade de uma funcionalidade & TAM UP4: 54\% de concordância & Média & Revisar a função associada ao item, sua explicação e sua relação com o agendamento. \\
|
||||
Entradas não reconhecidas & Termos ``erro'' e ``problema'' na análise lexical & Alta a confirmar & Registrar logs de falha, informar a alternativa disponível e oferecer retorno a um menu seguro. \\
|
||||
\hline
|
||||
\end{tabular}
|
||||
\end{table}
|
||||
|
||||
As severidades são estimativas iniciais baseadas na combinação entre percentuais e evidências lexicais; devem ser confirmadas por análise dos registros de interação e por uma avaliação de impacto e frequência. A inclusão de trechos literais das respostas, codificados como P1, P2 etc., fortalecerá a sustentação empírica desta tabela. Recomenda-se também ampliar a resolução das Figuras 5, 6 e 7 na versão final e conferir sua correspondência com a posição dos termos no plano fatorial.
|
||||
|
||||
\section{Discussão}
|
||||
|
||||
O escore SUS estimado em 75,5 situa o chatbot Liz acima do ponto de referência de 68 utilizado na literatura e na faixa adjetivada como boa por Bangor, Kortum e Miller \cite{Bangor2009}. Essa interpretação é compatível com avaliações de chatbots em saúde que combinam SUS a observação de tarefas e outros instrumentos. Holmes et al. \cite{Holmes2019}, por exemplo, mostraram que o SUS é útil para uma visão global da usabilidade, mas não descreve sozinho aspectos conversacionais como continuidade do diálogo, tratamento de erros e adequação das respostas. No presente estudo, os itens SUS menos favoráveis e os termos ``erro'', ``problema'', ``digitar'' e ``responder'' cumprem justamente essa função complementar. Como os trabalhos utilizam amostras, tarefas e versões de instrumentos distintas, não é adequado estabelecer uma hierarquia direta de escores entre os chatbots; a comparação deve ser interpretada como convergência metodológica.
|
||||
|
||||
Reference in New Issue
Block a user