diff --git a/artigo.tex b/artigo.tex index f99611a..d9929c9 100644 --- a/artigo.tex +++ b/artigo.tex @@ -66,7 +66,7 @@ Entre os tipos de câncer que afetam as mulheres, destaca-se o câncer do colo d No município de Nova Andradina, localizado na região leste de Mato Grosso do Sul, o rastreamento do câncer do colo do útero é realizado principalmente no âmbito da Estratégia Saúde da Família (ESF). Essa estratégia busca reorganizar a assistência à saúde, articulando ações de prevenção, promoção e acompanhamento da população \cite{BrasilAPS2020}. Além disso, a atenção primária constitui um espaço relevante para a organização das ações de rastreamento e para a ampliação do acesso à informação sobre prevenção e cuidados em saúde \cite{Vale2010}. -Contudo, de acordo com Almeida \cite{Almeida2018}, o câncer de colo de útero afeta principalmente os grupos socioeconômicos mais baixos, e questões sociais influenciam no adoecimento e no acesso ao tratamento oncológico. Diante dessa realidade, foi necessário buscar um meio de comunicação que fosse comum e abrangesse a maioria das pacientes, independentemente de seu nível socioeconômico ou nível de educação. +Contudo, de acordo com Almeida \cite{Almeida2018}, o câncer do colo do útero afeta principalmente grupos socioeconômicos mais vulneráveis, e fatores sociais influenciam o adoecimento e o acesso ao tratamento oncológico. Diante dessa realidade, buscou-se um meio de comunicação amplamente utilizado, capaz de alcançar a maioria das pacientes, independentemente do nível socioeconômico ou de escolaridade. Neste contexto, o WhatsApp se destaca como o aplicativo de comunicação mais utilizado. Está presente em 99\% dos smartphones dos brasileiros, sendo que 93\% utilizam o aplicativo diariamente. Dos brasileiros, 90\% utilizam o aplicativo para enviar mensagens de texto, e 81\% se comunicam por áudio \cite{Ventura2020}. Na área médica, a utilização do WhatsApp como ferramenta para fortalecer a relação entre profissional de saúde e paciente tem sido positiva, em conformidade com o Parecer CFM Nº 14/2017, abrangendo uma ampla gama de aspectos \cite{Nazareth2020}. @@ -76,7 +76,7 @@ Assim, com base nos conceitos e no problema apresentado, foi desenvolvido um pro Sua função é automatizar a comunicação entre os profissionais da saúde e as pacientes, atuando principalmente no lembrete, agendamento e reagendamento do exame preventivo, além de fornecer informações básicas sobre os problemas e conceitos relacionados ao câncer do colo do útero. -O protótipo, concebido como uma representação preliminar do sistema para fins de prova de conceito, foi submetido a uma avaliação centrada no usuário, considerando a experiência das usuárias durante a interação com a solução. Segundo Preece \citeonline{Preece2013}, essa etapa analisar aspectos relacionados à usabilidade, facilidade de interação, compreensão das funcionalidades, satisfação e adequação do sistema às necessidades das usuárias e ao contexto de utilização \cite{Preece2013}. A avaliação deve envolver a participação de usuários representativos do público-alvo, que poderão executar tarefas previamente definidas utilizando o protótipo, possibilitando a coleta de dados quantitativos e qualitativos sobre sua experiência de uso \cite{Barbosa2021}. Conforme os princípios de projeto centrado no ser humano estabelecidos pela ISO 9241-210, o feedback dos usuários constitui uma fonte fundamental para identificar limitações e oportunidades de melhoria, permitindo que as soluções sejam progressivamente refinadas a partir de avaliações realizadas em contextos representativos de uso \cite{ISO9241-210}. Dessa forma, os resultados obtidos na avaliação da experiência do usuário poderão subsidiar novas iterações do protótipo, contribuindo para o aprimoramento de suas funcionalidades e para a redução de incertezas relacionadas à usabilidade, aos requisitos e à adequação da solução antes de uma eventual implantação. +O protótipo, concebido como uma representação preliminar do sistema para fins de prova de conceito, foi submetido a uma avaliação centrada no usuário, considerando a experiência das usuárias durante a interação com a solução. Segundo Preece \cite{Preece2013}, essa etapa permite analisar aspectos relacionados à usabilidade, à facilidade de interação, à compreensão das funcionalidades, à satisfação e à adequação do sistema às necessidades das usuárias e ao contexto de utilização. A avaliação deve envolver usuários representativos do público-alvo, que executem tarefas previamente definidas com o protótipo, possibilitando a coleta de dados quantitativos e qualitativos sobre a experiência de uso \cite{Barbosa2021}. Conforme os princípios de projeto centrado no ser humano estabelecidos pela ISO 9241-210, o feedback dos usuários é fundamental para identificar limitações e oportunidades de melhoria, permitindo o refinamento progressivo das soluções a partir de avaliações realizadas em contextos representativos de uso \cite{ISO9241-210}. Dessa forma, os resultados obtidos na avaliação da experiência do usuário podem subsidiar novas iterações do protótipo, contribuindo para o aprimoramento de suas funcionalidades e para a redução de incertezas relacionadas à usabilidade, aos requisitos e à adequação da solução antes de uma eventual implantação. Portanto, a proposta deste trabalho foi a avaliação do protótipo já desenvolvido. A avaliação da experiência do usuário constitui uma etapa importante para analisar a usabilidade, a aceitação e a percepção dos usuários em relação a sistemas interativos, sendo especialmente relevante em aplicações na área da Saúde \cite{Arnold2009}. Diante desse contexto, estabelece-se a seguinte pergunta de pesquisa: como as usuárias avaliam a usabilidade, a aceitação e a experiência de fluxo durante a interação com o protótipo de chatbot Liz, desenvolvido para apoiar a comunicação e fornecer informações relacionadas à prevenção do câncer do colo do útero? @@ -84,7 +84,7 @@ A hipótese deste trabalho é que o protótipo Liz apresentará resultados posit \section{Fundamentação Teórica} -Nesta seção serão apresentados as ferramentas de mensuração quantitativa e qualitativa utilizadas para a avaliação do chatbot. +Nesta seção, são apresentadas as ferramentas de mensuração quantitativa e qualitativa utilizadas para avaliar o chatbot. \subsection{Usabilidade e experiência do usuário} @@ -114,7 +114,7 @@ A \textit{Flow State Scale-2} (FSS-2), desenvolvida por Jackson e Eklund \cite{j \subsection{Articulação entre usabilidade, aceitação e fluxo} -Usabilidade, aceitação e fluxo descrevem, como apontado anteriormente, são dimensões distintas e complementares da interação. A usabilidade indica se as participantes conseguem realizar as tarefas com eficácia, eficiência e satisfação e como percebem a facilidade global do sistema \cite{ISO9241-11}. A aceitação examina se reconhecem utilidade na solução, se consideram seu uso pouco oneroso e se demonstram intenção de utilizá-la \cite{Davis1989}. Já o fluxo acrescenta a dimensão experiencial, avaliando concentração, controle, clareza e envolvimento durante a atividade \cite{jackson2002}. +Usabilidade, aceitação e fluxo são dimensões distintas e complementares da interação. A usabilidade indica se as participantes conseguem realizar as tarefas com eficácia, eficiência e satisfação, além de revelar como percebem a facilidade global do sistema \cite{ISO9241-11}. A aceitação examina se reconhecem utilidade na solução, se consideram seu uso pouco oneroso e se demonstram intenção de utilizá-la \cite{Davis1989}. Já o fluxo acrescenta a dimensão experiencial, avaliando concentração, controle, clareza e envolvimento durante a atividade \cite{jackson2002}. Esses construtos não são equivalentes: um sistema pode ser fácil de usar, mas percebido como pouco útil; pode ser considerado útil, mas produzir uma interação fragmentada; ou pode ser envolvente sem assegurar a conclusão correta da tarefa. Logo, a análise conjunta permite verificar se o chatbot Liz combina qualidade operacional, disposição para adoção e uma experiência de interação satisfatória. A análise qualitativa amplia essa triangulação ao revelar, nas manifestações dos participantes, aspectos do diálogo e do contexto que os escores quantitativos não descrevem isoladamente. @@ -199,11 +199,11 @@ Em conjunto, como pode ser visualizado na Tabela \ref{tab:trabalhos-relacionados \section{Descrição do artefato} -O chatbot Liz foi desenvolvido como um protótipo de apoio à conscientização e à prevenção do câncer do colo do útero no contexto da rede pública de saúde de Nova Andradina. A proposta inicial, descrita por Picolo et al. \cite{Picolo2024ChatbotPrevencao}, foi elaborada a partir de levantamento bibliográfico, requisitos levantados com profissionais da Estratégia Saúde da Família, testes de tecnologias e prototipagem. A revisão bibliográfica específica do autor também identificou o uso de chatbots em ações de informação, prevenção e acompanhamento em saúde \cite{Picolo2022ChatbotSaude}. +O chatbot Liz foi desenvolvido como um protótipo de apoio à conscientização e à prevenção do câncer do colo do útero no contexto da rede pública de saúde de Nova Andradina. A proposta inicial, descrita por Picolo et al. \cite{Picolo2024ChatbotPrevencao}, foi elaborada a partir de levantamento bibliográfico, requisitos identificados com profissionais da Estratégia Saúde da Família, testes de tecnologias e prototipagem. A revisão bibliográfica do autor também identificou o uso de chatbots em ações de informação, prevenção e acompanhamento em saúde \cite{Picolo2022ChatbotSaude}. \subsection{Arquitetura e tecnologias} -O chatbot Liz, em sua versão mais recentes, é organizado em uma aplicação principal Node.js/Express, uma camada de persistência com Sequelize e PostgreSQL e um serviço de integração com o WhatsApp. O projeto também utiliza AdminJS para administração, Redis e Node-Resque para enfileiramento assíncrono, RiveScript para a base de diálogos, node-telegram-bot-api para o Telegram e node-schedule para as tarefas programadas \cite{ProjetoChatbotSaude}. +O chatbot Liz, em sua versão mais recente, é organizado em uma aplicação principal Node.js/Express, uma camada de persistência com Sequelize e PostgreSQL e um serviço de integração com o WhatsApp. O projeto também utiliza AdminJS para administração, Redis e Node-Resque para enfileiramento assíncrono, RiveScript para a base de diálogos, node-telegram-bot-api para o Telegram e node-schedule para tarefas programadas \cite{ProjetoChatbotSaude}. Na integração com o WhatsApp, o serviço separado utiliza whatsapp-web.js com LocalAuth para manter a sessão autenticada. As mensagens recebidas são encaminhadas por um stream gRPC para o worker do sistema principal; o worker coloca o evento em uma fila Redis, processa a mensagem e devolve a resposta pelo mesmo serviço gRPC. Para o envio, o serviço normaliza o identificador do destinatário para o formato do WhatsApp e chama a API local do cliente conectado. O Telegram segue fluxo semelhante de recepção por webhook/polling e processamento pelo trabalhador. @@ -211,7 +211,7 @@ Os dados de domínio são persistidos principalmente nas entidades Paciente, Esf \subsection{Abordagem conversacional} -O protótipo é predominantemente baseada em regras. A biblioteca RiveScript carrega arquivos \textbf{.rive} com tópicos, padrões de entrada, respostas, variáveis de contexto e chamadas para funções JavaScript. O processamento não corresponde ao treinamento de um modelo de aprendizado profundo: as mensagens são normalizadas, comparadas às regras e encaminhadas para funções de negócio que consultam ou alteram o banco de dados. A base conversacional pode ser inspecionada nos tópicos de cadastro, boas-vindas, menus, informações, agendamento, finalização e avaliação, enquanto as operações de persistência ficam encapsuladas no modelo ChatBot \cite{Picolo2022ChatbotSaude,Picolo2024ChatbotPrevencao}. +O protótipo é predominantemente baseado em regras. A biblioteca RiveScript carrega arquivos \textbf{.rive} com tópicos, padrões de entrada, respostas, variáveis de contexto e chamadas para funções JavaScript. O processamento não corresponde ao treinamento de um modelo de aprendizado profundo: as mensagens são normalizadas, comparadas às regras e encaminhadas para funções de negócio que consultam ou alteram o banco de dados. A base conversacional pode ser inspecionada nos tópicos de cadastro, boas-vindas, menus, informações, agendamento, finalização e avaliação, enquanto as operações de persistência ficam encapsuladas no modelo ChatBot \cite{Picolo2022ChatbotSaude,Picolo2024ChatbotPrevencao}. \subsection{Fluxos e funcionalidades} @@ -233,7 +233,7 @@ Na camada de comunicação, o serviço do WhatsApp informa quando o cliente aind A Resolução nº 466/2012 do Conselho Nacional de Saúde (CNS) \cite{BrasilResolucao466} estabelece que todo projeto de pesquisa envolvendo seres humanos deve seguir as diretrizes nela previstas. No entanto, conforme o Artigo 1º, parágrafo único, da Resolução nº 510, de 7 de abril de 2016 \cite{BrasilResolucao510}, certas atividades não precisam ser registradas nem avaliadas pelo sistema CEP/CONEP, como é o caso de pesquisas de opinião pública com participantes não identificados. -Neste estudo, essa situação é descrita na seção referente ao percurso metodológico, especificamente na etapa 3 — aplicação do teste. Nessa fase, não houve identificação dos respondentes, tampouco coleta de dados que pudessem associar respostas a pessoas específicas, garantindo assim a privacidade e o sigilo dos participantes e proporcionando um ambiente de segurança e confidencialidade. Ainda assim, em conformidade com o item II.3 da referida normativa, foi assegurada assistência aos participantes durante todo o processo, mesmo com o anonimato mantido. +Neste estudo, essa situação é descrita na seção sobre o percurso metodológico, especificamente na etapa 3 — aplicação do teste. Nessa fase, não houve identificação dos respondentes nem coleta de dados que permitissem associar as respostas a pessoas específicas, assegurando a privacidade e o sigilo dos participantes. Ainda assim, em conformidade com o item II.3 da referida normativa, foi assegurada assistência aos participantes durante todo o processo, mesmo com a manutenção do anonimato. A Resolução nº 466/2012 também destaca, em seu item II.23, que o respeito à dignidade humana exige a obtenção do consentimento livre e informado dos participantes. Essa etapa está detalhada no percurso metodológico: os participantes foram devidamente informados sobre os objetivos do estudo e cientes de que sua participação seria voluntária. Para isso, foi utilizado o Termo de Consentimento Livre e Esclarecido (TCLE) antes do preenchimento do formulário, garantindo que o participante tivesse conhecimento completo sobre a pesquisa antes de iniciar sua participação. @@ -241,7 +241,7 @@ Por fim, cabe ressaltar que, em conformidade com a Resolução nº 466/2012 \cit \subsection{Tipo da Pesquisa} -O estudo adotou uma abordagem de caráter quantitativo, utilizando procedimentos de quantificação tanto na etapa de coleta das informações quanto na análise dos dados por meio de técnicas estatísticas \cite{Richardson1999} e qualitativa buscando a compreensão detalhada dos significados e características situacionais apresentados \cite{Richardson1999}. +O estudo adotou uma abordagem quanti-qualitativa. A dimensão quantitativa utilizou procedimentos de quantificação na coleta das informações e na análise dos dados por meio de técnicas estatísticas \cite{Richardson1999}; a dimensão qualitativa buscou compreender detalhadamente os significados e as características situacionais apresentadas \cite{Richardson1999}. A pesquisa teve natureza aplicada, buscando produzir conhecimentos voltados à utilização prática, orientados para a solução de problemas específicos. Quanto aos objetivos, foi classificada como exploratória, por procurar ampliar a compreensão sobre o problema e torná-lo mais claro. Como procedimento metodológico, empregou-se o levantamento, com a intenção de reunir dados organizados que possibilitassem uma análise mais aprofundada \cite{Gerhardt2009}. @@ -261,11 +261,11 @@ A avaliação do chatbot seguiu a estrutura metodológica proposta por Barbosa e \label{fig:roteiro} \end{figure} -Os dados foram registrados por meio de formulários eletrônicos sendo estes mantidos para análise posterior.\\ +Os dados foram registrados por meio de formulários eletrônicos e mantidos para análise posterior.\\ -\noindent\textbf{4. Interpretação de Dados:} Os dados registrados foram submetidos a um processo de análise seguindo rigorosamente as especificações de cada técnica, onde os avaliadores buscaram atribuir significado aos dados coletados. Para os dados qualitativos foi utilizado o software IRAMUTEQ. Esta etapa focou em identificar rupturas na comunicação e responder às perguntas de pesquisa formuladas no planejamento, podendo incluir análises manuais ou automáticas, dependendo do tipo de dado registrado.\\ +\noindent\textbf{4. Interpretação de Dados:} Os dados registrados foram submetidos à análise, seguindo as especificações de cada técnica. Os avaliadores buscaram atribuir significado aos dados coletados. Para os dados qualitativos, foi utilizado o software IRAMUTEQ. Esta etapa teve como foco identificar rupturas na comunicação e responder às perguntas de pesquisa formuladas no planejamento, podendo incluir análises manuais ou automáticas, conforme o tipo de dado registrado.\\ -\noindent\textbf{5. Consolidação e Relato dos Resultados:} Por fim, os achados individuais foram consolidados em uma análise para identificar recorrências e tendências de problemas que afetam grupos de usuários. As descobertas foram organizadas em um relatório final detalhando os objetivos, o método aplicado, o perfil dos participantes, o sumário dos dados, a lista de problemas identificados e, crucialmente, sugestões fundamentadas de reprojeto da interface e interação +\noindent\textbf{5. Consolidação e Relato dos Resultados:} Por fim, os achados individuais foram consolidados em uma análise para identificar recorrências e tendências de problemas que afetam grupos de usuários. As descobertas foram organizadas em um relatório final que detalha os objetivos, o método aplicado, o perfil dos participantes, o resumo dos dados, a lista de problemas identificados e sugestões fundamentadas para o reprojeto da interface e da interação. \section{Análise dos resultados} @@ -331,7 +331,7 @@ As respostas à questão aberta foram processadas no IRAMUTEQ por meio de nuvem \label{fig:nuvem-palavras} \end{figure} -A análise evidencia as palavras em maior destaque, como \textit{agendamento}, \textit{chatbot}, \textit{mensagem}, \textit{muito}, \textit{achar}, \textit{bem} e \textit{vez}, indicam que os usuários associaram fortemente o uso da ferramenta ao processo de marcar consultas e à comunicação automatizada. Outros termos relevantes, como \textit{cadastro}, \textit{confirmar}, \textit{informação} e \textit{atendimento}, reforçam a percepção de clareza e praticidade na interação. Já palavras como \textit{fácil}, \textit{bom} e \textit{usuário} apontam para uma avaliação positiva da usabilidade, enquanto termos como \textit{erro} e \textit{pessoa} sugerem dificuldades pontuais. Dessa forma, a nuvem de palavras complementa os resultados quantitativos, revelando que o chatbot foi associado a uma experiência prática, clara e predominantemente positiva \cite{Camargo2013}. +A análise evidencia que as palavras de maior destaque, como \textit{agendamento}, \textit{chatbot}, \textit{mensagem}, \textit{muito}, \textit{achar}, \textit{bem} e \textit{vez}, indicam que os usuários associaram fortemente a ferramenta ao processo de marcar consultas e à comunicação automatizada. Outros termos relevantes, como \textit{cadastro}, \textit{confirmar}, \textit{informação} e \textit{atendimento}, reforçam a percepção de clareza e praticidade na interação. Já palavras como \textit{fácil}, \textit{bom} e \textit{usuário} apontam para uma avaliação positiva da usabilidade, enquanto termos como \textit{erro} e \textit{pessoa} sugerem dificuldades pontuais. Dessa forma, a nuvem de palavras complementa os resultados quantitativos, revelando que o chatbot foi associado a uma experiência prática, clara e predominantemente positiva \cite{Camargo2013}. \subsubsection{\textbf{Análise de similitude}} @@ -341,7 +341,7 @@ A análise evidencia as palavras em maior destaque, como \textit{agendamento}, \ \label{fig:similitudes} \end{figure} -A análise de similitude, como vista na Figura \ref{fig:similitudes}, evidencia que o termo \textit{agendamento} ocupa posição central na rede semântica, funcionando como núcleo das interações relatadas pelos participantes. As conexões mais fortes estabelecidas com palavras como \textit{mensagem}, \textit{vez}, \textit{bem} e \textit{achar} indicam que o processo de marcar consultas foi o aspecto mais recorrente e estruturador da experiência de uso do chatbot. Além disso, ramificações secundárias que incluem termos como \textit{erro}, \textit{pessoa} e \textit{fácil} revelam tanto percepções positivas de simplicidade quanto relatos de dificuldades pontuais. A presença de palavras como \textit{cadastro} e \textit{confirmação} reforça a importância dos elementos funcionais da interação, enquanto \textit{ideia} e \textit{problema} apontam para reflexões críticas sobre o uso da ferramenta. Em conjunto, essa análise qualitativa complementa os resultados quantitativos, demonstrando que o chatbot Liz foi fortemente associado ao ato de agendar exames, mas também trouxe à tona nuances ligadas à clareza das mensagens, à facilidade de uso e às limitações percebidas pelos usuários. +A análise de similitude, apresentada na Figura \ref{fig:similitudes}, evidencia que o termo \textit{agendamento} ocupa posição central na rede semântica, funcionando como núcleo das interações relatadas pelos participantes. As conexões mais fortes com palavras como \textit{mensagem}, \textit{vez}, \textit{bem} e \textit{achar} indicam que o processo de marcar consultas foi o aspecto mais recorrente e estruturador da experiência de uso do chatbot. Além disso, ramificações secundárias que incluem termos como \textit{erro}, \textit{pessoa} e \textit{fácil} revelam tanto percepções positivas de simplicidade quanto relatos de dificuldades pontuais. A presença de palavras como \textit{cadastro} e \textit{confirmação} reforça a importância dos elementos funcionais da interação, enquanto \textit{ideia} e \textit{problema} apontam para reflexões críticas sobre o uso da ferramenta. Em conjunto, essa análise qualitativa complementa os resultados quantitativos, demonstrando que o chatbot Liz foi fortemente associado ao ato de agendar exames, mas também trouxe à tona nuances ligadas à clareza das mensagens, à facilidade de uso e às limitações percebidas pelos usuários. \subsubsection{\textbf{Análise Fatorial de Correspondência}}