Artificial Intelligence and Ethics in the University: Ethical evaluation of an embodied conversational agent for student well-being

The mental well-being of the university’s students community is emerging as a crucial issue within the academic context, with a significant increase in symptoms of distress such as stress, anxiety, depression and burnout. This phenomenon, accentuated by academic and social pressures, highlights the need to provide effective and accessible support. However, numerous barriers hinder access to help, including a lack of awareness of available resources, fear of the stigma associated with seeking psychological support, and a preference for alternative solutions. In this scenario, artificial intelligence (AI)-based technologies, such as chatbots and embodied virtual assistants, are becoming innovative tools for offering immediate and personalised support. These systems can provide listening and informative resources, reduce fears of stigmatisation and break down geographical and temporal barriers. At the same time, however, the implementation of such solutions raises important ethical and legal issues, especially in the absence of clear guidelines to ensure their safety, reliability and respect for individual rights. This paper aims to explore the ethical landscape of AI, focusing on the evaluation of an Embodied Conversational Agent (ECA) designed to guide university students towards the figures, services, events and projects best suited to their needs in terms of well-being, inclusion and the promotion of equal opportunities. The project analysis was conducted through the Assessment List for Trustworthy AI (ALTAI) developed by the European Commission, with the aim of verifying compliance with the fundamental principles of transparency, fairness, safety and accountability. The results of the study highlight how the adoption of this list represents a valid starting point for designers and planners for the ethical evaluation of AI systems. Despite this, limitations of the ALTAI list also emerge, including the generality of some questions and the lack of specific guidelines for dealing with complex and contextualised scenarios. These shortcomings underscore the need to supplement the analysis with multidisciplinary expertise, involving experts in the technological, ethical, legal and psychological fields. Only through a collaborative and interdisciplinary approach can we ensure that AI tools are designed and implemented in a way that is safe, respectful of human rights and truly effective in meeting people’s needs.

Il benessere mentale della comunità studentesca universitaria sta emergendo come una questione cruciale all’interno del contesto accademico, con un incremento significativo dei sintomi di disagio quali stress, ansia, depressione e burnout. Questo fenomeno, accentuato dalle pressioni accademiche e sociali, evidenzia la necessità di fornire supporti efficaci e accessibili. Tuttavia, numerose barriere ostacolano l’accesso all’aiuto, tra cui la scarsa conoscenza delle risorse disponibili, il timore della stigmatizzazione associata alla richiesta di supporto psicologico e la preferenza per soluzioni alternative. In questo scenario, le tecnologie basate sull’intelligenza artificiale (IA), come i chatbot e gli assistenti virtuali incarnati, stanno diventando strumenti innovativi per offrire un supporto immediato e personalizzato. Questi sistemi possono fornire ascolto e risorse informative, riducendo i timori legati alla stigmatizzazione e abbattendo le barriere geografiche e temporali, ma allo stesso tempo l’implementazione di tali soluzioni solleva importanti questioni etiche e giuridiche, specialmente in assenza di linee guida chiare che ne garantiscano la sicurezza, l’affidabilità e il rispetto dei diritti individuali. Il presente lavoro vuole esplorare il panorama etico dell’IA, concentrandosi sulla valutazione di un Embodied Conversational Agent (ECA) progettato per orientare gli studenti e le studentesse delle università verso le figure, i servizi, gli eventi e i progetti più adatti alle loro esigenze di benessere, inclusione e promozione delle pari opportunità. L’analisi del progetto è stata condotta attraverso la lista di valutazione per l’IA affidabile (ALTAI), elaborata dalla Commissione Europea, con l’obiettivo di verificare il rispetto dei principi fondamentali di trasparenza, equità, sicurezza e responsabilità. I risultati dello studio evidenziano come l’adozione di questa lista rappresenti un valido punto di partenza per designer e progettisti per la valutazione etica dei sistemi di IA. Nonostante questo, emergono anche delle limitazioni della lista ALTAI, tra cui la genericità di alcune domande e la mancanza di indicazioni specifiche per affrontare scenari complessi e contestualizzati. Tali carenze sottolineano la necessità di integrare l’analisi con competenze multidisciplinari, coinvolgendo figure esperte in ambito tecnologico, etico, giuridico e psicologico. È solo attraverso un approccio collaborativo e interdisciplinare che è possibile garantire che gli strumenti di IA siano progettati e implementati in modo sicuro, rispettoso dei diritti umani e realmente efficace nel rispondere alle esigenze delle persone.