Doc. XII-bis, N. 218

doc. xii-bis n. 218

ASSEMBLEA PARLAMENTARE DEL CONSIGLIO D'EUROPA

Risoluzione n. 2342

Giustizia tramite algoritmo – il ruolo dell'intelligenza artificiale nei sistemi di polizia e giustizia penale

Trasmessa il 10 novembre 2020

Pag. 2

PARLIAMENTARY ASSEMBLY OF THE COUNCIL OF EUROPE

RESOLUTION 2342 (2020) (1)
Provisional version

Justice by algorithm – the role of artificial intelligence in policing and criminal justice systems

  Parliamentary Assembly,

  1. Artificial intelligence (AI) applications can now be found in many spheres of human activity, from pharmaceutical research to social media, agriculture to on-line shopping, medical diagnosis to finance, and musical composition to criminal justice. They are increasingly powerful and influential, and the public is often unaware of when, where and how they are being used.
  2. The criminal justice system represents one of the key areas of the State's responsibilities, ensuring public order and preventing violations of various fundamental rights by detecting, investigating, prosecuting and punishing criminal offences. It gives the authorities significant intrusive and coercive powers including surveillance, arrest, search and seizure, detention, and the use of physical and even lethal force. It is no accident that international human rights law requires judicial
  (1) Text adopted by the Standing Committee, acting on behalf of the Assembly, on 22 October 2020 (see Doc. 15156, report of the Committee on Legal Affairs and Human Rights, rapporteur: Mr Boriss Cilevics).
  See also Recommendation 2182 (2020).

oversight of all of these powers: effective, independent, impartial scrutiny of the authorities’ exercise of criminal law powers with the potential to interfere profoundly with fundamental human rights. The introduction of non-human elements into decision-making within the criminal justice system may thus create particular risks.
  3. If the public is to accept the use of AI and enjoy the potential benefits that AI can bring, it must have confidence that any risks are being properly managed. If AI is to be introduced with the public's informed consent, as one would expect in a democracy, then effective, proportionate regulation is a necessary condition.
  4. Regulation of AI, whether voluntary self-regulation or mandatory legal regulation, should be based on universally accepted and applicable core ethical principles. The Parliamentary Assembly considers that these principles can be grouped under the following broad headings:
   4.1. transparency, including accessibility and explicability;
   4.2. justice and fairness, including non-discrimination;
   4.3. human responsibility for decisions, including liability and the availability of remedies;Pag. 3
   4.4. safety and security;
   4.5. privacy and data protection.

  5. The Assembly welcomes Committee of Ministers’ Recommendation Rec/CM(2020)1 on the human rights impact of algorithmic systems, along with its accompanying guidelines on addressing the human rights impacts of algorithmic systems, and the recommendation of the Council of Europe Commissioner for Human Rights on «Unboxing Artificial Intelligence: 10 steps to protect Human Rights». It endorses the general proposals made in these texts for application also in the area of policing and criminal justice systems.
  6. The Assembly notes that a large number of applications of AI for use by the police and criminal justice systems have been developed around the world. Some of these have been used or their introduction is being considered in Council of Europe member States. They include facial recognition, predictive policing, the identification of potential victims of crime, risk assessment in decision-making on remand, sentencing and parole, and identification of ’cold cases’ that could now be solved using modern forensic technology.
  7. The Assembly finds that there are many ways in which the use of AI in policing and criminal justice systems may be inconsistent with the above-mentioned core ethical principles. Of particular concern are the following:
   7.1. AI systems may be provided by private companies, which may rely on their intellectual property rights to deny access to the source code. The company may even acquire ownership of data being processed by the system, to the detriment of the public body that employs its services. The users and subjects of a system may not be given the information or explanations necessary to have a basic understanding of its operation. Certain processes involved in the operation of an AI system may not be fully penetrable to human understanding. Such considerations raise transparency (and, as a result, responsibility/accountability) issues.
   7.2. AI systems are trained on massive datasets, which may be tainted by historical bias, including through indirect correlation between certain predictor variables and discriminatory practices (such as postcode being a proxy identifier for an ethnic community historically subject to discriminatory treatment). This is a particular concern in relation to policing and criminal justice, because of both the prevalence of discrimination on various grounds in this context and the significance of decisions that may be taken. The apparent mechanical objectivity of AI may obscure this bias («techwashing»), reinforce and even perpetuate it. Certain AI techniques may not be readily amenable to challenge by subjects of their application. Such considerations raise issues of justice and fairness.
   7.3. Resource constraints, time pressure, lack of understanding, and deference to or reluctance to deviate from the recommendations of an AI system may lead police officers and judges to become overly reliant on such systems, in effect abdicating their professional responsibilities. Such considerations raise issues of responsibility for decision-making.
   7.4. These considerations also affect one another. Lack of transparency in an AI application reduces the ability of human users to take fully informed decisions. Lack of transparency and uncertain human responsibility undermine the ability of oversight and remedial mechanisms to ensure justice and fairness.
   7.5. The application of AI systems in separate but related contexts, especially by different agencies relying sequentially on one another's work, may have unexpected, even unforeseeable cumulative impacts.
   7.6. The addition of AI-based elements to existing technology may also have consequences of unforeseen or unintended gravity.

Pag. 4

  8. The Assembly concludes that, whilst the use of AI in policing and criminal justice systems may have significant benefits if it is properly regulated, it risks having a particularly serious impact on human rights if it is not.
  9. The Assembly therefore calls upon member States, in the context of policing and criminal justice systems, to:
   9.1. adopt a national legal framework to regulate the use of AI, based on the core ethical principles mentioned above;
   9.2. maintain a register of all AI applications in use in the public sector and refer to this when considering new applications, so as to identify and evaluate possible cumulative impacts;
   9.3. ensure that AI serves overall policy goals, and that policy goals are not limited to areas where AI can be applied;
   9.4. ensure that there is a sufficient legal basis for every AI application and for the processing of the relevant data;
   9.5. ensure that all public bodies implementing AI applications have internal expertise able to evaluate and advise on the introduction, operation and impact of such systems;
   9.6. meaningfully consult the public, including civil society organisations and community representatives, before introducing AI applications;
   9.7. ensure that every new application of AI is justified, its purpose specified and its effectiveness confirmed before being brought into operation, taking into account the particular operational context;
   9.8. conduct initial and periodic, transparent human rights impact assessments of AI applications, to assess, amongst other things, privacy and data protection issues, risks of bias/discrimination and the consequences for the individual of decisions based on the AI's operation, with particular attention to the situation of minorities and vulnerable and disadvantaged groups;
   9.9. ensure that the essential decision-making processes of AI applications are explicable to their users and those affected by their operation;
   9.10. only implement AI applications that can be scrutinised and tested from within the place of operation;
   9.11. carefully consider the possible consequences of adding AI-based elements to existing technologies;
   9.12. establish effective, independent ethical oversight mechanisms for the introduction and operation of AI systems;
   9.13. ensure that the introduction, operation and use of AI applications can be subject to effective judicial review.

Pag. 5

ASSEMBLÉE PARLEMENTAIRE DU CONSEIL DE L'EUROPE

RÉSOLUTION 2342 (2020) (1)
Version provisoire

Justice par algorithme – le rôle de l'intelligence artificielle dans les systèmes de police et de justice pénale

  Assemblée parlementaire,
  1. On trouve désormais des applications de l'intelligence artificielle (IA) dans de nombreuses sphères de l'activité humaine, de la recherche pharmaceutique aux médias sociaux, de l'agriculture aux achats en ligne, du diagnostic médical à la finance et de la composition musicale à la justice pénale. Elles sont de plus en plus puissantes et influentes et les citoyens ignorent bien souvent quand, où et comment elles sont utilisées.
  2. Le système de justice pénale représente l'un des principaux domaines de compétence de l’État: assurer l'ordre public, prévenir les violations de divers droits fondamentaux et déceler les infractions pénales, enquêter à leur sujet, poursuivre leurs auteurs et les sanctionner. Il confère aux autorités d'importants pouvoirs intrusifs et coercitifs, notamment la surveillance, l'arrestation, la perquisition et la saisie, la détention et le recours à la force
  (1) Texte adopté par la Commission permanente, agissant au nom de l'Assemblée, le 22 octobre 2020 (voir Doc. 15156, rapport de la Commission des questions juridiques et des droits de l'homme, rapporteur: M. Boriss Cilevics).
  Voir également la Recommandation 2182 (2020).

physique et même à la force létale. Ce n'est pas un hasard si le droit international des droits de l'homme impose le contrôle juridictionnel de tous ces pouvoirs, c'est-à-dire un contrôle effectif, indépendant et impartial de l'exercice, par les autorités, de leurs compétences en droit pénal qui peuvent donner lieu à une profonde ingérence dans les droits de l'homme fondamentaux. L'introduction d’éléments non humains dans la prise de décision au sein du système de justice pénale peut donc présenter des risques particuliers.
  3. Si l'on souhaite que les citoyens acceptent l'utilisation de l'IA et jouissent des avantages qu'elle pourrait présenter, ils doivent avoir confiance dans le fait que tout risque est géré de manière satisfaisante. Si l'IA doit être mise en place avec le consentement éclairé du public, comme on peut s'y attendre dans une démocratie, alors une réglementation efficace et proportionnée est nécessaire.
  4. La réglementation de l'IA, qu'il s'agisse d'une autorégulation volontaire ou de dispositions juridiques obligatoires, doit reposer sur des principes éthiques fondamentaux universellement admis et applicables. L'Assemblée parlementaire considère que ces principes peuvent être regroupés Pag. 6dans les grandes catégories suivantes:
   4.1. la transparence, y compris l'accessibilité et l'explicabilité;
   4.2. la justice et l’équité, y compris la non-discrimination;
   4.3. la prise de décision par une personne, qui en est responsable, et la mise à disposition de voies de recours;
   4.4. la sûreté et la sécurité;
   4.5. le respect de la vie privée et la protection des données.

  5. L'Assemblée se félicite de la Recommandation Rec/CM(2020)1 du Comité des Ministres sur les impacts des systèmes algorithmiques sur les droits de l'homme, complétée par ses lignes directrices sur le traitement des impacts sur les droits de l'homme des systèmes algorithmiques, ainsi que de la recommandation de la Commissaire aux droits de l'homme du Conseil de l'Europe intitulée «Décoder l'intelligence artificielle: 10 mesures pour protéger les droits de l'homme». L'Assemblée approuve les propositions générales énoncées dans ces textes qui s'appliquent également dans le domaine des systèmes de police et de justice pénale.
  6. L'Assemblée observe qu'un nombre important d'applications de l'IA à l'usage des systèmes de police et de justice pénale ont été développées à travers le monde. Certaines d'entre elles sont utilisées dans les États membres du Conseil de l'Europe, ou leur déploiement y est envisagé. Ces applications englobent notamment la reconnaissance faciale, la police prédictive, l'identification de victimes potentielles d'actes criminels, l’évaluation des risques en matière de détention provisoire, de peine prononcée et de libération conditionnelle, ou encore l'identification d'affaires non résolues qui pourraient l’être aujourd'hui grâce aux technologies modernes de criminalistique.
  7. L'Assemblée considère que l'utilisation de l'IA dans les systèmes de police et de justice pénale risque d’être à de nombreux égards incompatible avec les principes éthiques fondamentaux mentionnés ci-dessus. Les situations suivantes sont particulièrement préoccupantes:
   7.1. Les systèmes d'IA peuvent être fournis par des entreprises privées, qui peuvent invoquer leurs droits de propriété intellectuelle pour refuser l'accès au code source. Ces entreprises peuvent même acquérir la propriété des données traitées par le système, au détriment de l'institution publique qui fait appel à leurs services. Les utilisateurs et les sujets d'un système peuvent ne pas disposer des informations ou des explications nécessaires pour comprendre de manière élémentaire son fonctionnement. Il arrive que l’être humain ne soit pas en mesure de comprendre certains processus qui interviennent dans le fonctionnement d'un système d'IA. De telles considérations posent la question de la transparence (et, par conséquent, de la responsabilité/de l'obligation de rendre des comptes).
   7.2. Les systèmes d'IA sont formés à partir d’énormes quantités de données, qui peuvent être entachées de préjugés de longue date, notamment par une corrélation indirecte entre certaines variables prédictives et des pratiques discriminatoires (comme l'utilisation du code postal pour identifier une communauté ethnique traditionnellement soumise à un traitement discriminatoire). Cette situation est particulièrement préoccupante dans les domaines de la police et de la justice pénale, en raison à la fois de la prévalence de la discrimination fondée sur divers motifs dans ce contexte et de l'importance des décisions qui peuvent être prises. L'apparente objectivité mécanique de l'IA peut masquer ces préjugés (techwashing), les renforcer, voire les perpétuer. Certaines techniques d'IA ne sont pas aisément contestables par les personnes concernées par leur application. De telles considérations soulèvent la question de la justice et de l’équité.
   7.3. Les contraintes de ressources ou de temps, le manque de compréhension, et Pag. 7la déférence aux recommandations d'un système d'IA ou la réticence à s'en écarter peuvent placer les fonctionnaires de police et les juges dans une situation d'extrême dépendance vis-à-vis de ces systèmes, qui les conduit à abdiquer leurs responsabilités professionnelles. De telles considérations soulèvent la question de la responsabilité de la prise de décision.
   7.4. Ces considérations ont également une incidence les unes sur les autres. Le manque de transparence d'une application d'IA réduit la capacité des utilisateurs humains à prendre des décisions en toute connaissance de cause. Ce manque de transparence et l'existence d'une responsabilité humaine incertaine compromettent la capacité des mécanismes de contrôle et de recours à garantir la justice et l’équité.
   7.5. L'application de systèmes d'IA dans des contextes distincts mais liés, en particulier par des institutions différentes qui s'appuient successivement sur le travail des autres, peut avoir des effets cumulatifs inattendus, voire imprévisibles.
   7.6. De même, l'ajout d’éléments basés sur l'IA aux technologies existantes peut avoir des conséquences d'une gravité imprévue ou non intentionnelle.

  8. L'Assemblée conclut que, si l'utilisation de l'IA dans les systèmes de police et de justice pénale présente des avantages importants lorsqu'elle est correctement réglementée, elle peut avoir une incidence particulièrement grave sur les droits de l'homme dans le cas contraire.
  9. Par conséquent, pour ce qui est des systèmes de police et de justice pénale, l'Assemblée appelle les États membres:
   9.1. à adopter un cadre juridique national pour réglementer l'utilisation de l'IA, sur la base des principes éthiques fondamentaux mentionnés ci-dessus;
   9.2. à tenir un registre de toutes les applications d'IA utilisées dans le secteur public et à s'y référer lors de l'examen de nouvelles applications, de manière à identifier et à évaluer les effets cumulatifs éventuels;
   9.3. à s'assurer que l'IA sert des objectifs politiques généraux et que ces objectifs ne se limitent pas aux domaines dans lesquels l'IA peut être appliquée;
   9.4. à veiller à ce qu'il existe un fondement juridique suffisant pour chaque application d'IA et pour le traitement des données pertinentes;
   9.5. à garantir que toutes les institutions publiques qui mettent en ouvre des applications d'IA disposent d'une expertise interne qui leur permet d’évaluer la mise en place, le fonctionnement et l'incidence de tels systèmes et de dispenser des conseils en la matière;
   9.6. à consulter les citoyens de manière significative, y compris les organisations de la société civile et les représentants des communautés, avant de mettre en place des applications d'IA;
   9.7. à s'assurer que toute nouvelle application d'IA est justifiée, sa finalité précisée et son efficacité confirmée avant sa mise en service, en fonction du contexte opérationnel particulier;
   9.8. à procéder à des évaluations d'impact transparentes des applications d'IA sur les droits de l'homme, initialement et périodiquement, afin d'analyser, entre autres, les questions de respect de la vie privée et de protection des données, les risques de préjugés et de discrimination et les conséquences pour les individus des décisions prises à l'aide de l'IA, en accordant une attention particulière à la situation des minorités et des groupes vulnérables et défavorisés;
   9.9. à veiller à ce que les processus décisionnels essentiels des applications d'IA soient expliqués à leurs utilisateurs et aux personnes concernées par leur mise en service;
   9.10. à ne mettre en ouvre que les applications d'IA qui peuvent être examinées et testées sur leur lieu d'exploitation;Pag. 8
   9.11. à examiner avec soin les conséquences possibles de l'ajout d’éléments basés sur l'IA aux technologies existantes;
   9.12. à mettre en place des mécanismes de contrôle éthique efficaces et indépendants pour la mise en place et l'exploitation des systèmes d'IA;
   9.13. à veiller à ce que la mise en place, l'exploitation et l'utilisation des applications d'IA puissent faire l'objet d'un contrôle judiciaire efficace.

Pag. 9

ASSEMBLEA PARLAMENTARE DEL CONSIGLIO D'EUROPA

RISOLUZIONE 2342 (2020)
Versione provvisoria

Giustizia tramite algoritmo – il ruolo dell'intelligenza artificiale nei sistemi di polizia e giustizia penale

  Assemblea parlamentare,

  1. Esistono ormai applicazioni dell'intelligenza artificiale (IA) sempre più potenti e influenti nelle numerose sfere dell'attività umana, dalla ricerca farmaceutica ai social media, dall'agricoltura agli acquisti online, dalla diagnostica medica alla finanza e dalla composizione musicale alla giustizia penale. Queste applicazioni sono sempre più potenti e influenti e i cittadini ignorano molto spesso quando, dove e come sono utilizzate.
  2. Il sistema della giustizia penale rappresenta uno dei principali ambiti di competenza dello Stato: assicurare l'ordine pubblico, prevenire le violazioni di diversi diritti fondamentali e scoprire le infrazioni penali, portare avanti indagini, perseguire gli autori e sanzionarli. Conferisce alle autorità importanti poteri intrusivi e coercitivi, in particolare il controllo, l'arresto, la perquisizione e il sequestro, la detenzione e il ricorso alla forza fisica e anche alla forza letale. Non è un caso se il diritto internazionale dei diritti umani impone un controllo giudiziario su tutti questi poteri, cioè un controllo effettivo, indipendente e imparziale dell'esercizio, da parte delle autorità, di quelle competenze previste dal diritto penale che possono dar luogo a una profonda ingerenza nei diritti umani fondamentali. L'introduzione di elementi non umani nell'assunzione di decisioni nel sistema di giustizia penale può quindi presentare rischi specifici.
  3. Se si vuole che accettino l'utilizzo dell'IA e traggano utilità dai vantaggi che essa potrebbe offrire, i cittadini devono avere fiducia che qualsiasi rischio è gestito in maniera soddisfacente. Se l'IA deve essere introdotta con il consenso informato dell'opinione pubblica, come è giusto che sia in una democrazia, allora è necessaria una regolamentazione efficace e proporzionata.
  4. La regolamentazione dell'IA, che si tratti di un'autoregolamentazione volontaria o di disposizioni giuridiche obbligatorie, deve fondarsi su principi etici fondamentali, universalmente riconosciuti e applicabili. L'Assemblea parlamentare ritiene che questi principi possano essere raggruppati nelle seguenti grandi categorie:
   4.1. la trasparenza, compresa l'accessibilità e la spiegabilità;
   4.2. la giustizia e l'equità, compresa la non discriminazione;
   4.3. l'assunzione di decisioni da parte di un soggetto, che ne è responsabile, e la disponibilità di vie di ricorso;Pag. 10
   4.4. la sicurezza;
   4.5. il rispetto della privacy e la protezione dei dati.

  5. L'Assemblea accoglie con favore la Raccomandazione Rec/CM(2020)1 del Comitato dei Ministri sull'impatto dei sistemi algoritmici sui diritti umani, integrata dalle linee guida sul trattamento dell'indicidenza sui diritti umani dei sistemi algoritmici, nonché la Raccomandazione della Commissaria per i diritti umani del Consiglio d'Europa intitolata «Decodificare l'intelligenza artificiale: 10 misure per proteggere i diritti umani». L'Assemblea approva le proposte di carattere generale enunciate in questi documenti che si applicano anche ai sistemi di polizia e giustizia penale.
  6. L'Assemblea osserva che nel mondo sono state sviluppate numerose applicazioni dell'IA in uso ai sistemi di polizia e giustizia penale. Alcune tra queste sono utilizzate negli Stati membri del Consiglio d'Europa o ne è prevista l'introduzione. Queste applicazioni comprendono il riconoscimento facciale, la polizia predittiva, l'identificazione di potenziali vittime di atti criminali, la valutazione dei rischi in materia di custodia cautelare, di pena irrogata e di liberazione condizionale, o ancora l'individuazione di casi irrisolti che oggi potrebbero esserlo grazie alle moderne tecnologie di criminalistica.
  7. L'Assemblea ritiene che l'utilizzo dell'IA nei sistemi di polizia e giustizia penale rischia di essere, sotto molti aspetti, incompatibile con i principi etici fondamentali precedentemente menzionati. Le seguenti situazioni sono particolarmente preoccupanti:
   7.1. i sistemi di IA possono essere forniti da imprese private, che possono evocare i diritti di proprietà intellettuale per rifiutare l'accesso al codice sorgente. Queste imprese possono anche acquisire la proprietà dei dati elaborati dal sistema, a danno dell'istituzione pubblica che si avvale dei loro servizi. Gli utenti e i soggetti di un sistema possono non disporre delle informazioni e delle spiegazioni necessarie per comprenderne in maniera elementare il funzionamento. Può succedere che l'essere umano non sia in grado di comprendere alcuni processi che intervengono nel funzionamento di un sistema di IA. Questo tipo di considerazioni sollevano dubbi sulla trasparenza (e, di conseguenza, sulla responsabilità/obbligo di riferire);
   7.2. i sistemi di IA si formano a partire da enormi quantità di dati, che possono essere contaminati da vecchi pregiudizi, in particolare una correlazione indiretta tra alcune variabili predittive e pratiche discriminatorie (come l'utilizzo del codice postale per identificare una comunità etnica tradizionalmente sottoposta a un trattamento discriminatorio). Questa situazione è particolarmente preoccupante nei settori delle forze dell'ordine e della giustizia penale, a causa della prevalenza in questo contesto della discriminazione fondata su diverse motivazioni e dell'importanza delle decisioni da prendere. L'apparente obiettività meccanica dell'IA può mascherare pregiudizi (techwashing), rafforzarli e addirittura perpetuarli. Alcune tecniche di IA non sono facilmente contestabili da parte delle persone interessate dalla loro applicazioni. Questo tipo di considerazioni sollevano la questione della giustizia e dell'equità;
   7.3. i vincoli in termini di risorse o di tempo, la mancanza di comprensione, la deferenza rispetto alle raccomandazioni di un sistema di IA o la reticenza a discostarsene possono mettere gli agenti delle forze dell'ordine o i giudici in una situazione di estrema dipendenza da questi sistemi, portandoli ad abdicare alle proprie responsabilità professionali. Questo tipo di considerazioni sollevano la questione della responsabilità dell'assunzione di decisioni;
   7.4. tali considerazioni hanno anche un'incidenza le une sulle altre. La mancanza di trasparenza di un'applicazione di IA riduce la capacità degli utilizzatori umani di prendere decisioni con cognizione di causa. La mancanza di trasparenza e una responsabilità umana incerta Pag. 11compromettono la capacità dei meccanismi di controllo e di ricorso di garantire giustizia ed equità;
   7.5. l'applicazione dei sistemi di IA in contesti distinti ma correlati, in particolare da parte di istituzioni diverse che si appoggiano successivamente sul lavoro degli altri, può avere effetti cumulativi inattesi, se non imprevedibili;
   7.6. allo stesso modo, l'aggiunta di elementi basati sull'IA alle tecnologie esistenti può avere conseguenze di una gravità imprevista o non intenzionale.

  8. L'Assemblea conclude che, se l'utilizzo dell'IA nei sistemi di polizia e giustizia penale presenta notevoli vantaggi quando è correttamente disciplinato, in caso contrario può avere un'incidenza particolarmente grave sui diritti umani.
  9. Di conseguenza, per quanto riguarda i sistemi di polizia e giustizia penale, l'Assemblea chiede agli Stati membri:
   9.1. di adottare un quadro giuridico nazionale per disciplinare l'utilizzo dell'IA, sulla base dei principi etici fondamentali precedentemente citati;
   9.2. di tenere un registro di tutte le applicazioni di IA utilizzate nel settore pubblico e di consultarlo quando si esaminano nuove applicazioni, in modo da identificare e valutare gli eventuali effetti cumulativi;
   9.3. di assicurarsi che l'IA serva obiettivi politici generali e che questi obiettivi non si limitino ai settori nei quali può essere applicata l'IA;
   9.4. di garantire l'esistenza di un fondamento giuridico sufficiente per ogni applicazione di IA e per il trattamento dei dati pertinenti;
   9.5. di garantire che tutte le istituzioni pubbliche che introducono queste applicazioni di IA dispongano di expertise interna che permetta loro di valutare l'attuazione, il funzionamento e l'incidenza di questi sistemi e offra consulenza in materia;
   9.6. di consultare i cittadini in maniera significativa, ivi comprese le organizzazioni della società civile e i rappresentanti delle comunità, prima di introdurre applicazioni di IA;
   9.7. di assicurarsi che qualsiasi nuova applicazione di IA sia giustificata, la sua finalità precisata e la sua efficacia confermata prima che entri in servizio, in funzione dello specifico contesto operativo;
   9.8. di procedere a valutazioni di impatto trasparenti delle applicazioni di IA sui diritti umani, inizialmente e periodicamente, per analizzare, tra l'altro, le questioni del rispetto della privacy e della protezione dati, i rischi di pregiudizi e discriminazione e le conseguenze per gli individui di decisioni assunte con l'aiuto dell'IA, prestando particolare attenzione alla situazione delle minoranze e dei gruppi vulnerabili e sfavoriti;
   9.9. di assicurarsi che i processi decisionali essenziali delle applicazioni di IA siano spiegati agli utenti e alle persone interessate dalla loro introduzione;
   9.10. di introdurre applicazioni di IA che possano essere esaminate e testate sul luogo di utilizzo;
   9.11. di esaminare con cura le possibili conseguenze derivanti dall'aggiunta di elementi basati sull'IA alle tecnologie esistenti;
   9.12. di introdurre meccanismi di controllo etico efficaci e indipendenti per l'introduzione e l'utilizzo dei sistemi di IA;
   9.13. di assicurarsi che l'introduzione, l'utilizzo e la gestione delle applicazioni di IA possano essere sottoposte a un controllo giudiziario efficace.

Pag. 12