Ordinanza ingiunzione o revoca n. 232 del 10/04/2025

Luka Inc. - Replika: illiceità del trattamento, informativa e age verification

Il provvedimento riguarda il servizio Replika, chatbot basato su intelligenza artificiale generativa gestito dalla società statunitense Luka Inc. Il procedimento è stato avviato d’ufficio dal Garante a seguito di notizie stampa e di accertamenti preliminari, con particolare attenzione ai profili di trasparenza, liceità del trattamento e protezione dei minori.

Origine del procedimento e precedente intervento urgente

L’Autorità ha rilevato, già in fase preliminare, criticità relative a:

• basi giuridiche non chiaramente individuate;
• informativa privacy non trasparente;
• assenza di adeguati filtri di età;
• contenuti potenzialmente inappropriati per minori e soggetti vulnerabili.

Per tali ragioni, il 2 febbraio 2023 il Presidente del Garante ha adottato un provvedimento d’urgenza di limitazione provvisoria del trattamento per gli interessati stabiliti in Italia, ai sensi dell’art. 58, par. 2, lett. f), GDPR. Successivamente, con provvedimento n. 280 del 22 giugno 2023, la limitazione è stata sospesa subordinatamente all’adozione di misure correttive specifiche, tra cui:

• pubblicazione di una privacy policy aggiornata prima della registrazione e dell’accesso;
• implementazione di un age gate su tutte le pagine di registrazione;
• introduzione di un cooling-off period;
• semplificazione dell’esercizio dei diritti;
• presentazione di un piano per impedire l’accesso ai minori di 18 anni;
• presentazione di un piano per la segnalazione dei contenuti inappropriati.

Riscontri della società e misure dichiarate

Luka ha rappresentato di essersi adeguata ai provvedimenti del Garante, bloccando l’accesso dall’Italia e adottando progressivamente misure correttive. In particolare, ha dichiarato di aver:

• introdotto un age gate;
• previsto un cooling-off period di 24 ore;
• rafforzato i sistemi di moderazione dei contenuti;
• aggiornato la privacy policy;
• predisposto strumenti per l’esercizio dei diritti;
• limitato i contenuti sessuali ai soli utenti già attivi alla data del 1° febbraio 2023;
• avviato un supporto consulenziale in materia privacy.

Competenza del Garante e ambito territoriale del GDPR

Il Garante ha esaminato la questione della propria competenza e ha escluso che fosse provata l’esistenza di uno stabilimento della società nell’Unione europea. Le affermazioni sulla presenza di un establishment nei Paesi Bassi sono state considerate generiche e non documentate; nei materiali prodotti non vi era alcun riferimento sufficiente a uno stabilimento UE. Di conseguenza, non è stato applicato il meccanismo dello sportello unico.

L’Autorità ha quindi fondato la propria competenza sull’art. 55, par. 1, GDPR, ritenendo applicabile il criterio del targeting ex art. 3, par. 2, GDPR, poiché Replika era offerto anche a utenti in Italia. Il trattamento è stato qualificato come trattamento transfrontaliero, ma senza stabilimento UE accertato della società non operava la regola dell’autorità capofila.

Violazione della liceità: basi giuridiche non granulari

Sul piano della liceità, il Garante ha ritenuto che, alla data del 2 febbraio 2023, Luka non avesse individuato in modo chiaro e granulare le basi giuridiche delle diverse operazioni di trattamento svolte tramite Replika, compreso il trattamento per lo sviluppo del modello LLM.

La privacy policy allora vigente richiamava solo in termini generici:

• la necessità del trattamento per fornire il servizio;
• il consenso dell’utente;
• un’autorizzazione prevista dalla normativa sulla protezione dei dati.

Secondo l’Autorità, tali riferimenti non consentivano di associare ciascuna base giuridica a specifiche finalità o attività di trattamento, in violazione degli artt. 5, par. 1, lett. a), e 6 GDPR. Il Garante ha inoltre osservato che la successiva DPIA e la versione aggiornata dell’informativa non provavano che la base giuridica fosse stata effettivamente identificata prima del 2 febbraio 2023.

Violazione della trasparenza e dell’informativa

Il Garante ha poi contestato la violazione degli artt. 5, par. 1, lett. a), 12 e 13 GDPR. La privacy policy era disponibile solo in lingua inglese e quindi non adeguata al pubblico italiano. Inoltre, risultava incompleta e in parte fuorviante, perché:

• non indicava la base giuridica per ciascun trattamento;
• non distingueva chiaramente tra "Chatbot Interaction" e "Model Development";
• non chiariva che il servizio fosse riservato ai soli maggiorenni;
• non specificava i tempi di conservazione o i criteri per determinarli;
• lasciava intendere un trasferimento di dati verso gli USA, in contrasto con quanto poi dichiarato dalla stessa società;
• faceva riferimento, nella sezione sui diritti, a un’ipotetica decisione automatizzata ex art. 22 GDPR, creando nell’utente un’impressione non corretta.

Il Garante ha richiamato i principi di trasparenza del GDPR e le linee guida dell’EDPB, ribadendo che le informazioni devono essere facilmente accessibili, comprensibili, formulate in linguaggio semplice e rese nella lingua comprensibile agli interessati del Paese in cui il servizio è offerto.

Violazione della minimizzazione e tutela dei minori

Un ulteriore profilo centrale ha riguardato la protezione dei minori. Alla data del 2 febbraio 2023 non erano presenti strumenti idonei a verificare l’età degli utenti:

• il sistema richiedeva soltanto nome, email e genere;
• non vi erano blocchi efficaci in caso di indicazione di età inferiore a 18 anni;
• mancavano meccanismi in grado di impedire l’accesso ai minori o di interrompere il trattamento quando l’utente risultava palesemente minorenne.

Il Garante ha ritenuto violati gli artt. 5, par. 1, lett. c), 24 e 25, par. 1, GDPR, evidenziando che il titolare non aveva adottato misure tecniche e organizzative adeguate by design e by default, né aveva minimizzato il trattamento rispetto alle finalità dichiarate, che erano incompatibili con l’accesso dei minori.

L’Autorità ha escluso, invece, di poter accertare la violazione delle norme sul consenso dei minori di cui agli artt. 6, 7 e 8 GDPR, rilevando che il servizio non era destinato ai minori e che il tema riguardava piuttosto la mancata prevenzione dell’accesso da parte loro.

Valutazione delle misure successive e criticità ancora presenti

Il Garante ha dato atto che, dopo gli interventi dell’Autorità, la società aveva aggiornato la privacy policy e rafforzato il sistema di verifica dell’età. Tuttavia, alla data del provvedimento, sono rimaste criticità rilevanti:

• l’informativa continua a essere disponibile solo in inglese;
• non sono indicati con precisione i periodi di conservazione;
• la formulazione resta potenzialmente fuorviante sul trasferimento dei dati negli USA;
• il sistema di age verification consente la modifica della data di nascita nel profilo senza nuova verifica;
• il cooling-off period non opera in tutti gli scenari, ad esempio in navigazione in incognito;
• non esiste un meccanismo sistematico di analisi linguistica che imponga la riconferma dell’età quando emergano segnali di minore età.

Il Garante ha peraltro notato positivamente la possibilità per l’utente di segnalare conversazioni inappropriate, pur osservando che non è chiaro l’effetto concreto di tali segnalazioni.

Esito e prescrizioni

Il Garante ha dichiarato illecito il trattamento effettuato da Luka Inc. in relazione agli artt. 5, par. 1, lett. a) e c), 6, 12, 13, 24 e 25, par. 1, GDPR. Ha quindi ordinato, ai sensi dell’art. 58, par. 2, lett. d), GDPR, che entro 30 giorni dalla notifica la società:

• adegui la privacy policy agli artt. 5, par. 1, lett. a), 12 e 13 GDPR;
• adegui il sistema di verifica dell’età agli artt. 5, par. 1, lett. c), 24 e 25 GDPR.

Inoltre, ai sensi dell’art. 157 del Codice privacy, Luka deve comunicare entro 60 giorni le iniziative adottate per dare esecuzione alle misure impartite. Il mancato adempimento potrà comportare l’applicazione della sanzione pecuniaria ex art. 83, par. 5, GDPR.

Ulteriore istruttoria riservata

Il Garante ha precisato che si riserva di esaminare in un autonomo procedimento i profili relativi alla liceità dei trattamenti connessi all’intero ciclo di vita del sistema di intelligenza artificiale generativa sotteso a Replika, con particolare riferimento alle basi giuridiche del trattamento.