Andy Garcia · dev freelance
FRENES
Volver al blog
IA y Responsabilidad

OpenAI marcó una amenaza y no llamó a la policía. Ahora una provincia demanda.

23 de septiembre de 2026 4 min de lectura

El lunes 21 de septiembre, el gobierno de Columbia Británica presentó una demanda contra OpenAI y su director ejecutivo, Sam Altman, ante el Tribunal de Distrito de Estados Unidos en San Francisco. La fiscal general de la provincia, Niki Sharma, describió la acción como una demanda contra OpenAI "por no alertar a las fuerzas del orden sobre las amenazas hechas en su plataforma antes del tiroteo masivo en la escuela secundaria de Tumbler Ridge".

Quiero ser cuidadoso con este tema. Hay ocho personas muertas, cinco de ellas estudiantes de 12 y 13 años, y los hechos que importan se van a establecer en un tribunal, no en Medium. Pero la demanda plantea una pregunta que todo equipo que lanza un producto de IA va a tener que responder tarde o temprano, y es mejor responderla de antemano que bajo citación judicial.

Lo que pasó, según el expediente público

El 10 de febrero de 2026, una joven de 18 años mató a su madre y a su medio hermano en su casa, y después fue a la escuela secundaria de Tumbler Ridge, un pueblo pequeño en el noreste de Columbia Británica, donde mató a cinco estudiantes y a un miembro del personal antes de quitarse la vida. Alrededor de dos docenas de personas más resultaron heridas.

Según demandas presentadas antes por las familias, los sistemas automatizados de OpenAI habían marcado su cuenta de ChatGPT ocho meses antes, en junio de 2025, por "actividad y planificación de violencia armada". Los demandantes alegan que los propios investigadores de la empresa revisaron las conversaciones, determinaron que representaban una amenaza creíble de violencia armada contra personas reales, y recomendaron contactar a la Real Policía Montada de Canadá (RCMP), y que esa recomendación no se siguió. OpenAI disputa parte de ese relato, incluido quién participó en la decisión.

Lo que OpenAI ha dicho es que desactivó la cuenta, que la autora del tiroteo creó después una segunda cuenta y siguió hablando con ChatGPT, y que la empresa no supo de esa segunda cuenta hasta después del tiroteo. En abril, Altman escribió a la comunidad: "Lamento profundamente que no hayamos alertado a las fuerzas del orden sobre la cuenta que fue baneada en junio".

La demanda de la provincia se detiene justo en esa última palabra. Según lo reportado sobre la denuncia, argumenta que la cuenta fue desactivada y no baneada, sin prohibición a nivel de usuario, sin monitoreo reforzado ni salvaguardas específicas, lo que según ella "volvió a confiar" ChatGPT a alguien que el propio equipo de seguridad de la empresa había identificado como una amenaza real. Su frase más citada es directa: "una sola llamada telefónica a la RCMP podría haber evitado la tragedia".

Columbia Británica, junto con el distrito escolar local, reclama una indemnización, que incluye el costo de construir una nueva escuela secundaria, además de una orden judicial que obligue a OpenAI a implementar salvaguardas que "rechacen, terminen o desescalen de forma confiable" este tipo de conversaciones. Sharma también dice que la provincia pidió ver las conversaciones de la autora del tiroteo y que OpenAI se negó a compartirlas. En su declaración, dice que ha escrito a ministros federales proponiendo cambios al Código Penal de Canadá "para garantizar una vía hacia la responsabilidad humana por las acciones de la IA".

No es el primer caso. Familias de siete víctimas ya habían demandado en abril, y NPR informó a principios de septiembre que se habían presentado treinta demandas más en San Francisco por parte de personas que estuvieron presentes en la escuela, entre ellas estudiantes, docentes y personal directivo.

La pregunta para el resto de nosotros

Si dejamos de lado los detalles concretos, queda algo incómodo. Un clasificador que marca una conversación crea conocimiento. A partir de ese momento, la empresa sabe algo. Lo que haga después es una decisión, y no hacer nada también es una decisión.

La mayoría de los equipos con los que hablo tienen alguna forma de moderación automatizada: un modelo que puntúa los mensajes por autolesión, violencia, abuso, inyección de prompts. Muy pocos han dejado por escrito qué pasa después de una puntuación alta. ¿Quién lee la alerta? ¿En cuánto tiempo? ¿Qué umbral convierte una alerta en una escalada, y quién tiene permitido decidir que no lo es? ¿Esa decisión queda registrada, con un nombre al lado? Y cuando la respuesta es "desactivamos la cuenta", ¿qué evita eso en realidad, en un producto donde crear una cuenta nueva toma dos minutos?

Ninguna de esas es una pregunta sobre el modelo. Son preguntas de proceso, y otras industrias ya las han respondido antes: los bancos presentan reportes de actividad sospechosa, las plataformas mantienen turnos de confianza y seguridad, los hospitales aplican protocolos de escalamiento. Lo nuevo es que los productos de IA generan estas señales a una escala y con una intimidad que nadie había previsto. La gente le cuenta a los chatbots cosas que no le cuenta a nadie más.

Lo que me llevo de esto

Yo dirijo la ingeniería de un producto de LegalTech. Nuestros riesgos no son este, y no voy a fingir lo contrario. Pero el principio se traslada directamente: cada señal automatizada que producimos sobre un usuario debería tener un responsable, un umbral decidido de antemano y un registro de lo que se hizo con ella. Una alerta que no lleva a ninguna parte no es neutral. Más adelante, es la prueba de que se sabía.

Los tribunales decidirán qué le debía OpenAI a la gente de Tumbler Ridge. El resto de la industria no necesita esperar ese fallo para decidir qué les debe a sus propios usuarios.

Fuentes

¿Un proyecto del mismo estilo?

Diseño y despliego productos como este. Hablemos.

Hablemos