Estás leyendo
Paula Goldman: «Las empresas que acierten con la IA no serán las que más automaticen»

Paula Goldman: «Las empresas que acierten con la IA no serán las que más automaticen»

  • La responsable de Uso Ético y Humano de Salesforce analiza cómo cambia la organización cuando los agentes de IA empiezan a compartir procesos con las personas. Su tesis es clara: la adopción dependerá menos del número de agentes desplegados que de la calidad con la que se diseñen sus límites, la relación y la supervisión humana.
Paula Goldman, Chief Ethical and Humane Use Officer y vicepresidenta ejecutiva de Producto de Salesforce

La adopción empresarial de la inteligencia artificial ha entrado en una nueva fase. Tras dos años de experimentación con asistentes generativos, muchas organizaciones intentan ahora integrar agentes capaces de consultar datos, interpretar instrucciones, ejecutar acciones y participar de forma continuada en los procesos de negocio. El avance tecnológico abre nuevas posibilidades de automatización, pero también obliga a revisar cómo se reparte el trabajo, quién mantiene el control y qué ocurre cuando una decisión requiere criterio, empatía o responsabilidad profesional.

Salesforce denomina Agentic enterprise a la organización en la que personas y agentes de IA comparten tareas y procesos. Se trata de un concepto central en la estrategia de la compañía y, por tanto, de una interpretación interesada del cambio que atraviesa el mercado. Sin embargo, el término apunta a una transformación tangible: la IA empieza a intervenir en la ejecución cotidiana del trabajo y deja de ser únicamente una herramienta que espera instrucciones puntuales.

Paula Goldman lleva siete años observando esta evolución desde una posición singular. Como vicepresidenta ejecutiva de Producto y primera Chief Ethical and Humane Use Officer de Salesforce, su trabajo consiste en trasladar principios como la seguridad, la transparencia y la supervisión humana a decisiones concretas de producto. Su responsabilidad no comienza cuando la tecnología está terminada, sino en las primeras conversaciones entre diseñadores, ingenieros, responsables legales y equipos de negocio.

Desde esa experiencia, Goldman cuestiona una idea todavía extendida entre las empresas: que adoptar IA consiste en incorporar una nueva capa tecnológica a los procesos existentes.

«Los clientes que están teniendo éxito no utilizan IA por utilizar IA. Están reconsiderando sus flujos de trabajo y diseñando la IA para que encaje en ellos, en lugar de añadirla sin más a lo que ya hacían», explica.

Paula Goldman durante la videoentrevista con La Ecuación Digital - Hernán Rodríguez
Paula Goldman durante la videoentrevista con La Ecuación Digital – Hernán Rodríguez

La diferencia parece simple, pero afecta a toda la organización. Introducir un agente en un proceso que no ha sido revisado puede reducir el tiempo dedicado a una tarea concreta, aunque también puede conservar ineficiencias, trasladar errores a mayor escala o crear puntos de decisión cuya responsabilidad queda difusa. Para Goldman, el despliegue necesita una combinación de fiabilidad tecnológica e intención organizativa.

La primera parte depende de elementos conocidos: datos limpios, actualizados y verificables, controles de acceso, mecanismos que mantengan al agente dentro de su ámbito de actuación, pruebas previas y capacidad de supervisar su comportamiento durante el uso. La segunda exige entender qué esperan los empleados y los clientes, qué tareas son adecuadas para la automatización y en qué momento debe intervenir una persona.

«Adoptar agentes de IA supone un cambio profundo en la forma de trabajar. Hay que comprender qué va a funcionar desde la perspectiva del empleado y también desde la del cliente. Si se despliega un agente de atención, es necesario decidir qué preguntas debe responder y cuándo tiene que escalar la conversación a un ser humano.»

Automatizar una tarea no equivale a delegar una decisión

La frontera entre el trabajo de una persona y el de un agente no depende únicamente de la capacidad técnica. Un sistema puede ser capaz de responder, recomendar o actuar, pero eso no significa que deba hacerlo en todos los contextos.

Goldman utiliza el caso de 1-800-Accountant, una empresa estadounidense que presta servicios fiscales y financieros a pequeñas empresas. Durante la campaña fiscal, la demanda crece de forma abrupta y una parte considerable de las consultas responde a patrones previsibles.

«Si alguien quiere conocer el estado de su declaración de impuestos, se trata de una pregunta rutinaria con un flujo también rutinario. Es un buen caso de uso para un agente de IA», señala.

La situación cambia cuando el cliente presenta un problema fiscal complejo o necesita orientación sobre una decisión financiera. Puede tratarse de un ámbito regulado, pero también de una conversación donde la confianza personal y la capacidad para interpretar circunstancias particulares forman parte del servicio.

«En esos casos hace falta intervención humana por la complejidad del tema, por la regulación y, en ocasiones, porque existe un componente emocional. Un asesor de confianza puede ayudar a resolver el problema y, al mismo tiempo, reforzar la relación con el cliente.»

El criterio no consiste en separar de manera rígida las tareas humanas de las automáticas. Dentro de un mismo proceso pueden convivir consultas repetitivas, excepciones, decisiones reguladas y situaciones sensibles. El valor está en diseñar bien el tránsito entre ellas.

Otro de los ejemplos mencionados por Goldman es Bobby, un agente utilizado por una fuerza policial británica para atender consultas que no requieren una respuesta de emergencia. El sistema puede informar sobre el estado de una denuncia o gestionar una queja por ruido, mientras reserva la intervención humana para los casos urgentes.

El despliegue produjo, además, un resultado que no era evidente al diseñar el servicio. Algunas víctimas de violencia doméstica no podían realizar una llamada, pero sí escribir a través de la web o de un mensaje de texto. El agente estaba configurado para reconocer determinados indicios de urgencia y trasladar la conversación a una persona, aunque la usuaria no solicitara expresamente ese cambio.

«El sistema no dependía solo de que alguien pidiera hablar con una persona. Tenía reglas para detectar que algo podía ser una emergencia y escalarlo.»

El caso muestra que un traspaso bien diseñado puede ampliar el acceso a un servicio. También revela la responsabilidad que asume la organización al definir los criterios de detección. Un agente que no reconozca una situación crítica o que derive indebidamente un caso puede provocar daños difíciles de reparar.

Goldman sitúa el juicio, las relaciones personales y la resolución de problemas nuevos entre las capacidades que justifican la intervención humana. En esas circunstancias, el agente puede organizar información, consultar documentación o preparar opciones, pero la decisión final debe permanecer bajo responsabilidad de una persona.

Paula Goldman, Chief Ethical and Humane Use Officer y vicepresidenta ejecutiva de Producto de Salesforce
Paula Goldman, Chief Ethical and Humane Use Officer y vicepresidenta ejecutiva de Producto de Salesforce

Del humano «en el proceso» al humano «al mando»

Durante años, el concepto de human in the loop sirvió para describir sistemas en los que una persona intervenía en determinadas decisiones. El planteamiento sigue siendo válido en procesos de alto impacto, pero resulta insuficiente cuando una empresa despliega múltiples agentes que ejecutan miles de acciones.

«No es práctico pensar que una persona va a supervisar cada cosa que hace un agente. No es posible a la escala a la que opera la IA», afirma Goldman.

Salesforce utiliza la expresión human at the helm, que podría traducirse como mantener al ser humano al mando. El cambio de lenguaje describe un modelo de control diferente. La persona no revisa necesariamente cada acción, pero establece los parámetros, define los límites, observa el comportamiento del sistema y conserva la capacidad de corregirlo.

«Necesitamos un sistema en el que las personas puedan fijar los parámetros por adelantado, supervisar lo que está sucediendo y hacer ajustes cuando sea necesario. Los humanos tienen que seguir estando a cargo de la IA.»

Universidad Europea, uno de los clientes españoles de Agentforce citados por Goldman, ilustra esta división. Un agente puede recomendar titulaciones, responder preguntas frecuentes y orientar a un estudiante en las primeras fases de su búsqueda. Sin embargo, una situación financiera delicada, una circunstancia personal o una decisión académica compleja requieren la intervención de un profesional.

Para que ese reparto funcione, los responsables del servicio deben decidir con antelación cuándo se produce el traspaso, conocer la respuesta de los usuarios y disponer de herramientas para modificar el comportamiento del sistema.

Goldman identifica una relación que puede parecer paradójica: cuanto mayor es la capacidad de control, más autonomía puede concederse al agente.

«Si las personas mantienen el control, aumenta la confianza para dar más autonomía a la IA. Cuando sabes que el sistema se mantendrá dentro de los límites, que puedes ajustarlo a medida que aprendes y que existe un mecanismo de responsabilidad, confías en que pueda hacer más.»

La autonomía, desde esta perspectiva, no elimina la gestión. La desplaza desde la supervisión individual de cada tarea hacia el diseño y gobierno del sistema completo.

La confianza deja de ser una declaración

Goldman resume esta evolución con una expresión que ha utilizado en varias ocasiones a lo largo de la entrevista: Trust is architecture. La confianza es arquitectura.

Durante sus primeros años, la oficina que dirige trabajó principalmente en políticas sobre el uso aceptable de la tecnología. Esas políticas continúan siendo necesarias, pero pronto comprobaron que llegaban demasiado tarde si no influían en el diseño del producto.

«Nos dimos cuenta de que era fundamental trabajar directamente con los equipos de producto e ingeniería cuando todavía estaban ideando las primeras versiones. Ahí podemos pensar en las consecuencias no previstas, en cómo obtener la confianza de los clientes y en cómo integrar las barreras de seguridad en el producto.»

La diferencia entre publicar un principio y convertirlo en arquitectura aparece en decisiones aparentemente pequeñas. Un sistema puede informar de que un contenido ha sido generado por IA, incluir las fuentes utilizadas, conservar un registro de las acciones o explicar que no dispone de información suficiente para responder. También puede introducir una pausa antes de ejecutar una decisión, dar el mismo peso visual a los botones Enviar y Editar o establecer una ruta clara hacia una persona.

Salesforce agrupa estos mecanismos bajo el concepto de trust patterns, patrones reutilizables que intentan resolver riesgos habituales de la IA empresarial. Entre ellos se encuentran las citas, los registros de auditoría, los mensajes de error, la supervisión del cumplimiento de instrucciones, los traspasos entre agentes y humanos y la llamada mindful friction, una fricción intencionada que obliga al usuario a detenerse antes de aceptar o enviar una respuesta.

El principio cobra importancia a medida que aumenta la velocidad del desarrollo. Goldman señala que algunos equipos de ingeniería pueden completar en horas tareas que antes requerían semanas. Esa aceleración obliga a automatizar también una parte de las pruebas éticas.

«Cuando existe un riesgo conocido, como la toxicidad o la posibilidad de tratar de forma diferente a determinados grupos, se puede automatizar la evaluación, identificar el problema y corregirlo. Pero también hay que seguir mirando hacia delante porque la tecnología evoluciona muy rápido y no podemos anticipar todos sus usos.»

Según el FY26 Trusted AI Impact Report de Salesforce, la compañía revisó durante su último ejercicio más de 370 casos internos de IA y más de 240 productos orientados a clientes.. El 89% de los usos internos fue clasificado como de menor riesgo y pudo seguir un proceso estandarizado, mientras que el 11%, según el informe, necesitó una revisión humana más profunda. En los productos para clientes, el 53% requirió esa evaluación adicional.

Las cifras ofrecen una imagen más concreta de cómo se traduce la gobernanza, aunque no permiten valorar por sí solas la eficacia de las medidas. La confianza depende también de la configuración que realiza cada cliente, de la calidad de sus datos, de los permisos concedidos y de la capacidad de detectar comportamientos inesperados una vez que el sistema entra en producción.

Diseñar la empresa alrededor de personas y agentes

El concepto de Agentic enterprise intenta abarcar esta transformación organizativa. En la visión de Salesforce, los agentes dejan de ocupar un lugar periférico y pasan a integrarse en ventas, atención al cliente, recursos humanos, operaciones, seguridad o desarrollo de software.

El término puede resultar prematuro si se interpreta como una categoría empresarial ya consolidada. Muchas compañías siguen experimentando con casos aislados y aún no han resuelto problemas básicos de datos, integración o gobierno. Aun así, describe una dirección reconocible: el trabajo empieza a organizarse alrededor de equipos mixtos en los que personas y sistemas especializados ejecutan partes diferentes de un mismo proceso.

Goldman considera que ese cambio convertirá a muchos empleados en gestores de agentes, aunque no tengan personas a su cargo.

«Ahora cada profesional, ya sea un colaborador individual o un responsable de equipo, se convierte en gestor de equipos de agentes especializados. Utilizamos la palabra ‘gestor’ de forma intencionada.»

La comparación no implica equiparar a una persona con un sistema. Se refiere a algunas funciones de gestión que comienzan a parecerse: conocer capacidades y limitaciones, delegar la tarea adecuada, proporcionar contexto, asegurar la calidad de los datos y revisar el resultado.

«Supervisar un agente no es algo completamente nuevo. En algunos aspectos se parece a gestionar a una persona: hay que entender qué sabe hacer y qué no, delegar con claridad y darle retroalimentación para mejorar los resultados.»

Esta evolución exige una alfabetización más profunda que aprender a redactar instrucciones. Los empleados necesitarán evaluar la fiabilidad de una respuesta, reconocer cuándo el sistema carece de contexto, identificar decisiones de alto riesgo y entender qué controles están disponibles.

Goldman habla de una fluidez que combina criterio, conocimiento del proceso, capacidad de delegación y comprensión de los límites de la tecnología.

Te puede interesar
OpenAI lanza GPT-Live para mejorar ChatGPT Voz

«Va mucho más allá de saber escribir un buen prompt. Es un nivel de fluidez mucho más profundo.»

El cambio también puede crear nuevos perfiles. Goldman menciona al Agent Manager, encargado de gobernar agentes y gestionar excepciones, y al AI Architect, responsable del diseño técnico de los sistemas. No todas las empresas utilizarán estas denominaciones ni convertirán esas funciones en puestos independientes, pero las responsabilidades tendrán que asignarse de alguna manera.

Los agentes no se gestionan solos. Alguien debe decidir qué datos consultan, qué acciones pueden ejecutar, qué indicadores se supervisan, cómo se responde a un error y quién asume sus consecuencias.

El límite de la promesa de productividad

Salesforce sostiene que los agentes se ocuparán de tareas rutinarias y permitirán a las personas concentrarse en el trabajo creativo, las relaciones y las decisiones de mayor impacto. La posibilidad existe, pero no se produce automáticamente.

Liberar tiempo no garantiza que una empresa lo destine a actividades de mayor valor. Puede utilizarlo para mejorar la atención al cliente, desarrollar nuevas capacidades o reducir la carga administrativa, pero también para aumentar objetivos, recortar puestos o intensificar el ritmo de trabajo. La tecnología abre el margen de decisión y la dirección determina cómo se utiliza.

Goldman sitúa la responsabilidad en el diseño de la colaboración.

«Los agentes se ocupan del piloto automático y las personas intervienen en las decisiones críticas. A medida que delegamos más en la IA, debemos asegurarnos de que los agentes actúan de manera justa, transparente y responsable, y de que saben cuándo devolver el control a una persona.»

Su propuesta reserva a los humanos la formulación de problemas, la interpretación del contexto, la ponderación de alternativas y la responsabilidad sobre decisiones de alto impacto. La IA aporta velocidad, capacidad de procesamiento y reconocimiento de patrones.

«Debemos mantener una supervisión humana significativa en cualquier decisión de alto impacto. La IA puede proporcionar opciones y escala, pero la aprobación final debe corresponder a una persona.»

Esa división parece clara en sectores regulados como la medicina, el derecho o las finanzas, donde Salesforce prohíbe que sus servicios generen recomendaciones individualizadas directamente para el usuario sin revisión de un profesional cualificado. Sin embargo, la frontera será más difícil de establecer en procesos comerciales, administrativos o de recursos humanos, donde una decisión aparentemente rutinaria puede tener efectos relevantes sobre una persona.

La siguiente frontera: agentes que hablan con agentes

La expansión de los agentes añade otra dimensión a la confianza. Hasta ahora, gran parte del debate se ha centrado en la relación entre una persona y un sistema. Goldman anticipa un entorno en el que agentes de distintas áreas y organizaciones interactuarán entre sí.

Plataformas como Slack pueden convertirse, en la visión de Salesforce, en espacios donde convivan empleados y múltiples agentes especializados. Un sistema puede consultar a otro, solicitar una acción, intercambiar información o coordinar una tarea que atraviesa varias aplicaciones.

«El siguiente nivel de confianza será la interacción entre agentes de distintas organizaciones. ¿Cómo sabemos que estamos tratando con un agente legítimo y no con uno malicioso? ¿Cómo conocemos sus capacidades y sus límites? Esas serán las próximas dimensiones de la confianza.»

El problema introduce cuestiones de identidad, autorización, trazabilidad y responsabilidad que todavía no están resueltas. Si un agente ejecuta una acción basándose en la información recibida de otro sistema, será necesario reconstruir la cadena de decisiones, comprobar qué permisos se utilizaron y determinar dónde se produjo el error.

La Agentic enterprise no dependerá únicamente de modelos más capaces. Necesitará infraestructuras de identidad, protocolos de comunicación, registros verificables y mecanismos para limitar la autoridad de cada agente.

Gestionar la máquina

Goldman publicará en septiembre Manage the Machine, un libro que recoge su visión sobre la colaboración entre personas e IA en funciones como ventas, atención al cliente, recursos humanos, estrategia, derecho o innovación de producto. El título resume bien su argumento: cuanto más poderosa sea la tecnología, más relevante será la capacidad humana para dirigirla.

La propuesta evita tanto el determinismo tecnológico como la idea de que basta con mantener a un humano en el proceso. La empresa tiene que decidir cómo quiere trabajar, qué resultados considera aceptables y dónde coloca los límites.

Para Goldman, las organizaciones que destaquen no serán las que acumulen más agentes ni las que automaticen una proporción mayor de tareas.

«Las empresas que acierten no serán las que más automaticen. Serán las que diseñen con más cuidado la relación entre personas y agentes.»

Cuando se observe esta etapa con perspectiva, considera que la variable decisiva no habrá sido únicamente la capacidad de los modelos.

«Lo que marcará la diferencia será hasta qué punto conseguimos que cada empleado se convierta en un piloto competente y seguro de esos agentes.»

La expresión devuelve el debate al terreno de la dirección empresarial. Un piloto no construye el motor del avión, ni supervisa cada pieza durante el vuelo, pero conoce el destino, interpreta las señales, entiende los límites de la máquina y conserva la responsabilidad de actuar cuando las condiciones cambian. En la empresa que Salesforce denomina Agentic enterprise, esa capacidad puede terminar siendo más importante que el propio número de agentes desplegados.

Ver Comentarios (0)

Leave a Reply

Utilizamos cookies para facilitar la relación de los visitantes con nuestro contenido y para permitir elaborar estadísticas sobre las visitantes que recibimos. No se utilizan cookies con fines publicitarios ni se almacena información de tipo personal. Puede gestionar las cookies desde aquí.   
Privacidad