Stream Designer, la nueva propuesta de Confluent que permite construir y desplegar pipelines de datos en streaming

Confluent acelera el cambio hacia el flujo de datos en tiempo real con la primera interfaz visual del sector para construir, probar y desplegar pipelines de datos de forma nativa en Apache Kafka®.

Confluent, empresa líder en infraestructura de datos centrada en data in motion, ha presentado Stream Designer, una interfaz visual que permite a los desarrolladores construir y desplegar pipelines de datos en streaming en minutos. Esta interfaz visual point-and-click supone un gran avance hacia la democratización de los flujos de datos haciéndolos accesibles a cualquier desarrollador sin necesidad de ser un experto especializado en Apache Kafka®. Con un mayor número de equipos capaces de construir e iterar rápidamente sobre los streaming pipelines, las organizaciones podrán conectar más datos de su negocio de manera ágil, aumentar el rendimiento y mejorar y acelerar los procesos de toma de decisiones.

Estamos en medio de un gran cambio tecnológico en el que el streaming de datos está convirtiendo el tiempo real en la nueva normalidad, permitiendo nuevos modelos de negocio, mejores experiencias de los clientes y operaciones más eficientes. Con Stream Designer, queremos democratizar este movimiento hacia el streaming de datos y hacer que el tiempo real sea el predeterminado para todo el flujo de datos en una organización.Jay Kreps, cofundador y CEO de Confluent

En la era del streaming, el flujo de datos se ha convertido en el modo predeterminado de actuación para obtener el éxito dentro de las empresas. Las tecnologías de streaming que antes estaban al margen, se han convertido ahora en el núcleo de las funciones empresariales críticas. Este cambio se ha visto impulsado por la creciente demanda de datos de forma instantánea y escalable en toda la gama de experiencias de clientes y operaciones empresariales. El procesamiento por lotes tradicional ya no puede seguir el ritmo del creciente número de casos de uso que dependen de actualizaciones de datos en menos de un milisegundo.

Las organizaciones necesitan acelerar sus iniciativas de flujo de datos a medida que la parte de su negocio que opera en tiempo real aumenta. De hecho, Kafka es el estándar para la transmisión de datos, ya que permite a más del 80% de las empresas de la lista Fortune 100 gestionar de manera fiable grandes volúmenes y variedades de datos en tiempo real. Sin embargo, la construcción de data pipelines en streaming open source en Kafka requiere equipos de ingeniería altamente especializados y mucho tiempo para invertir en múltiples herramientas. Esto hace que el streaming de datos generalizado esté fuera del alcance de muchas organizaciones y deja las pipelines existentes obstruidas con datos obsoletos.

Cada vez son más las empresas que están viendo que el streaming de datos es imprescindible para lograr la innovación y mantener un negocio saludable. Las empresas necesitan añadir más casos de uso de streaming, pero la falta de talento de los desarrolladores y la creciente deuda técnica son algunos de los problemas a los que se enfrentan esas compañías. Las interfaces visuales, como Stream Designer suponen un avance clave para superar estos desafíos y facilitar el desarrollo de pipelines de datos para los equipos existentes y anticiparse a la próxima generación de desarrolladores.Amy Machado, Directora de Investigación, Streaming Data Pipeline en IDC

Stream Designer: La primera interfaz visual para construir de manera ágil pipelines de datos en streaming de forma nativa en Kafka

El streaming de datos se está convirtiendo en el sistema central de nuestra infraestructura ya que impulsa las experiencias de los clientes en tiempo real en los 12 países donde operamos. La interfaz visual low-code de Stream Designer permitirá a más desarrolladores, en toda nuestra organización, aprovechar los datos en movimiento. Con una visión unificada y de extremo a extremo de nuestros pipelines de datos en streaming, se mejorará la productividad de nuestros desarrolladores haciendo que las aplicaciones en tiempo real, el desarrollo de pipelines y la resolución de problemas sean mucho más fáciles.Enes Hoxha, Arquitecto de Negocios en Raiffeisen Bank International.

Stream Designer proporciona a los desarrolladores la flexibilidad del point-and-click para construir pipelines o segmentaciones en minutos y describir los flujos de datos y la lógica empresarial fácilmente dentro de la interfaz de usuario de Confluent Cloud. Adopta un enfoque centrado en el desarrollador, donde los usuarios con diferentes habilidades y necesidades pueden cambiar sin problemas entre la UI (Interfaz de Usuario), un editor de código y la interfaz de línea de comandos para construir la lógica del flujo de datos a la máxima velocidad. Aporta al desarrollador prácticas orientadas a las canalizaciones, lo que facilita a los desarrolladores que no conocen Kafka la escalabilidad de los proyectos de flujo de datos con mayor rapidez.

Con Stream Designer, las organizaciones pueden:

* Impulsar la productividad de los desarrolladores. En lugar de pasar días o meses gestionando componentes individuales en Kafka open source , los desarrolladores pueden construir pipelines con el ecosistema completo de Kafka, accesible en una interfaz visual. Ahora, ya no es necesario trabajar con varios componentes como Kafka Streams y Kafka Connect, que requieren cada uno su propio código, sino que se puede construir, iterar y probar antes de comenzar la producción de una manera modular, manteniendo las metodologías más populares de desarrollo ágil.

* Desbloquear una visión unificada de extremo a extremo. Después de crear una canalización, el siguiente reto es mantenerla y actualizarla a medida que cambian los requisitos de la empresa y evoluciona la tecnología. Stream Designer proporciona una vista unificada de extremo a extremo para observar, editar y gestionar fácilmente las canalizaciones y mantenerlas actualizadas.

* Acelerar el desarrollo de aplicaciones en tiempo real. Los pipelines construidos en Stream Designer pueden exportarse como código fuente SQL para compartirlos con otros equipos, desplegarlos en otros entornos o encajarlos en los flujos de trabajo CI/CD existentes. Stream Designer permite que varios usuarios editen y trabajen en la misma canalización en directo y al tiempo, lo que permite una colaboración y una transferencia de conocimientos perfectas.