Playgrounds
Principiante
14px
+ Añadir nodo:
Meta de Calidad / SLA: Zero Consumer Lag · >= 4,200 ev/sTiempo estimado: ~5 min
Objetivo del Escenario #001Pasarela de Pagos FinTech#001 · Pipeline Kafka y Throughput sin Lag (Pasarela de Pagos FinTech)

Configura partitions >= 4 en Kafka Broker, workers >= 4 y dlqEnabled = true en Stream Processor, y batchInsertSize >= 500 en el Warehouse.

1. Contexto de Producción y Arquitectura

Arquitectura de streaming de eventos para "Pasarela de Pagos FinTech" (Escenario #001 · Nivel Principiante). Los productores publican eventos en Kafka, un grupo de workers los procesa en paralelo con deduplicación en Redis y escribe en lotes al Data Warehouse.

2. Diagnóstico / Causa Raíz e Incidente

Pipeline de streaming Kafka en tiempo real para Pasarela de Pagos FinTech: equilibra particiones del broker, workers consumidores, cola de mensajes fallidos (DLQ) y tamaño de lote hacia el data warehouse.

Impacto en Producción: El Consumer Lag retrasa alertas en tiempo real y conciliaciones financieras, mientras que un mensaje corrupto sin DLQ detiene toda la ingesta.

3. Meta Técnica y Validación en Runtime Real

Mide el paralelismo entre particiones y workers en Python 3.12 sobre Linux, calculando el throughput real (eventos/s), Consumer Lag = 0 y resiliencia DLQ.

Conceptos de Ingeniería Clave:
Particionado de Tópicos KafkaParalelismo de ConsumidoresDead-Letter Queue (DLQ)Escritura Analítica por Lotes
4. Parámetros a Auditar y Corregir en Nodos
  • Listo
  • Listo
  • Listo
  • Listo
Data Streaming & Event Pipelines Lab4 nodos · 3 enlaces
React Flow