Scopo del corso è fornire le conoscenze necessarie per sostenere l’esame “Confluent Certified Administrator”:
- Architettura Confluent
- Configurazione e amministrazione di Kafka
- Configurazione e amministrazione dei principali tool Confluent a supporto di Kafka
Si evidenzia che il corso è adatto anche a chi semplicemente desidera avvicinarsi al mondo Kafka e alla gestione/amministrazione del prodotto.
Al termine del corso gli studenti saranno in grado di:
- Conoscere l’architettura Kafka.
- Configurare e ottimizzare i sistemi operativi e kafka stesso al fine di ottenere il massimo delle prestazioni
- Installare, configurare, ottimizzare e monitorare un ecosistema software Kafka Confluent.
Il corso è rivolto alle seguenti figure professionali:
Per partecipare con profitto a questo corso è necessario che gli allievi possiedano i seguenti prerequisiti:
- Conoscenze sistemistiche di base
- (Facoltativo) Esperienze sistemistiche su sistemi Linux
Unit 1: Introduzione all’ecosistema software Kafka
- Il mondo Apache
- Concetti Base della Messagistica
- Principali modelli di Messagistica
- Protocolli
- Apache Kafka
- Campi di applicazione
- Kafka Connect
- Schema Registry
- REST Proxy
- Ksql
- Zookeeper
- Introduzione alle Kafka Java Client APIs
- Producer API
- Consumer API
- Streams API
- Connect API
- Installazione Ambiente
- Installazione di Zookepeer
- Installazione di Kafka
- Installazione di altri moduli Confluent
- Configurazione Java
Unit 2: Kafka fundamentals
- Publish/Subscribe Messaging e Streaming
- Kafka’s Command Line Tools
- Fundamentals
- Apache Kafka architecture, design principles, and purposes
- Distributed Systems - Scalability, Fault Tolerance, High Availability
- Primary functions of: Producer, Consumer, Broker
- Meaning of “immutable” log
- Meaning of “committed”
- Topics, Partitions
- Essential services of Apache Zookeeper
- Replication, Leaders, Followers
- Kafka Messages, structure, make-up, metadata
- Kafka Controller
- Exactly Once Semantics
- Brokers & Cluster
- Il Flow completo di Kafka
- Approfondimenti
- Disk-Based Retention
- Scalabilità
- Alte performance
- Security
- Zookeeper
Unit 3: Managing, configuring, and optimizing a cluster for performance
- Startup sequence; component dependencies
- How many partitions? Tradeoffs
- Scalability factors
- Sources and tools for monitoring; Display of metrics
- InSyncReplicas (ISR); Fully and Under replicated, and offline
- Consumer lag, Under/Over Consumption
- Broker failure, detection, and recovery
- Batching and its impacts/consequences
- Determining and solving data imbalance across brokers
- Impacts of average and maximum message sizes
- Quotas
- Tuning
Unit 4: Kafka Avanzato
- Brokers and Zookeeper
- CPU, RAM, network, storage considerations
- Number of nodes
- Rack awareness
- Kafka Connect
- Source and Sink Connectors
- Scalability and High Availability
- Business Continuity / DR
- Data retention