9.2 KAFKA

Question 1

Apache Kafka: Definição

Answer 1

É um middleware, um software que fica entre outros softwares e serve como um barramento corporativo, sendo uma maneira de comunicar uma aplicação com outra.
Dessa forma, ele é um barramento de eventos para possibilitar que haja comunicação assíncrona entre as aplicações.

Question 2

Streaming de Eventos

Answer 2

É a prática de capturar dados em tempo real de fontes de eventos;

Armazenar esses fluxos de eventos de forma durável para recuperação posterior; manipular, processar e reagir aos fluxos de eventos em tempo real e retrospectivamente;

Rotear os fluxos de eventos para diferentes tecnologias de destino, conforme
necessário;

Question 3

3 recursos principais

Answer 3

– Para publicar (gravar) e assinar (ler) fluxos de eventos, incluindo importação/exportação contínua de seus dados de outros sistemas;

– Para armazenar fluxos de eventos de forma durável e confiável pelo tempo que desejar;

– Para processar fluxos de eventos à medida que ocorrem ou retrospectivamente;

Question 4

Fornecimento

Answer 4

– Distribuída – pode haver vários servidores;

– Altamente escalável – É possível ir aumentando a potência do sistema, criando mais servidores;

– Elástica – há a possibilidade de aumentar ou diminuir a potência do sistema;

– Tolerante a falhas e segura – em caso de alguma falha, pode-se recuperar;

Question 5

Funcionamento: Definição

Answer 5

Kafka é um sistema distribuído que consiste em servidores e clientes que se comunicam através de um protocolo de rede TCP de alto desempenho

Question 6

Funcionamento: Servidores

Answer 6

Kafka é executado como um cluster de um ou mais servidores que podem abranger vários datacenters ou regiões de nuvem

Question 7

Funcionamento: Clientes

Answer 7

Permitem escrever aplicativos distribuídos e microsserviços que leem, gravam e processam fluxos de eventos em paralelo, em escala e de maneira tolerante a falhas, mesmo no caso de problemas de rede ou falhas de máquina

Question 8

Diagrama

Answer 8

Para que as aplicações se comuniquem, o Apache Kafka funciona como uma espinha dorsal

Question 9

CONCEITOS E TERMINOLOGIAS: produtores

Answer 9

Os produtores são os aplicativos clientes que publicam (gravam) eventos no Kafka e os consumidores são aqueles que assinam (leem e processam) esses eventos;

Question 10

CONCEITOS E TERMINOLOGIAS: tópicos

Answer 10

São sempre multiprodutores e multiassinantes: um tópico pode ter zero, um ou muitos produtores que gravam eventos nele, bem como zero, um ou muitos consumidores que assinam esses eventos

Question 11

CONCEITOS E TERMINOLOGIAS: tópicos são particionados

Answer 11

Significa que um tópico é distribuído por vários
“baldes” (“bucket”) localizados em diferentes corretores Kafka

Question 12

API Admin

Answer 12

gerenciar e inspecionar tópicos, agentes e outros objetos Kafka

Question 13

APIs do produtor

Answer 13

publicar (gravar) um fluxo de eventos para um ou mais tópicos do Kafka

Question 14

APIs Consumer

Answer 14

assinar (ler) um ou mais tópicos e processar o fluxo de eventos
produzidos para eles

Question 15

API Kafka Streams

Answer 15

implementar aplicativos de processamento de fluxo e
microsserviços

Question 16

API Kafka Connect

Answer 16

criar e executar conectores de importação/exportação de
dados reutilizáveis que consomem (leem) ou produzem (gravam) fluxos de eventos de
e para sistemas e aplicativos externos para poderem se integrar ao Kafka

Question 17

Conceitos: Tópicos

Answer 17

um fluxo de mensagens pertencentes a uma determinada categoria é chamado tópico. Os dados são armazenados em tópicos. Os tópicos são divididos em partições. Para cada tópico, Kafka mantém um mínimo de uma partição. Cada partição contém mensagens
em uma sequência ordenada imutável. Uma partição é implementada como um conjunto de arquivos de segmentos de tamanhos iguais

Question 18

Conceitos: Partição

Answer 18

os tópicos podem ter muitas partições, portanto, podem manipular uma quantidade arbitrária de dados

Question 19

Conceitos: Offset da partição

Answer 19

cada mensagem particionada tem um id de sequência exclusivo chamado offset

Question 20

Conceitos: Réplicas de partição

Answer 20

as réplicas nada mais são do que backups de uma partição. As réplicas nunca são dados de leitura ou gravação. Eles são usados para evitar a perda de dados;
Brokers: os Brokers são sistemas simples responsáveis por manter os dados publicados. Cada broker pode ter zero ou mais partições por tópico;

Question 21

Conceitos: Cluster Kafka

Answer 21

Kafka ter mais de um Broker é chamado de cluster Kafka Um cluster
Kafka pode ser expandido sem tempo de inatividade. Esses clusters são usados para gerenciar a persistência e a replicação de dados de mensagens

Question 22

Conceitos: Produtores

Answer 22

os produtores são os editores de mensagens para um ou mais tópicos
Kafka. Produtores enviam dados para Brokers Kafka. Toda vez que um produtor publica uma mensagem para um broker, o broker simplesmente anexa a mensagem ao último arquivo de
segmento. Na verdade, a mensagem será anexada a uma partição. O produtor também pode enviar mensagens para uma partição de sua escolha

Question 23

Conceitos: Consumidores

Answer 23

os consumidores leem dados de Brokers. Os consumidores se inscrevem em um ou mais tópicos e consomem mensagens publicadas extraindo dados dos Brokers.
Leader: Leader é o nó responsável por todas as leituras e gravações para a partição especificada. Cada partição tem um servidor atuando como líder

Question 24

Conceitos: Follower

Answer 24

o nó que segue as instruções do líder é chamado de follower. Se o líder falhar, um dos seguidores se tornará automaticamente o novo líder. Um seguidor atua como consumidor normal, extrai mensagens e atualiza seu próprio armazenamento de dados

Question 25

Conceitos:

Question 26

(2021/CESPE/CEBRASPE/SERPRO/ANALISTA– DESENVOLVIMENTO DE SISTEMAS) A respeito do software Kafka, julgue o item a seguir.

É possível fazer uso da API consumer para publicar eventos em tópicos Kafka.

Answer 26

ERRADO.
API consumer – para ler.
API de produtor – para gravar.

Question 27

(2021/CESPE/CEBRASPE/SEFAZ– CE/AUDITOR FISCAL DE TECNOLOGIA DA INFORMAÇÃO DA RECEITA ESTADUAL) Julgue o próximo item, relativos ao Apache Kafka e ao Kubernetes.

O Apache Kafka provê serviço de mensageria e integração de dados, de forma assíncrona, em que produtores e consumidores ficam desacoplados
e agnósticos entre si.

Answer 27

CERTO.