Introducción
Apache Kafka es una plataforma de transmisión de eventos distribuidos de código abierto desarrollada por Apache Software Foundation. Está escrito en los lenguajes de programación Scala y Java. Puede instalar Kafka en cualquier plataforma que admita el lenguaje de programación Java.
Este tutorial proporciona instrucciones detalladas para instalar Apache Kafka en el sistema Linux Ubuntu 22.04 LTS.
Requisitos previos
Debe tener acceso de cuenta privilegiado sudo al sistema Linux Ubuntu 22.04.
Si desea instalar Apache Kafka en un servidor remoto, continúe leyendo; de lo contrario, omita el primer párrafo "Conexión al servidor" y lea el siguiente.
Conexión al servidor
Para acceder al servidor, necesita saber la dirección IP. También necesitará su nombre de usuario y contraseña para la autenticación. Para conectarse al servidor como root escriba el siguiente comando:
ssh root@IP_DEL_SERVERA continuación, deberá ingresar la contraseña de usuario raíz.
Si no está usando el usuario raíz, puede iniciar sesión con otro nombre de usuario usando el mismo comando, luego cambie la raíz a su nombre de usuario :
ssh nome_utente@IP_DEL_SERVERA continuación, se le pedirá que introduzca su contraseña de usuario.
El puerto estándar para conectarse a través de ssh es 22 , si su servidor usa un puerto diferente, deberá especificarlo usando el parámetro -p , luego escriba el siguiente comando:
ssh nome_utente@IP_DEL_SERVER -p PORTAInstalar Java
Podemos ejecutar el servidor Apache Kafka en sistemas que admitan Java. Así que asegúrese de tener Java instalado en su sistema Ubuntu.
Use los siguientes comandos para instalar OpenJDK en su sistema Ubuntu desde los repositorios oficiales:
sudo apt update sudo apt install default-jdk Compruebe la versión activa actual de Java:
java --version openjdk version "11.0.15" 2022-04-19
OpenJDK Runtime Environment (build 11.0.15+10-Ubuntu-0ubuntu0.22.04.1)
OpenJDK 64-Bit Server VM (build 11.0.15+10-Ubuntu-0ubuntu0.22.04.1, mixed mode, sharing)Descarga la última versión de Apache Kafka
Puede descargar los últimos binarios de Apache Kafka desde su página de descarga oficial . Alternativamente, puede descargar Kafka 3.2.0 con el siguiente comando.
wget https://dlcdn.apache.org/kafka/3.2.0/kafka_2.13-3.2.0.tgz Luego extraiga el archivo comprimido descargado y colóquelo en el directorio /usr/local/kafka :
tar xzf kafka_2.13-3.2.0.tgz sudo mv kafka_2.13-3.2.0 /usr/local/kafka Crear scripts de inicio de Systemd
Ahora, cree archivos unitarios systemd para los servicios Zookeeper y Kafka. Esto lo ayudará a iniciar / detener el servicio Kafka de una manera fácil.
Primero, cree un archivo de unidad systemd para Zookeeper:
sudo nano /etc/systemd/system/zookeeper.service Y agrega el siguiente contenido:
[Unit]
Description=Apache Zookeeper server
Documentation=http://zookeeper.apache.org
Requires=network.target remote-fs.target
After=network.target remote-fs.target
[Service]
Type=simple
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
[Install]
WantedBy=multi-user.targetGuarde el archivo y ciérrelo.
Luego, cree un archivo de unidad systemd para el servicio Kafka:
sudo nano /etc/systemd/system/kafka.service Agregue el contenido a continuación. Asegúrese de configurar la ruta JAVA_HOME correcta de acuerdo con Java instalado en su sistema:
[Unit]
Description=Apache Kafka Server
Documentation=http://kafka.apache.org/documentation.html
Requires=zookeeper.service
[Service]
Type=simple
Environment="JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64"
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
[Install]
WantedBy=multi-user.targetGuarde el archivo y cierre.
Vuelva a cargar el demonio systemd para aplicar nuevos cambios:
sudo systemctl daemon-reload Esto recargará todos los archivos systemd en el entorno del sistema.
Inicie los servicios Zookeeper y Kafka
Comencemos ambos servicios uno por uno. Primero, debe iniciar el servicio ZooKeeper y luego iniciar Kafka. Utilice el comando systemctl para iniciar una instancia de ZooKeeper de un solo nodo.
sudo systemctl start zookeeper sudo systemctl start kafka Consulta los estados de ambos servicios:
sudo systemctl status zookeeper sudo systemctl status kafka Eso es todo. Ha instalado con éxito el servidor Apache Kafka en el sistema Ubuntu 22.04. A continuación, crearemos temas en el servidor Kafka.
Crear un tema en Kafka
Kafka proporciona múltiples scripts de shell predefinidos para trabajar. Primero, cree un tema llamado "testTopic" con una sola partición con una sola réplica:
cd /usr/local/kafka bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic testTopic Created topic testTopic.Aquí:
- Use la opción
--createpara crear un nuevo tema - La opción
--replication-factordescribe cuántas copias de datos se crearán. Dado que estamos ejecutando con una sola instancia, mantenga este valor en 1. - Establezca opciones
--partitionscomo la cantidad de corredores entre los que desea que se dividan sus datos. Como estamos ejecutando con un solo corredor, mantenga este valor en 1. - La opción
--topicdefine el nombre del tema .
Puede crear varios argumentos ejecutando el mismo comando anterior. A continuación, puede ver los argumentos creados en Kafka ejecutando el siguiente comando:
bin/kafka-topics.sh --list --bootstrap-server localhost:9092 Alternativamente, en lugar de crear temas manualmente, también puede configurar sus corredores para crear temas automáticamente cuando se publica un tema inexistente.
Enviar y recibir mensajes en Kafka
El "productor" es el proceso responsable de ingresar datos en nuestro Kafka. Kafka viene con un cliente de línea de comandos que tomará la entrada de un archivo o una entrada estándar y la enviará como mensajes al clúster de Kafka. El Kafka predeterminado envía cada línea como un mensaje separado.
Ejecutamos el productor y luego escribimos algunos mensajes en la consola para enviar al servidor:
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testTopic >Welcome to kafka
>This is my first topic
>Puede salir de este comando o mantener este terminal en ejecución para realizar más pruebas. Ahora abra una nueva terminal para el proceso de consumo de Kafka en el siguiente paso.
Kafka también tiene un consumidor de línea de comandos para leer datos del clúster de Kafka y mostrar mensajes en la salida estándar.
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic --from-beginning Welcome to kafka
This is my first topicAhora, si todavía está ejecutando el productor Kafka en otra terminal. Simplemente escriba un texto en la terminal de ese fabricante. será inmediatamente visible en el terminal del consumidor. Echa un vistazo a la captura de pantalla a continuación del productor y consumidor Kafka en el trabajo:
Conclusión
Este tutorial lo ayudó a instalar y configurar el servidor Apache Kafka en el sistema Linux Ubuntu 22.04. Además, aprendió a crear un tema nuevo en el servidor de Kafka y a ejecutar un proceso de producción y consumo de muestra con Apache Kafka.
