Apache Kafka学习 (一)

  • 时间:
  • 浏览:1
  • 来源:神彩快3_彩神快3官方

* Producer(生产者) API 允许应用系统应用应用程序发布流记录到有3个或多个kafka主题。

给你如此安装zookeeper,给你是用户kafka的内置脚本启动有3个单节点的zookeeper实例。

  2-1) 启动单节点zookeeper实例:

* 每条流记录包蕴含3个键值对和有3个时间戳。

上图是2台服务器的kafka集群带了有3个分区(P0 - P3), 2组Consumer订阅Producer发布的主题消息。

有一台服务器扮演leader(头领)的角色,而其余的服务器则是followers(跟随者)。

     显示结果:  test

 

2) 启动服务器

给让让人们 以上演示前要开启有3个控制台,效果如下:

1) 在系统随后应用之间还前要构建可依赖的实时的流数据管道。

前言:最近公司随后刚结束了要研究大数据的消息记录,于是随后刚结束了研究kafka。

* kafka集群根据topic(主题)对存储的流记录进行分类。

  2-2) 启动kafka server:

主要有以下2点好处:

3) 并能解决流记录。

   > bin/kafka-topics.sh --list --zookeeper localhost:2181

日志中的每个分区分布在集群中的各个服务器上。

* Connector(连接器) API允许构建可重用的生产者或消费者,随后让给让让人们 和现有的系统进行对接。

好了,第一次笔记到此随后结束了,后续会继续阅读学习。 ^_^

如此,接下来又要问了,给让让人们 用kafka的好处是哪几种呢?

* Consumer(消费者) API允许应用系统应用应用程序订阅有3个或多个kafka主题,从而对哪几种主题下的流数据进行解决。

* Streams(流) API则负责高效处于理各个主题下的流记录。

  > bin/zookeeper-server-start.sh config/zookeeper.properties

   > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

# 运行生产者脚本,并向随后创建的test主题发送一些消息

> tar -xzf kafka_2.11-0.10.2.0.tgz

> cd kafka_2.11-0.10.2.0

2)  还前要构建实时的解决流数据的系统。

市面上kafka的书很少,有的也版本比较落后,于是仗着当事人英文还不错,上官网直接学习。 ^_^

如此kafka是哪几种呢?

随后kafka使用zookeeper来管理集群,一些你先前要启动zookeeper。

  (举个例子:有3个连接到关系型数据库的连接器还前要捕捉表格的每次改变)

  收到消息:

https://www.apache.org/dyn/closer.cgi?path=/kafka/0.10.2.0/kafka_2.11-0.10.2.0.tgz

1) 并能在流记录上进行发布和订阅,相似于消息队列了。

   2-3) 创建topic(主题)

(Kafka是有3个分布式的流式数据平台。)

8. 接收消息

   2-4) 使用list命令查看所有主题

3. 核心API

  嘿嘿,你好啊

照官网的解释: 

嘿嘿,你好啊

5. 生产者(Producer)和消费者(Consumer)

照着官网的解释,kafka拥有以下3项主并能力:

4. 主题和日志

2. 核心概念

1)下载kafka源码

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

  > bin/kafka-server-start.sh config/server.properties

  哈哈哈

# 运行消费者脚本,从test主题订阅消息

1. 随后刚结束了 - 基本概念

2) 并能容错存储流记录。

 kafka的每个主题是以分区日志的形式维护的。

7. 发送消息

给你打一些字,如下:

哈哈哈

* kafka以集群的土办法运行在一台或多态服务器上。

学习一样东西,给让让人们 首不能自己知道它是哪几种。

有3个主题还前要被多个消费者订阅。

6. 安装和启动

> bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning