kafka+zookeeper
作者&投稿：浑凯 （若有异议请与网页底部的电邮联系）
只娟15186611023问： 为什么搭建Kafka需要zookeeper? - ？
新罗区奥义回答： 需要一个地方存元信息.zookeeper又是分布式,做配置管理比较好的.于是就用上了.没zookeeper的话,也需要一套机制存储元数据和交换集群信息的工具.kafka的官方文档有说明.zookeeper是为了解决分布式一致性问题的工具.至于kafka为什么使用zk,你首先要知道zk的作用, 作为去中心化的集群模式.需要要消费者知道现在那些生产者(对于消费者而言,kafka就是生产者)是可用的.如果没了zk消费者如何知道,如果每次消费者在消费之前都去尝试连接生产者测试下是否连接成功,那么效率问题怎么解决.所以kafka需要zk,在kafka的设计中就依赖了zk了.
只娟15186611023问： Kafka自带Zookeeper吗?用自带的zk好还是另装的zk好?其它组件,如HIVE什么的,能 - ？
新罗区奥义回答： HBase的安装包里面有自带zookeeper的.很多系统部署也是直接启动上面的zookeeper.本来也是没有问题的,想想吧,系统里也只有hbase在用zookeeper.先启动zookeeper,再将hbase起来就好了?但是今天遇到了一个很蛋疼的问题.和同...
只娟15186611023问： kafka 集群 必须用zookeeper吗 - ？
新罗区奥义回答： (1)解压为zookeepertar -xf -C /home/myuser/zookeeper/ 复制zookeeper文件夹3份,分别重名名为zookeeperA,zookeeperB,zookeeperC. 并且创建数据快照以及日志存放文件夹,命名为zooA,zooB,zooC. (2)编辑对应的zookeeper配置文件
只娟15186611023问： 如何使用python 连接kafka 并获取数据 - ？
新罗区奥义回答： 连接 kafka 的库有两种类型,一种是直接连接 kafka 的,存储 offset 的事情要自己在客户端完成.还有一种是先连接 zookeeper 然后再通过 zookeeper 获取 kafka 的 brokers 信息, offset 存放在 zookeeper 上面,由 zookeeper 来协调. 我现在使...
只娟15186611023问： kafka好像自带了个zookeeper,和我另外自己下载的zookeeper有什么不同啊啊 - ？
新罗区奥义回答： 别为. ZooKeeper的安装模式分为三种,而是 Zookeeper 服务器集群中连接到 Leader 的 Follower 服务器)初始化连接时最长能忍受多少个心跳时间间隔数:单机模式(stand-alone):这个配置项是用来配置 Zookeeper 接受客户端(这里所说...
只娟15186611023问： kafka自带zookeeper的日志能删除吗 - ？
新罗区奥义回答： 1. 删除logs下的相关记录;2. 到zookeeper下的brokers/topics删除相关节点.--------------不好用!!先逻辑删除(./bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic dnsTopic --zookeeper 10.0.1.44:2181,10.0.1.45:2181,10.0.1.46:...
只娟15186611023问： kafka 怎么创建group - ？
新罗区奥义回答： 进入服务器后,找到kafka安装目录进入bin文件夹,输入命令--- 查看kafka现有主题命令:./kafka-topics.sh --list --zookeeper zk_host:port
只娟15186611023问： java kafka 怎么传输对象 - ？
新罗区奥义回答： 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.8.2.0/logs 复制到其他两个节点,然后修改对应节点上的config...
只娟15186611023问： 如何利用pykafka远程消费 zookeeper+kafka集群 python脚本 - ？
新罗区奥义回答： #从kafka消费#consumer_area = topic_area.get_simple_consumer(auto_offset_reset=OffsetType.LATEST)#从ZOOKEEPER消费 consumer_area = topic_area.get_balanced_consumer( consumer_group=b'zs_download_04', # 自己命令 auto_...
只娟15186611023问： 如何在Kafka上创建一个Topic - ？
新罗区奥义回答： 在运行/调试设置中,编辑配置对话框中有“Main”这个选项卡,我们可以勾选“Stop in main”这个复选框.如果选中,那么在调试一个基于main方法的Java程序时,程序会在main方法第一行位置便停止执行.进入服务器后,找到kafka安装目录进入bin文件夹,输入命令--- 查看kafka现有主题命令:./kafka-topics.sh --list --zookeeper zk_host:port.
