kafka+stream+flink
作者&投稿：舟枫 （若有异议请与网页底部的电邮联系）
刁视15528803945问： kafka获取数据的几种方式 - ？
陕县阿米回答： 一、基于Receiver的方式这种方式使用Receiver来获取数据.Receiver是使用Kafka的高层次Consumer API来实现的.receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的,然后Spark Streaming启动的job会去处理那些数据....
刁视15528803945问： streaming 和kafka结合可以代替storm吗 - ？
陕县阿米回答： 可以
刁视15528803945问： 如何将kafka数据导入到spark streaming - ？
陕县阿米回答： 我这边的应用是这样的: ①采集程序:使用avro方式将自定义对象序列化成字节流存入Kafka ②spark streaming:获取Kafka中的字节流,使用avro反序列化为自定义对象
刁视15528803945问： spark读取kafka数据 createStream和createDirectStream的区别 - ？
陕县阿米回答： 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] ) 使用了receivers来接收数据,利用的是Kafka高层次的消费者api,对于所有的receivers接收到的数据将会保存在spark ...
刁视15528803945问： flume可以作为etl工具吗 - ？
陕县阿米回答： 前面应该还有个数据生产者,比如flume. flume负责生产数据,发送至kafka. spark streaming作为消费者,实时的从kafka中获取数据进行计算. 计算结果保存至redis,供实时推荐使用. flume+kafka+spark+redis是实时数据收集与计算的一套经典架构...
刁视15528803945问： kafka+spark+redis可否用来构建实时推荐引擎 - ？
陕县阿米回答： kafka+spark+redis可否用来构建实时推荐引擎 程序如下:void inv(int *x,int n) /*形参x为指针变量*/ { int *p,temp,*i,*j,m=(n-1)/2; i=x;j=x+n-1;p=x+m; for(;i{temp=*i;*i=*j;*j=temp;} return; } main() {int i,a[10]={3,7,9,11,0,6,7,5,4,2}; printf(＂The original ...
刁视15528803945问： spark从kafka读取数据遇到什么问题了吗 - ？
陕县阿米回答： 你可以试一下这三种方法1、At most once - 每条数据最多被处理一次(0次或1次),这种语义下会出现数据丢失的问题;2、At least once - 每条数据最少被处理一次 (1次或更多),这个不会出现数据丢失,但是会出现数据重复;3、Exactly once - 每条数据只会被处理一次,没有数据会丢失,并且没有数据会被多次处理,这种语义是大家最想要的,但是也是最难实现的.
刁视15528803945问： 如何获取kafka服务器上的数据 - ？
陕县阿米回答： class LogClient(object): def __init__(self, kafkaHost, kafkaPort): self.kafkaHost = kafkaHost self.kafkaPort = kafkaPort def fixLen(self, s, l): s = s[0:8]+worknode+s[8:] fixed = s+＂ ＂*(l-len(s)) return fixed def sendLog(self, topic, filename): try: client = ...
刁视15528803945问： Spark直连消费Kafka数据,防止数据丢失问题. - ？
陕县阿米回答： 除非你将处理后的数据结果储存在支持事物的数据库中,比如这样:开启事物 保存偏移量 保存处理结果 结束事物 在这里事物(原子性)保证了数据处理和偏移量保存的原子性 否则无法保证真正避免的数据重复消费或数据丢失.看你更倾向于是可接受重复消费或者数据丢失
刁视15528803945问： kafka 怎么创建group - ？
陕县阿米回答： 进入服务器后,找到kafka安装目录进入bin文件夹,输入命令--- 查看kafka现有主题命令:./kafka-topics.sh --list --zookeeper zk_host:port
