用户登录
用户注册

分享至

apache spark kafka

  • 作者: 小小果99561791
  • 来源: 51数据库
  • 2020-09-20
曾经试过了用 spark streaming 读取 logstash 启动的 TCP Server 的数据。不过如果你有多台 logstash 的时候,这种方式就比较难办了 —— 即使你给 logstash 集群申请一个 VIP,也很难确定说转发完全符合。所以一般来说,更多的选择是采用 kafka 等队列方式由 spark streaming 去作为订阅者获取数据。



  额
软件
前端设计
程序设计
Java相关