用户登录
用户注册

分享至

apache storm 安装配置

  • 作者: 污污污污污污
  • 来源: 51数据库
  • 2020-09-21
在过去,在windows下跑storm是一个极大的挑战。通常,这种方式会涉及到Storm的源码编程方式,storm的生态依赖以及如何让windows伪装成UNIX/POSIX。
就是因为这个原因,导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。

非常感谢Storm的开发者David Lao以及 来自Yahoo!的贡献(making-storm-fly-with-netty),下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。
下面,我将列出几个步骤,讲述如何将storm部署到windows环境中,并且将会跑一个简单的拓扑在这个环境中。这是一个简单的创建单节点以及跑一个"word count"简单拓扑的过程。
先附上UI图:

安装JAVA:
下载JDK(Storm 需要的环境是JDK6/7),在这个步骤中,我使用JDK 7,大家可以自行到Oracle官网下载。
我将它安装在:
C:\Java\jdk1.7.0_45\

安装Python:
为了测试python的安装,我将部署"word count"来自storm-starter project 的例子,一个用python写的multi-lang bolt。我使用的python2.7.6可以从这里下载。
我将python安装在这里:
C:\Python27\

安装以及执行Zookeeper:

下载 Apache Zookeeper 3.3.6并且解压它。按照如下命令进行配置以及执行:
> cd zookeeper-3.3.6
> copy conf\zoo_sample.cfg conf\zoo.cfg
> .\bin\zkServer.cmd

安装Storm
允许storm部署到windows下的官方正式版本现在还没有发布,但是你可以下载并且编译包含了这个功能的版本,点击这里下载。
(源码分支参考这里)。

解压压缩包到你想要的位置。我选择 C盘。
配置环境变量

在windows下需要配置两个环境变量: STORM_HOME 以及 JAVA_HOME ,并且同样要将安装路径配置到PATH中。
JAVA_HOME
C:\Java\jdk1.7.0_45\

STORM_HOME

C:\storm-0.9.1-incubating-SNAPSHOT-12182013\

PATH Add:

%STORM_HOME%\bin;%JAVA_HOME%\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;

PATHEXT Add:
.PY

Start Nimbus, Supervisor, and Storm UI Daemons
为每一个运行实例打开一个命令行:
Nimbus
> cd %STORM_HOME%
> storm nimbus

Supervisor
> cd %STORM_HOME%
> storm supervisor

Storm UI
> cd %STORM_HOME%
> storm ui

通过浏览器 http://localhost:8080/ 验证一下Storm是否已经跑起来了。
部署“Word Count” 拓扑:
编译 storm-starter 项目。
部署 Word Count 拓扑到你的本地集群中:
> storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost

刷新UI页面,就可以看到任务已经跑起来了。



  c
昨天--告诉你应该已经完成时了,所以排除b,d,to be结构是将来使用的。
c broken,过去分词做后置定语。破碎的(破了的窗)
软件
前端设计
程序设计
Java相关