apache storm 安装配置
- 作者: 污污污污污污
- 来源: 51数据库
- 2020-09-21
在过去,在windows下跑storm是一个极大的挑战。通常,这种方式会涉及到Storm的源码编程方式,storm的生态依赖以及如何让windows伪装成UNIX/POSIX。
就是因为这个原因,导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。
非常感谢Storm的开发者David Lao以及 来自Yahoo!的贡献(making-storm-fly-with-netty),下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。
下面,我将列出几个步骤,讲述如何将storm部署到windows环境中,并且将会跑一个简单的拓扑在这个环境中。这是一个简单的创建单节点以及跑一个"word count"简单拓扑的过程。
先附上UI图:
安装JAVA:
下载JDK(Storm 需要的环境是JDK6/7),在这个步骤中,我使用JDK 7,大家可以自行到Oracle官网下载。
我将它安装在:
C:\Java\jdk1.7.0_45\
安装Python:
为了测试python的安装,我将部署"word count"来自storm-starter project 的例子,一个用python写的multi-lang bolt。我使用的python2.7.6可以从这里下载。
我将python安装在这里:
C:\Python27\
安装以及执行Zookeeper:
下载 Apache Zookeeper 3.3.6并且解压它。按照如下命令进行配置以及执行:
> cd zookeeper-3.3.6
> copy conf\zoo_sample.cfg conf\zoo.cfg
> .\bin\zkServer.cmd
安装Storm
允许storm部署到windows下的官方正式版本现在还没有发布,但是你可以下载并且编译包含了这个功能的版本,点击这里下载。
(源码分支参考这里)。
解压压缩包到你想要的位置。我选择 C盘。
配置环境变量
在windows下需要配置两个环境变量: STORM_HOME 以及 JAVA_HOME ,并且同样要将安装路径配置到PATH中。
JAVA_HOME
C:\Java\jdk1.7.0_45\
STORM_HOME
C:\storm-0.9.1-incubating-SNAPSHOT-12182013\
PATH Add:
%STORM_HOME%\bin;%JAVA_HOME%\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;
PATHEXT Add:
.PY
Start Nimbus, Supervisor, and Storm UI Daemons
为每一个运行实例打开一个命令行:
Nimbus
> cd %STORM_HOME%
> storm nimbus
Supervisor
> cd %STORM_HOME%
> storm supervisor
Storm UI
> cd %STORM_HOME%
> storm ui
通过浏览器 http://localhost:8080/ 验证一下Storm是否已经跑起来了。
部署“Word Count” 拓扑:
编译 storm-starter 项目。
部署 Word Count 拓扑到你的本地集群中:
> storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost
刷新UI页面,就可以看到任务已经跑起来了。
c
昨天--告诉你应该已经完成时了,所以排除b,d,to be结构是将来使用的。
c broken,过去分词做后置定语。破碎的(破了的窗)
就是因为这个原因,导致了很大一部分Storm的潜在用户放弃了将storm整合的到大数据处理框架中。
非常感谢Storm的开发者David Lao以及 来自Yahoo!的贡献(making-storm-fly-with-netty),下一个storm版本 (0.9.1-incubating) 将会更容易地部署到windows环境中。
下面,我将列出几个步骤,讲述如何将storm部署到windows环境中,并且将会跑一个简单的拓扑在这个环境中。这是一个简单的创建单节点以及跑一个"word count"简单拓扑的过程。
先附上UI图:
安装JAVA:
下载JDK(Storm 需要的环境是JDK6/7),在这个步骤中,我使用JDK 7,大家可以自行到Oracle官网下载。
我将它安装在:
C:\Java\jdk1.7.0_45\
安装Python:
为了测试python的安装,我将部署"word count"来自storm-starter project 的例子,一个用python写的multi-lang bolt。我使用的python2.7.6可以从这里下载。
我将python安装在这里:
C:\Python27\
安装以及执行Zookeeper:
下载 Apache Zookeeper 3.3.6并且解压它。按照如下命令进行配置以及执行:
> cd zookeeper-3.3.6
> copy conf\zoo_sample.cfg conf\zoo.cfg
> .\bin\zkServer.cmd
安装Storm
允许storm部署到windows下的官方正式版本现在还没有发布,但是你可以下载并且编译包含了这个功能的版本,点击这里下载。
(源码分支参考这里)。
解压压缩包到你想要的位置。我选择 C盘。
配置环境变量
在windows下需要配置两个环境变量: STORM_HOME 以及 JAVA_HOME ,并且同样要将安装路径配置到PATH中。
JAVA_HOME
C:\Java\jdk1.7.0_45\
STORM_HOME
C:\storm-0.9.1-incubating-SNAPSHOT-12182013\
PATH Add:
%STORM_HOME%\bin;%JAVA_HOME%\bin;C:\Python27;C:\Python27\Lib\site-packages\;C:\Python27\Scripts\;
PATHEXT Add:
.PY
Start Nimbus, Supervisor, and Storm UI Daemons
为每一个运行实例打开一个命令行:
Nimbus
> cd %STORM_HOME%
> storm nimbus
Supervisor
> cd %STORM_HOME%
> storm supervisor
Storm UI
> cd %STORM_HOME%
> storm ui
通过浏览器 http://localhost:8080/ 验证一下Storm是否已经跑起来了。
部署“Word Count” 拓扑:
编译 storm-starter 项目。
部署 Word Count 拓扑到你的本地集群中:
> storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology WordCount -c nimbus.host=localhost
刷新UI页面,就可以看到任务已经跑起来了。
c
昨天--告诉你应该已经完成时了,所以排除b,d,to be结构是将来使用的。
c broken,过去分词做后置定语。破碎的(破了的窗)
推荐阅读