ASP.net C# VB.Net PHP
Swoole ASP/ADO/VBScript SQL语言 Python Python3 Diango C语言 Lua C++ Go语言 Revel Docker Ruby Perl Erlang R语言 Julia Apex OAuth 2.0 Arduino 编程经验 汇编语言 树莓派 游戏设计 MATLAB Elasticsearch Numpy F# Delphi HTCondor Rust 易语言 NSQ
用户登录
用户注册

分享至

在 Hadoop Streaming 中生成单独的输出文件

  • 作者: 宝爷心太乱
  • 来源: 51数据库
  • 2023-01-12

问题描述

只使用一个映射器(一个 Python 脚本)而不使用 reducer，我怎样才能为每一行输出输出一个以键作为文件名的单独文件，而不是输出长文件?

Using only a mapper (a Python script) and no reducer, how can I output a separate file with the key as the filename, for each line of output, rather than having long files of output?

推荐答案

您可以使用 python 文件函数写入本地文件系统上的文本文件，或者如果您想使用 HDFS，请使用 Thrift API.

You can either write to a text file on the local filesystem using python file functions or if you want to use HDFS use the Thrift API.

推荐阅读
热点文章

Copyright 2018 51数据库(www.51sjk.com)

软件
前端设计
程序设计
Java相关