hadoop与python

作者: 冉小歌F
来源: 51数据库
2020-10-05

机器学习是一系列算法。这些算法通常需要大数据，大量的计算。 hadoop是一种使用多台服务器稳定的进行大规模数据批量处理的软件框架。其核心是hdfs和map reduce。 python是一个通用语言，支持广泛，上手容易。当然大数据中的机器学习算法也是很早就可以用pyhon来编写。 python编写的机器学习算法，可以自己用gearman或者是自己建立的分布式计算系统完成多台PC服务器共同计算。当然也可以通过hadoop的stream接口，将python程序运行在hadoop的框架里。这也是一种成功的商业模式。

　　没联系
python 是一门动态语言,
hadoop是一个分布式计算的框架, 是用java写的.
他们是两个层次的东西.
如果说非要有联系, 就是python可以应用hadoop框架, 做分布式计算的开发.
但是语言和框架, 是可以自己拼装的. java也可以使用hadoop开发分布式计算,
python也可以用spark开发分布式计算, 他们是松耦合的, 可以自己根据需求搭配

推荐阅读