spark 数据清洗

作者: 施主别谈爱
来源: 51数据库
2020-09-27

大数据开发其实分两种：
第一类是编写一些Hadoop、Spark的应用程序，第二类是对大数据处理系统本身进行开发。感觉更适用于data analyst这种职位吧，而且现在Hive Spark-SQL这种系统也提供SQL的接口。
第二类工作的话通常才大公司里才有，一般他们都会搞自己的系统或者再对开源的做些二次开发。这种工作的话对理论和实践要求的都更深一些，也更有技术含量。
大数据开发工程师的主要工作内容：
1、负责公司大数据平台的开发和维护，负责大数据平台持续集成相关工具平台的架构设计与产品开发等；
2、主要从事网络日志的大数据分析工作，包括：网络日志的数据提取、数据融合及分析;专注于实时计算、流式计算、数据可视化等技术的研发;
3、负责网络安全业务主题建模等工作。

　　数据清洗从名字上也看的出就是把“脏”的“洗掉”。因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突，这些错误的或有冲突的数据显然是我们不想要的，成为“脏数据”。我们要按照一定的规则把“脏数据”“洗掉”，这就是数据清洗。