spark 日志分析
- 作者: 芊芊前男友就是我
- 来源: 51数据库
- 2020-09-23
对大数据量日志表做分析。
1. 内容的分析的话就只能借助软件比对分析，
2. 对标题分析的话就可以直接通过程序查找。
3. 最后办法就是人工一个个排查了。
日志是非结构化数据，做分析需要先将日志文件做数据清洗。
将数据清洗为结构化数据，入库分析。
另外，还有考虑数据的管理，譬如日志数据增量更新等等。
针对数据量大，可采用大数据工具存储和计算，譬如开源的Hadoop和Pentaho，或者永洪科技的大数据BI等大数据计算和数据分析一体的工具。
看你需要怎么分析了，主要看策略。至于大数据量的日志可以存在kafka/hdfs中，然后通过storm，spark，presto等等工具去做分析
需要什么样的分析，有偿的话，我可以试试
对大数据量日志表做分析。
1. 内容的分析的话就只能借助软件比对分析，
2. 对标题分析的话就可以直接通过程序查找。
3. 最后办法就是人工一个个排查了。
1. 内容的分析的话就只能借助软件比对分析，
2. 对标题分析的话就可以直接通过程序查找。
3. 最后办法就是人工一个个排查了。
日志是非结构化数据，做分析需要先将日志文件做数据清洗。
将数据清洗为结构化数据，入库分析。
另外，还有考虑数据的管理，譬如日志数据增量更新等等。
针对数据量大，可采用大数据工具存储和计算，譬如开源的Hadoop和Pentaho，或者永洪科技的大数据BI等大数据计算和数据分析一体的工具。
看你需要怎么分析了，主要看策略。至于大数据量的日志可以存在kafka/hdfs中，然后通过storm，spark，presto等等工具去做分析
需要什么样的分析，有偿的话，我可以试试
对大数据量日志表做分析。
1. 内容的分析的话就只能借助软件比对分析，
2. 对标题分析的话就可以直接通过程序查找。
3. 最后办法就是人工一个个排查了。
推荐阅读
