大数据预处理架构和方法简介

  • 内容
  • 评论
  • 相关

数据预处理主要包括数据清洗(Data Cleaning)、数据集成(Data Integration)、数据转换(Data Transformation)和数据消减(Data Reduction)。本节在介绍大数据预处理基本概念的基础上对数据预处理的方法进行讲解。

大数据预处理整体架构

大数据预处理将数据划分为结构化数据和半结构化/非结构化数据,分别采用传统 ETL 工具和分布式并行处理框架来实现。总体架构如图 1 所示。

大数据预处理总体架构
图 1  大数据预处理总体架构

本文标题:大数据预处理架构和方法简介

本文地址:http://www.hosteonscn.com/5345.html

评论

0条评论

发表评论

邮箱地址不会被公开。 必填项已用*标注