数据收集：这一阶段涉及从多种不同类型和格式的数据源中抽取数据，包括各种结构化和非结构化数据。数据收集的目标是将分散的数据集成在一起，并转换成统一的格式，以便于后续处理。 数据存储：收集来的数据需要根据成本效益、数据类型、查询需求和业务逻辑等因素，选择适当的存储解决方案。
大数据的数据处理一共包括四个方面分别是收集，存储，变形，和分析。收集：原始数据种类多样，格式、位置、存储、时效性等迥异。数据收集从异构数据源中收集数据并转换成相应的格式方便处理。存储：收集好的数据需要根据成本、格式、查询、业务逻辑等需求，存放在合适的存储中，方便进一步的分析。
大数据处理包含以下几个方面及方法如下：数据收集与预处理 数据收集：大数据处理的第一步是收集数据。这可以通过各种方式实现，包括从传感器、日志文件、社交媒体、网络流量等来源收集数据。数据预处理：在收集到数据后，需要进行预处理，包括数据清洗、数据转换和数据集成。
大数据处理涵盖了数据收集与预处理、数据存储与管理以及数据分析与挖掘等多个方面，并采用了一系列的方法和技术。 数据收集与预处理 - 数据收集：大数据的处理始于数据的收集，这可能涉及从传感器、日志文件、社交媒体、网络流量等多个来源获取数据。
大数据的处理过程一般包括如下：数据采集：收集各种数据来源的数据，包括传感器数据、日志文件、社交媒体数据、交易记录等。数据采集可以通过各种方式进行，如API接口、爬虫、传感器设备等。数据存储：将采集到的数据存储在适当的存储介质中，例如关系型数据库、分布式文件系统、数据仓库或云存储等。
非结构化数据在大数据时代的特点和挑战 特点： 数据量大：随着社交媒体、音视频内容的爆炸式增长，非结构化数据成为大数据的主体，占据绝对的量级优势。 形式多样：非结构化数据包括文本、图片、音频、视频等，形式多样，内容丰富。
非结构化数据，就像一座未被充分探索的宝藏，其独特的形态和特性决定了它与传统结构化数据截然不同。数据的规则性不强，没有预设的框架或模型，无法简单地用二维表格来收纳，这就是它的基本定义。非结构化数据的多样性令人瞩目，其格式从文本短信到高清视频，从音频文件到复杂的办公文档，不拘一格。
非结构化数据的特点是数据结构不规则、信息不完整，并且缺乏预定义的数据模型。这类数据不易用传统的数据库表格来表现，格式和标准多样化。技术上，非结构化数据的处理和理解比结构化数据更具挑战性，需要借助更智能的IT技术进行存储、检索、发布和利用。
大数据的类型大致可分为三类：传统企业数据、机器和传感器数据、社交数据。传统企业数据（Traditional enterprise data）：包括 CRM systems的消费者数据，传统的ERP数据，库存数据以及账目数据等。
大数据分为系统日志采集系统、网络数据采集系统、数据库采集系统这三类。大数据，IT行业术语，是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
结构化数据：这类数据可以存储在关系型数据库中，并以二维表结构来表示。例子包括金融交易数据、企业ERP数据和医疗HIS数据库。结构化数据的特点是格式固定，便于查询和处理，是大数据分析的基础。 半结构化数据：半结构化数据包含分隔符，用于标识语义元素和记录字段，但不符合传统数据库的结构。
消除无用的数据：消除无关紧要的数据。存储数据准备：要处理在数据中删除所有的空白，格式化等问题，并索引非结构化数据。采用数据堆栈和存储技术：使用最新的技术来保存和堆叠数据。保存所有数据直到被存储：在删除任何东西之前，无论是结构化的还是非结构化的数据，必须保存。
清洁数据：这是假设非结构化数据是脏的，或者说是对目前的分析状态没有有用的。您可以清除重复的信息，确保实体命名的一致性，清空稀疏的数据集。考虑检查Saleforce Data.com的关键社交数据，这关系到客户数据记录到社交媒体帐户和网上在线内容的帐户。
处理非结构化数据的一种常见方法是将其转化为结构化的形式，即对简历信息进行粗略整理，提炼出关键类别，例如教育经历、工作经历和党籍等。每种类别都对应一个子表，如教育子表、工作子表等。剩余的非核心信息则存储在主表的备注字段中，以备不时之需。
结构化数据：是指按照一定的数据结构、格式和规律进行存储和处理的数据。通常，这类数据可以通过数据库系统进行管理和查询，如常见的关系型数据库中的表格数据。结构化数据具有固定的字段和格式，便于进行统计分析、数据挖掘和预测分析。
结构化数据和非结构化数据是大数据领域的两种基本数据类型，它们各自有不同的应用场景和处理方式。 结构化数据，又称为行数据，通常以二维表的形式存在，遵循严格的数据格式和长度规范。这种数据适合用关系型数据库进行存储和管理。
结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。
结构化数据和非结构化数据是大数据的两种类型，这两者之间并不存在真正的冲突。客户如何选择不是基于数据结构，而是基于使用它们的应用程序：关系数据库用于结构化数据，大多数其他类型的应用程序用于非结构化数据。
结构化数据：能存储在数据库里的数据；非结构化数据：包括所有格式的办公文档、文本、图片、各类报表、图像和音频/视频信息等等。
评论