简介
数据挖掘中的数据集成是指将来自多个源的数据组合到单个统一视图中的过程。这可能涉及清理和转换数据，以及解决不同数据源之间可能存在的任何不一致或冲突。数据集成的目标是使数据对分析和决策更有用和更有意义。数据集成中使用的技术包括数据仓库、ETL（提取、转换、加载）过程和数据联合。
数据集成是一种数据预处理技术，它将来自多个异构数据源的数据组合到一个一致的数据存储中，并提供数据的统一视图。这些源可能包括多个数据立方体、数据库或平面文件。
数据集成方法被正式定义为三元组<G，S，M>，其中，
G代表全局模式，
S代表模式的异质源，
M代表源查询和全局模式查询之间的映射。
什么是数据集成
数据集成是将来自多个源的数据组合成一个内聚和一致的视图的过程。这个过程包括识别和访问不同的数据源，将数据映射到一个通用格式，以及协调源之间的任何不一致或差异。数据集成的目标是更容易访问和分析分布在多个系统或平台上的数据，以便更完整和准确地了解数据。
由于不同数据源使用的数据格式、结构和语义多种多样，数据集成可能具有挑战性。不同的数据源可能使用不同的数据类型、命名约定和模式，因此很难将数据联合组合到单个视图中。数据集成通常涉及手动和自动化流程的组合，包括数据分析、数据映射、数据转换和数据协调。
数据集成用于广泛的应用程序，如商业智能，数据仓库，主数据管理和分析。数据集成对于这些应用程序的成功至关重要，因为它使组织能够访问和分析分布在不同系统，部门和业务线上的数据，以便做出更好的决策，提高运营效率并获得竞争优势。
数据集成主要有两种方法，一种是“紧耦合方法”，另一种是“松耦合方法”。
紧耦合
这种方法包括创建一个集中的存储库或数据仓库来存储集成的数据。数据从各种来源提取，转换并加载到数据仓库中。数据以紧密耦合的方式集成，这意味着数据在高级别上集成，例如在整个数据集或模式的级别上。这种方法也被称为数据仓库，它可以实现数据的一致性和完整性，但它可能是不灵活的，难以更改或更新。
- 在这里，数据仓库被视为一个信息检索组件。
- 在这种耦合中，通过ETL（提取、转换和加载）过程将来自不同来源的数据组合到单个物理位置。
松耦合
这种方法涉及在最低级别集成数据，例如在单个数据元素或记录级别。数据以松散耦合的方式集成，这意味着数据在低级别集成，并且它允许数据集成，而不必创建中央存储库或数据仓库。这种方法也称为数据联合，它支持数据灵活性和轻松更新，但很难在多个数据源之间保持一致性和完整性。
- 这里，提供了一个接口，该接口从用户获取查询，以源数据库可以理解的方式对其进行转换，然后将查询直接发送到源数据库以获得结果。
- 并且数据只保留在实际的源数据库中。
数据集成中的问题
在集成来自多个来源的数据时可能会出现几个问题，包括：
- 数据质量：数据中的不确定性和错误可能会使得难以组合和分析。
- 数据语义：不同的数据源可能对相同的数据使用不同的术语或定义，这使得难以组合和理解数据。
- 数据异构性：不同的数据源可能使用不同的数据格式、结构或模式，这使得难以组合和分析数据。
- 数据隐私和安全性：在集成来自多个源的数据时，保护敏感信息和维护安全性可能很困难。
- 可扩展性：集成来自多个来源的大量数据可能会在计算上花费大量时间。
- 数据治理：管理和维护来自多个来源的数据集成可能很困难，特别是在确保数据准确性、一致性和及时性方面。
- 性能：集成来自多个源的数据也会影响系统的性能。
- 与现有系统整合：将新数据源与现有系统集成可能是一项复杂的任务，需要大量的工作和资源。
- 复杂性：整合来自多个来源的数据的复杂性可能很高，需要专业技能和知识。
在数据集成过程中需要考虑三个问题：模式集成、冗余检测和数据值冲突的解决。下文将对此作简要说明。
- 模式集成：
整合来自不同来源的元数据。
来自多个来源的真实世界实体被称为实体识别问题。 - 冗余检测：
如果一个属性可以从另一个属性或属性集导出或获得，则该属性可能是冗余的。
在属性中的插入也会导致结果数据集中的冗余。
一些冗余可以通过相关分析来检测。 - 解决数据值冲突：
这是数据集成中的第三个关键问题。
来自不同来源的属性值对于同一真实世界实体可能不同。
一个系统中的属性可以在比另一个系统中的“相同”属性更低的抽象级别上被记录。
