金融大数据平台总体技术

• 数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出以及数据流 的定义等功能，支持多系统集成，支持多协议接入，如支持RESTful、RPC、异步消息接入。结 构化数据包括数据库文件以及结构化文本文件等。非结构化数据包括图片、音频、视频、文档 及应用数据等。半结构化数据包括XML、表格、JSON、HTML、电子邮件等。

• 数据存储提供大数据的分布式存储管理，涵盖多种存储方式和文件系统。
• 数据处理支持结构化、半结构化及非结构化数据，提供丰富的API接口和SDK开发包，支持分布式 计算技术、流处理技术、内存计算技术，实现稳定、强大的数据处理能力。
•  数据分析采用数据挖掘、机器学习等技术，支持多个数据处理引擎，具备数据可视化、多种算法、建模分析等深度挖掘分析能力。
• 数据服务提供海量金融交易数据、用户信息数据、金融业务数据的访问、控制等基础服务，提供 营销管理、风险管理、客户服务、经营分析及用户画像等高级数据服务，金融大数据平台支撑的 应用场景见附录。
• 平台运维具备高可靠、安全、容错、易用的集群管理能力，支持大规模集群的安装部署等功能， 提供分钟级别的统一风险管理，具备各类日志的指标实时采集能力、通用的SQL查询能力、可视 化监控能力。

数据接入功能要求

• 作业调度

  1. 应支持工作流任务的调度。
  2. 应支持工作流的编排。
  3. 应支持工作流的批量启停、导入、导出。

•  数据采集

  1. 应支持数据库与文件系统间数据、文件的导入和导出。

  2. 应支持数据的批量采集。

  3. 宜支持数据的实时采集。

  4. 应支持任务的并行执行，在任务失败后可以重新调度。

• 消息队列

  消息队列的功能要求如下：
  1. 应支持高吞吐、分布式消息的处理。

  2. 应支持消息的缓存。

  3. 应支持离线应用和在线应用对消息的使用和处理。

  4. 宜支持多种客户端。

•   数据传输      

     数据传输的功能要求如下：
  1. 应支持通用的数据传输协议。
  2. 应支持断点续传机制。
  3. 应支持同步、异步传输机制。