大数据时代来临首先由数据丰富度决定的。随着大数据应用的爆发性增长,它已经衍生出了自己独特的架构,而且也直接推动了存储、网络以及计算技术的发展。但现在的硬件明显已跟不上数据发展的脚步,因为处理大数据这种特殊的需求是一个新的挑战。硬件的发展最终还是由软件需求推动的,很明显的看到大数据分析应用需求正在影响着数据存储基础设施的发展,随着结构化数据和非结构化数据量的持续增长,以及分析数据来源的多样化,此前存储系统的设计已经无法满足大数据应用的需要。存储厂商已经意识到这一点,他们开始修改基于块和文件的存储系统的架构设计以适应这些新的要求。
大数据生态地图
从图中可以看出,大数据产业可划分为六大类,共38种产品/商业模式:
1. 大数据基础设施类(NoSQL数据库、Hadoop相关产品、NewSQL数据库、MPP受苦、管理监控等)
2.大数据分析类(分析解决方案、数据可视化、统计计算、社交媒体、舆情分析、分析服务、IT分析等)
3.大数据应用类(广告优化、出版工具、市场营销、行业应用、大数据应用服务提供商)
4.大数据数据源类(数据市场、数据源)
5.跨基础设施分析(主要为传统IT巨头业务延伸)
6.开源项目(框架、查询/数据流、数据访问、协作/工作流、实时、统计工具、机器学习、云部署)