今年国家正式确定了未来经济建设的长期目标——“新基建”。在新基建中5G、大数据中心、人工智能和工业互联网是四大重点科技领域。

客观地说,一方面,“新基础设施”是中国数字经济发展的基本保证,它不仅可以在短期内帮助稳定投资,扩大内需和增加就业;另一方面,通过“新基础设施”促进工业智能的升级,也关系到中国能否赶上智能时代的快车,这对于促进整个中国工业体系的发展具有非常重要的战略意义。更具竞争力。

在这种背景下,通过云计算和大数据的使用,在“新基础架构”中促进行业和企业的智能化转型,迅速获得业务洞察力以做出预测和决策,并实现产品和业务模式的创新,在很大程度上,它将成为决定企业乃至未来数字化转型成败的关键举措。

从这个角度来看,了解大数据,云计算和商业智能之间的关系,我们可以清楚地看到云计算是基本平台,大数据是认知方法,而商业智能是最终目标。云计算,大数据和商业智能的深度集成和共同发展正在推动行业和企业实现智能化转型。

大数据和云计算的关系

云计算的本质就是将计算能力作为一种较小颗粒度的服务提供给用户,按需使用和付费,体现了:

经济性,不需要购买整个服务器

快捷性,即可使用,不需要长时间的购买和安装部署

弹性,随着业务增长可以购买更多的计算资源,可以需要时购买几十台服务器的1个小时时间,运算完成就释放

自动化,不需要通过人来完成资源的分配和部署,通过API可以自动创建云主机等服务。

云计算的技术关注点在于如何在一套软硬件环境中,为不同的用户提供服务,使得不同的用户彼此不可见,并进行资源隔离,保障每个用户的服务质量。

在大数据和云计算的关系上,两者都关注对资源的调度。

数据处理可以基于云计算平台(如IaaS,容器)。

数据处理也可以作为一种云计算的服务,如AWS的EMR(Amazon Elastic MapReduce )阿里云的ODPS(Open Data ProcessingService)。

大数据和商业智能BI的关系

BI(Business Intelligence)即商务智能,它是一套完整的解决方案,用来将企业中现有的数据进行有效的整合,快速准确地提供报表并提出决策依据,帮助企业做出明智的业务经营决策。

商业智能BI在数据架构中处于前端分析的位置,BI的数据很多是来自数据库的结构化数据分析。在企业内部实施BI应用就是为了可以更好的对数据进行分享和使用。其核心作用是对获取数据的多维度分析、数据的切片、数据的上钻和下钻、cube等。通过ETL数据抽取、转化形成一个完整的数据仓库、然后对数据仓库的数据进行抽取,而后是商业智能的前端分析和展示。

BI更倾向于决策,对事实描述更多是基于群体共性,帮助决策者掌握宏观统计趋势,适合经营运营指标支撑类问题;

而大数据(big data)是一种信息资产,它是无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力。简单而言,大数据更偏重于发现、预测并印证的过程。大数据则内涵更广,倾向于刻画个体,更多的在于个性化的决策。

大数据的数据处理,涉及很多新的技术,不同的应用场景需要不同的大数据处理方法,需要有人专门进行研究和探索,可见大数据对于BI人员的技能要求有所提高。

大数据的数据来源包括内部数据和外部数据,有很大一部分数据是包括音频、视频、图像在内的非结构化数据,或是半结构化数据。这类数据通过大数据管理的方式进行整合,然后用BI的方法进行分析挖掘处理。

大数据的应用几乎涉及到社会生活的方方面面,如医疗行业、金融行业、体育行业、安全执法、城市改善等等。当然,大数据所涵盖的领域不止这些,未来还会有许多新的行业和领域利用大数据的应用进行规划和发展。

随着云计算和互联网技术的不断发展,企业CRM、ERP、SCM等应用系统的引入,企业不仅仅关注事务处理过程,而更加注重有效利用企业的数据为准确和快速的决策提供支持。由此带动的对商业智能的需求将是巨大的。传统BI的ETL、数据仓库、OLAP、可视化报表技术,因为解决不了海量数据(包括结构化与非结构化)的处理问题,都处于淘汰的边缘,BI的很多功能都可以被对应的大数据组件所替代。

目前很多商业智能BI供应商都在寻求突破,从传统型BI向敏捷型BI转变,从传统功能向增强型功能转变。其中DataFocus BI在国产软件中也是比较出色的一款产品。在技术层面不断吸收大数据技术,增加大数据处理引擎,让BI可以从容的处理海量数据。而且在前端创新使用类自然语言搜索,降低对技术人的的技能要求,让使用者可以轻松上手。在决策者手中不仅仅可以轻松掌握宏观统计趋势,更能够刻画个体,做出更加个性化的决策。