大数据分析的必要性

说的小谎.

当今社会飞速发展，各种信息爆炸性增长，大家听到最多可能都是大数据分析、人工智能等词汇，那么到底什么是大数据分析，笔者站在个人的观点与各位来一起分享，大数据分析必要性。

大数据分析为我们的企业高层决策提供了数据依据，使管理者可以有效的掌握企业整体核心指标的发展趋势，及时优化企业运营流程，降本增效。从客户的个性化用例，到降低风险，欺诈检测，内部运营分析，还有几乎每天都会出现的所有其他新用例，公司数据中隐藏的价值都需要大数据分析体现。

从原始数据发现价值给IT团队带来了诸多挑战。高速发展公司都有不同的需求和不同的数据资产。企业在市场发展中，业务计划会快速变化，并且与新指令保持一致可能需要敏捷性和可伸缩性。更重要的是，大数据分析操作需要大量的计算资源，技术基础架构和高技能的人员。

这些挑战很有可能导致许多操作在交付价值之前就失败了。之前，由于缺乏计算能力和自动化功能而无法进行真正的生产规模分析操作，这超出了大多数公司的能力，给大家的印象是：大数据太昂贵了，麻烦多并且没有明显的投资回报率。随着云计算的兴起以及计算资源管理中的新技术的出现，大数据分析比以往任何时候更加快捷易用。

一、大数据分析发展历史

早期在互联网和技术公司的推动下，大数据出现于2000年代初的数据繁荣时期。软硬件功能第一次能跟上消费者产生的大量非结构化信息。搜索引擎，移动设备和工业机器等新技术提供了公司可以处理的尽可能多的数据，而且规模还在不断增长。

随着收集数据的天文数字增长，传统数据技术(例如数据仓库和关系数据库)不适合与大量非结构化数据一起使用。早期的大数据创新项目是由Apache软件基金会开源的，其中最重要的贡献来自Google，Yahoo，acebook，IBM，学术界等。最广泛的引擎是：

Apache Hive / Hadoop用于复杂ETL和数据准备的主力军，主要将信息提供给比较多的分析环境或数据存储以进行进一步分析。Apache Spark大部分用于繁重的计算工作，这些通常是批处理ETL和ML工作负载，同时与Apache Kafka技术等结合使用。<span](大数据分析典型部署图)

(大数据分析典型部署图)

二、大数据分析的商业价值体现

随着企业数据的呈指数增长，需要不断扩展其基础架构以满足最大化数据的经济价值。早期(2008年)使用大数据意味着需要合适的人员和软件技术，包括用于处理数据和查询速度的硬件。对齐所有内容以使其同步运行是一项极其艰巨的任务，且经常导致许多大数据项目失败。

如今，云计算已经变成了一个改变市场的趋势，因为无论规模大小，企业都可以通过单击几下即时访问基础架构和高级技术。这是云提供了一个强大的基础架构，使公司能够超越现有系统发展的地方，主要体现以下方面：

1、 数量

　　信息在增长，数据具有有效期，拥有便宜的云存储，使公司可以存储并处理大量数据。

2、 种类繁多

　　非结构化数据进行分析的需求正在增长，直接推动了对诸如深度学习之类的不同框架进行处理的需求。临时云计算服务器使公司可以针对同一数据反复测试不同的大数据引擎。

3、 速度

　　分析问题的复杂性往往需要几步大数据运算、AI云计算等强大的计算功能使企业可以快速有效的预测未来发展趋势，从而为决策提供数字依据。

4、 价值

　　对AI驱动的应用程序的需求推动了对现代大数据架构的需求，该架构允许应用程序，存储和计算资源分别进行横向扩展。

三、 商业智能与大数据分析商业智能BI通常被称为大数据分析的四个步骤的前两个描述和诊断阶段。BI通常托管在一个数据仓库中，在数据仓库中，数据本质上是结构化的，该数据通常根据企业需要，基于己经发生的业务数据，全局展示企业核心指标发展趋势。但是大数据分析更进一步，因为该技术可以访问各种结构化和非结构化数据集(例用户行为或图像)。大数据分析工具可以将这些数据与历史信息结合起来，根据过去的经验来确定未来事件发生的可能性。
四、为什么要用大数据分析

拥有一个大数据平台，使团队可以通过适当的自助服务访问非结构化数据，从而使公司可以进行更具创新性的数据操作。

描述性分析(发生的时间) --–在传统的商业智能和报告分析中很常见。

诊断分析(在何处以及如何发生) --–使商务智能更进一步，可以向最终用户提供数据报告。

预测分析---当一个模型应用于数据，并作出决定或概率得分是基于历史事件给出，同时该数据可对企业未来决策提供帮助。

规范分析(我们应该做什么) –获取数据的预测输出，并将其放入实用的应用程序中，以提出建议或向最终用户发出警报。通常需要将这些数据放入一个数据集市，该数据集市可以近乎实时地提供给应用程序。

当今社会己经进入了一个高速信息时代，新技术不断发展，企业面临的挑战不断增加，围绕着快速增长的各种信息，谁能够更好的进行数据的分析和运用，谁就可以在一定程度上占据市场的主力，能够更好的发展自己，因此，就一定层面而言，企业与时俱进的发展必须要有大数据分析<span]

/END