ITOps专业人员在不断发展的、充满挑战的环境中运作。他们面临着一个复杂的大数据环境，通常在数千个节点上运行数以万计的应用程序。这种状况意味着用户经常会遇到大量不必要的云浪费。相反，这也意味着提高大数据性能和/或削减支出的机会很多。
最近，在Pepperdata，进行了一项数据调查，以揭示云浪费和优化潜力的规模。在实施解决方案之前，研究了各种客户群。这些集群在运行450万个应用程序的5000个节点上占了400 PB的数据。调查最终得出了一份全面的大数据性能报告，该报告结合了最新的云计算统计数据和大数据趋势。
越来越多的云浪费
Statista报告称：“到2020年，公共云服务市场规模预计将达到2664亿美元左右，到2022年，市场收入预计将超过3500亿美元。”
这种增长是有代价的。复杂的大数据应用程序迁移到云中的次数越多，资源错配的可能性就越大。仅在2019年，云浪费造成的损失就达140亿美元左右。因此，正如Gartner所说， “到2024年，几乎所有迁移到公共云基础架构即服务（IaaS）的旧应用程序都将需要进行优化，以变得更具成本效益。”
在大数据集群中，典型的一周内没有优化，内存利用率的中位数比率仅为42.3％。这意味着存在大量未充分利用或浪费群集资源的群集。
在实施云优化之前，40个大型集群的平均浪费为60 +％。通常，只有5-10％的工作经历了严重的浪费，这使得优化成为一大难题。
优化的潜力
浪费大量的资源可以进行优化。正如Google所发现的那样，即使是不费吹灰之力的云优化也可以在两周内为企业的每项服务节省多达10％的费用。同时，运行六周或更长时间的完全优化的云服务可以为公司节省超过20％的费用。
但是，优化可能是一个挑战。每个应用程序的资源要求都在不断变化。为了充分发挥优化潜力，大数据解决方案需要从所有应用程序和关联的基础架构中收集信息，分析数据并动态满足资源需求的变化。
这只能借助机器学习（ML）来完成。
在ML驱动的云优化的帮助下，我们的研究团队针对大数据工作负载解锁了一系列优化：
· 四分之三的客户群提高了吞吐量，并立即赢得了他们52％的工作时间。
· 25％的用户每年至少可以节省40万美元，而最成功的用户每年可以节省790万美元。
正确的大数据优化解决方案
随着云迁移的继续，企业必须牢记，成本只有在未适当优化的情况下才会增加。业务必须努力采用机器学习驱动的解决方案，该解决方案可以快速查明哪些集群浪费了空间或资源，同时动态地解决了不断变化的资源需求。
为他们提供这种水平的可观察性和自动调整的解决方案是唯一可以化应用程序性能并从长期来看可以节省数百万美元的软件。
