Elastic机器学习Steve Dodson:机器学习的潛能

Elastic机器学习Steve Dodson:机器学习的潛能

  作者:Elastic机器学习主管Steve Dodson  

  机器学习目前是软件行业最被夸大其词的术语之一,因为从本质上来讲,它就是用来实现数据驱动型预测、决策和建模的一系列广泛的算法和方法。

  假如你能真正掌握机器学习的技術和運用,它能让您在大量数据中,实时地搜索交易,或者利用聚合和可视化,展示一段时间以来的畅销产品或交易趋势。你可更深入地探究数据,例如“有没有哪项服务的行为发生了变化?”或者“主机上是否运行有异常进程?”

  以下为几个机器学习的幸运飞艇开奖结果官网示例:

  示例1 -自动提醒关键绩效指标值的异常变化

  要说这项技术最直观的用例,那就是可以识别指标值或事件速率偏离正常行为的情况。例如,服务响应时间有没有显著增加?网站访客预期数量与同一时段正常情况相比,是否存在明显差异?传统情况下,人们会利用规则、阈值或简单的统计方法来进行此类分析。但遗憾的是,这些简单的方法鲜少能够高效地处理实际数据,原因在于此类方法往往是基于无效的统计假设(例如,高斯分布),因此不支持趋势分析(长期性或周期性趋势),或者在信号发生变化时缺乏稳定性。

  所以说,机器学习功能的首个切入点是单一指标作业,您可以借此了解该产品如何学习正常模式,如何识别单变量时间序列数据中存在的异常。如果您发现的异常是有意义的,您就可以连续地实时运行这项分幸运飞艇开奖历史纪录析,并在发生异常时发出警报。

  尽管这看上去像是一个比较简单的用例,但是产品后台包含大量复杂的无监督式机器学习算法和统计模型,因此我们对于任意信号具有鲁棒性,并且能够准确反映。

  示例2 -自动追踪数以千计的指标

  机器学习产品可以扩展到数十万指标和日志文件,那么下一步就是要同时分析多个指标。这些指标可能是来自同一个主机的多个相关指标,可能是来自同一个数据库或应用程序的性能指标,也可能是来自多个主机的多个日志文件。在这种情况下,我们可以直接单独分析,再将结果聚合到同一个窗口,展示整体的系统异常情况。

  例如,假设我要处理来自一大组应用程序服务的响应时间,我可以直接分析各个服务一段时间以来的响应时间,分别确认各个行为异常的服务,同时展示整体的系统异常情况。

  示例3 -高级作业

  比方说,如果您想找出与整体相比行为异常的用户、异常的DNS流量,或者伦敦街头的拥堵路段,这时您就可以利用高级作业,灵活地分析數據庫中存储的任何时间序列数据。

  Elastic Stack整合

  Elastic今月较早前宣布在Elastic5.4版本中首次推出机器学习功能,用戶安装X-Pack之后,就可以使用机器学习功能实时分析Elasticsearch中的时间序列数据。机器学习作业与索引和分片基本类似,能够跨Elasticsearch集群自动分布和管理。这还意味着机器学习作业对节点故障有很好的适应性。从性能角度看,紧密集成意味着数据永远不需要离开集群,而且我们可以利用Elasticsearch聚合极大地提高某些作业类型的性能。而紧密集成带来的另外一个好处就是,您可以直接从Kibana创建异常检测作业并查看结果。

  由于这种方法对数据进行原位分析,数据从不离开集群,因此与将Elasticsearch数据集成到外部数据科学工具相比,这种方法能够带来显著的性能和运维优势。随着我们在这个领域开发出越来越多的技术,这种架构的优势将会更加显著。