芬兰超级联赛

DTEmpower——智能數據建模軟件

芬兰超级联赛 基本介紹

工業企業均擁有大量的數據,如何從數據中挖掘知識,並有效服務于自身的業務是各企業非常關注的話題。隨著人工智能和數據挖掘技術的發展,市場上已存在有大量開源的和商業的數據建模解決方案,但是對于工業企業,要想建立高質量的模型,並應用于自己的業務場景,仍存在著一定的門檻,數據荒廢或投入産出失衡的現場屢見不鮮。在此背景之下,南京芬兰超级联赛軟件有限公司通過對工業企業數據建模需求的深度挖掘,研發了一套針對工業用戶的數據建模平台DTEmpower。

數據建模平台DTEmpower圍繞數據清理、特征提取、特征選擇和模型訓練等數據建模的各個環節,提供有大量算法,通過針對特定場景下算法的深度研發,利用智能調度引擎和超參優化等技術,提高模型質量的同時,降低了對用戶數據建模經驗的需求。同時DTEmpower提供一套圖形化的建模開發環境,所有算法均可通過拖拽的方式進行調用,通過連線的方式進行數據的傳遞,極大的降低了用戶的使用門檻。依托強大的算法和簡便的操作,零基礎用戶也可以利用DTEmpower快速挖掘到優秀的模型。

模型是可复用的知识,DTEmpower秉承这一理念,定义了一套模型交换格式(简称DT模型),挖掘得到的模型可以直接存储为单个模型文件,DT模型可以在DTEmpower的模型运行模块DTEmpower Run(简称DTRun)、芬兰超级联赛优化平台AIPOD等软件中直接调用,服务于优化设计和实时预警等各种应用。

“降低數據建模的門檻、強化模型的知識屬性”,DTEmpower針對典型的工業應用場景,提供了從建模到模型管理應用的一站式解決方案,讓工業用戶可以聚焦于業務而不是疲于數據分析,充分發揮數據的價值。


芬兰超级联赛 主要功能及優勢

1)零編碼建模

DTEmpower提供了圖形化的數據建模流程搭建功能。所有的數據及模型操作,均以工具箱中模塊的形式提供,用戶無需具備編碼能力,通過簡單的節點拖拽與節點連接即可完成複雜的數據建模流程的構建。

芬兰超级联赛

圖 1 零编码的数据建模流程搭建

2)豐富的算法

DTEmpower圍繞數據清理、特征提取、特征選擇和模型訓練等數據建模的各個環節,在工具箱中工具的形式提供有大量算法,其中模型訓練算法包括,AIAgent、MLP、AdaBoost等數十種算法,所有這些訓練算法都應用了芬兰超级联赛自主研發的超參學習引擎TFAutoML,實現超參自動尋優。

芬兰超级联赛

圖 2 丰富的算法

3)智能數據清理算法

數據中的異常點極大的影響著模型的質量,因此數據清理至關重要。考慮到工業設計數據集的特性,芬兰超级联赛研發了智能數據清理算法AIOD。相較于傳統的數據清理算法,它具有以下特點:

①通过自研的智能调度引擎,管控数十种数据清理算法,包括,Global Outliers Detection、Local Outliers Detection、Contextual Outliers Detection、Regression based OD、Hybrid Auto OD、Cluster Analysis、Classification Analysis等等,综合考虑数据的整体分布,更精准的挖掘出数据集中的“潜在异常点”;

②使用門檻低,無需任何先驗知識,一鍵完成異常點推薦;

③靈活的異常點剔除規則定義,用戶可遞進式地觀測隨著異常點剔除個數的增加而帶來的代理模型精度的顯著提升,更全面的掌握數據的質量情況。

芬兰超级联赛

圖 3 异常点智能识别

4)針對小規模數據集的AIAgent訓練

針對工業設計數據的“小數據集”、”數據分布不均“等特點,芬兰超级联赛研發了一套智能訓練算法AIAgent,其主要特點包括:

①使用集成算法提升模型精度和穩定性;

②通過智能分層分類,級聯使用不同置信度來源數據,極小化代理構建成本;

③通過超參優化,解決參數調節難題,用戶無需介入訓練過程,一鍵得到“最優”模型。

芬兰超级联赛

圖 4 船舶兴波阻力数据集AIAgent训练同其他算法训练的效果对比

5)機理模型融合

DTEmpower支持用戶在數據建模流程中融入機理模型,以改善模型的精度和提高模型的可解釋性。具體包括:

①在特征提取環節添加新的自定義特征;

在訓練環節使用自定義的參數化模型取代黑盒模型,由DTEmpower提供優化算法對未知參數進行擬合;

③DTEmpower提供模型聚合功能,可以將用戶提供的公式模型和數據訓練的模型組合,作爲單個DT模型導出。通過上述功能的結合,最終實現數據挖掘與機理模型的融合。

芬兰超级联赛

圖5 機理模型融合

 6)與AIPOD的無縫集成,輕松開展優化

DT模型的一类典型应用场景是,将建立的DT模型用于产品的优化设计、设备运行优化等各类优化问题中。DTEmpower建立的模型可直接导出,同时AIPOD V2.0支持在计算流程中一鍵導入DT模型,并且可以和脚本、可执行程序进行耦合,实现任意复杂的设计计算流程的搭建。之后便可以借助于SilverBullet算法,进行优化问题求解。

芬兰超级联赛

6 AIPOD中一鍵導入DT模型,耦合建模,進行優化

7智能預警訓練

DTEmpower 是一个开放式的数据建模平台,提供了针对不同场景的定制工具箱,针对设备预警场景的PHM扩展工具箱正是其中之一。PHM扩展工具箱在在DTEmpower强大的数据建模能力的基础之上,提供了一套针对时间序列的智能预警算法,可以轻松固化专家的判断逻辑,从参数的波动、变化趋势,以及参数和预示模型預測值的相对偏差等多方面对参数进行健康度评估,实现异常早期预警。PHM工具箱目前提供有单参数预警、组合参数预警两大控件。

DTEmpower訓練得到的預警模型可以直接導入模型運行模塊DTRun中,DTRun可實時接收傳感器數據,調用DT模型進行數據分析,返回分析結果,實現在線預警。

芬兰超级联赛

7 識別時間序列中的異常現象,並給出異常原因,輔助用戶快速處置

芬兰超级联赛

8 DTRun中調用DT模型對實時數據進行分析,實現在線預警


芬兰超级联赛 DTEmpower的案例展示

1數據清理與AIAgent訓練

本案例采用一個基于Styblinski-Tang函數的仿真數據集,來展示在DTEmpower中進行數據清理和數據訓練的效果。Styblinski-Tang函數如下所示:

芬兰超级联赛

其中,輸入爲5維,x1至x5的取值範圍均爲-5到5,隨機生成300組樣本,無噪聲,同時在第一個數據中增加偏置800,來模擬異常點,作爲建模數據集。數據建模的目標是獲取從x(x1至x5)到y的預測模型。

構建的訓練流程如下所示,數據讀取之後,首先指定輸入輸出變量,然後將數據集隨機分割,75%的數據用于訓練,剩余數據用于測試,分別利用AIAgent和GBDT算法對訓練數據集進行訓練,之後利用測試數據集來進行模型對比測試。AIAgent算法訓練耗時約8小時。
測試結果表明:

①異常清理控件可以准確識別出預先放置的異常點;

②由于數據集沒有添加噪聲,采用AIAgent算法訓練得到的模型的響應面基本完全貼合理論值,精度遠高于AdaBoost算法。

芬兰超级联赛

圖 9 数据建模流程搭建

芬兰超级联赛

圖 10 异常点清理

芬兰超级联赛

芬兰超级联赛

AIAgent的響應面,測試精度99.99%Adaboost的響應面,測試精度79.9%


2機理融合案例

利用用戶已知的參數間的部分機理關系,可以在有限數據集的條件下,建立精度更高,可解釋性和遷移性更好的模型。本案例也采用一個仿真數據集,仿真函數如下所示:

芬兰超级联赛

其中,自变量x1,x2的取值范围均为[0, 1]。 給定a=7,b=-0.4,c=1,噪聲10%,隨機采樣50組,作爲建模數據集。數據建模的目標是建立從變量x1,x2到變量y的預測模型。

假設用戶已知上述關系,就可以利用DTEmpower特征提取中的”自定義提取“工具,定義一個新的特征x3=x1*x2,然後再利用給定的參數多項式來擬合,來構建x3y之間的函數關系,之後通過模型聚合工具,將自定義的特征提取模型和擬和的多項式模型組合,即可以得到從x1x2預測yDT模型。

在DTEmpower中搭建的建模流程如下,作爲對比,同時采用了不經過特征提取,直接使用多項式回歸和AdaBoost回歸的訓練算法同時訓練,訓練集占比50%。
基于25個有10%噪聲的訓練樣本,機理模型訓練得到的參數爲,a=7.83,b=-0.05,c=1.16,與仿真模型基本吻合。融合了機理的DT模型的測試精度爲99.68%,相對于其他算法有所提高,證明了DTEmpower在機理融合方面的強大能力。

芬兰超级联赛

11 機理聚合的建模流程

芬兰超级联赛

圖 12 聚合模型的响应面

芬兰超级联赛

芬兰超级联赛

融合機理訓練效果,測試精度99.68%

多項式訓練效果,測試精度94.89%

芬兰超级联赛

AdaBoost訓練效果,測試精度98.90%

3和AIPOD相結合進行優化

DTEmpower建立的模型可直接导入到AIPOD 中,利用SilverBullet算法,进行优化问题求解。本案例直接采用案例1中构建的DT模型来进行优化过程展示,Styblinski-Tang 函数的全局最优点如表所示,此时y=-195.82995。

将训练得到的DT模型导入AIPOD中,然后使用Silverbullet算法开展优化,关闭BoundBreak特性,设置优化步数为200,经过169步优化后,算法提前中止,得到最优解如表所示,此时y=-195.826,校验误差2.5e-4%,基本贴合理论最优解。使用相同设置,基于GBDT算法训练得到的DT模型进行优化,129步后Silverbullet算法提前中止,得到的最优解如表所示,此时y=-151.172,預測误差8.3%。这也进一步印证了AIAgent训练算法的可靠性。

表 1 基于AIAgent和GBDT训练的DT模型进行优化的优化结果对比

芬兰超级联赛

芬兰超级联赛

圖 13 将DT模型导入AIPOD

芬兰超级联赛

圖 14 AIPOD中的寻优结果

4)智能預警

DTEmpower提供了从参数的波动、参数变化趋势,参数相关关系以及参数和动态基准值相对偏差等多方面对参数进行全面的健康度评估,本案例将展示其中基于动态基准值模型的预警效果。某设备有3个参数,其中参数1和参数2均随参数3而变化。某一时刻开始,参数3开始异常抬升,但是其变化仍在正常范围内,如下圖所示,这种异常情况在传统的报警系统中是无法被发现的。

芬兰超级联赛

圖 15 异常数据集

使用DTEmpower构建如下所示的预警建模流程,对于导入的数据集,首先使用一个回归模型构建以参数3为输入,参数1和参数2为输出的預測模型,然后将该預測模型传入智能预警控件,作为预警参数的基准值,预警限值设定为4。流程构建完成之后,启动训练,得到如下所示的两个参数的异常评分圖,可以看到,建立的DT模型可以成功识别出参数2的异常,并准确告知异常原因,这对于运值人员快速处理故障具有重要意义。DTEmpower训练得到的预警模型可以直接保存导出,供DTRun在线调用,用于实时预警和故障诊断。

芬兰超级联赛

圖 16 预警模型训练流程

芬兰超级联赛

芬兰超级联赛

圖 17 参数1的异常预警结果圖 18 参数2的异常预警结果


友情链接:恩佐娱乐  AOA体育APP下载