<pre id="9xtx7"></pre>

      <pre id="9xtx7"></pre>

        應用

        寫入速度提升數十倍,TDengine 在拓斯達智能工廠解決方案上的應用

        2025China.cn   2022年06月08日

          導讀:在拓斯達的智能工廠整體解決方案項目中,傳統的關系型數據庫已經無法高效處理時序數據,在加載、存儲和查詢等多個方面都遇到了挑戰,最終他們選擇了 TDengine 來匹配工業傳感器數據的應用分析場景。本文將講述他們應用 TDengine 的具體實踐。

        企業簡介

          廣東拓斯達科技股份有限公司(簡稱:拓斯達,股票代碼:300607)是廣東省首家登陸創業板的機器人骨干企業。拓斯達堅持“讓工業制造更美好”的企業使命,通過以工業機器人、注塑機、CNC為核心的智能裝備,以及控制、伺服、視覺三大核心技術,打造以核心技術驅動的智能硬件平臺,為制造企業提供智能工廠整體解決方案。

        項目介紹

          在工業領域, 生產、測試、運行階段都可能會產生大量帶有時間戳的傳感器數據,這都屬于典型的時序數據。時序數據主要由各類型實時監測、檢查與分析設備所采集或產生,涉及制造、電力、化工、工程作業等多個行業,具備寫多讀少、量非常大等典型特性。

          在我們的業務中,傳統的關系型數據庫(Relational Database)已經無法高效處理時序數據,在加載、存儲和查詢等多個方面都遇到了挑戰。主要問題可以匯總如下:

          ● 寫入吞吐低:單機寫入吞吐量低,很難滿足時序數據千萬級的寫入壓力;

          ● 存儲成本大:在對時序數據進行壓縮時性能不佳,需占用大量機器資源;

          ● 維護成本高:單機系統,需要在上層人工進行分庫分表,維護成本高;

          ● 查詢性能差:海量實時數據的聚合分析性能差。

          為了更好地滿足時序數據的處理需求,我們決定進行數據庫選型調研,最終選擇了時序數據庫(Time-Series Database)TDengine。事實證明,TDengine 針對時序數據的寫入、存儲、索引、查詢等方面都進行了特定的優化,從而實現了更優的數據加載、數據壓縮、查詢寫入性能,非常匹配工業傳感器數據的應用分析場景。

          01、選擇 TDengine 的理由

          與通用數據庫相比,TDengine 的壓縮率表現驚人,核心原因是其采用列式存儲,而且采用了二階段壓縮策略,還針對不同數據類型采取了不同的壓縮算法,這種壓縮機制使其壓縮率遠超其他數據庫。

          此外 TDengine 還擁有極高的讀寫性能,并且讀寫速度受數據存儲規模的影響微乎其微,要知道通用數據庫的數據量一旦過百萬級,讀寫速度就會有明顯下降,之前我們做過一次 MySQL 批量插入數據的測試,性能差距明顯,這也是在大量級數據存儲下我們會選擇 TDengine 的重要原因之一。具體來說,TDengine 優勢如下:

          ● 數據的讀寫速度快且自帶時間戳,使用 SQL 進行數據庫操作,簡單易學,支持復雜查詢

          ● 數據壓縮率高,大量級的數據也不會占據過多存儲空間,可導出數據進行備份

          ● 擁有交流社區和交流群,遇見問題可以和 TDengine 的其他使用者一起探討,而且官方的同學也能提供及時的幫助

          當然,世上沒有完美的數據庫,我們在應用之后總結出了兩點待改進的地方:

          ● 無法使用可視化軟件如 Navicat 等進行數據庫操作(TDengine GUI)

          ● 目前還沒有 Windows 版的服務端,像我們上一個客戶,只在本地 Windows 上使用程序,在沒有安裝虛擬機和部署到服務器的情況下,就無法部署 TDengine

          但每一款產品都是在發現問題和改進問題的步伐中逐漸進步的,而且對于我們的業務實現來說,TDengine 不存在明顯的短板。沒有最優的數據庫,在場景匹配的情況下,我們最終采用了 TDengine。

          02、落地實踐

          ● 平臺架構

          我們是通過網關采集設備數據推送到 MQTT,Java 后端監聽到后會寫入 TDengine,在后端按需求查詢處理后再把數據返回給前端。

          具體來說,網關會先讀取后臺發布的上行規則,在采集到設備數據后,使用上行規則對數據進行處理計算后再將結果返回給下行規則模塊,后臺監聽到后,會連接 TDengine 進行數據庫表的創建修改和數據寫入。之前在云平臺我們使用過 Kafka 進行數據的發布訂閱,現在所有環境都改為 MQTT 了。

          ● 超級表及建模思路

          在應用 TDengine 時,我們建立了流水數據庫 "iot_platform" 用來存儲網關傳來的數據,便于日后查詢使用。我們遵循“一個采集點一張表,一類數據一個超級表”的思路來建表,在具體實踐上設計了兩張超級表,一張是用于存儲 log 指令內容的“logs”表,另一張是用于存儲其它指令內容的“datas”表,數據類型基本為電流電壓、設備狀態等。在進行數據存儲時首先會對數據加以判斷,再決定將數據存儲到哪張表里。

          03、落地效果

          運行一段時間后,TDengine 的查詢、寫入速度完全可以滿足我們目前的客戶需求,最慢的分鐘級,最快的能達到 1 秒一條;一個設備一天最多能寫入近十萬條數據,近千個設備同時寫入也完全沒有問題,相較于之前,寫入速度提升了數十倍。查詢數據在以月為單位的時間范圍內沒有過于明顯的延遲,整體的數據壓縮比大概是 1/10,目前每天產生的數據量在數 G 左右。

          ● 流水數據查詢

          查詢某一時間段內的流水數據,使用查詢語句:

          ● 聚合函數計算一天的數據

          使用 TDengine 的函數計算每天的用電量,再通過每天的去計算月和年數據,查詢語句為:

          ● 計算某一時間段內的數據

          04、寫在最后

          在工業互聯網快速發展的大背景下,工業生產現場投放了大量的設備傳感器和監控系統,二者提供的實時數據能夠反映設備的狀態和生產的進度,其中的大多數據都是按照時間順序形成的實時數據,這些海量實時數據有著多樣化的分析需求和重要的參考價值。

          未來希望 TDengine 可以提供更復雜的流式計算、查詢分析以及監測預警等能力,可以為產品的可視化運維、預測性維護、遠程智能管理等方面提供數據依據,從而降低人員、時間等成本,加速工業化與信息化的深度融合,促進復雜重型裝備制造業的轉型升級,產生社會經濟效益。

        (文章來源:TDengine)

        標簽:TDengine 智能工廠 我要反饋 
        2022年華南展
        進博會
        西克
        專題報道
        西門子NX CAM完整高效加工解決方案
        西門子NX CAM完整高效加工解決方案

        本次演講將針對通用機械制造加工行業,介紹西門子公司高效完整的數字化加工技術解決方案,從簡單的結構零件到復雜葉片的四、五軸

        面向未來的分布式現場電源解決方案
        面向未來的分布式現場電源解決方案

        為滿足現代智能制造工廠不斷增長的新需求與新挑戰,普爾世打破了傳統的集中式供電方案,發展出一套智能、靈活且適應性極強的高可

        ABB電機與發電機2022年新品嘉年華
        ABB電機與發電機2022年新品嘉年華

        ABB是電力和自動化技術領域的行業領導者之一,擁有130多年的創新與研發經驗。ABB電機與發電機業務作為ABB核心業務之

        少妇高潮抽搐喷液动态图

        <pre id="9xtx7"></pre>

            <pre id="9xtx7"></pre>