一文講解大數據處理分析引擎Presto
大數據的時代對數據處理和分析提出了許多要求。企業用戶希望從業務數據中生成報告，執行操作分析，并執行實時推薦計算。因此，在大數據處理和分析領域出現了許多工具。Collupar Databases Clickhouse和Hbase提供存儲和分析功能，Hadoop系列中的MapReduce和HDFS提供離線計算功能，并且Hive以數據倉庫的形式簡單且易于學習。分析能力，實時計算發動機傳遞還提供流批量計算能力，可以說每個都有自己的優點！但是，有成千上萬的工具，只有適合您的工具是最好的。今天，我們將介紹Prestopresto是Facebook的開源分布式SQL查詢引擎，支持PB級數據計算。原因是它在許多分析發動機中。選擇它的主要原因是它可以獨立運行并且不依賴于其他外部系統;此外，簡單的數據結構使得易于訪問大部分數據;最后，豐富的插件接口可以連接到許多數據源系統。基于存儲器的計算模式和基于管道設計的運行和輸出結果的運行模式也使PRESTO能夠快速獲得處理數據。總之，Ali和Meituan等互聯網巨頭也使用Presto作為數據分析中的底層發動機。Presto的體系結構如下所示，
其中包括五個部分：客戶端，探索服務，協調員，工人和連接器。客戶端包括Presto自己的客戶端和jdbc客戶端調用api;探索服務是一個注冊表，所有工作人員都會在它中注冊，協調器從中獲取工作者節點，這與MicroService體系結構中的“制作人”有點類似于MicroStration中心-消費者“關系;工作者負責從連接器獲取數據并執行數據分析任務;連接器負責獲取數據源信息，可以從文件系統（如HDF）接收數據，也可以接收數據庫，例如MySQL，單擊數據庫，甚至是Kafka等消息隊列中的數據。所以如何執行Presto中的SQL查詢任務？要簡單地放置它，它如下所示：用戶在客戶端上發送SQL查詢請求，協調器接受來自客戶端的請求，解析SQL語句，生成查詢計劃并生成SQLQueryexecution-“SQLStageExecution->HttPremoteplan”根據查詢計劃。，將最終計劃任務分配給工作節點;工作節點根據連接器獲取數據任務內容，執行計算，并在計算完成后將結果給出協調器。協調器獲取結果并將結果寫入緩存，并且客戶端在執行任務中的查詢結果后持續輪詢協調器，數據顯示給用戶。在介紹Presto如何執行SQL任務后，讓我們來看看其數據結構和存儲模型。presto中的數據結構是三層模型，目錄-“架構->表，目錄對應于數據源，模式對應于數據源中的數據庫，表對應于數據庫中的表。存儲模型presto包括頁面-“塊。頁面是多行數據的集合（每行包含多列數據），也是presto計算和處理的最小數據單元。塊是特定數據列。數據presto的結構和存儲模型很清楚，并且在訪問presto時變得更加清晰。Presto的處理速度很快。除了基于存儲器的工人節點的計算處理之外，管道模型用于在工作者內計算節點和工作者節點之間。這使用戶能夠非常快速地，并且在輸入輸入時將獲得結果。首先查看以前的結果，然后看看后續結果。對于s AME數據處理和分析引擎，處理速度的差異不同，主要與所使用的工具的架構和操作原理相關。在早期，Facebook使用Hive進行數據分析和處理。后來，因為它太慢，它自身開發并寫了presto。據說同樣的SQL查詢任務在蜂巢中幾乎需要幾乎一分鐘，但在PRESTO人中少于1秒。，然后今天我們也覺得一股Facebook的數據分析和處理歷史。關于Hive，它是一個基于Hadoop的數據倉庫工具。您還可以使用Hive進行數據查詢，分析和處理。讓我們來看看蜂巢的作品嗎？在Hive中，所有HQL語句都轉換為數據查詢任務。所有數據劃分為處理前相同大小的數據。通過地圖模型首次處理數據以獲得中間結果，然后通過降低模型進行兩次中間結果。，最后獲取分析數據并將其存儲在HDFS中。在該模型中，所有數據分析和處理都需要多次轉換為中間結果，這相對較慢;其次，在MR模型中生成的中間數據存儲在磁盤中，每次數據進入磁盤時，都會從磁盤讀取。把它拿出來，它非常消耗IO，時間延遲太長了。介紹Presto后，我們將返回現實并了解互聯網的當前狀態。互聯網的不斷發展，移動互聯網，事物，5克，人工智能，云計算等技術，生產越來越多的數據，以及企業精致運作的要求，已經產生了大量的數據處理和分析工具。使用數據倉庫，數據集市，數據湖泊和數據中心等商業格式，我們繼續向大數據領域提供權力，對數據分析人才的需求也在增加。在波浪之后，讓我們一起歡呼！
