不懂hive中的explain，說(shuō)明hive還沒(méi)入門，學(xué)會(huì)explain，能夠給我們工作中使用hive帶來(lái)極大的便利！

理論

本節(jié)將介紹 explain 的用法及參數(shù)介紹

HIVE提供了EXPLAIN命令來(lái)展示一個(gè)查詢的執(zhí)行計(jì)劃，這個(gè)執(zhí)行計(jì)劃對(duì)于我們了解底層原理，hive 調(diào)優(yōu)，排查數(shù)據(jù)傾斜等很有幫助

使用語(yǔ)法如下：

EXPLAIN ［EXTENDED｜CBO｜AST｜DEPENDENCY｜AUTHORIZATION｜LOCKS｜VECTORIZATION｜ANALYZE］ query

explain 后面可以跟以下可選參數(shù)，注意：這幾個(gè)可選參數(shù)不是 hive 每個(gè)版本都支持的

EXTENDED：加上 extended 可以輸出有關(guān)計(jì)劃的額外信息。這通常是物理信息，例如文件名。這些額外信息對(duì)我們用處不大

CBO：輸出由Calcite優(yōu)化器生成的計(jì)劃。CBO 從 hive 4．0．0 版本開(kāi)始支持

AST：輸出查詢的抽象語(yǔ)法樹(shù)。AST 在hive 2．1．0 版本刪除了，存在bug，轉(zhuǎn)儲(chǔ)AST可能會(huì)導(dǎo)致OOM錯(cuò)誤，將在4．0．0版本修復(fù)

DEPENDENCY：dependency在EXPLAIN語(yǔ)句中使用會(huì)產(chǎn)生有關(guān)計(jì)劃中輸入的額外信息。它顯示了輸入的各種屬性

AUTHORIZATION：顯示所有的實(shí)體需要被授權(quán)執(zhí)行（如果存在）的查詢和授權(quán)失敗

LOCKS：這對(duì)于了解系統(tǒng)將獲得哪些鎖以運(yùn)行指定的查詢很有用。LOCKS 從 hive 3．2．0 開(kāi)始支持

VECTORIZATION：將詳細(xì)信息添加到EXPLAIN輸出中，以顯示為什么未對(duì)Map和Reduce進(jìn)行矢量化。從 Hive 2．3．0 開(kāi)始支持

ANALYZE：用實(shí)際的行數(shù)注釋計(jì)劃。從 Hive 2．2．0 開(kāi)始支持

在 hive cli 中輸入以下命令（hive 2．3．7）：

explain select sum（id） from test1；

得到結(jié)果（請(qǐng)逐行看完，即使看不懂也要每行都看）：

STAGE DEPENDENCIES：
 Stage－1 is a root stage
 Stage－0 depends on stages： Stage－1
STAGE PLANS：
 Stage： Stage－1
   Map Reduce
     Map Operator Tree：
         TableScan
           alias： test1
           Statistics： Num rows： 6 Data size： 75 Basic stats： COMPLETE Column stats： NONE
           Select Operator
             expressions： id （type： int）
             outputColumnNames： id
             Statistics： Num rows： 6 Data size： 75 Basic stats： COMPLETE Column stats： NONE
             Group By Operator
               aggregations： sum（id）
               mode： hash
               outputColumnNames： ＿col0
               Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
               Reduce Output Operator
                 sort order：
                 Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
                 value expressions： ＿col0 （type： bigint）
     Reduce Operator Tree：
       Group By Operator
         aggregations： sum（VALUE．＿col0）
         mode： mergepartial
         outputColumnNames： ＿col0
         Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
         File Output Operator
           compressed： false
           Statistics： Num rows： 1 Data size： 8 Basic stats： COMPLETE Column stats： NONE
           table：
               input format： org．a(chǎn)pache．hadoop．mapred．SequenceFileInputFormat
               output format： org．a(chǎn)pache．hadoop．hive．ql．io．HiveSequenceFileOutputFormat
               serde： org．a(chǎn)pache．hadoop．hive．serde2．lazy．LazySimpleSerDe
 Stage： Stage－0
   Fetch Operator
     limit： －1
     Processor Tree：
       ListSink

看完以上內(nèi)容有什么感受，是不是感覺(jué)都看不懂，不要著急，下面將會(huì)詳細(xì)講解每個(gè)參數(shù)，相信你學(xué)完下面的內(nèi)容之后再看 explain 的查詢結(jié)果將游刃有余。

一個(gè)HIVE查詢被轉(zhuǎn)換為一個(gè)由一個(gè)或多個(gè)stage組成的序列（有向無(wú)環(huán)圖DAG）。這些stage可以是MapReduce stage，也可以是負(fù)責(zé)元數(shù)據(jù)存儲(chǔ)的stage，也可以是負(fù)責(zé)文件系統(tǒng)的操作（比如移動(dòng)和重命名）的stage。

我們將上述結(jié)果拆分看，先從最外層開(kāi)始，包含兩個(gè)大的部分：

stage dependencies： 各個(gè)stage之間的依賴性

stage plan： 各個(gè)stage的執(zhí)行計(jì)劃

先看第一部分 stage dependencies ，包含兩個(gè) stage，Stage－1 是根stage，說(shuō)明這是開(kāi)始的stage，Stage－0 依賴 Stage－1，Stage－1執(zhí)行完成后執(zhí)行Stage－0。

再看第二部分 stage plan，里面有一個(gè) Map Reduce，一個(gè)MR的執(zhí)行計(jì)劃分為兩個(gè)部分：

Map Operator Tree： MAP端的執(zhí)行計(jì)劃樹(shù)

Reduce Operator Tree： Reduce端的執(zhí)行計(jì)劃樹(shù)