SparkSQL對于批流支持的特性及批流一體化支持框架的難點
二、基于SparkSQL－Flow的
分析框架
何為 SparkSQL－Flow
1．一個由普元技術部提供的基于 SparkSQL 的開發(fā)模型；
2．一個可二次定制開發(fā)的大數據開發(fā)框架，提供了靈活的可擴展 API；
3．一個提供了 對文件，數據庫，NoSQL、流處理等統(tǒng)一的數據開發(fā)模式；
4．基于 SQL 的開發(fā)語言和 XML 的模板配置，支持 SparkSQL UDF 的擴展管理；
5．支持基于 Spark Standlone，Yarn，Mesos 資源管理平臺；
6．支持多種平臺Kerberos認證（開源、華為、星環(huán)）等平臺統(tǒng)一認證；
SparkSQL Flow XML 概覽
用戶只需要定義 Source，Transformer，Target 幾個核心組件：
1．Source 數據源：支持Data、DB、File、NoSQL、MQ 等眾多源；
2．Transformer 為上述定義的數據源和已有的Transformer 間的組合操作，一般為SQL；
3．Target 為輸出目標，支持show、DB、File、NoSQL、MQ 等眾多目標，支持類型基本和源相同；
4．用戶可以在Properties定義一些變量，作為Source／Transformer／Target 的宏替換；
SparkSQL Flow 適合的場景
1．批量 ETL；
2．非實時分析服務；
3．流式 ETL；
支持從多種獲得數據源：
1．支持文件：JSON、TextFile（CSV）、ParquetFile、AvroFile
2．大數據：Hive、HDFS
3．支持RDBMS數據庫：PostgreSQL、 MySQL、Oracle
4．支持 NOSQL 數據庫：Hbase、MongoDB、Redis
5．Streaming：JMS、AMQP、Kafka、Socket
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
-
7月8日立即報名>> 【在線會議】英飛凌新一代智能照明方案賦能綠色建筑與工業(yè)互聯
-
7月22-29日立即報名>> 【線下論壇】第三屆安富利汽車生態(tài)圈峰會
-
7月31日免費預約>> OFweek 2025具身機器人動力電池技術應用大會
-
7.30-8.1火熱報名中>> 全數會2025（第六屆）機器人及智能工廠展
-
免費參會立即報名>> 7月30日- 8月1日 2025全數會工業(yè)芯片與傳感儀表展
-
即日-2025.8.1立即下載>> 《2024智能制造產業(yè)高端化、智能化、綠色化發(fā)展藍皮書》
推薦專題
