要建立一個完整的大數(shù)據(jù)系統(tǒng)，需要扎實、完善、高處理效率、高安全性、高穩(wěn)定性、易擴展、大規(guī)模存儲的技術架構。以下是一些截取物DMP系統(tǒng)的技術架構圖(主要包括應用架構、數(shù)據(jù)架構、技術架構等。)供大家參考，對非技術學生也有一個感性的認識。不要做大規(guī)模的發(fā)展。

應用架構主要是從應用功能的角度描述模塊之間的關系和分工的圖紙，主要從應用集成視圖和功能視圖的角度。幫助您直觀地了解系統(tǒng)，并幫助每個模塊協(xié)調開發(fā)和友好集成。

集成視圖：

該視圖主要反映了各模塊之間的關系，如圖9-28所示DMP以系統(tǒng)為例，大數(shù)據(jù)平臺（BigData）通過不同的渠道交換或收集數(shù)據(jù)。例如：通過數(shù)據(jù)采集網絡采集線下掃描設備采集的用戶掃描數(shù)據(jù)，WIFI上網服務Portal用戶登錄認證數(shù)據(jù)、互聯(lián)網數(shù)據(jù)、點擊流數(shù)據(jù)等，從企業(yè)數(shù)據(jù)、連鎖店、特許經營店等線下場景中獲取掃描數(shù)據(jù)、認證數(shù)據(jù)、互聯(lián)網數(shù)據(jù)等。交換各種業(yè)務維度的位置數(shù)據(jù)、消費數(shù)據(jù)、通信數(shù)據(jù)等，準確描述用戶行為。在本例中，大數(shù)據(jù)平臺以服務在線廣告業(yè)務為主要業(yè)務應用方向，將廣告管理系統(tǒng)視為外部系統(tǒng)（大數(shù)據(jù)為本體域，業(yè)務應用為客體域），進行外部數(shù)據(jù)交換，開放用戶離線ID及線上ID。將用戶的線下行為與線上行為相結合，分析并貼上標簽，指導線上程序化廣告。廣告系統(tǒng)將從媒體、廣告系統(tǒng)、ADX、在廣告監(jiān)控中收集各種在線用戶行為數(shù)據(jù)，并將與在線廣告相關的查看、點擊、招標信息等數(shù)據(jù)注入大數(shù)據(jù)系統(tǒng)，從大數(shù)據(jù)系統(tǒng)中獲得人群肖像、招標決策等數(shù)據(jù)支持。當然，不同的業(yè)務應用目的將連接不同的業(yè)務系統(tǒng)交互數(shù)據(jù)，并將大數(shù)據(jù)服務于不同的業(yè)務應用目的。

圖9?28 DMP集成視圖示例

功能視圖：

主要描述視圖DMP如圖9-29所示，大數(shù)據(jù)平臺的基本技術功能包括數(shù)據(jù)采集、數(shù)據(jù)導出、數(shù)據(jù)分析、數(shù)據(jù)可視化等。數(shù)據(jù)采集的主要功能是收集數(shù)據(jù)，包括掃描采集數(shù)據(jù)、驗證數(shù)據(jù)有效性、處理清潔數(shù)據(jù)、上傳數(shù)據(jù)、備份數(shù)據(jù)、加密解密、壓縮解壓縮ID生成等功能模塊。數(shù)據(jù)導出的主要功能是服務內外數(shù)據(jù)導入導出需求，主要包括內部ID關聯(lián)、內部ID以及數(shù)據(jù)導出和外部ID匹配、外部ID功能模塊，如數(shù)據(jù)導入。數(shù)據(jù)分析的主要功能是根據(jù)業(yè)務應用方向的需要對數(shù)據(jù)進行分析和整理。在這種情況下，廣告主要包括廣告數(shù)據(jù)分析、人群肖像等功能模塊。數(shù)據(jù)可視化是數(shù)據(jù)有效輸出、支持決策、數(shù)據(jù)顯示價值的重要窗口，主要包括數(shù)據(jù)采集和監(jiān)控、數(shù)據(jù)管理、行為域可視化、數(shù)據(jù)查詢等功能模塊。

圖9?29 DMP功能視圖示例

如果我們想清楚地梳理數(shù)據(jù)，我們必須首先繪制數(shù)據(jù)架構。在數(shù)據(jù)架構中，我們將根據(jù)現(xiàn)有的數(shù)據(jù)內容和應用方向繪制主題域。通過對主題域視圖的描述，我們可以對系統(tǒng)主要管理的數(shù)據(jù)維度和數(shù)據(jù)之間的關系有一定的了解。這可以有效地引導有目的地收集和交換數(shù)據(jù)。我們通常將數(shù)據(jù)分為不同的主題域進行存儲和分析。不同的主題域有唯一的主域數(shù)據(jù)對象，其他數(shù)據(jù)是圍繞主域數(shù)據(jù)對象族的客體域數(shù)據(jù)。如圖9-30所示，以人為核心的本體域，包括個體特征、身份證號碼、群體特征、本體關系網絡、標簽、數(shù)據(jù)維度、類別等。作為人本體域，有許多描述的圖像數(shù)據(jù)，如計算機網絡中的應用層QQ微信，表示層CookieID、網絡層的IP地址，物理層MAC電信網絡中的地址、手機號碼、IDFA、IMEI、AndroidID等。相對于以人為本的主體是客體區(qū)域，即與人相關的對象或非本體數(shù)據(jù)或行為，包括個體特征和群體特征。對于以廣告為主要業(yè)務應用方向，以廣告為主要描述的客體數(shù)據(jù)，如計算和網絡中應用層的廣告ID行為語義表達等。人類本體和網絡廣告和行為數(shù)據(jù)對象通過時間和空間交互，這些相關數(shù)據(jù)記錄在交互域中，如電子郵件記錄、網絡記錄和廣告行為、網絡層DHCP上網IP電信網絡中的終端位置、通話記錄、基站位置等自動獲取記錄、物理客戶端位置和設備位置。只有通過如此嚴格和豐富的數(shù)據(jù)區(qū)分，我們才能有效地分析數(shù)據(jù)，找出有價值的內容。

圖9?30 DMP主題域視圖示例

技術架構通常是從技術實現(xiàn)的角度劃分不同技術開發(fā)組件和模塊的重要過程，以確保開發(fā)分工的協(xié)調性和系統(tǒng)功能的完整性。對組件視圖的描述非常重要。在一般技術開發(fā)中，不同的技術組件必然會被劃分，主要是為了提高組件在系統(tǒng)建設中的可重用性，提高重用率，提高系統(tǒng)代碼質量，減少重復輪的浪費。如圖9-31所示，我們將DMP系統(tǒng)的技術組件分為基礎資源，主要負責資源的管理和操作交互（bd-res）、主要負責業(yè)務處理的業(yè)務層（bd-mod）、接口層主要負責集成和輸入輸出接口（bd-port）、以及貫穿各層的公共工具（bd-util）。公共工具（bd-util）也就是說，每個人在各級技術開發(fā)中都會使用的公共工具，如異常處理、類管理、開發(fā)調試工具等。基礎資源層主要負責數(shù)據(jù)庫處理等資源的管理和操作交互（res-db）包含對hbase、jpa、redis交互模塊、文件處理等（res-file）包含對csv、excel、大數(shù)據(jù)文件dfs、文件系統(tǒng)fs等交互模塊，網絡處理（res-net）包含對ftp、http、 ** il、rest交互模塊、流處理等（res-stream）包含對mns、ons等交互模塊，還有對緩存（res-cache）、大數(shù)據(jù)計算資源spark（res-spark）、大數(shù)據(jù)計算emr（MapReduce）資源（res-emr）、通用資源（res-common）等交互模塊。業(yè)務層負責業(yè)務處理，如基于spark業(yè)務計算模塊(包括聚集（gather）、學習（learn）、訓練（trans）(訓練包括清潔（clean）、映射（ ** p）、聚類（aggregate））、查詢（query）（包含匹配（ ** tch）、導出（export）、檢索（search））），基于流業(yè)務計算模塊（mod-stream），基于mr（MapReduce）業(yè)務計算模塊（mod-mr），基于共享內存業(yè)務計算模塊（mod-shm）等。接口層主要負責集成和輸入輸出，如集成接口模塊（port-integration）、客戶端接口模塊（port-cli）、API接口模塊（port-api）、WEB接口模塊（port-web）等。

圖9?31 DMP組件視圖示例

(轉載請注明出處:微信訂閱號:ad_auto ** tion）

文字表達有限，歡迎參加《www.www-13121.com線下課堂面對面回答你的問題。

上海西陸信息科技有限公司 承接各類微信小程序開發(fā)制作、小程序定制、APP 網站 開發(fā)制作，聯(lián)系電話 18221533805、15900430334