本篇文章的目的在于介紹MySQL Cluster——也就是MySQL的一套內(nèi)存內(nèi)、實時、可擴展且具備高可用性的版本。在解決標題中所提到的每秒2億查詢處理能力問題之前，我們先對MySQL集群的背景信息及其架構(gòu)進行一番回顧，這將有助于大家理解上述目標的實現(xiàn)過程。

MySQL Cluster介紹

MySQL Cluster是一套具備可擴展能力、實時、內(nèi)存內(nèi)且符合ACID要求的事務型數(shù)據(jù)庫，其將99.999%高可用性與低廉的開源總體擁有成本相結(jié)合。在設計思路方面，MySQL Cluster采用一套分布式多主架構(gòu)并借此徹底消滅了單點故障問題。MySQL Cluster能夠橫向擴展至商用硬件之上，能夠通過自動分區(qū)以承載讀取與寫入敏感型工作負載，并可通過SQL與NoSQL接口實現(xiàn)訪問。

作為一套最初被設計為嵌入式電信數(shù)據(jù)庫、用于實現(xiàn)內(nèi)網(wǎng)應用運營商級可用性及實時性能的解決方案，MySQL Cluster已經(jīng)通過眾多新型功能集的強化而得到快速發(fā)展，從而將用例范圍擴展到Web、移動以及企業(yè)級應用程序等部署在內(nèi)部或者云環(huán)境下的實例當中，具體包括：大規(guī)模OLTP(實時分析)電子商務、庫存管理、購物車、支付處理、訂單追蹤、在線游戲、金融交易與欺詐檢測、移動與微支付、會話管理與緩存、數(shù)據(jù)流供應、分析與建議、內(nèi)容管理與交付、通信與呈現(xiàn)服務、訂閱/用戶配置管理與補貼等等。

MySQL Cluster架構(gòu)概述

在面向應用程序的事務流程背后，存在著三種負責將服務交付至應用程序的節(jié)點類型。下圖所示為一套簡單的示例型MySQL Cluster架構(gòu)，其由十二套被劃分為六個節(jié)點組的Data Node構(gòu)成。

Data Node屬于MySQL Cluster當中的主節(jié)點。它們負責提供以下功能：內(nèi)存內(nèi)與基于磁盤數(shù)據(jù)的存儲與管理、表的自動化與用戶定義型劃分(即分區(qū))、在不同數(shù)據(jù)節(jié)點間進行數(shù)據(jù)副本同步、事務與數(shù)據(jù)檢查、自動故障轉(zhuǎn)移以及用于實現(xiàn)自我修復的故障后自動重新同步。

各種表會在多個數(shù)據(jù)節(jié)點當中進行自動分區(qū)，而且每個數(shù)據(jù)節(jié)點作為一個寫入操作的接收主體，這就使其能夠輕松將寫入敏感型工作負載分布至多個商用節(jié)點之上，同時保證應用程序的完全透明化。

通過將數(shù)據(jù)保存并分發(fā)至一套無共享架構(gòu)——也就是不使用任何共享磁盤——當中，并至少為數(shù)據(jù)同步至一套副本內(nèi)，MySQL Cluster能夠保證在單一Data Node出現(xiàn)故障時、用戶至少還擁有另一個存儲有相同信息的Data Node。如此一來，請求與事務處理流程將以無中斷方式繼續(xù)提供令人滿意的運作效果。任何由于Data Node故障所引發(fā)的短暫故障轉(zhuǎn)移窗口(時間在秒以下)而無法正常完成的事務流程都將被回滾并重新執(zhí)行。

我們可以為數(shù)據(jù)選擇存儲方式，包括全部保存在內(nèi)存內(nèi)或者將一部分數(shù)據(jù)只在在磁盤之上(僅限于非索引數(shù)據(jù))。內(nèi)存內(nèi)存儲對于那些需要經(jīng)常進行變更的數(shù)據(jù)(也就是活躍工作組)而言意義重大。保存在內(nèi)存內(nèi)的數(shù)據(jù)會定期進行指向本地磁盤的檢查，并與全部Data Node進行協(xié)調(diào)，這樣MySQL Cluster就能夠在整體系統(tǒng)發(fā)生故障時——例如供電中斷——得以全面恢復?；诖疟P的數(shù)據(jù)能夠被用于存儲對性能要求較低的數(shù)據(jù)，而這類數(shù)據(jù)集往往大于可用內(nèi)存空間。正如其它大部分數(shù)據(jù)庫服務器一樣，MySQL Cluster會利用頁面緩存機制將基于磁盤且訪問頻率較高的數(shù)據(jù)緩存在Data Node的內(nèi)存當中，從而增加其實際性能表現(xiàn)。

Application Node負責提供由應用程序邏輯到數(shù)據(jù)節(jié)點的連接。應用程序可以利用SQL訪問該數(shù)據(jù)庫，具體而言通過一臺或者多臺MySQL服務器向處于同一套MySQL Cluster內(nèi)的存儲數(shù)據(jù)執(zhí)行SQL接口功能。在MySQL Server當中，我們可以使用任何一種標準化MySQL連接機制，這意味著大家擁有非常豐富的訪問技術(shù)可供選擇。另外，一套名為NDB API的高性能(基于C++)接口可被用于實現(xiàn)附加控制、改善實時行為并帶來更理想的吞吐能力。NDB API的層能夠幫助額外NoSQL接口繞過SQL層而直接訪問該集群，如此一來不僅延遲有所降低、開發(fā)人員也有獲得更理想的靈活性水平?，F(xiàn)有接口包括Java、JPA、Memcached、JavaScript with Node.js以及HTTP/REST(通過一套Apache Module實現(xiàn))。所有Application Node都能夠訪問到來自任意Data Node的數(shù)據(jù)，所以即使出現(xiàn)故障、它們也不會導致任何服務丟失——因為各應用程序能夠繼續(xù)使用其它尚能正常運轉(zhuǎn)的節(jié)點。

Management Node的職責在于該集群的配置方案發(fā)布到集群內(nèi)的所有節(jié)點當中以實現(xiàn)節(jié)點管理。Management Node的起效時間點分別為集群啟動時、某個節(jié)點希望加入集群時以及系統(tǒng)進行重新配置時。Management Node能夠在不影響到當前正在進行的Data及Application Node執(zhí)行操作的前提下進行中止以及重啟。在默認情況下，Management Node同時提供裁定服務，例如某種網(wǎng)絡故障引發(fā)“裂腦(即split-brain)”或者某信集群開始進行網(wǎng)絡劃分的情況。

通過透明化劃分實現(xiàn)可擴展性

來自任何給定表的行都會以透明化方式被拆分成多個分區(qū)/片段。在每個片段中會包含一個單獨數(shù)據(jù)節(jié)點，負責保留全部數(shù)據(jù)內(nèi)容并處理指向該數(shù)據(jù)的所有讀取及寫入操作。每個數(shù)據(jù)節(jié)點還擁有一套搭檔體系，二者共同構(gòu)成一個節(jié)點組; 搭檔節(jié)點中保存有該數(shù)據(jù)片段的輔助副本，但同時也擁有著自己的主片段。MySQL Cluster利用兩步式提交協(xié)議實現(xiàn)數(shù)據(jù)同步，從而確保當某項事務被提交之后、所引發(fā)的變更將被同時存儲在兩個數(shù)據(jù)節(jié)點當中。

在默認情況下，表的主鍵會被作為分片鍵使用，而MySQL Cluster將對該分片鍵執(zhí)行MD5散列處理、從而選擇需要保存哪個片段/分區(qū)。如果某一事務或者查詢需要訪問來自多個數(shù)據(jù)節(jié)點的數(shù)據(jù)，那么其中一個數(shù)據(jù)節(jié)點會充當事務協(xié)調(diào)方的角色，并將具體工作分配給其它相關(guān)數(shù)據(jù)節(jié)點; 接下來訪問結(jié)果會得到整合，并最終提供給應用程序。請注意，我們同樣可以讓多個事務或者查詢訪問來自多個分區(qū)及表的數(shù)據(jù)——相較于利用分片機制保存數(shù)據(jù)的典型NoSQL，這無疑成為MySQL Cluster的一大顯著比較優(yōu)勢。

要實現(xiàn)最理想的(線性)規(guī)模縮放效果，我們需要確保將高強度查詢/事務只需運行在單獨一套數(shù)據(jù)節(jié)點之上(因為這能夠大大降低由數(shù)據(jù)節(jié)點間通信所帶來的網(wǎng)絡延遲)。為了實現(xiàn)這個目標，我們可以讓應用程序獲得分布識別能力——具體而言，這意味著由管理員定義的規(guī)劃能夠涵蓋分片鍵所需要使用的任意列。舉例來講，上圖所示為一套配備有由用戶ID與服務名稱組成的復合主鍵的表; 通過將用戶ID選定為分片鍵，表內(nèi)與給定用戶相關(guān)的所有行將始終被容納在同一片段當中。更為強大的是，如果我們在其它表中使用同樣的用戶ID列并將其設定為分片鍵，那么該給定用戶在所有表內(nèi)的全部數(shù)據(jù)都會被容納在同一片段之內(nèi)——換言之，指向該用戶的查詢/事務都將在單一數(shù)據(jù)節(jié)點內(nèi)進行處理。

利用NoSQL API最大程度提升數(shù)據(jù)訪問速度

MySQL Cluster提供多種方式對存儲數(shù)據(jù)進行訪問; 最常見的方法當然是SQL，不過正如下圖所示，我們還可以利用多種原生API幫助應用程序直接從數(shù)據(jù)庫當中讀取及寫入數(shù)據(jù)，同時又能通過轉(zhuǎn)換為SQL以繞過MySQL Server的方式防止效率低下或者拉高開發(fā)復雜程度?，F(xiàn)有API面向C++、Java、JPA、JavaScript/Node.js、HTTP以及Memcached協(xié)議。

基準目標：每秒2億次查詢

MySQL Cluster在設計當中主要面向兩種工作負載類型：

-OLTP(即聯(lián)機事務處理)：內(nèi)存優(yōu)化型表提供次毫秒級低延遲與堪稱極端水平的OLTP工作負載并發(fā)能力，同時仍然保證良好的耐久性表現(xiàn); 此外，其也能夠被用于處理基于磁盤的表數(shù)據(jù)。

-臨時性搜索：MySQL Cluster增加了并行數(shù)量上限，從而在對表內(nèi)非索引數(shù)據(jù)列進行掃描時帶來顯著的速度提升。

值得一提的是，MySQL Cluster在處理OLTP工作負載方面的表現(xiàn)最為突出，特別是在以并發(fā)方式發(fā)出海量查詢/事務請求的情況下。為此，我們一般會使用flexAsynch基準測試來衡量將更多數(shù)據(jù)節(jié)點添加到集群當中后，NoSQL所獲得的實際性能擴展效果。

此次基準測試所面向的每個數(shù)據(jù)節(jié)點都運行在采用專用56線程英特爾E5-2697 v3(Haswell架構(gòu))設備之上。上圖所示為數(shù)據(jù)吞吐能力隨數(shù)據(jù)節(jié)點數(shù)量增長的變化趨勢，具體區(qū)間由2節(jié)點最終增加到32節(jié)點(請注意，MySQL Cluster目前最多能夠支持48個數(shù)據(jù)節(jié)點)。如套大家所見，整個擴展比例幾乎保持線性，而且在32數(shù)據(jù)中心情況下其整體吞吐能力達到了每秒2億次NoSQL查詢。

如果大家對這次測試感興趣，可以點擊此處在MySQL Cluster基準測試頁面內(nèi)了解與之相關(guān)的詳盡描述與最新結(jié)果。

此次2億QPS基準測試運行在MySQL Cluster 7.4版本之上(為目前最新的通用版本)——大家可以點擊此處了解更多與MySQL Cluster 7.4版本相關(guān)的信息，或者點擊此處觀看主題網(wǎng)絡研討會的重播視頻。

更多信息請查看IT技術(shù)專欄