9 月 6 日，“以實時，見未來”2024 DolphinDB 年度峰會在杭州舉辦。DolphinDB 創(chuàng)始人、CEO 周小華博士為大家?guī)砹酥黝}為“跨越數(shù)據(jù)邊界：企業(yè)級實時計算平臺構想”的精彩演講。

從最初的一站式大數(shù)據(jù)平臺，到高性能時序數(shù)據(jù)庫，再到如今的實時計算平臺，DolphinDB 的發(fā)展之路充滿了創(chuàng)新與突破。演講中，周博士回顧了 DolphinDB 如何從時序數(shù)據(jù)庫，逐步演進為一個涵蓋多模態(tài)存儲、流批計算、GPU 計算、豐富的業(yè)務中間件等等的全方位基礎軟件的歷程。未來，DolphinDB 將致力于構建一個支持多部門協(xié)同作戰(zhàn)的企業(yè)級實時計算平臺——Orca。這不僅僅是技術上的進化，更是一種全新的開發(fā)模式的探索，可以為金融機構提供更高效、敏捷的解決方案。

以下是周博士在峰會分享的全文內(nèi)容：

很高興又和大家見面了。再次歡迎各位的到來。以實時，見未來。這是我們這次大會的主題。也呼應了我們對 DolphinDB 的定位。未來我們希望將 DolphinDB 打造成一個企業(yè)級的實時計算平臺。

01DolphinDB發(fā)展歷程

我記得，DolphinDB 的第一個商業(yè)化版本剛剛推出的時候。公司的主要成員都是研發(fā)崗位。我作為公司的研發(fā)兼第一個銷售，開始了我的路演生涯。那時，每天的兩件核心事情：第一，為下一個版本繼續(xù)寫代碼。第二，就是不停的向不同的客戶解釋同一個問題：DolphinDB 是什么。我們最初的定位叫做一站式大數(shù)據(jù)平臺。試了一段時間之后發(fā)現(xiàn)不太靈。精準的踩中了那個年份產(chǎn)品流行語的每一個雷點。一站式，大數(shù)據(jù)，平臺。搜索引擎一檢索，能出來上百個同類產(chǎn)品。辨識度非常低。完全不能體現(xiàn)出我們的優(yōu)勢。

我們就琢磨了一下，要換個說法。那個時候，時序數(shù)據(jù)庫的應用還不是特別廣泛，基本是國外的開源產(chǎn)品InfluxDB 占據(jù)市場。所以我們決定用國產(chǎn)高性能時序數(shù)據(jù)庫這個概念，作為DolphinDB的標簽。20 年的時候，snowflake 在紐交所成功上市，市值超330億美元。緊接著，另一家國產(chǎn)數(shù)據(jù)庫廠商 PingCap 完成了創(chuàng)歷史的 2.7 億美元融資。一下子，國產(chǎn)數(shù)據(jù)庫這個概念被點燃了，我們也收獲了很多自然流量的客戶。可能到現(xiàn)在，一小部分客戶還是以一個數(shù)據(jù)庫、一個時序數(shù)據(jù)庫的視角，來理解來認識 DolphinDB。

但是時序數(shù)據(jù)庫這個定位，還是沒法講清楚 DolphinDB。這是6年前，DolphinDB的架構圖。

6 年前 DolphinDB 架構圖

可以看到，DolphinDB 其實在設計之初，就已經(jīng)與傳統(tǒng)的數(shù)據(jù)庫有了很大的區(qū)別。在分布式存儲之上，我們開發(fā)了自己的腳本語言，豐富的專業(yè)函數(shù)庫。這些能力融合在一起，形成了一個非常擅長實時數(shù)據(jù)分析的一站式產(chǎn)品。

這是今天 DolphinDB 的架構圖。

現(xiàn)在的DolphinDB 架構圖

DolphinDB 在每一個能力板塊都得到了增強。一個個新功能見證了 DolphinDB 向一個實時計算平臺不斷演進的過程。我們逐漸完善了多模態(tài)存儲的概念，從單一的 olap 引擎擴展到現(xiàn)在 olap，tsdb，pkey，imoltp，vector 等5個引擎。計算層面增加了流計算和 GPU 計算 Shark。業(yè)務中間件能力得到了極大的提升和擴充，函數(shù)個數(shù)從 600+ 提升到了 2000+，大量的插件，計算引擎和腳本模塊從無到有覆蓋了諸多的金融業(yè)務。

02企業(yè)級實時計算平臺構想

近幾年，隨著 DolphinDB 在金融機構的使用越來越深入，一個機構擁有多個 DolphinDB 集群的現(xiàn)象越來越普遍。多集群的數(shù)據(jù)訪問、計算、運維的需求越來越迫切。與此同時，用戶的計算越來越復雜，任務之間的依賴關系，事件之間的依賴關系，如何簡單清晰的表達，越來越成為一個瓶頸。一個企業(yè)級的實時計算平臺的呼聲日益高漲。

企業(yè)級實時計算平臺——Orca

順便提一下，我們將企業(yè)級實時計算平臺這個產(chǎn)品命名為 Orca 虎鯨，這是繼單集群版本 Dolphin 海豚，GPU 版本 Shark 鯊魚，復雜事件處理引擎 Octopus 章魚之后的又一個海洋家族 logo?；ⅥL力量大，速度快，聰明，特別擅長家族協(xié)同作戰(zhàn)，這個跟多集群多部門協(xié)同工作非常類似。我們內(nèi)部在討論命名這個產(chǎn)品的時候，說到虎鯨 orca 時，全票一致通過。

大家對企業(yè)級實時計算平臺，可能都有自己的看法。深入問題之前，我想分享一下自己樸素的理解。這也是跟我們很多用戶溝通之后形成的概念。企業(yè)級平臺首先是能夠協(xié)同支持金融機構多部門的業(yè)務，尤其在表達復雜批計算或流計算的任務或數(shù)據(jù)的依賴關系時，非常簡單高效。其次，數(shù)據(jù)訪問需要變得非常簡單，只要給一個全局唯一的標識，就可以得到需要的數(shù)據(jù)，用戶不用去操心是不是最新的版本，不用去操心存儲在哪個集群哪個服務器，是不是跟我的計算服務器在同一個集群，不用去操心是不是要避開使用高峰。最后，運維監(jiān)控和資源管控也必須是企業(yè)級的，可以對整個機構的全部集群進行管理。

03企業(yè)級實時計算平臺特性

首先實時計算平臺對金融業(yè)務的支持必須有足夠的深度和寬度。

這是傳統(tǒng)的數(shù)據(jù)倉庫不能直接拿過來作為企業(yè)級實時計算平臺的重要原因。金融行業(yè)，尤其是跟量化投資相關的領域，對于數(shù)據(jù)分析的應用、數(shù)據(jù)價值的挖掘，程度之深、維度之廣、投入之大，幾乎可以說是其他所有行業(yè)加起來的總和。我身為曾經(jīng)的從業(yè)者，現(xiàn)在的服務者，深以為然。這從側面反應出一個問題，那就是金融領域的業(yè)務開發(fā)，是專業(yè)性極高，非常復雜的。

普通策略開發(fā)流程

以普通的策略開發(fā)為例，一個有效的策略上線，要經(jīng)歷特征工程、因子評價、策略回測、代碼轉寫、結果校驗等多個階段，才能最終上到實盤去運行。這個實現(xiàn)的過程，首先業(yè)務人員要具備較好的數(shù)學、統(tǒng)計、金融理論等學科知識的儲備。通過這些能力將業(yè)務邏輯整理出來，通過計算機工程來進行落地實現(xiàn)。而在落地的過程中，為了追求業(yè)務運行的效率，又對業(yè)務人員的計算機工程能力有較高的要求。計算平臺如果在業(yè)務支持上沒有深度，這項工作的落地會非常耗時耗力，失去了平臺建設的意義，還不如讓策略研發(fā)人員自己去用Python。

DolphinDB 對金融業(yè)務的支持

一個稍具規(guī)模的金融機構，業(yè)務線通常有很多。從權益到 FICC，從行情、投研、交易、風控到合規(guī)，每一個都需要相應的 IT 系統(tǒng)支持。雖然，不能要求一個平臺十八般武藝樣樣精通，但至少在核心能力上有足夠寬度的支持。否則各個業(yè)務部門的各個系統(tǒng)極易演變成一個個孤立的煙囪系統(tǒng)或信息孤島。

對金融業(yè)務的友好支持，一直是 DolphinDB 引以為傲的一個點，也是 DolphinDB 區(qū)別于其它基礎軟件最顯著的一個點。我想，在座的 DolphinDB 的用戶對這一點也深有體會。前面初總也介紹了 DolphinDB 這幾年在不斷拓展金融業(yè)務的邊界，從最初的權益量化投研這個單一場景，到現(xiàn)在已經(jīng)覆蓋十余個場景。今后，我們會繼續(xù)堅持這個特色，把底層技術和金融業(yè)務融合起來，讓大家落地業(yè)務更快更方便。

04新型開發(fā)模式--鋸齒模型

現(xiàn)在我們具體來看一看基于 DolphinDB 的金融業(yè)務開發(fā)模式。DolphinDB 軟件用一句話概括就是 多模態(tài)存儲 + 批計算 + 流計算 + 編程語言 + 業(yè)務中間件。與金融業(yè)務的融合體現(xiàn)在業(yè)務中間件這個模塊上。具體我們可以通過內(nèi)置函數(shù)庫，內(nèi)置引擎，插件和模塊 4 種方式來實現(xiàn)業(yè)務中間件。

這種新的開發(fā)模式與傳統(tǒng)的煙囪模式最大的區(qū)別是不同的業(yè)務系統(tǒng)共享一個由存儲，計算和業(yè)務中間件構成的一個強大的底座。讓真正懂業(yè)務的人寫腳本或調 API 進行快速的二次開發(fā)，實現(xiàn)業(yè)務快速落地。因為業(yè)務的開發(fā)非常敏捷，成本占比較小，整個形狀看起來像一把鋸子上的鋸齒，我們稱之為鋸齒開發(fā)模型。鋸齒開發(fā)模式可以大大提升金融業(yè)務的開發(fā)效率，降低投入成本。

DolphinDB 鋸齒開發(fā)模型

談到業(yè)務中間件，不得不提一下我們客戶的一個擔憂。很多客戶表示，開發(fā)業(yè)務中間件很好，功能很強大，也方便業(yè)務落地，但會不會攤子鋪得太大，造成系統(tǒng)復雜度增加，最終導致系統(tǒng)失控？我這兒回應一下。首先非常感謝我們的客戶對我們產(chǎn)品的關切。但是單純從技術和架構的角度來看，業(yè)務中間件并非系統(tǒng)的核心，它只是基礎設施暴露的一個框架，允許橫向的去拓展業(yè)務邏輯。不論開發(fā)一個中間件，還是 100，1000個中間件，DolphinDB 的基礎架構保持不變，也不會增加系統(tǒng)的復雜度。另外，業(yè)務中間件這一塊，我們也會更加開放，把標準接口暴露出來，更多的中間件將交由我們的客戶或第三方去開發(fā)。

05解決數(shù)據(jù)一致性問題

企業(yè)級實時計算平臺，第二個需要解決的核心問題，就是數(shù)據(jù)一致性的問題。

簡單說，就是一個金融機構內(nèi)部，在任何一個時間點上，有一個全局的唯一數(shù)據(jù)視圖。我們的核心業(yè)務部門可以在這個數(shù)據(jù)視圖上，開展行情，投研，交易，績效，風控，合規(guī)等業(yè)務的數(shù)據(jù)寫入，查詢和計算，得到正確可靠的結果。這與資管領域的 IBOR 數(shù)據(jù)模型一直在倡導的數(shù)據(jù)一致性，或黃金單一數(shù)據(jù)源標準，講的是同一個事情。

那為什么在一個金融機構中數(shù)據(jù)的一致性這么難？為什么同一份數(shù)據(jù)非得有多個不同版本的拷貝？這兒有很多因素，有非技術的原因，譬如某些行業(yè)中的廠商不愿意開放數(shù)據(jù)接口，又譬如因為合規(guī)性的問題部門之間必須有防火墻隔離數(shù)據(jù)。這些非技術原因，DolphinDB 也無能為力。還有很多技術原因導致的數(shù)據(jù)不一致的問題，這將會是我們重點要攻克的目標。

針對同一個數(shù)據(jù)節(jié)點上的計算任務太重，不得不創(chuàng)建多個數(shù)據(jù)拷貝來分擔計算壓力的場景，DolphinDB 會采用存算分離的技術，通過對用戶無感的緩存來解決數(shù)據(jù)不一致的問題，第一個版本會在 10 月初發(fā)布。針對異地距離太遠，不得不創(chuàng)建本地拷貝來提升性能的問題，可以使用 DolphinDB已發(fā)布的集群間異步數(shù)據(jù)復制的能力來解決，或者用 Raft Learner 這樣的分布式復制協(xié)議來解決。針對因跨集群，權限管理不便導致數(shù)據(jù)拷貝的問題，DolphinDB 會在年底的版本推出更為全面的單點登錄方案。針對不能跨集群計算而導致數(shù)據(jù)拷貝的問題，DolphinDB 正在推出跨集群的 SQL 計算能力。最后對于企業(yè)級的數(shù)據(jù)管理來說，一個全局的數(shù)據(jù)目錄至關重要，可以用全局唯一的地址來標識每一個數(shù)據(jù)資源，便于數(shù)據(jù)訪問。DolphinDB 正在推出一個集群 + 集群內(nèi)目錄的二級數(shù)據(jù)目錄管理方法。

企業(yè)級數(shù)據(jù)的一致性建模是一個非常基礎，復雜，但又十分重要問題。這個問題搞好了，系統(tǒng)的可用性，易用性，正確性就能上來了。讓大家在用數(shù)據(jù)的時候，非常的便捷，非常的絲滑，非常的放心，真正做到只需要知道數(shù)據(jù)的唯一標識和數(shù)據(jù)字典，就可以去操作數(shù)據(jù)了。

06解決計算依賴問題

企業(yè)級實時計算平臺另一個有挑戰(zhàn)性的問題是計算依賴的問題。

一個金融機構中各業(yè)務部門之間，一個部門里的多個計算任務之間，一個計算任務內(nèi)的各模塊之間，都存在依賴關系。如果用一幅圖來表示，我們稱之為計算依賴圖。譬如我們需要計算一個持有各類金融資產(chǎn)的機構的風險指標，無論是事后風控的批處理計算，還是事中風控的的流式計算，都會呈現(xiàn)一幅復雜的計算依賴圖。

計算依賴圖

在這個風險計算的依賴圖中，任何一個模塊，譬如行情和頭寸的變化，都會觸發(fā)后續(xù)的模型或計算指標的變化，最終算出整個機構的風險指標。這種鏈式的實時計算模型正是我們這個平臺名稱的由來。在業(yè)務上，對處于高度市場競爭的金融機構來講，企業(yè)級實時計算模式是非常有價值的，可以大大提升一家機構對市場反應的靈敏度。

DolphinDB 已經(jīng)具備非常強大靈活的批計算能力和流計算能力，我們暴露了大量的引擎，模塊，函數(shù)和算子給最終用戶，可以用這些底層的能力去靈活實現(xiàn)各類計算任務。但是這些底層的 API 接口并不擅長表達復雜的依賴關系。我們的用戶嘗試用這些底層接口去編寫具有復雜依賴關系的任務時，發(fā)現(xiàn)代碼過于復雜，并且難以后期維護和管理。如果再跟分布式計算和高可用結合起來，代碼愈加晦澀難懂。

我們已經(jīng)意識到了這個問題。我們準備引入一種新的聲明式的 API來描述金融業(yè)務的需求邏輯，來表達任務之間的依賴關系。后臺系統(tǒng)負責將這些 high level 的業(yè)務邏輯轉化成底層的 API 接口調用。

這種方式的好處是業(yè)務描述與具體實現(xiàn)完全分開。這樣業(yè)務人員開發(fā)會更加簡單，聚焦于業(yè)務場景的描述，不用陷于實現(xiàn)的諸多細節(jié)之中。另一個好處是便于系統(tǒng)做優(yōu)化。譬如計算資源怎么分配，任務怎么調度安排，狀態(tài)管理怎么實現(xiàn)，數(shù)據(jù)源的副本如何選擇，高可用怎么實現(xiàn)，計算執(zhí)行的邏輯計劃和物理計劃的優(yōu)化，可以做很多工作。當系統(tǒng)復雜時，自動的優(yōu)化可能比用戶人為的選擇更有效。

07運維、監(jiān)控及資源管控的需求

當一個企業(yè)級的實時計算平臺具備的功能有足夠的寬度和深度，能滿足各部門業(yè)務拓展的需要，具備扎實的一致性數(shù)據(jù)底座，具備描述和優(yōu)化復雜的業(yè)務依賴關系的能力，自然而然就會引出對運維，監(jiān)控以及資源管控的強力需求。

DolphinDB 目前只具備單一集群的運維能力，而事實上，已經(jīng)有數(shù)十家金融客戶在運行著 2 個以上的 DolphinDB 集群。我們會通過幾個版本的迭代，提供多集群的運維能力。DolphinDB 會增加一種新的節(jié)點類型 Master of Master （MoM）。通過 MoM 類型節(jié)點，可以便捷的實現(xiàn)多集群運維。

通過全局的數(shù)據(jù)目錄，計算依賴圖，Dashboard，我們可以對 DolphinDB 集群以及正在運行的計算任務提供可視化的監(jiān)控手段。用戶可以層層下鉆，去發(fā)現(xiàn)和診斷問題。

Orca 中的實時計算任務都做好了狀態(tài)管理，可以非常低的代價將任務轉移到其它節(jié)點。因此， Orca 的計算資源將具備較好的彈性伸縮能力。

08結語

打造一個企業(yè)級的實時計算平臺，是一項艱巨的工程。我們已經(jīng)預估了工程的難度和復雜性，這將是 DolphinDB 接下來一年最核心的研發(fā)工作。我們準備分 4 個版本來實現(xiàn)所有的核心功能，分別是今年的 10 月，明年的 1 月，5 月和 9 月，每個版本要發(fā)布的內(nèi)容，暫時保密。

新版本時間節(jié)點

做難而正確的事，這個熟悉的網(wǎng)紅金句，一般用在科技公司年會或峰會的結尾處，彰顯價值。有點俗套，但我覺得用在我們正在做的這件事情上，平心而論，不過分。打造一個企業(yè)級的實時計算平臺，國內(nèi)國外的很多金融機構都想做。但據(jù)我所知，至少國內(nèi)還沒有一家金融機構擁有這樣的計算平臺。所以這個事情的難度肯定比我 2012 年寫 DolphinDB 的第一行代碼時更大，但是我們現(xiàn)在擁有一個更強更穩(wěn)定的團隊，而且已經(jīng)打下了 12 年的基礎，我更有信心。退一萬步講，這件事情即便做的不夠好，也可以為后來的研發(fā)人員提供更多寶貴的經(jīng)驗。做好了，則可以大幅提升我們金融乃至其它行業(yè)的生產(chǎn)力。正因為這件事情的價值很大，即便在如此惡劣的經(jīng)濟大環(huán)境下，我們?nèi)匀辉敢夥攀忠徊?，去做一家科?chuàng)企業(yè)該做的事情。正因為難，在這個過程中，也更希望得到大家的支持和呵護！也歡迎感興趣的朋友會后做更多技術上和業(yè)務上的探討。感謝大家的聆聽，希望大家在今天的會場有收獲！