失控的不僅僅是云成本：一年為可觀測性狂燒 4.5 億，有錢的“大冤種”也扛不住了
作者 | 褚杏娟、核子可樂
“到底是哪家公司 2022 年在 Datadog 身上花掉了 6500 萬美元？”Datadog 最近在財務會議上透露，一項客戶一次性支付高達 6500 萬美元預付款，此事瞬間引發業內關注：哪家公司出手這么闊綽？可觀測供應商這么賺錢？
(資料圖片)
Datadog 是可觀測性的主要力量，2019 年融資上市，目前市值為 280 億美元。該公司 2022 年內的收入為 16.7 億美元，月均在 1.4 億美元左右。在一個關于降本的小調查中，“AWS”和“Datadog”是被提及最多的兩家供應商。這顯然證明基礎設施和可觀測性成本已經相當高昂，其中 AWS 是基礎設施領域的領導者。
在 5 月 4 日的財報電話會議上，Datadog 首席財務官 David Obstler 提到了一筆“非經常性支出”（也稱一次性費用），并表示：
“本季度收入為 5.11 億美元，較上年同期增長 15%。2022 年第一季度，曾有客戶支付一筆巨額預付款；但 2023 年第一季度沒有類似的大額支出。根據對該客戶的估算，其賬單同比增長率將低于 30%?！?
這一細節被摩根大通研究部執行董事兼金融分析師 Mark Ronald Murphy 捕捉到了。在進行計算后，Murphy 透露出該筆預付款約為 6500 萬美元（約合人民幣 4.5 億），Datadog 也承認了該數字的準確性。Obstler表示，該公司改變了計費頻率和金額，因此隨著時間的推移，該客戶的帳單將分攤得更多。
Obstler 透露，“這是一家加密貨幣公司，目前仍是我們的客戶。他們是一家早期優化廠商，所處的行業正是我們經常討論的受影響最大、優化空間最廣的領域?！?
Datadog 聯合創始人兼首席執行官 Olivier Pomel 表示，在過去的一年里，該客戶所在垂直行業幾乎被摧毀了。他們自己的業務收入減少了 3 到 4 倍?！霸谶@種情況下，我們會與客戶合作，重組他們與我們的合同。我們想成為他們解決方案的一部分，而不是問題的一部分?！?
至此，網上對于“到底是哪家加密公司 2022 年 內在 Datadog 身上花掉了 6500 萬美元”一事充滿各種猜測。
投資者 Turner Novak推測是 Coinbase，但并不是很確定。網上甚至出現了冒充 Coinbase 員工的人。比如Hacker News上的某位匿名評論者，其聲稱 6500 萬美元其實是未來三年的預付款，但消息內容無法核實。后來，FARMLEND 全棧工程師 Gergely Orosz 發文稱自己確認了該公司就是 Coinbase，而那筆款項就是他們當年的到期賬單。下面我們看下 Orosz 的詳細說法。
“沒人關心基礎設施成本了”
Coinbase 公司于當年 6 月上市，上市首日估值 857 億美元。相比之下，將近兩年后，該公司的估值約為 140 億美元，下降了約 75%。在繁榮時期，交易量激增，屢創新高，而 Coinbase 基礎設施幾乎無法跟上。Coinbase 首席執行官 Brian Amstrong 曾表示：
“2021 年對 Coinbase 來說是不可思議的一年，這種態勢不要說在人的一生中非常罕見，拿到整個商業發展史上看也是屈指可數。我們的月交易用戶達到創歷史新高的 1140 萬，同比增長 4 倍。400%的增長率，簡直令人難以置信?！?
在 2021 年首次公開募股之后，Coinbase 公司里已經沒人關心基礎設施成本了，唯一的目標就是繼續保持增長。該公司先后向 AWS、Snowflake 和 Datadog 等廠商支付了巨額費用。于是乎，2021 年這 6500 萬美元確實花給了 Datadog，Coinbase 則在 2022 年第一季度結清了這筆支出。
可 2022 年伊始，Coinbase 的情況急轉直下、需要立即削減基礎設施支出。這是因為加密行業突然遇冷，Coinbase 的業務自然也受到影響。隨著收入枯竭，該公司開始將注意力轉向降本增效。
在可觀測性方面，Coinbase 成立了專項團隊，目標是把這部分功能從 Datadog 轉移到內部 Grafana/Prometheus/Clickhouse 技術棧上 。下面對這些技術稍做介紹：
Prometheus：一種時序數據庫。作為一套非常流行的系統和服務監控開源解決方案，Prometheus 會按給定的時間間隔從配置的目標（服務）處收集指標，并結合評估規則以觸發警報。Prometheus 主要由 Go 編寫，也有用到 Java、Python 和 Ruby 代碼。Prometheus 可將時序數據以一種高效、可定制的格式存儲在內存內和持久存儲介質（HDD 或 SSD）上，而且支持分區和聯邦部署。
Prometheus 屬于云原生基的下轄項目，因此在它之上構建業務比較安全。該項目在當前及可預見的未來都將擁有穩定的維護和支持。
Prometheus 可以自托管，部分云服務商也在提供 Prometheus 托管服務：Googld Cloud 和 AWS 都提供生產級服務選項，Azure 的服務目前則僅提供預覽版。
Grafana：可視化指標前端。Grafana 是一種流行的源分析和監控可視化解決方案。如果大家需要查看或深入了解指標或警報，那 Grafana 就是理想的首選工具，在科技企業中得到廣泛應用。Grafana 儀表板示例： Clickhouse：日志記錄管理工具。這是一套快速、開源，且面向列的數據庫管理系統，也是目前流行的日志管理選項。Clickhouse 主要由 C++編寫而成，在整個行業內得到廣泛應用。例如，Cloudflare 就使用 Clickhouse 來存儲其所有 DNS 和 HTTP 日志——每秒超過 1000 萬行！Clickhouse 還是 Uber 的中央日志記錄平臺。Coinbase 最初之所以選擇自己動手，主要目標并不是節約成本，而是要獲取完全控制力和可觀測性?？捎^測性和可靠性，也正是 Coinbase 在市場上與競爭對手抗衡時的最大王牌。
但隨著加密貨幣市場的降溫， 成本開始成為核心關注點，而內部運營的 Grafana/Prometheus 方案也確實要便宜得多 。Coinbase 團隊幾個月來一直在重復調試新技術棧，最終解決了所有問題、確認一切運行正常。
就這樣，Coinbase 本打算就此跟 Datadog 說拜拜，但 Datadog 在最后一刻挽救了這段合作關系，給 Coinbase 開出一項其無法拒絕的優厚條款。簡單來說，Datadog 后續開出的賬單將遠遠低于 2021 年的 6500 萬美元。畢竟就像 Brian Amstrong 在談到 2021 年的加密貨幣市場時說的那樣， 6500 萬美元的賬單在整個商業發展史上也不常見 。
為留住客戶，Datadog 打“骨折”
Orosz 就此事詢問了 Coinbase 一位同時體驗過內部技術棧和 Datadog 的工程師，想聽聽對方怎么看待繼續留用 Datadog 的決定。這位工程師認為，考慮到合理的成本和卓越的開發體驗，繼續選擇 Datadog 是個正確的決定。
Coinbase 最終已經能在內部設計出類似的體驗，但要想實現與 Datadog 相近的無縫開發者體驗，那可能還需要耗費 數十年 的工程投入。
而且可觀測性工具中的“昂貴”是個相對概念。比方說，在大幅降價之后，如今 Coinbase 每年“僅”須在 Datadog 身上花費 1000 萬美元。那這 1000 萬美元到底多不多？
第一反應似乎仍然不少，但再深入剖析后可以發現，像 Datadog 這樣的平臺還有助于防止中斷、即時檢測并快速緩解宕機事故。
2022 年，Coinbase 曾發生過 18 次停機，總時長約為 12 小時。根據 2022 年的收入計算，該公司的日均收入約為 900 萬美元。假設 Datadog 能夠通過早期監控來防止中斷問題，由此將中斷次數減少了一半，那就可以認為如果沒有 Datadog 的參與，實際停機總時長將是 24 個小時。
另外，假設 Datadog 支持下的 Coinbase 能夠將恢復速度提升至 2 倍（可能是因為 Datadog 會快速將健康指標同日志、調試操作等聯系起來，幫助查明根本原因并改進緩解效率），那么不用 Datadog 的總停機時長將進一步延長到 36 個小時。
這樣做個簡單的數學計算，Coinbase 選擇了 Datadog 之后單在停機時間上就省下了 900 萬美元，所以現在每年 1000 萬美元的支出可以說是物有所值！
千萬美元的可觀測賬單，并不罕見
在 DataDog 的案例中，由于該公司提供的不僅僅是可觀測性解決方案，還包括安全賬單，數字變得更加復雜。財報沒有說明這家未具名的公司使用了多少此類 SaaS 服務。
“雖然 6500 萬美元是一個令人震驚的數字，但對于傳統的可觀測性公司來說，1000 萬美元的賬單并不罕見?！笨捎^測性替代提供商 Groundcover 首席執行官 Shahar Azulay 表示。
“像 Coinbase 這樣的大公司，不久前就已經開始以每年 1000 萬美元的價格進行采購?！盇zulay 說道，“很多公司每年會向 Splunk、Dynatrace、DataDog 這樣的可觀測提供商支付超過 1000 萬美元，甚至同時向多個供應商支付，每個供應商都超過兩位數的收入，這并不罕見。”
Azulay 補充道，重點在于可觀測供應商如何定價?？捎^測性解決方案監控三種類型的數據：日志、度量和跟蹤(監視交互的路徑，例如端到端事務和服務之間發生的事情)。這些數據源的增長趨勢很難預測，尤其是當“黑色星期五”這樣的事件出現時，用戶的使用量會達到峰值。
“ 它充滿很大的不可預測性，并對推送到日志中的數據量有很大的依賴 ，這就是有大量定價點的根本原因，因為你無法控制，也無法知道下個月將支付多少?！盇zulay 表示，更重要的是，即使合同是針對某一梯度水平的，一旦公司超過了該等級，那從當天起，廠商就會按更高的等級費率收費。
“特定的 log lines 可以成為基礎設施的關鍵部分，例如谷歌的搜索引擎或任何每天運行 100 萬次的東西——只是客戶每天使用它 100 萬次?！盇zulay 表示，開發人員可能只是將更多的 log lines 或數據點推送到系統中，但不知道更多。有一個這樣的循環：開發人員創建應用程序，構建組織作為產品提供方應該做的業務邏輯，然后做研發管理，直到兩個月后才發現：哦，這讓我們的價格上漲了 50%。
Azulay 認為， 問題可能會落在開發人員身上，因為他們向可觀測性堆棧推送了太多信息 ，導致監控生產的數據點數量減少了。“這是一個奇怪的惡性循環，開發人員想要更多的數據來排除故障，而管理人員則需要權衡，他們必須為此支付大量的錢?！?
不過，并非所有可觀測性公司都是這樣收費的。使用 eBPF 代理的 Groundcover 不收集數據，它按生產環境中運行的服務器數量收費。
誰是“大冤種”
很明顯，供應商會對客戶的支出削減守口如瓶，我們只是很幸運地從 Datadog 發言的細微線索中找到了 Coinbase。但 Coinbase 的情況絕不是個例 ，更多反映了市場的整體趨勢 。
Datadog 公司 CEO Olivier Pomel 證實，類似的成本優化舉措正在全體客戶中間發生 ：
“觀測我們的數據，回顧我們從超大規模客戶那邊聽到的聲音，總結客戶關于短期未來的觀點，我們確實對接下來的前景沒什么信心。換言之，下個季度、最多下下季度，大規模的降本增效就要到來。因此，就目前的指導方針和年內規劃而言，我們認為剩下的半年基本都會是這個情況。”
Datadog 的危機可能也還在繼續。Orosz 透露，Shopify 正打算跟 Datadog 脫鉤。
Orosz 表示，多家體量巨大的企業都在構建自己的內部 Grafana/Prometheus 技術棧，打算借此脫離原有可觀測性供應商，而歸根到底還是錢的問題。
“每年 200 到 500 萬美元的固定支出就是逃離供應商的最佳理由。畢竟一旦到了這個規模，理論上還不如雇用內部團隊自己接手這部分工作。”Orosz 表示。
根據指導經驗，內部基礎設施的運營成本要遠低于供應商開出的價格。這是因為供應商和企業往往都在使用相同的云基礎設施，可能是 AWS、Google Cloud Platform 或者 Azure。最大的區別在于，企業需要聘請專門的工程團隊和技術人員來構建并運行這套基礎設施。
因此從成本角度看，最終權衡可以提煉成下面這條簡單規則：
基礎設施成本 + 平臺團隊成本 < 現有供應商成本
其中，平臺團隊成本會高于 100 萬美元，有時候甚至超過 200 萬美元。這是因為平臺團隊至少要有 4、5 位工程師加一名經理，他們的平均年薪都在 15 萬到 40 萬美元之間，具體由成本基礎決定。
所以當服務賬單每年達到 200 甚至 300 萬美元級別時，自建就比外包顯得更靠譜了。而完成最后臨門一腳的，則是供應商在原始基礎設施之上又附加了多高的保留利潤。
Orosz 表示自己想不通 Coinbase 的行為：為什么供應商都把價格開到 6500 萬美元這個級別了，他們才開始考慮自建團隊？
“這可是 6500 萬美元，Coinbase 完全能用它在灣區組建一支 10 名高級/資深工程師的豪華陣容，就算這樣成本每年也不會超過 500 萬美元。之后就是給基礎設施做成本預算，這部分開支每年也就不到 100 萬美元吧?！監rosz 感嘆道。
參考鏈接：
https://investors.datadoghq.com/static-files/18234a4f-04f9-4a9f-9679-668cd672fb7b
https://blog.pragmaticengineer.com/datadog-65m-year-customer-mystery/
https://thenewstack.io/datadogs-65m-bill-and-why-developers-should-care/
本文轉載來源：
https://www.infoq.cn/article/Ozc6Cyi65spmUqFIiaLg
