科技公司進行成功實驗的隱性成本
凱洛格管理學院
2025-04-25
“快速行動，打破常規(guī)”曾經是關于創(chuàng)新的流行口號，但過去十年來卻不再受到青睞?？萍脊巨D而更喜歡“持續(xù)實驗”。無論我們如何描述這個概念，目標卻都是一樣的：實現(xiàn)由數(shù)據(jù)驅動的快速迭代。無論是測試按鈕的顏色還是算法的性能，只要公司進行的實驗越成功，它創(chuàng)造的新增長和效率的機會就越多。
然而，成功的實驗并不都是相同的。一些實驗在短期內似乎導致積極的變化（例如，帶來更多利潤、保留客戶等），但在實際上卻使公司的運作更為復雜。這會增加進一步改進系統(tǒng)和開展未來實驗的難度，減緩了創(chuàng)新的動力。
“根本問題是‘行之有效’意味著什么？”凱洛格學院的運籌學助理教授塞巴斯蒂安·馬丁問道?！艾F(xiàn)在，它對我和我的客戶可能是一件好事情，但從長遠來看，它會影響我的創(chuàng)新能力嗎？”
為了探究實驗驅動型公司的隱性成本，馬丁與同樣來自凱洛格學院的黃宇迪（音譯）以及Lyft公司的前首席科學家秦志偉合作，創(chuàng)建了一個數(shù)學模型，以探討在公司內部進行變革的復雜性。他們發(fā)現(xiàn)，隨著時間的推移，這種復雜性造成的摩擦會累積，就像債務的利息一樣。換句話說，將會越來越難發(fā)現(xiàn)每個成功的變革，需要更復雜、更耗時的實驗，并且這些放緩常常無法察覺。
然而，研究人員也發(fā)現(xiàn)，當公司的復雜性達到一定程度之后，就不再值得抵制了。因此，盡管實驗的速度更慢、頻率更低，但實際上，即便實驗的回報減少，積累更多的“復雜性債務”也是值得的。黃宇迪解釋道：“在這種情況下，唯一的解決方案通常是從頭開始重建，而不是試圖避免額外的復雜性?！?/p>
馬丁承認：“這種模型看似違反直覺，它凸顯了一個幾乎無人談論的影響。”
對于那些在實驗上投入大量資源的科技公司來說，了解這種經常被隱藏的實驗效果特別有價值。馬丁指出：“科技公司擁有專注于實驗的龐大團隊；成功的實驗往往使員工獲得晉升。但判斷某件事情是否長期‘有效’，卻是非常棘手的任務?！?/p>
成功的隱性成本
馬丁對這種困難有親身體會。2020年，他在Lyft擔任研究員期間，幫助測試了一種新型強化學習算法，用于匹配司機和乘客。
“進行這些實驗的成本非常高，但是絕對值得?！彼貞浀??！八黾恿怂緳C的收入，也讓乘客更滿意。我們實驗儀表板上的所有指標幾乎都是綠色的?！?021年，Lyft在全球部署了新算法。一切都行之有效，但是果真如此嗎？
馬丁說：“我意識到，做出如此復雜的改變時，會使公司其他團隊的創(chuàng)新變得更難，也會增加實驗過程本身的難度和成本?！?/p>
首先，擁有一個會隨著時間推移而自行調整的復雜機器學習算法，意味著找到下一個實驗想法會變得更難，也更難實施。馬丁解釋道：“我必須預測這個超級聰明的算法會對我想要測試的東西做何反應，因此憑直覺判斷的想法是否明智會變得更難。”
此外，復雜的系統(tǒng)性實驗不像A/B測試按鈕顏色那么簡單。就像一塊大石頭掉進湍急的溪流中一樣，Lyft的新算法可能會以出乎預料的方式改變整個系統(tǒng)的流程。因此，唯一的測試方法就是將其開啟，讓每個人觀察會發(fā)生什么，然后再將其關閉并比較結果。這些所謂的“折返實驗”必須在更長的時間內重復多次，才能產生可靠的結果。
馬丁意識到這些實驗帶來的復雜性債務可能會阻礙未來的創(chuàng)新努力，但是他不能確定?！霸趯嶒炦^程中幾乎無法衡量。我開始懷疑自己。這引發(fā)了一項有趣的數(shù)學練習。”
建模權衡
與技術債務一樣，公司內部的“復雜性”難以衡量，因為它很難定義。
“它的涵蓋范圍很廣，包括官僚主義、軟件、深度?！瘪R丁說?！皩ξ覀兌裕瑥碗s性只有一個含義：復雜性越高，公司進行成功實驗的概率就越低?！?/p>
利用這個復雜性的定義，馬丁和他的共同作者對一家公司如何隨著不斷的實驗而變化進行了模擬。他們根據(jù)兩個關鍵量來評估這家理想化的公司。第一個稱為利用率，代表公司試圖通過實驗最大化的主要指標，比如利潤或用戶參與度。第二個代表復雜性：復雜性越高，實驗的速度就越慢。
如此一來，權衡就相對簡單了。隨著時間的推移，成功的實驗會提高公司的利用率——就像Lyft的新算法提高了收入、參與度和效率。與此同時，成功實驗所帶來的任何變化要么增加其復雜性，要么保持不變。
設置陷阱
在分析了模型的行為之后，研究人員發(fā)現(xiàn)復雜性確實是一個真正的問題，會以三種獨特的模式或“陷阱”來表現(xiàn)。
第一個陷阱是，復雜性債務的負面影響沒有上限；它只會不斷增長，永遠不會停滯。馬丁說：“如果你只是不斷地實施改變，一味地盲從成功的實驗結果，那么情況就會變得多糟也沒有止境?！?/p>
當公司的復雜性債務開始自我強化時，則會發(fā)生第二個陷阱。在該模型中，公司可以做出選擇，以防止復雜性進一步惡化。然而，在復雜性達到一定程度之后，即使這種方法也變得毫無意義：對于高度復雜的公司來說，最佳選擇是繼續(xù)實驗，并積累更多債務。
為什么？因為短期內管理復雜性的成本高昂，但從長遠來看卻有益。
“上市公司的投資者最多只關心未來五年到十年的情況?！瘪R丁解釋道?！爱斈愕墓疽?guī)模很大，復雜性很高時，改進就很少發(fā)生。因此，你會有更大的動力爭取任何改進”，而不考慮長期的復雜性成本。
但是復雜性較低的公司（例如新創(chuàng)企業(yè)）應該特別小心陷入這種情況。與成熟公司相比，這些公司往往更關注短期收入和增長，因此特別容易陷入第三個陷阱，即它們覺得需要加快實驗。這是科技新創(chuàng)企業(yè)經常面臨的困境：因為它們必須向投資者展示相對快速的增長，從而獲得下一輪融資，所以它們傾向于進行“貪婪”的實驗，將復雜性提高到閾值，或者甚至超過閾值。等到它們真正開始增長時，其復雜性債務已經達到了臨界點。
馬丁指出：“新創(chuàng)企業(yè)與上市后的公司截然不同。任何似乎有助于增長的改變都應該付諸實施，否則你就會滅亡。”
沒有免費的午餐
那么，復雜性及其對實驗和創(chuàng)新的潛在影響，是否就像死亡和稅收一樣不可避免？
或許如此，但馬丁警告我們不要過度解讀單一數(shù)學模型的行為?！拔覀兊恼撐闹荚趶娬{實驗背景下的某種效應，讓人們開始更清楚地思考。當你試圖解決一個問題時，意識到這個效應就是成功的一半。”
馬丁補充道，與許多公司的看法相反，持續(xù)實驗并不能保證持續(xù)改進?！案鶕?jù)我在科技界的經驗，我認為這個想法會引起很大的爭議?！?/p>
但其實不必如此。所謂的“退化實驗”就像是反向的折返實驗，測量一個看似積極的變化暫時逆轉時會發(fā)生什么。馬丁表示，如果沒有有害影響，也許就可以永久逆轉這種變化及其導致的復雜性，因為“系統(tǒng)已經進化”，不再需要這種變化。至于在其他由實驗驅動的行業(yè)，比如制藥業(yè)，往往是講求研究長期結果，而不僅是短期影響。
馬丁說：“科技界需要更多這樣的思維。它讓人們意識到，改變可能是暫時的，因為它們可能需要代價，而逆轉或者至少重新評估，也是可取的行為?！保ㄘ敻恢形木W(wǎng)）
財富中文網(wǎng)所刊載內容之知識產權為財富媒體知識產權有限公司及/或相關權利人專屬所有或持有。未經許可，禁止進行轉載、摘編、復制及建立鏡像等任何使用。
