Tuesday, March 20, 2007

Baseline Discrepancy

BP (Baseball Prospectus) 在台灣的 ML freeblogger 之間是眾所週知的 sabermetrics 重鎮,它所提供的數據資料多得三天三夜都講不完,但如果要挑一個最具代表性的 stat,那麼非 Keith Woolner 的 VORP 莫屬;而談到最具代表性的概念,replacement level 應該是大家都同意的選擇;至於所有 BP subscribers 都有的麻煩則是很少人知道 BP 的數字是怎麼蹦出來的。肯定的是,個人也不屬於 "很少人" 的那一群。

這裡有兩篇 Woolner 介紹 replacement level 與 VORP 的文獻,瞭解 VORP 的觀念會比把它算出來要重要:


個人對 VORP 的實用性是頗有意見,這一點也許未來有機會再談,這裡我想就 replacement level -- 也就是計算球員價值 (value) 的 baseline 來討論。

Keith Woolner 的 replacement level 概念最主要是基於主力球員掛傷號時,球隊未必能找到 league average 的選手來替代,但一定可以找到一些 FAT (Free Available Talent) 來補上主力無法出賽的時間,因此當球員正常出賽時,其 VORP 就有點像是給予相同 PAs,與能替代他的 FAT 之間在同一個 lineup 下的 runs created differential。

Woolner 在上述第一篇連結的最後提到一個重點:一支全部由 replacement level 組成的球隊,一季大約可以拿到 44 勝,也就是約 .271 的 WPCT,我們可以從另一位 sabermetrician Tangotiger 對 replacement level 的定義來反推這個事實。

Tango 認為打者 replacement level 是 .380,這是基於 offensive winning percentage (OW%) 的語言,而 OW% 的式子可以寫成下面這個樣子:
OW% = X^2 / ( 1 + X^2)

X = (Player's RC) / (League Average RC)
RC = Runs Created

也就是說,以 OW% = .380 的打者而言:

X^2 / (1 + X^2) = .380
X =~ .783

所以在 Tango 定義下的 replacement level 打者,其 RC 是 league average 的 78.3%;反過來說,一位 .380 的投手其 RA 將是 league average 的 127%。假設 league average 的球隊可以拿下 .500 的 WPCT,那麼 replacement level 的球隊 -- 以 2 為 power 代入 Pythagorean Formula -- 得到的 WPCT 就成為:

(0.783^2) / (0.783^2 + 1.27^2) =~ 0.273 (WPCT)
0.273 * 162 =~ 44.23 (Wins)

這與 Woolner 的結論幾乎是一致的,不過 Tango 並不是照抄,事實上 Tango 對 replacement level 投手的認知並不是 .380 而是 .410,這麼一來在 Tango 定義下的 "replacement level team" 一季則可以拿下 .300 的 WPCT、或是 48 wins。

由於 Woolner 與 Tango 的 "背書",大致可以確定全由 replacement level 組成的球隊一季拿下 44 ~ 48 wins、或是 .271 ~ .300 的 WPCT 是被同意的 baseline。也就是說,假設 06 年 Dodgers 的 88-win 是 playoff 的最低門檻,那麼 Dodgers 的所有成員必須通力合作拿下 40 ~ 44 wins above replacement level,或者說 -- 套用 BP 的語言 -- 40 ~ 44 的 WARP1,right?

The answer is: NEGATIVE

在 BP 的架構裡,WARP1 是出現在球員或球隊 DT (Davenport Translated) Card 裡的數字,也就是說 WARP1 是由 Clay Davenport 所定義。那麼我們來 review 一下 06 年 NL West 各隊的 actual wins 與 total WARP1 的比較:

TeamTotal WARP1Actual WinsR_WPCT
SDN67.8880.125
LA65.8880.137
SF50.4760.159
ARI53.9760.136
COL56.4760.121

其中 R_WPCT = (Actual_Win - Total_WARP1) / 162

以 Dodgers 為例,這裡告訴我們的是:如果 06 年 Dodgers 以他們的 replacement team 出擊 -- 在 Davenport 的定義下 -- 只能拿到 .137 的 WPCT,或是 22 wins。

這個結果極端的不尋常!以全 ML 1200 名球員 (40-man * 30 teams) 來講,任選 40 人一季拿下不足 16% 的 WPCT,這搞不好是 Mendoza Line 裡的 Mendoza Line 才能辦得到的 "壯舉";反過來說,Davenport 定義下的 baseline 搞不好會讓全 ML 1200 名球員中超過 1000 人處於 "above replacement level",那麼最後的 200 人其實不能叫 FAT,應該是 FAG (Free Available Garbage)。

身為 subscriber 的我們無從知道 WARP1 背後的數學,但不妨來試著猜猜看:在打者的 DT Card 裡把 BRARFRAR 加起來再除以 10 (10-run = 1 win),可以發現這樣的 approach 結果與 WARP1 頗接近 -- should be a reasonable ballpark。

"萬一" WARP1 真的是用 (BRAR + FRAR / 10) 再做一些未知的修正而來,這樣的結果會有多離譜?以 Alber Pujols 這個怪物而言,他的 BRAR 與 FRAR 分別是 507 與 99,也 somehow 代表他 career 到 06 年為止的 65.3 WARP1 有近 16% 來自於他的守備 -- 一個很高的比例!換句話說,以 WARP1 來估計 actual wins,在 baseline 上不僅大有問題,在守備部份可能被高估 (或甚至低估) 的 cross effect 也會讓我們在利用 WARP1 比較球員時失焦。

我想說的是:BP 的 Woolner 和 Davenport 在評估球員時用了兩種截然不同的 baseline,而 Nate Silver 的 PECOTA 則兩者皆有 (So how much can we believe in PECOTA?)。However,Woolner 的 VORP 的 baseline 是較為合理的;Davenport 的 WARP1 的 baseline 則是低到不具有什麼意義。

這也許是個人後來選擇不入手 BP 2007 的原因之一,但並不是說 BP 2007 不值得買,而是擔心看不到想要或是想分享的東西。當然,也許個人對 WARP1 與 replacement level 的看法都是錯的,在此十二萬分的歡迎不吝提供意見的朋友。

友台 最近和我們分享了 BP 2007 裡對 06 年 Dodger GM Ned Colletti 一段有趣的 comment:

用 4 位 top 50 prospects 加 10.1M 換來 WARP 3.4

在我看來,這個訊息只是更糟而已!這代表了從 reality 的角度,Colletti 06 年的各項交易怎麼樣也值不了 3.4 wins -- because of the way-too-low baseline Davenport applies。

4 comments:

madboy said...

啊...我買BP 2007只是想看看PECOTA的想法而已......畢竟PECOTA有他神奇的地方。

順便說一下,PECOTA相當相當看好Matt Kemp呀...和我自己的評估完全相反。

Morikawa said...

06 年的 PECOTA 也相當看好 Joel Guzman -- 記憶沒有出錯的話。不過 06 年看到 Guzman 上 ML 時的揮棒表現,實在很懷疑那怎麼會是 power hitter 的 swing -- 一點都不乾淨俐落。

不過 Kemp 的揮棒動作 -- 以我個人的意見 -- 是要比 Guzman 好很多,如果 PECOTA 看好 Kemp 的話,只能說在同年齡的 prospects 裡 Kemp 就超出了他被預期的水準,所以和 Guzman 一樣,PECOTA 給 Kemp 的分數不低其實也是可以預期的,畢竟那是一個完全從數字出發的角度,Kemp 的 ceiling 應當很高,但要如何才能達到這個 ceiling 看起來並不是 Dodger farm system 所擅長處理的問題。

當然我沒買 BP 2007 的另一個原因也是因為 prospects 到你家去看就好了,省了我自己找答案的工夫。

madboy said...

那個"用 4 位 top 50 prospects 加 10.1M 換來 WARP 3.4。"的WARP是WARP1沒錯,只是我沒寫,你一開始寫的是對的。

Morikawa said...

Never mind,即使是用 Difficulty 或 All-Time 去做 adjusted 的 WARP2 或 WARP3,它的 baseline 仍然是過低的,所以這只代表著 Colletti 06 的一堆交易 + 10.1M 大洋所換來的離 "Real" 3.4 Wins 都還十分遙遠。

What a pathetic punk head...