How Real Are These Metrics?
我們可能常聽到類似以下的 comment:
- Juan Pierre 07 年的 VORP 是 16.2。
- Nomar Garciaparra 07 年的 OPS_Win 是 -0.831。
- Luis Gonzales 07 年的 EQA 是 .271、EQR 是 64.9。
話說回來,這幾個 metrics 真正的內涵是什麼?我們可不可以從幾個 metrics 去翻譯球隊所拿下的 real wins?或者這些 metrics 只是虛構且悖離事實的 scale?講得更具體一點:假使我有一支 82-win 的球隊,同時我曉得要進入 playoff 的安全範圍大約要 88 ~ 92 wins,那是否代表在 offseason 裡必須努力為球隊掙得 6+ OPS_Win、60+ VORP 或是 60+ EQR 的 net gain?
利用 offseason 的機會,我們不妨來看看幾個有名的 metrics -- OPS_Win、VORP and EQA -- 的真實性。換句話說,如果一個 GM 要拿這 3 個 metrics 來做為 transaction 的依據,它們所代表的內涵是否就真如數字面上所顯示的一樣?他們 honor 10-run equals 1-win 嗎?這些 metrics 在使用上需要做怎麼樣的轉換?
◎ Approach
首先必須說明的是:我們將借用部份的 WPA 資料來做驗証。
由於 WPA 是將球隊所贏得的勝場分配給每一位球員,一支球隊的打擊、先發投手與後援投手的 WPA 總和會等於該球隊的 wins above average,所以我們直接拿球隊在打擊部份的 total WPA -- say "BWPA" -- 做為與 OPS_Win、VORP 與 EQR 比較的基準,看看這 3 個 metrics 究竟夠不夠 "真實"。
在實做之前,先回答 2 個可能讓人產生懷疑的點:
- 守備的分數到哪裡去了呢?
在 WPA 的 scope 下,不論球隊的守備是好是壞,都必須由投手群來 "概括承受",也就是說守備的分數是算在投手群身上的。同時 OPS_Win、VORP 與 EQR 事實上也都沒有包含守備的因子,是故用這 3 個 metrics 與 BWPA 來比較是合適的。 - Clutch 的因素怎麼處理?
的確,屬於 neutral metric (接近 10-run equals 1-win) 的 OPS_Win、VORP 與 EQR 都沒有考慮 clutch。只不過對絕大多數球隊來說,經過一季的 long run,clutch hitting 的影響被 neutralize 的可能性是極大的!事實上,clutch 最大的問題會出在 "後援投手" 的環節,和用來做比較基準的 BWPA 與投手群是不相干的。因此 只要 OPS_Win、VORP 與 EQR 夠準確,suppose 不該與 BWPA 有太大的差距。
接下來,我們用 Dodgers 為例來跑一次:First thing first,Dodgers 07 年的 BWPA 是 -4.98 -- and you know how bad these Dodgers performed in 07 season。
◎ OPS_Win on Dodgers' Offense
回顧一下 OPS_Win 的式子:
OPS_Win = 0.025 * (1.7 * OBP + SLG - 1 ) * PA
OPS_Win 誕生的原因在於 SLG 的對 OPS 的膨脹 -- 雖然 OPS 是一個最簡單、最直接評價球員的方式。在 SLG 的 scope 下,把 1 支 HR 的價值當成是 1 支 single 的 4 倍是絕對不合理且不真實的!此外,假設有兩位 OPS 都是 0.800 的選手,一位的 OBP/SLG 是 .300/.500、另一位是 .350/.450,給予相同的 PA 數,他們的 contribution 絕不會一樣。
所以 OPS_Win 調整 OBP 與 SLG 的權重來解決上述的問題,再對 league average 做 offset。而 OPS_Win 的式子也等於告訴大家:一個 league average 的打者,每個 PA 的價值大約是 0.025
計算 OPS_Win 不需要太多技巧:Dodger hitters 在 07 年所賺到的 total OPS_Win 是 -3.72 wins above average。
◎ VORP on Dodgers' Offense
由於這裡使用的比較基準是 BWPA -- 是 batting wins above average,但 VORP 的 baseline 不是 league average 而是 replacement level,所以必須先做 baseline 的轉換。
根據 Keith Woolner 的說法,VORP 的基準是 "一支完全由 replacement level 所組成的球隊,一季大約可以拿到 44-win",那麼針對 replacement level 的打者,他的 RC (Runs Created) 大約是 league average 的 78.3%;相對的,replacement level 的投手,其 RA 是 league average 的 127%。
請注意,在這裡我們所有的 replacement level 都是以 BP 的定義為基礎,與 THT 的 WSAB 的 baseline 不同!Just in case you wonder:WSAB 的 baseline 大約是 WPCT 33% 的球隊、VORP 則是 WPCT 27% 的球隊。關於 VORP 的 baseline 的細節,有興趣瞭解的朋友請參考 這一篇。
於是我們把 RA 的部份從 replacement level 提高到 league average,運用 Pythagorean Formula (power = 2),考慮一支以 replacement level 的打者 與 league average 的投手 所組成的球隊,一季可以得到的勝率將是:
(0.783^2) / (0.783^2 + 1^2) = 0.380
換算出來就是 162 * 0.38 = 61.56 wins。
由於我們預期一支完全由 league average 所組成的球隊可以拿到 0.5 的 WPCT、或 81-win,而在這支 "average" 的球隊的打者都換成 replacement level 時剩下 61.56-win。換句話說,league average 與 replacement level 的打者所組成的 lineup 一季下來的差距將是:
81 - 61.56 = 19.44 wins
考慮 35 位 07 年登記有案的 Dodger hitters,其 VORP 的總和是 187.1,粗略的以 10-run equals 1-win 來計算就是 18.7 wins above replacement level、或是 -0.73 wins above average (18.71 - 19.44)。
◎ EQR on Dodgers' Offense
原則上,EQR 是一個 "絕對" 的 scale,它完全沒有任何 baseline 的 offset,當我們想將 EQR 轉換成 EQRAA (EQR Above Average) 時,必須借重 EQA 的幫忙。因為 EQA 的催生者 Clay Davenport 說 .260 的 EQA 代表 league average、.230 代表 replacement level。這個 blog 也曾探究過 EQA 的內涵,有興趣瞭解的朋友請參考 這一篇。
由於 EQR 與 EQA 有這樣的關係:
EQA = ( 0.2 * EQR / OUT )^0.4
我們可以將 EQR 可以重寫如下:
EQR = ( EQA^2.5 ) * 5 * OUT
考慮 .260 的 EQA 為 league average,EQRAA 就可以寫成:
EQRAA = EQR - [ (.260)^2.5 ] * 5 * OUT
Follow 上述的結果,07 年 35 位 Dodger hitters 的 total EQRAA 是 -6.14、or -0.61-win above average。
◎ So, the winner is...?
單由 Dodgers 來看,OPS_Win 的估計似乎是 "最接近事實" 的,不過不可否認的是 OPS_Win 可能是 3 個 metrics 裡最簡單、所用的 baseline (league average) 最直覺的一種,相較於根本不曉得怎麼算出來的 VORP、以及用到整個聯盟資料來 "作弊" 的 EQA 相比 -- 既然不能在 accuracy 上得到 significant edge,使用上的意義與價值也就相對的降低,總的說來,個人以為 OPS_Win 是 3 個 metrics 最有效率的一種。
這裡再給幾個 tips:
- 對大多數的 teams 而言,OPS_Win、VORP 與 EQR 換算的結果其實都還算接近,而 OPS_Win 的 fluctuation 較其它二者為穩定;同時,我們甚至可以用 BWPA 與 OPS_Win 的差距來做為評價 team batting clutchiness 的 quantity。
- 07 年受到 "clutch" 影響最大的就屬 D'Backs,即便是打擊方面,保守的估計 D'Backs 的 clutchiness 大概讓他們拿回了 5-win above average,這幾乎相當於把一個 league average 的打者換成 A-Rod 的差距。
- VORP 針對每一個守備位置 apply 不同的 replacement level,因此帳面數字上和 OPS_Win 相比並沒有太良好的線性關係,不容易從 individual 去探討正確性的問題。
- 說 EQRAA 與 OPS_Win 的線性關係維持在 0.9 以上的 correlation coefficient 是安全的 (這僅僅代表 EQRAA 與 OPS_Win 的 "方向" 一致),只是 EQR 對 SLG 較高的選手有 "給分過高" 的現象。
個人把 NL West 的計算結果 PO 在這裡做參考:
Team | BWPA | OPS_Win | VOA/10 | EQRAA/10 |
D'Backs | -1.21 | -6.64 | -7.45 | -6.04 |
Rockies | 9.49 | 6.08 | 6.86 | 3.37 |
Padres | -6.56 | -6.98 | -4.59 | 0.41 |
Dodgers | -4.98 | -3.72 | -0.73 | -0.61 |
Giants | -10.97 | -10.27 | -10.47 | -7.15 |
其中 VOA 代表把 VORP 的 baseline 移到 league average 的結果;EQRAA 為 EQR Above Average,除以 10 則代表把 runs 轉換為 wins。
我不敢、也不能說個人証實了這幾個 metrics 的真實性,但希望傳達的是這幾個 metrics 所代表的意義與互相轉換的過程,建議有興趣的朋友動手玩玩看。
※※※※※※※※
Additionally,這裡提一個可能很多用 EQA 的朋友沒有想過的問題:
打者 A 在 07 年用掉 100 outs,得到 EQR 15;打者 B 亦用掉 100 outs,得到 EQR -15,那麼兩人的 EQA 分別是多少?
要計算 A 的 EQA 沒有問題:
EQA_A = ( 0.2 * EQR_A / outs_A )^0.4 = 0.246
Where EQR_A = 15, outs_A = 100
然後,當我們如法泡製的想要計算 B 的 EQA 時,不管用 Excel 也好、工程計算機也好,得到的結果都是 "Error",why?其實,這只是國中生程度的問題,在做 power 運算的 caveat:"Negative number to fractional power is an illegal call"!
即便如此,就 EQR 的 derivation 而言,它的確可能跑出 "負值",針對這樣的球員,他們的 EQA 又應該如何計算呢?Clay Davenport 雖然沒有明講,但他的結果是這樣弄出來的:
- 如果某球員的 EQR 計算出來是 "負值" (小於 0),那麼就先把它變成 "正值",套用數學的講法 -- 取 "絕對值"。
- 計算出 EQA 之後,再把 "負號" 加回去。
所以在上述的命題裡,B 的 EQA 就是 -0.246。然而,這是完全合理的,我們可以從下面這個式子來看 (EQAR: EQA Rate):
EQR = EQAR * OUT
Where EQAR = ( EQA^2.5 ) * 5
EQA 其實就 "很像是" 某位打者 "每個 out 的價值 (分數)",那麼如果 EQR 已經小於 0,EQA 當然也應該要小於 0。話說回來,除了投手以外,能夠得到 negative EQA 的打者恐怕也不多。