Tuesday, June 05, 2007

VORP and Model Reality

身為新一代的 MLB Fans 或是 fantasy baseball 玩家,VORP 似乎是一項必要的知識,不曉得 VORP 的人好像會被歸類為 "miss the boat"。我們看到的是不只越來越多的人拿 VORP 來比較球員,連非 stathead 的世界日報的 某球評 也做了功課想向讀者闡述這個統計量的內涵 (當然,他還是弄錯了....)。看樣子 VORP 毫無疑問的成為 sabermetric 界的當紅炸子雞。

個人曾在 07 年季初的 Baseline Discrepancy 這篇裡留過 VORP 的基本文獻、也探討過 replacement level 在 VORP 設定裡的 baseline,它的發明人 Keith Woolner 現在已經在 Tribes 任職了。Woolner 提出 VORP 的重要精神在於如果主力球員受傷,球團也許不容易找到 league average 水準的替代品而只能由 FAT (Free Available Talent) 來替代,那麼所謂主力球員的貢獻 (或說...價值) 就在於他們比這些 FAT 要 "好多少"。

這裡我們簡單的將 VORP 的計算方式帶一下,在打者的 VORP 部份,以 Nomar 為例:

  • 考慮以 Nomar + 8 位其它守備位置的 league average players 所組成的 lineup,計算 RC (Runs Created)。

  • 考慮與 Nomar 守備位置相同 replacement level player,給予與 Nomar 相同的 PA 與 8 位其它守備位置的 league average players 所組成的 lineup,計算 RC。

  • Nomar 的 VORP 即為前兩項 RC 的 Differential。

投手的 VORP:
  • 首先計算 SP/RP 的 replacement RA:

    Replacement-Level SP RA = 1.37*League RA -0.66
    Replacement-Level RP RA = 1.70*League RA -2.27

  • SP/RP 的 VORP 為他們的 RA 與 replacement level SP/RP 的 RA 在相同局數下的失分差

原則上 Woolner 的立意是正確的,但如果拿 VORP 來 translate wins 或是做為球員交易、簽約的判斷,個人認為是不堪用的!雖然 VORP 在設定上儘可能的去符合 model reality,但 model reality 卻也是 VORP 最致命且不合理的部份。


A Chain of SPs

假設 Twins 的頭牌 Johan Santana 一季可以給予 220 IP 與 3.00 RA,那麼在 league replacement level SP 的 RA 在 6.50 的情況下,在不考慮 park adjusted 的情形下,Santana 的 VORP 大約就是:

(6.50 - 3.00) * (220 / 9) = 85.56

那麼以 10-run 為 1-win 做 translation,Santana 一季可以給予 Twins 約 8.6 wins。

但實際的情況不會是如此:萬一 Santana 不幸整季報銷 "且" 替代他的投手只是個 FAT,這個 FAT 絕對 "不會被賦予與 Santana 相同的投球局數",最壞的情況也是將這個 FAT 塞在 No.5 的位置進而將原本的 No.2 ~ No.5 往前推一位。換句話說,考慮下面這樣的 model:

PitcherIPRAVORP
Santana2203.0085.56
No.22103.8063
No.32004.3048.89
No.41904.8035.89
No.51805.3024

失去了 Santana 之後:

PitcherIPRAVORP
No.22203.8066
No.32104.3051.33
No.42004.8037.78
No.51905.3025.33
FAT1806.500

也就是說,Santana 的 "marginal VORP" 應該是:

257.33 - 180.44 = 76.89 ~ 7.69 Wins

這裡的結果已經讓 Santana 的價值當場少掉近 1-win,而考慮 Twins 會不會真的讓 FAT 投到 180 局則又是另一個問題。也因此,Santana 的 VORP 其實高估了他的價值。

當然這個世界的運行也不會像個人所提出的 model 那麼完美,只是當打者的部份在 VORP 被考慮了 marginal 的因素,投手的部份似乎不應該被 overlooked。


RPs' RA & Leverage

開門見山的說:RP 的 ERA 或 RA 的意義都不大,除了他們的投球局數一向比較少,另一個原因在於 inherited runners 與 bequeathed runners 的 run scored/prevented 問題,也因此利用 RP 的 RA 換算成 VORP 就已經不是什麼好點子。

另一個問題則在於 situation 的 leverage。

還記得 Yankees 的 Chase Wright 在 4 月 22 日、Fenway Park、Bottom 3rd、2-out 的情況下遭到 Red Sox 的 4 連轟嗎?當時連失 4 分的 Wright 替 Yankees 所砸掉的 WE (Win Expectancy) 是 42.1%。那麼把上面這個場景轉移到 Bottom 9th、Yankees 3 分領先、2-out 的情況遭到 4 連轟,砸掉的 WE 會是多少呢?答案是 99.4%

同樣在 2-out 後失掉 4-run,但後者丟掉的 WE 卻是前者的 200% 以上!換句話說,依 situation 的不同,4-run 可以是將近 1-win,也可以是小於 0.5-win。無論如何,球隊的 RP 就是經常在這種 high leverage situation 的夾縫中生存的。

RP 的 VORP -- base on RA -- 這麼 neutral 的數字,究竟能代表多大的意義?


Bench Player Effect

現在談到打者的部份,這回以 Dodgers 為例。根據 BP 的統計資料,Nomar 與 Kent 在 06 年的 VORP 分別是 32.8/27.8。

同樣在 10-run 為 1-win 的前提下,"假使" Nomar 與 Kent 兩人在 07 年都維持了 06 年的水準與 playing time,可以肯定的一點是:Kent 或許值 3.28-win,但 Nomar 絕對不值 2.78-win。

Why?

這是因為 Dodgers 除了 Jeff Kent,原則上拿不出像樣的 bench player 可以在 2B 提供與 Kent 相仿的火力供輸,但 Nomar 的位置是 1B,即使我們忘了 James Loney 的存在,bench 上也還有一個 Killer Tomato -- Olmedo Sanez,雖然 Sanez 不是頂尖、守備也不太好,但卻是個擁有 league average 以上實力的 corner INF。

也就是說,Dodgers 很可能只能拿出近 FAT 的 replacement level player 來取代 Kent卻可以拿出 league average 以上的 replacement 來取代 Nomar,因此 Nomar 的 replacement level 其實是 Sanez,而 Sanez 的 replacement -- 在不考慮 Loney 的情況下 -- 才是 FAT。再說得具體一點:Nomar 在 06 年的 VORP -- consider model reality -- 並不值 27.8,而不值的主要原因是 Dodgers 擁有較好的 surplus 1B。

也許有人認為 Nomar 與 Kent 在計算 VORP 時的 baseline 怎麼會差這麼多?但這才是 model reality....

這也是 VORP 的另一個問題:如果每一個守備位置的 player 都 apply 相同的 baseline,那麼對球隊 GM 來說,VORP 的參考價值是必須打折扣的。

※※※※※※※※

回歸 GM 的角度來看 VORP,假設 Dodgers 除了 CF 以外,每一個位置都有 league average 以上的水準,考慮 06 年在 CF 交出 18.0 VORP 的 Juan Pierre,究竟該不該把他簽下來?

相信這裡的訊息是不夠的!雖然 Pierre 在 07 年能否維持 18.0 的 VORP 會是另一個問題,但假設他能維持這個水準,那麼這裡的 1.8-win above replacement level 究竟是 how many wins above (or below) average?

身為 GM,可能必須回溯 VORP 的 baseline 是 1-season 44-win,average 則是 1-season 81-win,所以在 9 個守備位置都是 league average 的情況下可以 translate 成 37-win above average,然後把這 37-win above average 分給所有的 player....and blah blah blah....

只是 GM 如果曉得 Pierre 生涯的 OPS+ 是 85,06 年的 OPS+ 是 81,很明顯的,要求 Pierre 在 07 年至少到達 league average 的機會不大,所以 18.0 VORP 知道了也派不上用場!GM 甚至不必去瞭解 league average 的 CF 究竟是多少的 VORP。

那麼,VORP 究竟有什麼用?它不過就是個比 RBI 好一點的 count stat,身為 GM 該如何去妥善運用 VORP?我不曉得,也說不上來....

個人的意見:VORP 這種東西可能只有那些每年投票決定獎項的作家們需要瞭解,這畢竟是個 "純貢獻" 的指標,用來決定 CYA 或是 Silver Slugger 時相信會比較 make sense,otherwise...我看不出來 VORP 被這麼廣泛運用的道理。

6 comments:

madboy said...

我覺得還是可以把VORP拿來當粗淺的比較工具,至於能replace成什麼樣replacement level的球員那應該是那個人,如Nomar之於Saenz,指應該是Saenz能發揮出來的價值,而這個價值並不比空想假設裡的FAT來的差,這就是Saenz的價值所在。

不然要搞懂每支球隊取代球員的不同,那實在太麻煩了,就像我從來就搞不懂除了自己家農場以外的小孩...

所以,我認為VORP/10不見得表示1win是正確的,然而用VORP來表示該球員在有限機會裡的價值,並無不妥。

不然要比較不同位置的球員實在很麻煩...難道要用RSAA (Runs Saved/Scored Above Average)?

Morikawa said...

拿 VORP 來比較當然也是沒什麼不行,大前提是我們得相信那些被 apply 在各守備位置上的 baseline 都是正確的。不過 AL 的 fans 也許會比 NL 的我們更關心這件事:DH 的 baseline 究竟要怎麼訂才合理?

事實上,我個人比較在乎的是數字如何 translate 進而預測 wins,在經過一些考慮後,我不認為 VORP 會比一些以 league average 為 baseline 的數字來得好用。

Sanez 的例子只是在說明一件事:如果真的要推定 Nomar 的價值,除了缺 1B 的球隊,VORP 不會是個好意見。

即便是想簽 Nomar 去守其它位置的球隊,VORP 都不足以做為參考 (你無法得知把 Nomar 的 VORP 在從 1B 移到其它位置後會變成多少),還不如用 EQA、wOBA 或是 OPS_Win 等等的統計量一分一分的算來得實在。

總之,apply 一個 44-win 的 baseline 是多此一舉的,它並沒有 average 的 81-win 來得明確。

當然,你說的是對的:VORP 在比較不同位置的球員時或許有其價值,但這似乎不是 GM 必須知道的訊息,那些每年掌管投票的作家會比我們更該知道 VORP。

Ironcheffie said...

1. I always thought it was 10 runs a win.

2. VORP 這個東西不是拿來作為comparison tool? 我一只以為是說Player A vs. Player B 的offensive contribution, 然後是一個rate*time的cumulative stat, 而不是存翠向*OPS+的一個rate stat.

[i]你無法得知把 Nomar 的 VORP 在從 1B 移到其它位置後會變成多少[/i]

are you trying to predictu FUTURE VORP? 因為你把Nomar原本的成績放到別的position去算就可以知道如果他去年守某個地方的VORP了

Morikawa said...

You "were" ? Do you try to explain you no longer believe "10-run equals 1 win" because the tense you used?

如果只是為了比較球員,可以用 EQR 或 OPS_Win 去 translate,這樣的東西不會比 VORP 來得糟。甚至,拿 PAs 加 OPS+ 會給你比 VORP 更明確的訊息。我並沒有說 rate stat 的 OPS+ 可以和 count stat 的 VORP 混為一談。

當然,我不至於去預測 Nomar 的 VORP,同時也不能保証我知道 VORP 怎麼算!但我曉得在這種情況下,VORP 並沒有比較優。

Anonymous said...

I can take the idea VORP is not an appropriate stat to apply in win-translation and prediction. But hey, I presume most of the GMs don't know how to apply the stats you brought up such as OPS+, EQA, OPS_Win, ethier.

Despite you picked on VORP this hard, I think VORP still rings a bell as you know that the VORP Pierre piled up in 2006 for Cubs was less than J.D. Drew did in 2005 for us.... keep in mind that Drew missed almost 1/3 of his 2005 season….

Morikawa said...

Nich pitch, dude Dodger47.

This is no doubt a nice way to spell out how f--king suck Pierre was, is and will be.