Sunday, September 16, 2007

Liar

這篇文章在草稿匣裡壓了很久,由於工作的緣故,實在抽不出太多的時間把它完成,個人畢竟不是那種下筆成文的人。

大約在一個多月前 (8 月 7 日),BP 的 Joe Sheehan 在 Prospectus Today 上寫了 這篇文章,主要在當時討論 NL MVP Race 的故事,文中引用 VORPWARP 做為 approach,這裡我只節錄其中的一小部份:

NameVORPOthers
Hanley Ramirez 63.714
Miguel Cabrera 60.62
Chase Utley 53.77
Jake Peavy 51.73
Brad Penny49.34

這裡是以 VORP 做為排名依據,"Other" 欄位裡則是該球員的 WARP 在 NL 的排名,要說明的一點是由於討論的題目是 "MVP",在數據的引用上可以無關球員的真實能力而單純只考慮 "貢獻",因此 VORP 與 WARP 在這個環節上被引用是 OK 的。

NameWARPOthers
Albert Pujols 8.09
Miguel Cabrera 7.42
Jake Peavy 7.34
Brad Penny7.25
David Wright7.010

第二個表格則是以 WARP 為排名依據,相對的,這裡的 "Other" 指的是該球員的 VORP 在 NL 的排名。

而 Sheehan 做出了以下的結論:

See what I mean? Hanley Ramirez leads the circuit in VORP, but his defense rates so badly that he’s just 14th in WARP, which includes glovework. Albert Pujols (!) is the top-rated National Leaguer by WARP, but just ninth in VORP. That degree of disagreement is unusual for these metrics, and complicates the MVP question.

我們曉得 sabermetrics 只是一種數字玩具,有人喜歡玩,但不代表會玩它的人比較了不起,重點在於數字不會說謊,說謊的是錯誤引用的人,就像 Joe Sheehan -- 他認為 07 年 NL 的 MVP Race 在 VORP 與 WARP 之間出現了某種 degree 的 disagreement,個人十分懷疑 Sheehan 是否瞭解自己在說什麼...

在 07 年季前,個人曾經寫過這篇 Baseline Discrepancy,裡頭提到 VORP 與 WARP 雖然都 involve 所謂的 replacement level,但兩者的 baseline 是有段差距的:VORP 大約是 WPCT 27%、or 44-win over 162-game;WARP 則大約是 WPCT 16%、or 22-win over 162-game,只是不愛呈現真實面的的 BP 把這些都命名 "replacement level",卻不明說這是 "誰訂的 replacement level"。

我們也曉得 VORP 是純粹是闡述攻擊面的 metric,同時加上了 positional adjustment,但不包含守備的因素;WARP 則是 攻擊面防守面 的總合評價,我想可以把 WARP 以下面的形式來表示:

WARP = OWAR + DWAR
OWAR = Offensive Wins Above Replacement Level
DWAR = Defensive Wins Above Replacement Level

從這個角度來看,Sheehan 的 ground 已經有漏洞了 -- WARP 不應該在攻擊與守備部份 apply 不同的 baseline,也就是說 "包含在 WARP 裡的攻擊貢獻 (也就是上式中提到 OWAR 的部份...) 並非經由 VORP 的 translation 而來"。

那麼 Davenport 的 WARP 究竟是怎麼來的呢?我也不知道!但不知道不代表我不能去 "估計" 它,事實上個人先前就提過:WARP 與 (BRAR + FRAR) / 10 相當的接近。果真如此,在 WARP 裡攻擊貢獻所佔的部份事實上就是 BRAR 而不是 VORP 了,那麼不妨來回顧一下 06 年 Dodgers 的 J.D. Drew 與 Rafael Furcal 的幾項 "BP stats":

NamePABRARFRARWARPVORP
Drew59443237.334.9
Furcal73639327.946.9

這裡我把 Drew 和 Furcal 的 PA 列出來只是為了表示兩人在 playing time 的差距,由於 BRAR 畢竟是 count metric,所以 Furcal 在比 Drew 多出 140 PAs (110-out) 的情況下才把 BRAR 拉得這麼近,事實上這兩位球員在 06 的 OPS 差了 80-point。

看看 Furcal 與 Drew 在 VORP、BRAR 與 WARP 之間的比較,現在,還有人覺得 Sheehan 的 approach -- 以 WARP 與 VORP 做交互 ranking -- 所產生的 "disagreement" 是 unusual 的嗎?

所以這裡的重點有下列幾項:

  • WARP 裡頭沒有 VORP 的訊息,合理的猜測在 WARP 裡關於攻擊貢獻 (offensive contribution) 的部份是 BRAR。

  • VORP 有做 positional adjustment,BRAR 沒有 (Important!)。

  • Sheehan 要不就是直接排序 BRAR 與 FRAR;要不就也該是拿 VORP 與 FRAR。VORP 與 WARP 的組合是完全荒唐的!

Modern baseball 重要的不是 sabermetrics 本身,而是 sabermetrics 背後的想法,如果沒有搞清楚其背景就胡亂引用,犯錯就只是剛好而已,Sheehan 這篇文章正好反映出 07 年以來個人對 BP 的失望,他是一個好的 columnists,但少做一點這樣的錯誤示範會更好。

※※※※※※※※

Think more:

個人可以給予 WARP "低到不具意義" 的 baseline 一個較具體的例子:1899 年的 Cleveland Spiders,Clay Davenport 在 WARP 裡引用的 replacement level 大約就是那樣的一支球隊。

此外,Davenport 的 BRAA 其實很接近下面這個近似式:

BRAA ~ 10 * (1.7 * OBP + SLG - 0.98 ) * 0.025 * PA

其中畫上底線的部份可以看得出來和 OPS_Win 也相當的接近,把最前面的 coefficient "10" 當成 RPW (Runs Per Win) 的話,BRAA 其實就像是所謂的 "OPS_Run"。

而我們也曉得 OPS_Win 其實是 Wins Above Average,這至少代表了 BRAA 所 apply 的 "average line" 和我們一般認知的 "league average" 是相去無幾的!更棒的是,我們可以用 Davenport 的 BRAA 去推斷他在 BRAR 所 apply 的 replacement level 大概在哪裡,更可以計算這樣的 replacement level 大約可以保持多少的 WPCT。

現階段個人的猜測是:BRAR 所 apply 的 baseline 是合理的,至於 WARP 的 baseline 為什麼那麼低?問題應該歸咎於 FRAR。不過這一切還是等到 offseason 再來談吧。

3 comments:

Starberry said...

Well... who do you think should be the NL MVP? and who do you think will be the NL MVP? (those are two different things right?)

Unlike AL, which is fairly clear cut.... I am undecided among a few NL candidates...

Cheers,

Wilson

Billy said...

Hello again,

Btw, that "Think More" is very interesting, 讓我知道BRAA 和OPS_WIN其實是幾乎一樣的東西。

我好像還沒有再度和您提起OPS_WIN如何應用在NPB的洋聯vs央聯打者比較這點上。

最近我沒有去算SABR or other metrics,想要整理一些baseball culture 的東西。

Oh, that "wait until offseason" comment--does this mean you still have hope of Dodgers making the Wild Card race?

Morikawa said...

Hi Wilson,

Personally, I take two things to qualify a MVP candidate:

1. From a winning team.
2. The team cannot enter playoff without him.

Thus, I don't have no "should be" answer for NL MVP due to the current chaos of NL pennant race.

Speaking of "will be", I put my money on Jake Peavy. As long as the Padres enter the playoff, Peavy for MVP & CYA looks like a no-brainer to me.

---------------

Hi Dorasaga,

個人對 Dodgers 進 playoff 的希望從咱們在 AT&T Park 掉了兩場之後就消失了!只是在 baseline 的 judge 上還需要一些工作時間,這篇文章裡有不少東西其實都不是最近才得到的結論,主要和換了新工作後時間緊縮有很大的關係,甚至 07 season 的 MLB.tv 看起來 donate 給 MLB.com 的成份還多一點。

不過 Davenport 的 BRAA 其實很有可能和 Fan Graphs 的 BRAA 有相同的 derivation,畢竟在一個 long run 之下,OPS_Win 和 Run Expectancy Added 其實會很接近,主要的原因也是打者一季下來的 pLI 要離開 1.00 一個 significant 的距離並不是件容易的事。