Home / Blog / Sample Size Noise
Education · Statistics

Sample size noise — why ROI lies when N<500

ROI is the metric everyone reports. But ROI under N=500 is noise dominating signal — even profitable strategies can show -ROI for hundreds of bets. Here is the math, the variance bands, and our own N=12 baseline.

14 May 2026 ~8 min read Education · Statistics
Обучение · Статистика

Sample size noise — почему ROI лжёт на N<500

ROI — это метрика, которую репортят все. Но ROI на N<500 — это шум, который перекрывает сигнал. Даже прибыльные стратегии могут показывать -ROI на сотнях ставок. Вот математика, variance bands и наш собственный N=12 baseline.

14 мая 2026 ~8 мин чтения Обучение · Статистика

[ 01 ]The metric everyone gets wrong

"My ROI is +18% over 80 bets." That sentence appears in tipster Telegram channels every day. It is technically true and practically meaningless. On 80 bets, even a strategy with zero true edge can post +18% ROI through pure variance. Equally, a strategy with a real +5% edge can show -10% ROI for the same N and look like it is broken.

This post is the short, math-first answer to "how many bets do I need before I trust the number?" The answer is roughly 500 — and even then the noise band is wider than the edge most strategies actually carry. Under N=500, ROI is the metric you watch out of curiosity, not the metric you make decisions with.

What follows: the formula, an expected-variance-band table, a simulated SVG of four strategies converging, our live N=12 example, and why CLV is the leading indicator that stabilises far faster.

ΣIf a tipster shows you ROI without an N, they are showing you a Rorschach test. Same numbers, different stories.

[ 02 ]The math, briefly

ROI is the mean of a series of returns. Returns per bet are highly variable — most bets lose 1 unit (lose the stake), winners pay back odds−1 units. For typical value-bet odds near 2.10, the standard deviation of a single bet's return is approximately σ_bet ≈ 1.1 units.

The standard error of the mean ROI over N bets is then:

Standard error of observed ROI σ_ROI ≈ σ_bet / √N ≈ 1.1 / √N

That single equation is the whole story. Two consequences:

  • At N=20, the 1σ noise band around your true edge is ±25%. A genuine +5% strategy will frequently report observed ROI anywhere from −20% to +30%.
  • At N=500, that 1σ band shrinks to ±5% — still the same magnitude as the edge itself. To distinguish a +3% edge from a +5% edge with 95% confidence, you need closer to 2,000 bets.

The number does not lie. The number is just mostly noise until you have enough samples to drown the noise out.

[ 03 ]Expected variance bands by N

The table below converts the formula into something you can read at a glance. Assume average odds 2.10 (σ_bet ≈ 1.1) and ~10–20 bets per week of actual betting pace.

[ ROI variance band by sample size ]
N (bets) 1σ band 95% CI (~2σ) Months of betting*
20 ±25% ±50% ~1
50 ±15% ±30% ~2–3
100 ±11% ±22% ~5–6
200 ±8% ±16% ~10–12
500 ±5% ±10% ~24+
* Assuming 10–20 bets/week of actual placed volume. Even at N=500, observed ROI swings ±5% (1σ) around the true edge. ROI under N=500 is noise + signal mixed — you cannot cleanly separate them.

Read it concretely: if your true edge is +5% and you have N=100 bets logged, your observed ROI will be anywhere between roughly −6% and +16% two-thirds of the time, and between −17% and +27% 95% of the time. That is the variance you are looking at when someone shows you a screenshot of 100 bets.

[ 04 ]What four strategies actually look like

Simulation is more persuasive than tables. Below we plot 4 hypothetical strategies, all running for N=500 bets, with true edges of +0% (a coin flip), +3% (small real edge), +5% (good real edge), and +8% (great real edge). All four are subject to the same per-bet variance.

[ SIMULATED ROI · 4 STRATEGIES · σ_bet=1.1 ] True edges: 0% · +3% · +5% · +8% · all show wide noise until N≈500 0% +30% +20% +10% −10% −20% N=0 100 200 300 400 500 bets settled (N) N=200 paper-trade gate TRUE EDGE 0% (random) +3% edge +5% edge +8% edge
Simulation. Four strategies, four true edges, identical noise. Below N=100 they are indistinguishable: the +8% edge dips into negative ROI, the 0% strategy briefly looks profitable. Only after roughly N=500 do their endpoints sort cleanly by true edge. The dotted purple line at N=200 is our internal paper-trade gate before any real-money tier — not because the noise is gone, but because it is finally tractable.

[ 05 ]Our real example — the N=12 baseline reset

Live receipt

Σ Value Sniper · 13 May 2026 · post engine v1.9 ship

After shipping engine v1.9 and the M297 anti-bleed sweep, we reset paper-trade statistics to a clean baseline. The current state, public on /track:

N=12
Settled bets
−54.9%
Observed ROI
+0.82%
Rolling CLV

If a tipster posted these numbers, the comments would be brutal. And they would be wrong. At N=12, the 1σ noise band around true edge is approximately ±32% — so observing −55% sits right at the edge of 2σ, well within the noise envelope of a small real edge. The point estimate is loud; the signal is not.

The CLV reading is the part that actually matters. +0.82% rolling CLV says we are picking prices that, on average, are slightly better than where Pinnacle/Betfair/Matchbook close. That is a tiny positive edge — but it is the metric that stabilises first, and the one that does not require N=500 to read.

To make a confident statistical claim that our edge is real and positive, we need N≈200 paper bets with consistently positive CLV. That is our gate before any real-money tier ships. Not because we are stalling — because the math says anything earlier is a coin flip with extra steps.

[ 06 ]Why CLV is the leading indicator

If ROI is noisy until N=500, what do you watch in the meantime? CLV — closing line value. Per methodology, CLV is defined as:

Closing line value CLV = (your_odds − closing_pinnacle) / closing_pinnacle

Three properties make it a better short-run indicator than ROI:

  • It stabilises faster. Per-bet CLV variance is roughly an order of magnitude smaller than per-bet return variance — you are measuring a price difference against a stable reference, not a binary win/loss outcome.
  • It is causal. If you consistently beat the closing line, the market itself is eventually telling you that you were right about the price. Realised profit follows over time.
  • It is hard to fake. ROI can be cherry-picked. CLV is computed against an external, time-stamped reference. The closing line either was 2.10, or it was not.

Concretely: at N=12, ROI's 1σ band is ±32%. After ~50 paper bets, CLV's 1σ band tightens to roughly ±5%. By the time ROI is barely starting to be readable, CLV has been giving you a stable read for months.

That is why we report CLV first and ROI second on /track. Not to bury the loss — the loss is right there next to the CLV — but because the order matters for honest reading.

[ 07 ]Practical implications

  • Do not trust "I had +30% ROI on 50 bets" claims. Even with zero true edge, that outcome is well within the 1σ band of pure variance. The N is doing all the lying.
  • Track CLV, not ROI, for the first 200+ bets. ROI will be all over the map. CLV settles enough to make actual decisions on.
  • If you report ROI, disclose N. Without N the number cannot be interpreted. We try to flag any ROI mention with its sample size and the relevant noise band on /track.
  • Use /calc/ev to sanity-check single bets. The interactive EV calculator includes a variance hint so you can see what one bet's contribution to long-run mean would actually be.
  • Reduce variance with fractional Kelly. Quarter-Kelly stakes cut bankroll volatility by ~75% with only ~25% reduction in long-run growth. Highly recommended on small N.

None of this is novel. Sharps have known these numbers for decades. The reason it keeps mattering is that the betting public almost universally underestimates how long it takes before short-run profit means anything at all.

Watch the N=12 grow toward N=200

Every settled paper bet, the rolling CLV, the disclosed N. No editing, no cherry-picking, no certainty we have not earned yet.

Open /track Read methodology Try EV calc

Also read

Disclaimer

This page is educational research. Nothing here is financial advice or a recommendation to bet. All numbers are paper-trading only — no money has been wagered. Variance bands shown assume independent identically distributed outcomes; real betting series can have correlated outcomes that widen the noise further. Betting carries financial risk. 18+.

[ 01 ]Метрика, которую все читают неправильно

«У меня +18% ROI на 80 ставок». Это предложение появляется в tipster-каналах Telegram каждый день. Оно технически правдиво и практически бессмысленно. На 80 ставках даже стратегия с нулевым реальным edge может выдать +18% ROI чисто за счёт variance. И наоборот — стратегия с реальным +5% edge может показать −10% ROI на том же N и выглядеть сломанной.

Этот пост — короткий math-first ответ на вопрос «сколько ставок нужно, прежде чем доверять цифре?». Ответ — примерно 500, и даже тогда полоса шума шире, чем edge большинства реальных стратегий. На N<500 ROI — это метрика, на которую смотришь из любопытства, а не та, по которой принимаешь решения.

Дальше: формула, таблица expected-variance, SVG-симуляция 4 стратегий, наш живой пример N=12 и почему CLV — leading indicator, который стабилизируется намного быстрее.

ΣЕсли каппер показывает ROI без N — он показывает тебе тест Роршаха. Те же цифры, разные истории.

[ 02 ]Математика, кратко

ROI — это среднее серии возвратов. Возврат за одну ставку сильно варьируется: большинство ставок проигрывают 1 unit (теряют ставку), выигравшие приносят odds−1 unit. Для типичных value-bet коэф около 2.10 стандартное отклонение возврата одной ставки приблизительно σ_bet ≈ 1.1 unit.

Стандартная ошибка среднего ROI на N ставок:

Стандартная ошибка наблюдаемого ROI σ_ROI ≈ σ_bet / √N ≈ 1.1 / √N

Это уравнение — вся история. Два следствия:

  • На N=20 полоса 1σ вокруг твоего реального edge — ±25%. Реальная стратегия с +5% будет регулярно показывать наблюдаемый ROI от −20% до +30%.
  • На N=500 1σ сужается до ±5% — всё ещё того же порядка, что и сам edge. Чтобы отличить +3% edge от +5% с 95% уверенности, нужно ближе к 2 000 ставкам.

Цифра не врёт. Просто цифра — это в основном шум, пока у тебя не накоплено достаточно ставок, чтобы шум утопить.

[ 03 ]Expected variance bands по N

Таблица ниже превращает формулу в то, что можно читать с одного взгляда. Допущения: средний коэф 2.10 (σ_bet ≈ 1.1) и темп ~10–20 ставок в неделю.

[ ROI variance band по размеру выборки ]
N (ставок) Полоса 1σ 95% CI (~2σ) Месяцев игры*
20 ±25% ±50% ~1
50 ±15% ±30% ~2–3
100 ±11% ±22% ~5–6
200 ±8% ±16% ~10–12
500 ±5% ±10% ~24+
* Считаем 10–20 ставок/неделю реального объёма. Даже на N=500 наблюдаемый ROI колеблется на ±5% (1σ) вокруг реального edge. ROI на N<500 — это смесь шума и сигнала, и чисто разделить их нельзя.

Конкретно: если твой реальный edge +5% и у тебя залогировано N=100 ставок, наблюдаемый ROI будет в диапазоне примерно от −6% до +16% в 2/3 случаев и от −17% до +27% в 95% случаев. Вот variance, на которую ты смотришь, когда кто-то показывает скриншот 100 ставок.

[ 04 ]Как 4 стратегии выглядят на самом деле

Симуляция убеждает лучше таблицы. Ниже — 4 гипотетические стратегии, все на N=500 ставок, с реальными edge +0% (монетка), +3% (маленький реальный edge), +5% (хороший реальный edge), +8% (отличный реальный edge). У всех одинаковая per-bet variance.

[ SIMULATED ROI · 4 STRATEGIES · σ_bet=1.1 ] Реальные edge: 0% · +3% · +5% · +8% · широкая полоса шума до N≈500 0% +30% +20% +10% −10% −20% N=0 100 200 300 400 500 ставок закрыто (N) N=200 paper-trade gate РЕАЛЬНЫЙ EDGE 0% (рандом) +3% edge +5% edge +8% edge
Симуляция. 4 стратегии, 4 реальных edge, одинаковый шум. До N=100 они неотличимы: +8% edge заходит в отрицательный ROI, 0% стратегия выглядит прибыльной. Только примерно после N=500 конечные точки выстраиваются по реальному edge. Пунктирная фиолетовая линия на N=200 — наш paper-trade gate перед любым real-money тиром: не потому что шум исчез, а потому что он наконец-то tractable.

[ 05 ]Наш реальный пример — N=12 baseline reset

Живой чек

Σ Value Sniper · 13 мая 2026 · после релиза engine v1.9

После релиза engine v1.9 и M297 anti-bleed sweep мы сбросили статистику paper-trade к чистому baseline. Текущее состояние, публично на /track:

N=12
Закрыто ставок
−54.9%
Наблюдаемый ROI
+0.82%
Rolling CLV

Если бы каппер выложил такие цифры — в комментариях его съели бы. И были бы неправы. На N=12 полоса 1σ вокруг реального edge — примерно ±32%, поэтому −55% сидит ровно на границе 2σ, внутри шумовой envelope маленького реального edge. Точечная оценка громкая, сигнал — нет.

CLV — это та часть, что реально важна. +0.82% rolling CLV говорит, что мы берём коэф в среднем чуть выше того, на котором закрываются Pinnacle/Betfair/Matchbook. Это маленький положительный edge, но именно эта метрика стабилизируется первой и не требует N=500 для чтения.

Чтобы статистически уверенно заявить, что edge реальный и положительный, нужно N≈200 paper-ставок со стабильно положительным CLV. Это наш gate до запуска любого real-money тира. Не потому что тянем — потому что математика говорит, что раньше это монетка с лишними шагами.

[ 06 ]Почему CLV — leading indicator

Если ROI шумит до N=500 — на что смотреть в это время? На CLV — closing line value. По методологии, CLV определяется как:

Closing line value CLV = (твой_коэф − закрытие_pinnacle) / закрытие_pinnacle

3 свойства делают его лучшим short-run индикатором, чем ROI:

  • Стабилизируется быстрее. Per-bet variance CLV примерно на порядок меньше, чем per-bet variance возврата — ты меряешь разницу цен против стабильного reference, а не бинарный исход win/loss.
  • Он причинный. Если ты стабильно бьёшь closing line — сам рынок постфактум говорит тебе, что ты был прав про цену. Реализованный профит подтянется со временем.
  • Сложно подделать. ROI можно cherry-pick. CLV считается против внешнего, time-stamped референса. Closing line либо была 2.10, либо нет.

Конкретно: на N=12 полоса 1σ ROI — ±32%. После ~50 paper-ставок полоса 1σ CLV сужается примерно до ±5%. К моменту, когда ROI едва начинает быть читаемым, CLV уже месяцами даёт стабильный сигнал.

Поэтому мы репортим CLV первым, ROI — вторым, на /track. Не чтобы закопать минус — минус торчит рядом с CLV — а потому что порядок важен для честного чтения цифр.

[ 07 ]Практические выводы

  • Не верь заявкам «+30% ROI на 50 ставок». Даже при нулевом реальном edge такой результат — внутри 1σ чистой variance. Всё враньё делает N, а не сама цифра.
  • Трекай CLV, а не ROI, в первые 200+ ставок. ROI будет летать по всему диапазону. CLV устаканивается достаточно, чтобы по нему принимать реальные решения.
  • Если репортишь ROI — открывай N. Без N цифру нельзя интерпретировать. На /track мы стараемся флагать любое упоминание ROI рядом с размером выборки и соответствующей шумовой полосой.
  • Используй /calc/ev для sanity-чека отдельных ставок. В интерактивный EV-калькулятор встроен variance hint — видно, какой вклад одна ставка вносит в long-run среднее.
  • Снижай variance через дробный Kelly. Четверть-Kelly срезает банкролл-волатильность примерно на 75% при потере только ~25% long-run роста. Очень рекомендуется на малом N.

Ничего нового. Sharps эти цифры знают десятилетиями. Причина, по которой это всё ещё актуально, — публика почти повсеместно недооценивает, как долго краткосрочный профит вообще ничего не значит.

Смотри, как N=12 растёт к N=200

Каждая закрытая paper-ставка, rolling CLV, открытый N. Без редактуры, без вишнёвой выборки, без уверенности, которую мы ещё не заслужили.

Открыть /track Читать методологию EV калькулятор

Читать дальше

Дисклеймер

Эта страница — образовательное исследование. Ничего здесь не является финансовым советом или рекомендацией ставить. Все цифры — только paper-trading, реальные деньги не ставились. Variance bands предполагают независимые одинаково распределённые исходы; реальные серии ставок могут иметь коррелированные исходы, которые ещё больше расширяют шум. Ставки несут финансовый риск. 18+.