Metaculus

FAQs

Základy

Co je Metaculus?

Metaculus je online platforma pro forecasting a agregaci predikcí, která je domovem celosvětové komunity forecasterů. Dodává mimojiné také agregované predikce ve formě využitelné pro strojové učení. Platforma a globální komunita Metaculus má dlouhou historii spolupráce s neziskovými organizacemi, univerzitními výzkumníky i společnostmi k tomu, aby společně vylepšili pozitivní dopady vlastních predikcí.

Ve zkratce tak Metaculus slouží k tomu, aby zveřejňoval otázky o výskytu mnoha různých budoucích událostí na různých časových horizontech, které jsou následně zodpovídány komunitou forecasterů - Vámi!

Co je forecasting?

Úsudkový forecasting je metoda pro získávání odhadů budoucího vývoje na základě pravděpodobnostního uvažování a agregace většího počtu kvalifikovaných úsudků. Na Metaculu se řídíme několika základními principy tak, aby odpovědi byly více než jen obyčejné odhady:

Zaprvé jsou všechny otázky pozorně popsány tak, aby každý rozuměl, co je jejich předmětem, a jak budou možné varianty budoucnosti vyhodnoceny. Na základě toho forecasteři zadávají své upřesněné odhady, které vyjadřují nejistotu o výsledku.

Zadruhé Metaculus agreguje všechny odpovědi na konkrétní otázku, a to pomocí dvou metod: takzvaná komunitní predikce představuje medián dosavadních odpovědí, zatímco Metaculus predikce využívá komplexnější výpočet.

Výpočet komunitní predikce je jednoduchý - je to taková predikce, u které přesně polovina forecasterů čeká vyšší pravděpodobnost, a polovina naopak nižší. Překvapivě už jen taková jednoduchá matematická kalkulace vyústí v predikci, která je často přesnější než kterýkoliv jednotlivý forecaster! Toto je princip kolektivní inteligence - tzv. Moudrost davu - který byl opakovaně potvrzen Metaculusem i jinými výzkumnými týmy. Zjednodušeně řečeno funguje proto, že s větším počtem forecasterů roste objem užitečných informací, zatímco chyby nebo mylné domněnky mají tendenci se ve většině případů “vynulovat” (pokud celý dav systematicky neopakuje stejnou chybu).

Zatřetí hodnotíme relativní dovednosti každého forecastera na základě jeho predikcí. Když známe správnou odpověď na danou otázku - realitu - otázka je “vyřešena,” a forecateři jsou ohodnoceni. Díky sledování skóre napříč mnoha otázkami a tématy po delší dobu se skóre postupně stává přesnějším indikátorem toho, jak dobrý je daný forecaster. Tato data pak používáme pro tvorbu Metaculus predikce, která přikládá větší váhu predikcím forecasterů s vysokým skóre. Toto hodnocení zároveň poskytuje aspirujícím forecasterům důležitou zpětnou vazbu na to, kde se jim daří a kde mají prostor ke zlepšení.

Kdy má smysl forecastovat?

Forecasting má nezastupitelnou roli zejména v komplexních problémech, ve kterých dochází k interakci mnoha neznámých nebo v situacích kdy je kvůli nedostatku dat obtížné predikovat za pomocí explicitních či exaktních modelů.

V těchto a dalších situacích jsou agregované predikce zkušených forecasterů jedním z nejlepších způsobů predikce budoucnosti. Výzkum politologa Philipa Tetlocka dokonce ukázal, že takovéto agregované predikce jsou schopny větší přesnosti, než individuální predikce profesionálních analytiků s přístupem k utajovaným informacím.

Proč bych měl(a) být forecasterem?

Z výzkumu víme, že dobří forecasteři pochází z různých koutů společnosti - a často se dříve věnovali oblastem, kde rozhodně není potřeba predikovat budoucnost. Jako mnoho jiných dovedností je i predikování částečně talent, který přetrvává v čase, ale také dovednost, ve které se dokážeme zlepšovat. Stálá zpětná vazba a pravidelné procvičování může vést k významnému zlepšení přesnosti Vašich predikcí.

Některé události - například načasování zatmění slunce, nebo výsledky voleb s velkým množstvím volebních průzkumů - mohou být predikovány s velkým rozlišením - tzn. Můžeme mluvit o pravděpodobnostech 99,9% nebo 3%. Jiné - jako například hod mincí nebo těsné dostihové závody - zase nemohou být predikovány přesně, ale můžeme přemýšlet nad jejich šancemi - kurzy. Na Metaculus se snažíme o obojí: chceme poskytovat jasnou destinaci pro tvorbu a agregaci predikcí. Věříme, že s těmito v ruce se mohou jednotlivci, skupiny, společnosti, vlády, ale i lidstvo jako celek lépe rozhodovat.


Mimo to, že stojí za to, se snažíme, aby bylo predikování na Metaculus i zajímavé a zábavné a umožňovalo forecasterům se zlepšovat a mít veřejný důkaz jejich schopností.

Je Metaculus predikční trh?

Tak trochu. Stejně jako predikční trhy se Metaculus snaží o agregaci informací, expertízy, a predikčních dovedností mnoha lidí pro tvorbu kvalitní predikce. Ovšem na rozdíl od predikčních trhů na Metaculus nenajdete žádné reálné ani virtuální devízy - na pravděpodobnosti událostí se forecasterů ptáme přímo, a tyto následně agregujeme. Věříme, že tento přístup má oproti predikčním trhům některé nevýhody, ale také mnoho výhod.

Jsou otázky na Metaculus anketami?

Ne. Ankety nebo průzkumy veřejného mínění mohou být užitečným způsobem, jak ověřit sentiment nebo změny v konkrétní skupině nebo kultuře, ale často neexistuje žádná “správná odpověď” - jako například v otázce “Jak Vás znepokojuje současný stav životního prostředí?”

Naopak otázky na Metaculus jsou nastaveny tak, aby bylo možné je objektivně vyřešit - stanovit správnou odpověď (například otázka “Překročí cena ropy Brent 140 USD za barel před květnem 2022?”), a forecasteři neodpovídají svými názory, ale predikcemi. Narozdíl od anket účastníci průběžně budují vlastní skóre, které reflektuje přesnost jejich predikcí. Toto hodnocení je pak součástí Metaculus predikce, jejíž vlastní přesnost je pak sledována zde.

Otázky na Metaculus

Kdo může navrhovat otázky?

Každý účastník může navrhovat nové otázky! V turnaji FORPOL pokládají finálně formulované otázky jen administrátoři, kdokoliv však může navrhnout novou otázku a administrátoři jí zváží k přidání buď již v rámci turnaje, nebo později. Čím konkrétnější a rozpracovanější návrhy budou tím lépe. Na návrhy otázek budou administrátoři reagovat přímo navrhovateli.

Co je diskusní otázka?

Diskuzní otázky jsou prostory, kde mohou probíhat diskuse na témata která nemají (nebo nemusí/nemohou mít) vlastní kvantifikované predikce. Zároveň slouží k tomu, aby spolu komunikovali členové komunity, a aby s nimi komunikoval tým FORPOL - a oni s ním.

Co je privátní otázka?

Privátní otázky nejsou viditelné zbytku komunity. Zároveň nejsou předmětem obvyklého schvalovacího procesu, takže můžete takovou otázku vytvořit a rovnou začít predikovat. Stejně tak si vlastní privátní otázky můžete sami vyřešit, ale skóre z privátních otázek se nepočítá do celkového Metaculus skóre a nijak neovlivní Vaše zařazení na žebříčku.

Privátní otázky můžete použít k čemukoliv, co Vás napade. Kalibrujte vlastní predikce, otevřete si otázku na specifické téma, nebo si stanovujte pro otázky, na které dokážete později stanovit správnou odpověď pouze Vy sami. Můžete dokonce pozvat až 19 dalších uživatelů a společně soupeřit na vlastních otázkách.

Pro přizvání dalších forecasterů k privátní otázce využijte menu “...” a vyberte možnost “Sdílet privátní otázku.”

Jaká jsou pravidla pro komentáře a diskusi?

Při tvorbě komentářů a účasti v diskusi se řiďte pravidly turnaje FORPOL a následujícími klíčovými body, na základě kterých budou případné přestupky vyhodnocovány:

Co přesně znamenají “důvěryhodné zdroje” a “do [datum]”?

Abychom efektivně ubrali množství textu, které bude u každé otázky, jsou zde poskytnuty některé definice frází, které jsou použity napříč otázkami v turnaji.

  1. Důvěryhodnými zdroji rozumíme online či tiskově vydanou zprávu žurnalistického zdroje, informaci zveřejněnou na vlastních stránkách (či profilech na sociálních médiích) organizace, která se k otázce váže, nebo jiný zdroj, u nějž převažují důkazy o tom, že informace je správná a neexistují závažné pochybnosti o informaci jako takové nebo její správnosti. Toto ve většině případů vylučuje neozdrojované informace na blozích, Facebookových či Twitterových stránkách, nebo osobních webových stránkách.
  2. Do [datum] značí všechen čas až do chvíle, než bude poprvé zmíněné datum aktuální (tzn. “Do roku 2030” značí veškerý čas před 00:00, 1. ledna 2030; “do 25. března” značí veškerou dobu před půlnocí daného dne.) Všechny časové údaje jsou vyhodnocovány v rámci středoevropského časového pásma, které pokrývá celé území ČR, a to i u otázek, které se týkají zahraničí.

Co je sdružená otázka?

Sdružené otázky představují sady úzce spojených otázek či výsledků shrnutých na jediné stránce. Forecasteři tak mohou odpovědět na všechny zároveň, a mít přehled o konzistenci svých předpovědí napříč skupinou. Je tedy jednoduché vidět, pokud si některé predikce rozporují.

Pozor - pravděpodobnosti u každé podotázky nemusí mít součet 100%. Podotázky jsou vyhodnocovány každá samostatně, jako kdyby byly plnohodnotnými otázkami, takže nadhodnocené pravděpodobnosti se vrátí ve formě negativního bodového ohodnocení napříč všemi podotázkami, které nebyly vyřešeny jako správná odpověď.

Řešení otázek

Co znamená “otevření otázky,” “uzavření otázky,” a “vyřešení otázky”?

Každá otázka položená na platformě Metaculus postupně projde několika fázemi.

Datum uzavření musí být nastaveno vždy alespoň o hodinu dříve, než je předpokládané datum vyřešení otázky - ale většinou nastane mnohem dříve. Narozdíl od predikčních trhů forecastingové turnaje fungují nejlépe, když už není možné zadávat predikce ve chvíli, kdy je odpověď jednoznačně známa, nebo existuje už jen nepatrná míra nejistoty.

Kdo rozhoduje o vyřešení otázky?

Kdykoliv po datu uzavření je možné otázku vyřešit. Binární otázky mohou být vyřešeny kladně, záporně, nebo nejasně. Otázky na rozpětí mohou být vyřešeny na konkrétní hodnotu, jako hodnota mimo rozpětí, nebo nejasně.

Pouze administrátoři na platformě mohou vyřešit veřejné otázky. Vyřešení otázky jako “nejasné” ve většině případů znamená, že buďto byla v samém zadání jistá míra nejasnosti, události vyvrátily jeden z předpokladů otázky, nebo není možné stanovit konsensus o tom, jaký stav nastal.

Kdy bude otázka vyřešena?

Otázky budou zpravidla vyřešeny ve chvíli, kdy budou splněny kritéria specifikovaná v sekci “vyřešení” konkrétní otázky (nebo pokud je naopak prokazatelně jasné, že k jejich naplnění již nedojde). Každá otázka má také “datum vyřešení,” toto je ovšem zejména pro účely řazení a vyhledávání otázek, a představuje spíše odhady, neboť přesné datum nemusí být známo.

Co se stane, pokud k vyřešení otázky dojde dříve, než je datum uzavření?

Pokud vlivem nepředvídaných událostí nebo inherentní nejistoty o vývoji dojde k události nebo stavu, na který se otázka ptá, před stanoveným datem uzavření, mohou moderátoři změnit efektivní datum uzavření otázky před tuto. Bodové ohodnocení predikcí se následně změní tak, aby reflektovalo čas pouze k novému datu uzavření. Toto slouží k tomu, aby zůstal bodovací systém férový a odměňoval pouze správné predikce, nikoliv včasné reakce na zprávy apod.

Co se stane, pokud indikovaný zdroj vyhodnocení již nebude k dispozici?

Ideálně jsou otázky vždy formulovány takovým způsobem, aby bylo možné jejich vyřešení i ve chvíli, kdy nebude dostupný indikovaný zdroj vyhodnocení. Ne vždy je ovšem toto možné, a to zejména v případech, kdy je pro otázku důležitý právě jeden specifický zdroj či údaj. Zároveň může dojít k situaci, kdy se zprávy o stavu budou mezi jednotlivými zdroji lišit. Zadání otázek může specifikovat, jak se má v takových případech postupovat - např. “Pokud nebude [zdroj] k danému datu již dostupný, otázka bude vyhodnocena jako Nejednoznačná,” nebo “V případě rozchůdných zpráv o stavu bude pro vyřešení otázky směrodatný zdroj X.”

Predikce

Jak můžu zadat predikci? Můžu ji později změnit?

Predikci zadáte jednoduše pomocí posouvátka na stránce konkrétní otázky, které přetáhnete na hodnotu, která odpovídá Vaší predikci a predikci zadáte pomocí tlačítka “Predikovat.”

Důležité - bodovací systém kladně hodnotí forecastery, kteří jsou mezi prvními, kdo na danou otázku odpoví, takže se nebojte zadat predikci hned na začátku otázky, a následně ji případně upravovat po další diskusi či rešerši.

Jak je vypočítána komunitní predikce?

Komunitní predikce je medián (tzn. Prostřední hodnota) nedávný predikcí. Matematicky je vypočítána tak, aby zohledňovala velké změny trendu mezi forecastery obecně, ale nebyla náchylná na jednotlivé extrémní predikce.

Forecasteři mohou vypnout zobrazování komunitní predikce v nastaveních, a to buď po dosažení 2. úrovně, nebo po oddemčení této schopnosti pomocí tachyonů.

Co je Metaculus predikce?

Metaculus predikce je agregovaný výsledek všech uživatelských predikcí za použití komplexnějšího algoritmu, který zobrazuje automatický výpočet nejlepšího odhadu o tom, jak otázka dopadne. Její výpočet probíhá pomocí kalibrace a vážení každého uživatele na základě jejich předchozí přenosti.

Bodování

Co jsou Brierovo a logaritmické skóre?

Brierovo (nebo také kvadratické) skóre je obecně používané hodnotící pravidlo, které slouží k porovnání predikcí a reálně nastalých událostí. Může nabývat hodnot od 0 do 1, přičemž 0 značí maximální přesnost v každé otázce, a 1 nejvyšší míru nepřesnosti. Pro ilustraci lze zmínit, že výsledkem zadání hodnoty 50% v sadě binárních ano/ne otázek je Brierovo skóre o hodnotě 0.25.

Pro výpočet Metaculus bodů se používá separátní logaritmické skóre. Toto negativněji hodnotí predikce, které jsou zcela v rozporu s reálným stavem (např. 0-10% pro binární otázku na událost, ke které dojde), ale je méně přísné na predikce přiklánějící se ke “špatné” odpovědi (např. 15-50% u předchozího příkladu).

Jak probíhá výpočet Metaculus bodů?

Bodové ohodnocení predikcí se odvíjí od tří faktorů: predikce; výsledku, který bude uznán jako správný; a predikcí zbytku komunity. Bodová hodnota každé potenciální predikce je v reálném čase vypočítávána při jejím zadávání pomocí posouvátka.

Pro zjednodušení lze shrnout pět klíčových aspektů bodovacího systému:

  1. Bodový zisk je maximalizován, když zadáte upřímnou předpověď - např. Pokud by byla otázka na to, jak dopadne hod mincí, bude bodový zisk maximální vždy v případě, kdy zadáte predikci 50% na “pannu” i “orla.”
  2. Body forecasteři obdrží za to, že zadali správné predikce, i za to, že zadali predikce, které byly správnější než zbytek komunity.
  3. Jelikož se bodový zisk odvíjí od toho, kolik dalších forecasterů se účastní, a jaké jsou jejich predikce, se bodový potenciál každé otázky vyvíjí v čase.
  4. Hodnota Vašich predikcí na každou otázku je zprůměrována v čase, kdy je na otázku možné predikovat. Dokud na otázku nezadáte vlastní predikci, nemá pro Váš bodový stav žádnou hodnotu, ale další vývoj se odvíjí nejen od toho, co predikujete, ale i kdy:
  1. Predikujte pokud možno co nejdříve poté, co dospějete k vlastnímu závěru;
  2. Nebojte se aktualizovat vlastní predikci pokaždé, když se Váš úsudek změní na základě nových informací nebo nové analýzy.

Jak fungují predikce a jejich bodové hodnocení u numerických otázek?

Binární otázky mohou mít pouze dva konečné stavy, ale u numerických je správných odpovědí teoreticky nekonečně mnoho. Proto při odpovídání na tyto stanovují forecasteři hustotu pravděpodobnosti, tedy křivku toho, jak pravděpodobné je, že správná odpověď bude v daném bodě. Forecasteři mohou přidat (faktorizovat) až 5 distribucí logistické křivky, u nichž lze u každé stanovit její střed, šířku, a váhu pro celkovou predikci pomocí dodatečných posouvátek.

I pro zadávání numerických predikcí máme několik základní typů:

  1. Prostředek distribuce ve Vaší predikci byste měli nastavit na takovou hodnotu, kterou považujete za nejvíce pravděpodobnou, a následně upravit šířku distribuce tak, abyste pokryli dle vlastního úsudku rozpětí s více než 50% pravděpodobností.
  2. Úpravu šířky distribuce vnímejte jako vyjádření jistoty v střední hodnotu, a tato také ve výsledku významně ovlivňuje bodovou hodnotu Vaší predikce - s úzkým rozpětím můžete více získat, ale také více ztratit, pokud se budete mýlit.
  3. Stejně jako u binárních otázek je bodově ohodnocena absolutní i relativní (ve vztahu k ostatním forecasterům) přesnost, a bodový zisk je závislý i na čase, po který je predikce zadána.

Různé

Co jsou tachyony?

V částicové fyzice jsou tachyony teoretickou částicí, která cestuje nadsvětelnou rychlostí, a ve sci-fi často slouží k cestování zpátky v čase. Na platformě Metaculus se pod tímto názvem skrývají body, kterými je možné odemknout uživatelské schopnosti dříve, než obvykle. Tachyony lze obdržet pravidelným přihlašováním na Metaculus, a také za uživatelské odznaky, za které obdržíte 5, 10, a 50 bodů za 1., 2., respektive 3. úroveň odznaku.

Jaké schopnosti je možné odemknout pomocí tachyonů?

Uživatelské schopnosti je možné odemknout po dosažení konkrétní úrovně, nebo po složení určitého bodu tachyonů dle konkrétní schopnosti. Předčasné odemčení stojí desetinásobek součtu úrovní, které chce uživatel takto “přeskočit” - tzn. Pokud uživatel úrovně 4 chce odemknout schopnost z úrovně 6, potřebuje k tomuto 10*(5+6) = 110 tachyonů.

Schopnosti, které v současnosti existují, jsou následující:

Ceny v tachyonech mohou být v budoucnu dále upravovány.

Jaké jsou na Metaculus uživatelské odznaky?

Každý odznak na Metaculus má tři úrovně, přičemž existují odznaky za:

Má Metaculus API?

API Metaculus je dostupná na odkazu https://www.metaculus.com/api2/

Proč na některých otázkách vidím komunitní predikci, na jiných Metaculus predikci, a jinde zas nic?

Krátce po otevření otázky je komunitní predikce skryta tak, aby nebyli ostatní forecasteři významně ovlivněni prvními několika predikcemi. Po zviditelnění komunitní predikce je Metaculus predikce nadále skryta až do uzavření otázky, i když pomocí tachyonů na ni lze nahlédnout.

Mohu mít vlastní Metaculus?

Možná! Metaculus pracuje pomocí doménového systému, kdy je každá doména (jako např. “forpol.metaculus.com”) definována jako podmnožina uživatelů a otázek. Otázky a uživatelé tedy mohou být libovolně přiřazováni ke konkrétním doménám, a je na administrátorech domény, jak veřejná má doména být. Domény jsou službou, kterou je schopen s různou mírou podpory Metaculus za poplatek zpřístupnit. Kontaktujte nás, prosím, pro více informací.