RANKING SAMORZĄDÓW 2020
METODY I DANE RANKINGU 2020
Źródła danych oraz metody wykorzystane przy szacowaniu składowych rankingu
Kluczowym założeniem projektu jest przejrzystość rankingu i możliwość odtworzenia końcowych wyników. Ranking opiera się o ogólnodostępne dane. Do oszacowania głównych wyników rankingu wykorzystano dane dotyczące dostępności edukacji przedszkolnej oraz wyniki egzaminów zewnętrznych. Wykorzystano także informacje dotyczące charakterystyk jednostek samorządu terytorialnego (liczba ludności, stopa bezrobocia oraz dochody własne gmin w przeliczeniu na mieszkańca). Dane dotyczące edukacji przedszkolnej oraz charakterystyki jednostek samorządu terytorialnego pozyskano z Banku Danych Lokalnych Głównego Urzędu Statystycznego (https://bdl.stat.gov.pl/BDL/start). Wyniki egzaminów zewnętrznych pozyskano z danych Centralnej Komisji Egzaminacyjnej, a także z raportów publikowanych przez Okręgowe Komisje Egzaminacyjne.
W analizach wykorzystano najnowsze dane dostępne w momencie tworzenia rankingu. Przy tym każdy wskaźnik obliczono w oparciu o dane z kilku lat, aby zmniejszyć wpływ niewielkich rokrocznych fluktuacji na ocenę danego samorządu. Poniżej podano źródło danych i lata, o które opierają się analizy.
Wyniki egzaminów z różnych lat zostały przed uśrednieniem sprowadzone na tę samą skalę. Poszczególne składowe wystandaryzowano do zmiennych o średniej 0 i odchyleniu standardowym 1 i dopiero z nich obliczono średnie stanowiące podstawę rankingu. Przy szacowaniu pozycji samorządów w każdym składniku rankingu uwzględniono także różnice w warunkach w jakich działają gminy i samorządy. Zastosowano w tym celu model regresji liniowej, gdzie wśród zmiennych kontrolnych wykorzystano logarytmy liczby ludności, stopy bezrobocia oraz dochodów własnych gminy w przeliczeniu na mieszkańca. Szczegóły analizy oraz informacje dotyczące danych źródłowych można uzyskać drogą mailową: kontakt@evidenceinstitute.pl.
Główne składniki rankingu
Ranking składa się z trzech miar, z których każda w równy sposób wpływa na ostateczną ocenę: dobrego startu, nierówności oraz postępu. Ranking ocenia dostępność edukacji przedszkolnej, a także efekty edukacyjne w szkołach podstawowych i gimnazjach. Końcowy ranking ustalono jako średnią z pozycji uzyskanych przez samorząd w trzech opisanych poniżej składowych rankingu.
Miara Dobrego Startu składa się z dwóch składowych:
Pierwsza składowa odzwierciedla dostępność edukacji przedszkolnej na terenie gminy. Druga składowa to wyniki uczniów po wspólnym etapie nauczania w szkole podstawowej i poprzednio w szkole podstawowej i gimnazjum.
Ze względu na to, że obie miary w znacznym stopniu zależą nie tylko od wysiłków samorządu i szkół, ale też od kontekstu społeczno-ekonomicznego w jakim funkcjonuje gmina, to wymagają one jego uwzględnienia przy porównaniu samorządów. Gminy większe, z wyższymi dochodami i niższym bezrobociem, mogą się pochwalić zazwyczaj większą liczbą dzieci w przedszkolach, choćby dlatego, że dojeżdżający pracownicy często korzystają z przedszkoli w miastach. Z tego względu zmienną określającą dostępność edukacji przedszkolnej obliczono po uwzględnieniu tych czynników. Podobnie wyniki egzaminów zewnętrznych są wyższe w większych i zamożniejszych gminach. Z tego względu wyniki egzaminów zewnętrznych także skorygowano o te czynniki. Intuicyjnie, skorygowana miara Dobrego Startu opiera się na sprawdzeniu czy procent dzieci w przedszkolach i wyniki egzaminów zewnętrznych są wyższe lub niższe niż w gminach o podobnej wielkości, podobnym bezrobociu i podobnych dochodach mieszkańców.
Miara Nierówności odzwierciedla zróżnicowanie wyników egzaminów zewnętrznych. Miara ta pokazuje jak duży dystans dzieli słabszych i lepszych uczniów z tej samej gminy. Miarę tę obliczono jako uśrednione odchylenie standardowe wyników egzaminu ósmoklasisty z 2019 roku oraz wyników egzaminów gimnazjalnych z lat 2017-2019. Im bardziej różnią się od siebie wyniki egzaminacyjne uczniów, tym niższa pozycja danego samorządu w rankingu.
Trudniej jest uzyskać tak samo wyrównane wyniki w miejscowościach z większą liczbą ludności. Z tego względu miarę nierówności skorygowano o zależność z liczbą mieszkańców. Inaczej mówiąc, miara ta bierze pod uwagę to, że w dużych miastach zróżnicowanie uczniów jest większe z powodów nie zawsze zależnych od polityki gminy.
Miara Postępu to obliczony specjalnie na potrzeby tego rankingu wskaźnik edukacyjnej wartości dodanej dla gmin (w skrócie EWD). Miara ta odzwierciedla jak duży postęp w gimnazjach uczynili uczniowie niezależnie od ich potencjału po szkole podstawowej. Przykładowo, w gminie A oraz B uczniowie uzyskali podobne wyniki ze sprawdzianu w granicach 20 punktów. Jeśli w gminie A ci sami uczniowie uzyskają na egzaminie gimnazjalnym wynik w granicach 30 punktów, a w gminie B tylko 25 punktów, to w oczywisty sposób postęp uczniów jest wyższy w gminie A. Tę różnicę odzwierciedla edukacyjna wartość dodana, którą można uznać za miarę jakości nauczania w gimnazjach, a więc przez nauczycieli, którzy obecnie w większości dalej nauczają w szkołach podstawowych. Miarę EWD obliczono zestawiając wyniki gmin ze sprawdzianu szóstoklasisty w latach 2014-2016 oraz egzaminu gimnazjalnego w latach 2017-2019. Miara ta oszacowana została poprzez model regresji liniowej, w którym oprócz wyników sprawdzianu do przewidywania wyniku egzaminu gimnazjalnego wykorzystano także logarytmy liczby ludności, dochodów własnych gminy w przeliczeniu na mieszkańca oraz stopy bezrobocia rejestrowanego. Wskaźnik EWD został oszacowany jako wystandaryzowana reszta z tej regresji.