Perspectives on Multiple Scores
Approaches for Forming Composite Scores Using Multiple Sets of ACT Scores
na przestrzeni lat wielokrotnie pojawiało się pytanie, w jaki sposób uczelnie i uniwersytety powinny wykorzystywać wyniki testów ACT przesłane im przez wnioskodawców, którzy podjęli akt więcej niż jeden raz. Kwestia ta stała się bardziej paląca, ponieważ studenci coraz częściej podejmują akt więcej niż raz.
badanie obecnego krajobrazu przyjęć na studia podkreśla fakt, że nie ma „uniwersalnego” rozwiązania., Niektóre placówki policealne wykorzystują najnowszy wynik studenta. Inni „wybierają i wybierają”, wybierając najlepsze wyniki uzyskane przez ucznia w każdym obszarze treści w trakcie kilku administracji testowych i tworząc łączny najwyższy wynik złożony (superscoring). A jeszcze inni mają inne zasady.
Co to jest wynik Acta?
ustawa składa się z czterech sprawdzianów: z języka angielskiego, z matematyki, z czytania i z przedmiotów ścisłych. Zakres punktacji dla każdego z czterech testów wynosi 1-36., Composite score, jak podaje ACT, jest średnią z czterech wyników uzyskanych podczas jednego podania testu, w zaokrągleniu do najbliższej liczby całkowitej.
Jeśli jeden z uczniów otrzyma wynik testu z języka angielskiego, matematyki, czytania i nauk ścisłych na poziomie 20, 15, 18 i 17, a inny otrzyma wynik 15, 18, 17 i 20, obaj uczniowie uzyskają ten sam wynik złożony—18., Chociaż z wyników z dziedziny przedmiotu wynika, że jeden uczeń jest silniejszy w języku angielskim i czytaniu, a drugi jest silniejszy w matematyce i naukach ścisłych, dwa wyniki reprezentują ten sam ogólny poziom osiągnięć. W związku z tym ACT uważa, że wyniki obu uczniów są porównywalne.
poszczególne formy testu ACT są zrównane, proces, który zapewnia, na przykład, że wynik 19 na jednej formie testu z języka angielskiego reprezentuje ten sam poziom osiągnięć, co wynik 19 na każdej innej formie testu z języka angielskiego, bez względu na to, kiedy formularze zostały podane., Kolejnym czynnikiem przyczyniającym się do porównywalności wyników w różnych formach jest standaryzacja zarządzania testami: z wyjątkiem testów udzielanych z wydłużonym czasem dla studentów, którzy kwalifikują się do takiego zakwaterowania, wszystkie formy ustawy są podejmowane w ustalonych terminach, w określonej kolejności i na standardowych warunkach.
a co z testem pisarskim?
ustawa zawiera również opcjonalny test pisemny., Studenci, którzy przystąpią do fakultatywnego testu pisemnego, otrzymają jeden wynik na poziomie przedmiotowym w skali 2-12 i pięć dodatkowych punktów: wynik z zakresu sztuki języka angielskiego (ELA) w skali 1-36 oraz wyniki za cztery dziedziny umiejętności pisania (pomysły i analiza, rozwój i wsparcie, organizacja oraz użycie języka i konwencje) w skali 2-12. Wynik ELA jest obliczany na podstawie wyników uzyskanych z testów z języka angielskiego, czytania i pisania w tej samej administracji.,
jakie instytucje policealne stosują jako akt zaliczenia zaliczeniowe dla uczniów, którzy mają wiele zestawów punktów egzaminacyjnych?
instytucja postsecondary może przyjąć podejście „najnowszy”, „najwyższy pojedynczy” lub „najwyższy łączny” w definiowaniu, jaki wynik Composite Act uważa za:
- najnowszy wynik Composite to po prostu wynik Composite uzyskany z czterech wyników testów w ostatniej administracji testowej ucznia.
- pojedynczy najwyższy wynik kompozytowy to najwyższy wynik kompozytowy, który student uzyskał w dowolnym pojedynczym teście.,
- łączny najwyższy wynik złożony (superscoring) to wynik uzyskany dla ucznia, który przetestował więcej niż jeden raz, używając najwyższego poziomu angielskiego, najwyższej matematyki, najwyższego czytania i najwyższych wyników w nauce, aby utworzyć średnią—niezależnie od administracji, z których każdy wynik został uzyskany.,
20 23 21 21 21 21 Act superscore 22 23 23 22 23 John uzyskał najnowszy złożony wynik 21 (podczas trzeciego badania w październiku 2014 r.)., W 2014 uzyskał najwyższą notę łączną-22 (na drugim miejscu w czerwcu 2014). Wyniki z drugiego testu z angielskiego (22), trzeciego testu z matematyki (23), testu z pierwszego czytania (23) i drugiego testu z nauk ścisłych (22) dają mu łączny najwyższy wynik złożony (superscore) wynoszący 23.
dlaczego instytucje postsekundowe wolałyby jedno podejście niż drugie?
każde podejście ma swoje zalety. Najnowszy wynik kompozytowy wydaje się odzwierciedlać obecny poziom osiągnięć badanego dokładniej niż inne podejścia., Z kolei pojedynczy najwyższy wynik kompozytowy pozwala na to, że uczniowie nie zawsze osiągają najlepsze wyniki. Jeśli, na przykład, uczeń miał słaby sen, doznał nagłego ataku nerwów lub był zajęty osobistym problemem, najnowszy wynik testu może odzwierciedlać jego umiejętności mniej dokładnie niż wyższe wyniki uzyskane we wcześniejszym terminie testu. Na podobnych podstawach można bronić łącznej najwyższej punktacji złożonej.
jakie podejście zaleca ACT?,
uważamy, że poszczególne instytucje postsecondary powinny decydować, które podejście jest dla nich najlepsze, ponieważ są w najlepszej sytuacji, aby zrozumieć swoje unikalne potrzeby i kontekst, w którym wykorzystywane są wyniki.
mając to na uwadze, ACT zaleca kilka dodatkowych postanowień:
1. Konsekwencja. Niezależnie od wybranej przez instytucję polityki wykorzystania punktów, polityka ta powinna być konsekwentnie stosowana wobec wszystkich wnioskodawców. Obawy o uczciwość pojawiają się, gdy jedna Polityka wykorzystania punktów (najnowszy wynik) jest stosowana do niektórych grup wnioskodawców (np., inne zasady korzystania z punktów (superscore) stosuje się do innych grup wnioskodawców (np. mężczyźni, osoby biorące udział w testach SAT).
2. Konkordancja. W przypadku instytucji, które otrzymują zarówno wyniki ACT, jak i SAT od wnioskodawców, konkordancję ACT-SAT na 2018 r.należy wykorzystać do konwersji wyników SAT na wyniki ACT I odwrotnie. Biorąc pod uwagę zmianę skali punktowej dla SAT 2016, korzystanie z poprzedniej konkordancji ACT-SAT stawia uczestników testu ACT w niesprawiedliwej niekorzystnej sytuacji.,
zalecenia te odnoszą się nie tylko do szkół wyższych i uniwersytetów, ale także do agencji przyznających stypendia lub każdej instytucji, która wykorzystuje wyniki ACT I SAT do podejmowania ważnych decyzji edukacyjnych.
stanowisko ACT w sprawie Superscoringu
chcemy wyjaśnić pewne zamieszanie na rynku, ponieważ dotyczy to superscoringu. W przeszłości ACT zniechęcał do stosowania superscoringu, ponieważ istniały obawy, że superscoring może zawyżać umiejętności niektórych uczniów(w terminologii testowej, aby „wykorzystać pozytywny błąd pomiaru”)., Aby sprawdzić tę hipotezę, ACT przeprowadził niedawno badanie na temat ważności i uczciwości różnych metod punktacji. Wbrew naszym oczekiwaniom wyniki pokazały, że wyniki były tak samo predykcyjne (właściwie nieco bardziej predykcyjne) ocen pierwszorocznych, jak inne metody punktacji (Ostatnie, średnie, najwyższe oceny). Co więcej, superscoring skutkował najmniejszą ilością przewidywania różnicowego związanego z liczbą testów studenta., Co ciekawe, okazało się, że oceny na pierwszym roku dla uczniów, którzy testowali częściej, były niedoszacowane, nawet jeśli modele predykcyjne były oparte na wynikach.1 oznacza to, że retesterzy wypadli lepiej w college ' u niż oczekiwano na podstawie ich wyników testów. I ten błąd przewidywania został zminimalizowany, gdy użyto rekordów w porównaniu z innymi metodami punktowania., Jeśli przekroczenia odzwierciedlają dodatni błąd pomiaru – to jest przeszacowanie czyjegoś prawdziwego poziomu osiągnięć – wtedy przekroczenia przewidywały, że uczniowie zdobędą wyższe stopnie w college ' u niż to, co faktycznie zarobił, a ta nadwyżka wzrośnie wraz ze wzrostem liczby powtórnych testów. Jednak wyniki badania sugerowały dokładnie odwrotnie.
dlaczego tak jest? Jedną z hipotez jest to, że wyniki i liczba powtórnych testów odzwierciedlają nie tylko przygotowanie akademickie, ale także element motywacyjny., W szczególności student, który jest gotów zrezygnować z wielu sobót, aby usiąść na wielogodzinnym teście z nadzieją, że może zwiększyć swój wynik, jest również studentem, który prawdopodobnie zadaje pytania na swoich kursach uniwersyteckich, odwiedza swojego profesora w godzinach pracy biura i korzysta z wszelkich dodatkowych możliwości kredytowych, aby zapewnić najlepszą możliwą ocenę. Przegląd tego badania znajduje się w Higher Education Research Digest 2017.
w oparciu o te badania, ACT wspiera wykorzystanie superscoringu w podejmowaniu decyzji o przyjęciu na studia.,
badania SAT wykazały podobne wyniki dotyczące superscoringu (Boldt etal., 1986).
jakie podejście stosuje NCAA?
czy uczniowie powinni brać udział więcej niż raz?
uczniowie, którzy podjęli dodatkowe odpowiednie zajęcia od czasu ostatniego testu, mogą chcieć powtórzyć test, ponieważ mają powody przypuszczać, że następnym razem poradzą sobie lepiej., Uczniowie, którzy uważają, że ich poprzednie wyniki nie odzwierciedlają dokładnie ich osiągnięć, mogą również chcieć powtórzyć test. Jeśli, na przykład, byli chorzy lub w inny sposób niedysponowani podczas badania, lub jeśli nie byli zaznajomieni z procedurami testowania, rozsądne jest oczekiwać, że mogą lepiej radzić sobie z ponownym badaniem.
czy Supersoring zwiększa różnice podgrup?
, Biorąc pod uwagę, że uczniowie mają tendencję do poprawy swoich wyników poprzez powtórne testy i wysoką wiarygodność wyników ACT, nie jest zaskakujące, że wyniki oparte na najnowszym zapisie testu studenta są bardzo podobne do wyników opartych na superscoringu. Również stosunkowo niska częstotliwość (mniej niż połowa uczniów) powtórnych testów ogólnych i powtórnych testów więcej niż jeden raz przyczynia się do stwierdzenia niewielkich lub żadnych różnic w oparciu o superskorowanie.,
wyniki sugerują również, że nieznaczny wzrost różnic niestandardowych i standaryzowanych można przypisać różnicom w wskaźnikach retestów między podgrupami. Analizy kontrolujące liczbę powtórzeń studenta wykazały, że różnice podgrup były bardziej prawdopodobne, aby zmniejszyć, a nie zwiększyć, gdy zastosowano superscoring.
jaki jest wpływ Supersoringu Na różnice podgrup?
ustawa badała zasadność i uczciwość różnych praktyk punktacji w ciągu ostatnich kilku lat., Wbrew oczekiwaniom wyniki pokazały, że wyniki oparte na metodzie superscoringu (określanej jako superscores) były równie predykcyjne (właściwie nieco bardziej predykcyjne) ocen pierwszorocznych w porównaniu do innych metod punktacji (ostatnia, średnia, najwyższa). Co więcej, superscoring skutkował najmniejszą ilością przewidywania różnicowego przez liczbę testów studenta. Co ciekawe, okazało się, że oceny pierwszoroczne uczniów, którzy testowali częściej, były niedoszacowane, nawet jeśli modele predykcyjne opierały się na rekordach.