perspectieven op meerdere Scores
benaderingen voor het vormen van samengestelde Scores met behulp van meerdere sets ACTSCORES
in de loop der jaren is de vraag gerezen hoe hogescholen en universiteiten ACT-testscores zouden moeten gebruiken die aan hen zijn toegezonden door aanvragers die de ACT meer dan eens hebben aangenomen. Deze kwestie is dringender geworden als studenten steeds meer nemen de daad meer dan eens.
een overzicht van het huidige landschap van collegeopnames benadrukt het feit dat er geen “one-size-fits-all” oplossing is., Sommige postsecundaire instellingen gebruiken de meest recente score van een student. Anderen “pick and choose,” het selecteren van de beste scores een student heeft verdiend in elk content gebied in de loop van verschillende test administraties en het vormen van een gecombineerde hoogste samengestelde score (superscoring). En weer anderen hebben een ander beleid.
Wat is de ACT Composite score?
de ACT bestaat uit vier toetsen: Engels, wiskunde, lezen en wetenschap. Het scorebereik voor elk van de vier tests is 1-36., De samengestelde score, zoals gerapporteerd door ACT, is het gemiddelde van de vier testscores die zijn behaald tijdens een enkele testtoediening, afgerond op het dichtstbijzijnde gehele getal.
als een student testscores in Engels, wiskunde, lezen en wetenschap van 20, 15, 18 en 17 krijgt, en een andere student scores van 15, 18, 17 en 20 krijgt, verdienen beide studenten dezelfde samengestelde score-18., Hoewel uit de vakgebied scores blijkt dat de ene student sterker is in het Engels en lezen en de andere sterker is in wiskunde en wetenschap, vertegenwoordigen de twee scores hetzelfde algemene niveau van prestatie. ACT beschouwt de samengestelde scores van de twee studenten dan ook als vergelijkbaar.
individuele vormen van de ACT-tests worden gelijkgesteld, een proces dat bijvoorbeeld garandeert dat een score van 19 op één vorm van de Engelse test hetzelfde niveau van prestatie vertegenwoordigt als een score van 19 op elke andere vorm van de Engelse test, ongeacht wanneer de formulieren werden toegediend., Een andere bijdrage aan de vergelijkbaarheid van de scores tussen de formulieren is de standaardisatie van de test administratie: met uitzondering van tests die met langere tijd worden toegediend voor studenten die in aanmerking komen voor dergelijke huisvesting, worden alle vormen van de wet genomen binnen vaste termijnen, in voorgeschreven volgorde en onder standaard voorwaarden.
hoe zit het met de schrijftest?
de wet bevat ook een optionele schrijftest., Studenten die de optionele schrijftest nemen, ontvangen een enkele schrijfscore op vakniveau op een schaal van 2-12 en vijf extra scores: een Ela-score (English Language Arts) op een schaal van 1-36 en scores voor vier domeinen van schrijfcompetenties (ideeën en analyse, ontwikkeling en ondersteuning, organisatie en taalgebruik en conventies) op een schaal van 2-12. De ela-score wordt berekend met behulp van scores die zijn verdiend op de Engels -, Lees-en schrijfproeven in dezelfde administratie.,
Wat gebruiken postsecundaire instellingen als samengestelde score voor studenten die meerdere reeksen testscores hebben?
een postsecundaire instelling kan een “meest recente”, “enige hoogste” of “gecombineerde hoogste” benadering hanteren bij het bepalen van de samengestelde ACTSCORE die zij beschouwt:
- de meest recente samengestelde score is gewoon de samengestelde score die wordt verkregen uit de vier testscores van de meest recente testadministratie van een student.
- de hoogste Composietscore is de hoogste Composietscore die een student heeft behaald in een enkele test administratie.,
- de gecombineerde hoogste samengestelde score (superscoring) is de score die wordt behaald voor een student die meer dan eens heeft getest, door gebruik te maken van de hoogste Engelse, hoogste wiskunde, hoogste leesscore en hoogste wetenschappelijke scores om een gemiddelde te vormen—ongeacht de administraties waaruit elke score werd verkregen.,>Oktober 2014
20 23 21 21 21 ACT Superscore 22 23 23 22 23 John verdiend meest recente Samengestelde score van 21 (op de derde test administratie in oktober 2014)., Hij behaalde een hoogste Composietscore van 22 (op de tweede administratie in juni 2014). De scores van John ‘ s tweede Engels test (22), derde wiskunde test (23), eerste lezing test (23), en tweede wetenschap test (22) geven hem een gecombineerde hoogste samengestelde score (superscore) van 23.
waarom zouden postsecundaire instellingen de voorkeur geven aan de ene benadering boven de andere?
elke benadering heeft zijn voordelen. De meest recente samengestelde score lijkt het huidige niveau van prestatie van de examinee nauwkeuriger dan de andere benaderingen weer te geven., De hoogste Composietscore daarentegen zorgt ervoor dat studenten niet altijd op hun best presteren. Als, bijvoorbeeld, een student had een slechte nachtrust, leed aan een plotselinge aanval van zenuwen, of was bezig met een persoonlijk probleem, de student meest recente test score kan zijn of haar capaciteiten minder nauwkeurig dan hogere scores verdiend op een eerdere testdatum weerspiegelen. Het gebruik van de gecombineerde hoogste samengestelde score kan op soortgelijke gronden worden verdedigd.
welke aanpak wordt aanbevolen?,
wij zijn van mening dat individuele postsecundaire instellingen moeten beslissen welke aanpak het beste voor hen is, omdat zij in de beste positie verkeren om hun unieke behoeften te begrijpen en de context waarbinnen de scores worden gebruikt.
met dat in gedachten beveelt ACT enkele aanvullende bepalingen aan:
1. Consistentie. Welk beleid een instelling ook kiest voor scoregebruik, dat beleid moet consequent worden toegepast op alle aanvragers. Bezorgdheid over eerlijkheid ontstaat als een beleid voor het gebruik van een score (meest recente score) wordt toegepast op sommige groepen aanvragers (bijv.,, vrouwen, ACT test takers) en een ander scoregebruik beleid (superscore) wordt toegepast op andere groepen van aanvragers (bijvoorbeeld, mannen, SAT-test takers).
2. Overeenstemming. Voor instellingen die zowel ACT-als SAT-scores van aanvragers ontvangen, moet de 2018 ACT-SAT-concordantie worden gebruikt om SAT-scores om te zetten in ACT-scores en vice versa. Gezien de verandering in de score schaal voor de 2016 SAT, met behulp van de vorige ACT-SAT concordantie zet ACT test takers op een oneerlijk nadeel.,
deze aanbevelingen gelden niet alleen voor hogescholen en universiteiten, maar ook voor beursverlenende instanties of elke instelling die ACT-en SAT-scores gebruikt om belangrijke onderwijsbeslissingen te nemen.
ACT ‘ s standpunt over Superscoring
we willen enige verwarring in de markt ophelderen als het gaat om superscoring. In het verleden heeft ACT het gebruik van superscoring ontmoedigd omdat er bezorgdheid was dat superscoring de capaciteiten van sommige studenten kan overschatten (in het testen van terminologie, om “te profiteren van positieve meetfout”)., Om die hypothese te testen, heeft ACT onlangs een studie uitgevoerd naar de validiteit en eerlijkheid van verschillende scoringsmethoden. In tegenstelling tot onze verwachtingen toonden de resultaten aan dat superscores net zo voorspellend waren (eigenlijk iets meer voorspellend) van eerstejaars cijfers als andere scoremethoden (recent, gemiddeld, hoogste toediening). Bovendien, superscoring resulteerde in de minste hoeveelheid differentiële voorspelling geassocieerd met het aantal keren dat een student test., Interessant, we vonden dat eerstejaars cijfers voor studenten die vaker getest was onderpredicted, zelfs wanneer voorspelling modellen waren gebaseerd op superscores.1 dat wil zeggen, retesters presteerden beter op de universiteit dan wat werd verwacht op basis van hun testscores. En deze voorspellingsfout werd geminimaliseerd toen superscores werden gebruikt in vergelijking met de andere scoringsmethoden., Als superscores weerspiegeld positieve meetfout – dat wil zeggen, een overschatting van iemands ware prestatie-dan superscores zouden voorspellen studenten om hogere cijfers te verdienen op de universiteit dan wat ze eigenlijk verdiend, en deze overpredictie zou toenemen als het aantal hertest gelegenheden toenemen. De resultaten van de studie suggereren echter precies het tegenovergestelde.
Waarom is dit het geval? Een hypothese is dat superscores en het aantal hertesten niet alleen academische voorbereiding, maar ook een motiverende component weerspiegelen., In het bijzonder, de student die bereid is om meerdere zaterdagen af te zien om te zitten voor een multiple-hour test met de hoop van misschien het verhogen van zijn score is ook de student die waarschijnlijk vragen te stellen in zijn college cursussen, bezoek zijn professor tijdens kantooruren, en profiteren van eventuele extra credit mogelijkheden om de best mogelijke rang te garanderen. Een overzicht van deze studie is te vinden in de Higher Education Research Digest 2017.
op basis van dit onderzoek ondersteunt ACT het gebruik van superscoring bij het nemen van toelatingsbeslissingen.,
onderzoek naar de SAT vond vergelijkbare bevindingen met betrekking tot superscoring (Boldt etal., 1986).
welke benadering gebruikt de NCAA?
de NCAA maakt gebruik van de maximale som van de testscores, in wezen een variant op de gecombineerde hoogste samengestelde score, als onderdeel van de vaststelling of studenten voldoen aan de initiële toelatingsnormen van de vereniging.
moeten studenten de wet meer dan eens nemen?
studenten die extra relevante cursussen hebben gevolgd sinds ze voor het laatst zijn getest, kunnen opnieuw willen testen, omdat ze reden hebben om aan te nemen dat ze het de volgende keer beter zullen doen., Studenten die geloven dat hun vorige scores niet nauwkeurig hun prestatie weerspiegelen, kunnen ook opnieuw willen testen. Als zij bijvoorbeeld ziek of anderszins verhinderd waren tijdens de test, of als zij niet bekend waren met de testprocedures, is het redelijk te verwachten dat zij het beter kunnen doen bij de hertest.
verhoogt Superscoring de verschillen in subgroepen?
in een recente studie worden de verschillen in subgroepen grotendeels niet beïnvloed door de twee scoringspolissen die in de huidige studie zijn onderzocht— meest recente versus superscoring., Gezien het feit dat studenten de neiging om hun scores te verbeteren door middel van hertesten en de hoge betrouwbaarheid van ACT scores, is het niet verwonderlijk dat de resultaten op basis van een student meest recente test record zijn vrij vergelijkbaar met die op basis van superscoring. Ook draagt bij aan het vinden van kleine tot geen verschillen op basis van superscoring is de relatief lage frequentie (minder dan de helft van de studenten) van hertesten in het algemeen en hertesten meer dan eens.,
de resultaten wijzen er ook op dat de lichte toenames in niet-gestandaardiseerde verschillen en gestandaardiseerde verschillen kunnen worden toegeschreven aan verschillen in hertestpercentages tussen subgroepen. Analyses die het aantal keer controleren dat een student opnieuw Test, gaven aan dat subgroepverschillen eerder zouden afnemen dan toenemen wanneer superscoring werd toegepast.
Wat is de Impact van Superscoring op verschillen in subgroepen?
ACT heeft de afgelopen jaren de validiteit en billijkheid van verschillende scoringspraktijken onderzocht., In tegenstelling tot de verwachtingen toonden de resultaten aan dat scores op basis van de superscoring-methode (superscores genoemd) net zo voorspellend waren (eigenlijk iets meer voorspellend) van eerstejaars cijfers in vergelijking met andere scoringsmethoden (recent, gemiddeld, hoogste). Bovendien, superscoring resulteerde in de minste hoeveelheid differentiële voorspelling door het aantal keren dat een student test. Interessant, we vonden dat eerstejaars cijfers voor studenten die vaker getest waren onderpredicted, zelfs wanneer voorspelling modellen waren gebaseerd op superscores.