Prospettive su punteggi multipli
Approcci per formare punteggi compositi Utilizzando più set di punteggi ACT
Nel corso degli anni, la questione di come i college e le università dovrebbero utilizzare i punteggi dei test ACT inviati loro dai candidati che hanno preso l’ATTO più di una volta Questo problema è diventato più pressante come gli studenti sono sempre più prendendo l’atto più di una volta.
Un sondaggio dell’attuale panorama delle ammissioni al college evidenzia il fatto che non esiste una soluzione “one-size-fits-all”., Alcune istituzioni postsecondarie utilizzano il punteggio più recente di uno studente. Altri “scegli e scegli”, selezionando i migliori punteggi che uno studente ha guadagnato in ogni area di contenuto nel corso di diverse amministrazioni di test e formando un punteggio composito più alto combinato (superscoring). E altri ancora hanno politiche diverse in atto.
Qual è il punteggio composito ACT?
L’atto consiste di quattro prove: inglese, matematica, lettura e scienza. L’intervallo di punteggio per ciascuno dei quattro test è 1-36., Il punteggio composito, come riportato da ACT, è la media dei quattro punteggi ottenuti durante una singola somministrazione di test, arrotondati al numero intero più vicino.
Se uno studente riceve punteggi dei test in inglese, matematica, lettura e scienze di 20, 15, 18 e 17, e un altro studente riceve punteggi di 15, 18, 17 e 20, entrambi gli studenti guadagnerebbero lo stesso punteggio composito—18., Anche se si può vedere dai punteggi dell’area tematica che uno studente è più forte in inglese e lettura e l’altro è più forte in matematica e scienze, i due punteggi rappresentano lo stesso livello generale di realizzazione. ACT considera quindi comparabili i punteggi compositi dei due studenti.
Le singole forme dei test ACT sono equiparate, un processo che assicura, ad esempio, che un punteggio di 19 su una forma del test inglese rappresenta lo stesso livello di realizzazione di un punteggio di 19 su qualsiasi altra forma del test inglese, indipendentemente dal momento in cui i moduli sono stati somministrati., Un ulteriore contributo alla comparabilità dei punteggi tra i moduli è la standardizzazione della somministrazione dei test: ad eccezione dei test somministrati con tempo prolungato per gli studenti che si qualificano per tali alloggi, tutte le forme della legge sono prese entro limiti di tempo prestabiliti, nell’ordine prescritto e in condizioni standard.
Che dire del test di scrittura?
L’atto include anche un test di scrittura opzionale., Gli studenti che prendono il test di scrittura opzionale riceveranno un singolo punteggio di scrittura a livello di soggetto su una scala di 2-12 e cinque punteggi aggiuntivi: un punteggio ELA (English Language Arts) su una scala di 1-36 e punteggi per quattro domini di competenze di scrittura (Idee e analisi, sviluppo e supporto, organizzazione e uso della lingua e convenzioni) su una scala di 2-12. Il punteggio ELA viene calcolato utilizzando i punteggi ottenuti sui test di inglese, lettura e scrittura nella stessa amministrazione.,
Quali sono le istituzioni postsecondarie che utilizzano come punteggio composito ACT per gli studenti che hanno più set di punteggi dei test?
Un’istituzione postsecondaria può adottare un approccio “più recente”, “singolo più alto” o “combinato più alto” per definire quale punteggio composito ACT considera:
- Il punteggio composito più recente è semplicemente il punteggio composito ottenuto dai quattro punteggi dei test sull’amministrazione dei test più recente di uno studente.
- Il singolo punteggio composito più alto è il punteggio composito più alto che uno studente ha ottenuto in ogni singola amministrazione di test.,
- Il punteggio composito più alto combinato (superscoring) è il punteggio ottenuto per uno studente che ha testato più di una volta, utilizzando l’inglese più alto, la matematica più alta, la lettura più alta e i punteggi scientifici più alti per formare una media, indipendentemente dalle amministrazioni da cui è stato ottenuto ogni punteggio.,>Ottobre 2014
20 23 21 21 21 LEGGE Superscore 22 23 23 22 23 Giovanni ha guadagnato un più recente punteggio Composito di 21 (terza somministrazione di test nel mese di ottobre 2014)., Ha ottenuto un singolo punteggio composito più alto di 22 (sulla seconda amministrazione nel giugno 2014). I punteggi del secondo test di inglese di John (22), del terzo test di matematica (23), del primo test di lettura (23) e del secondo test di scienza (22) gli danno un punteggio composito più alto combinato (superscore) di 23.
Perché le istituzioni postsecondarie preferirebbero un approccio piuttosto che un altro?
Ogni approccio ha i suoi vantaggi. Il punteggio composito più recente sembrerebbe riflettere l’attuale livello di realizzazione del candidato in modo più accurato rispetto agli altri approcci., Il singolo punteggio composito più alto, d’altra parte, consente il fatto che gli studenti non sempre si esibiscono al meglio. Se, per esempio, uno studente ha avuto una notte di sonno povero, ha subito un improvviso attacco di nervi, o era preoccupato per un problema personale, punteggio più recente del test dello studente può riflettere le sue capacità meno accuratamente di punteggi più alti guadagnati su una data di prova precedente. L’uso del punteggio composito più alto combinato potrebbe essere difeso per motivi simili.
Quale approccio raccomanda ACT?,
Riteniamo che le singole istituzioni postsecondarie dovrebbero decidere quale approccio è meglio per loro in quanto sono nella posizione migliore per comprendere le loro esigenze specifiche e il contesto in cui vengono utilizzati i punteggi.
Con questo in mente, ACT consiglia alcune clausole aggiuntive:
1. Coerenza. Qualunque sia la politica di utilizzo del punteggio che un’istituzione sceglie, tale politica dovrebbe essere applicata in modo coerente a tutti i candidati. I problemi di equità sorgono se una politica di utilizzo del punteggio (punteggio più recente) viene applicata ad alcuni gruppi di candidati (ad es.,, femmine, ACT test takers) e una diversa politica di utilizzo del punteggio (superscore) viene applicata ad altri gruppi di candidati (ad esempio, maschi, SAT test takers).
2. Concordanza. Per le istituzioni che ricevono punteggi ACT e SAT dai richiedenti, la concordanza ACT-SAT 2018 dovrebbe essere utilizzata per convertire i punteggi SAT in punteggi ACT e viceversa. Dato il cambiamento nella scala dei punteggi per il SAT 2016, l’utilizzo della concordanza ACT-SAT precedente pone gli esaminandi ACT in uno svantaggio ingiusto.,
Queste raccomandazioni si applicano non solo ai college e alle università, ma anche alle agenzie di borse di studio o a qualsiasi istituzione che utilizza i punteggi ACT e SAT per prendere importanti decisioni educative.
La posizione di ACT sul Superscoring
Vogliamo chiarire una certa confusione di mercato per quanto riguarda il superscoring. In passato, ACT ha scoraggiato l’uso del superscoring in quanto vi erano preoccupazioni che il superscoring potesse sopravvalutare le capacità di alcuni studenti (nella terminologia dei test, per “capitalizzare l’errore di misurazione positivo”)., Per verificare questa ipotesi, ACT ha recentemente condotto uno studio sulla validità e l’equità dei diversi metodi di punteggio. Contrariamente alle nostre aspettative, i risultati hanno mostrato che i punteggi superiori erano altrettanto predittivi (in realtà leggermente più predittivi) dei voti del primo anno come altri metodi di punteggio (amministrazione recente, media, più alta). Inoltre, il superscoring ha comportato la minor quantità di previsione differenziale associata al numero di volte in cui uno studente esegue i test., È interessante notare che abbiamo scoperto che i voti del primo anno per gli studenti che hanno testato più spesso erano sottovalutati anche quando i modelli di previsione erano basati su punteggi superiori.1 Cioè, i retester si sono comportati meglio al college di quanto ci si aspettasse in base ai loro punteggi dei test. E questo errore di previsione è stato ridotto al minimo quando sono stati utilizzati i punteggi superiori rispetto agli altri metodi di punteggio., Se i punteggi superiori riflettessero un errore di misurazione positivo – cioè una sovrastima del proprio vero livello di realizzazione-allora i punteggi superiori prevederebbero agli studenti di guadagnare voti più alti al college di quello che hanno effettivamente guadagnato, e questa sovrastima aumenterebbe man mano che aumentano le occasioni di ripetizione del numero. Tuttavia, i risultati dello studio hanno suggerito esattamente il contrario.
Perché è questo il caso? Un’ipotesi è che i punteggi superiori e il numero di occasioni di ripetizione riflettono non solo la preparazione accademica, ma anche una componente motivazionale., In particolare, lo studente che è disposto a rinunciare a più sabati per sedersi per un test di più ore con la speranza di aumentare forse il suo punteggio è anche lo studente che rischia di porre domande nei suoi corsi universitari, visitare il suo professore durante le ore d’ufficio e approfittare di eventuali opportunità di credito extra per garantire il miglior Una panoramica di questo studio è fornita nel Higher Education Research Digest 2017.
Sulla base di questa ricerca, ACT supporta l’uso del superscoring nel prendere decisioni di ammissione al college.,
La ricerca sul SAT ha trovato risultati simili relativi al superscoring (Boldt etal., 1986).
Quale approccio usa la NCAA?
La NCAA utilizza la somma massima dei punteggi dei test, essenzialmente una variante sul punteggio composito più alto combinato, come parte della determinazione se gli studenti soddisfano gli standard di ammissibilità iniziale dell’associazione.
Gli studenti dovrebbero prendere l’ATTO più di una volta?
Gli studenti che hanno seguito ulteriori corsi pertinenti dall’ultima volta che hanno testato potrebbero voler ripetere il test, poiché hanno motivo di supporre che faranno meglio la prossima volta., Gli studenti che credono che i loro punteggi precedenti non riflettono accuratamente il loro successo possono anche desiderare di ripetere il test. Se, ad esempio, erano malati o altrimenti indisposti durante il test, o se non avevano familiarità con le procedure di test, è ragionevole aspettarsi che possano fare meglio nel ripetere il test.
Il superscoring aumenta le differenze tra sottogruppi?
In uno studio recente, le differenze tra sottogruppi non sono in gran parte influenzate dalle due politiche di punteggio esaminate nello studio corrente, la più recente rispetto al superscoring., Dato che gli studenti tendono a migliorare i loro punteggi attraverso nuovi test e l’alta affidabilità dei punteggi ACT, non sorprende che i risultati basati sul record di test più recente di uno studente siano abbastanza simili a quelli basati sul superscoring. Anche contribuire alla scoperta di piccole o nessuna differenza basata sul superscoring è la frequenza relativamente bassa (meno della metà degli studenti) di ripetere il test in generale e ripetere il test più di una volta.,
I risultati suggeriscono anche che i lievi aumenti delle differenze non standardizzate e delle differenze standardizzate possono essere attribuiti alle differenze nei tassi di retest tra sottogruppi. Le analisi che controllano il numero di volte in cui uno studente ripete i test hanno indicato che le differenze tra sottogruppi avevano maggiori probabilità di diminuire piuttosto che aumentare quando è stato applicato il superscoring.
Qual è l’impatto del Superscoring sulle differenze dei sottogruppi?
ACT ha esaminato la validità e l’equità delle diverse pratiche di punteggio negli ultimi anni., Contrariamente alle aspettative, i risultati hanno mostrato che i punteggi basati sul metodo superscoring (denominato superscores) erano altrettanto predittivi (in realtà, leggermente più predittivi) dei voti del primo anno rispetto ad altri metodi di punteggio (recenti, medi, più alti). Inoltre, il superscoring ha comportato la minor quantità di previsione differenziale per il numero di volte in cui uno studente prova. È interessante notare che abbiamo scoperto che i voti del primo anno per gli studenti che hanno testato più spesso erano sottovalutati anche quando i modelli di previsione erano basati su punteggi superiori.