Itemii: clasificare și proiectare

La examen, itemii sunt tema cerută cel mai des din capitolul despre evaluare. Subiectele cer fie teoria unui tip de itemi (caracteristici, reguli de proiectare, avantaje), fie itemi elaborați pe o secvență de programă, cu răspunsul așteptat și cu baremul. De aceea, pentru fiecare tip de item, lecția prezintă teoria și un exemplu construit pe conținuturi de informatică.

Itemul

Itemul este cea mai mică unitate a unui test: o sarcină de lucru formulată pentru a verifica o competență sau o parte a ei. Termenul are două sensuri:

• în sens restrâns, itemul este întrebarea, problema sau sarcina dată elevului;
• în sens larg, itemul cuprinde sarcina, forma în care se cere răspunsul și răspunsul așteptat.

Un item complet proiectat are următoarele componente:

• competența specifică pe care o evaluează și conținutul asociat;
• instrucțiunea (sarcina de lucru): ce trebuie să facă elevul și cum își scrie răspunsul;
• enunțul: informațiile pe care se lucrează (afirmații, cod, date, o situație);
• răspunsul așteptat sau etapele rezolvării;
• punctajul și criteriile de acordare a lui, trecute în barem.

Itemul trebuie să verifice ceea ce descrie competența. Dacă o competență specifică se referă la aplicarea unui algoritm, un item care cere doar numele algoritmului acoperă conținutul, dar nu și competența.

Clasificarea itemilor

Criteriul folosit în documentele de evaluare și în subiectele de examen este gradul de obiectivitate al notării:

Alte criterii de clasificare:

• după forma răspunsului: itemi închiși, la care răspunsul este ales, și itemi deschiși, la care răspunsul este construit de elev;
• după nivelul cognitiv vizat: itemi de cunoaștere, de aplicare, de raționament;
• după forma probei: itemi pentru proba scrisă, pentru proba orală, pentru proba practică.

Itemii obiectivi

Itemii obiectivi cer elevului să aleagă răspunsul corect dintre variantele date. Deoarece elevul nu își formulează răspunsul, ei sunt numiți și itemi închiși.

Caracteristici comune:

• răspunsul corect (cheia) este unic și stabilit dinainte;
• corectarea nu depinde de persoana care corectează și se poate face automat;
• punctajul se acordă integral sau deloc (notare dihotomică);
• un număr mare de itemi se rezolvă într-un timp scurt, deci testul poate acoperi o parte mare a conținutului;
• răspunsul corect poate fi ghicit.

Itemii cu alegere duală

Itemul cu alegere duală cere elevului să aleagă unul dintre două răspunsuri posibile: adevărat/fals, da/nu, corect/greșit, acord/dezacord.

Caracteristici:

• cele două variante sunt complementare: una o exclude pe cealaltă;
• elevul doar recunoaște valoarea de adevăr, nu construiește răspunsul;
• se rezolvă foarte repede, deci într-un test pot fi mulți itemi de acest tip;
• probabilitatea de a ghici răspunsul este 1/2, cea mai mare dintre toate tipurile de itemi;
• notarea este complet obiectivă.

Domenii de utilizare:

• recunoașterea corectitudinii unor definiții, proprietăți, reguli;
• identificarea unor afirmații greșite despre un algoritm sau despre o aplicație;
• verificarea rapidă, în evaluarea formativă, a înțelegerii unei lecții.

Reguli de proiectare:

• fiecare afirmație conține o singură idee;
• afirmația este complet adevărată sau complet falsă, fără ambiguități;
• se evită formulările negative și, mai ales, dubla negație;
• se evită cuvintele care sugerează răspunsul: „întotdeauna”, „niciodată”, „toate” (sugerează o afirmație falsă), „uneori”, „de obicei” (sugerează o afirmație adevărată);
• afirmațiile adevărate și cele false au lungimi asemănătoare;
• numărul afirmațiilor adevărate este aproximativ egal cu al celor false, iar ordinea lor nu urmează un tipar;
• afirmațiile nu se copiază din manual.

Notare: se acordă punctajul pentru fiecare răspuns corect. Pentru a reduce efectul ghicirii, profesorul poate cere corectarea afirmațiilor false și poate acorda o parte din punctaj pentru corectare.

Exemplu. Scrieți litera A în dreptul afirmațiilor adevărate și litera F în dreptul celor false.

• a) Căutarea binară poate fi aplicată pe un tablou unidimensional ale cărui elemente nu sunt ordonate.
• b) Căutarea secvențială poate fi aplicată pe un tablou unidimensional ale cărui elemente nu sunt ordonate.
• c) Pentru un tablou cu 1000 de elemente, căutarea secvențială a unei valori care nu se află în tablou compară valoarea căutată cu toate cele 1000 de elemente.

Răspuns așteptat: a) F; b) A; c) A.

Itemii cu alegere multiplă

Un item cu alegere multiplă are două părți: premisa (enunțul, întrebarea) și lista de alternative (variante de răspuns). Varianta corectă se numește cheie, iar variantele incorecte se numesc distractori.

Caracteristici:

• elevul alege răspunsul dintre trei, patru sau cinci variante;
• pot avea un singur răspuns corect, un răspuns „cel mai bun” sau mai multe răspunsuri corecte, precizate în instrucțiune;
• distractorii corespund unor greșeli frecvente ale elevilor, deci răspunsurile greșite oferă informații de diagnostic;
• probabilitatea de ghicire scade odată cu numărul de variante (1/4 la patru variante);
• pot verifica și aplicarea sau analiza, dacă premisa descrie o situație pe care elevul trebuie să o rezolve;
• notarea este obiectivă.

Domenii de utilizare:

• identificarea rezultatului executării unei secvențe de cod;
• alegerea algoritmului, a structurii de date sau a comenzii potrivite unei situații;
• recunoașterea definițiilor, a proprietăților, a cauzelor unor erori.

Reguli de proiectare:

• premisa formulează complet problema și poate fi înțeleasă fără citirea variantelor;
• textul comun tuturor variantelor se trece în premisă, iar variantele rămân scurte;
• există o singură cheie, dacă instrucțiunea nu precizează altfel;
• distractorii sunt plauzibili: sunt construiți pe greșeli reale ale elevilor;
• variantele sunt omogene ca formă, conținut și lungime; cheia nu este mai lungă sau mai precisă decât distractorii;
• premisa nu conține indicii gramaticale (acord, articol) care exclud unele variante;
• poziția cheii variază de la un item la altul;
• variantele numerice se ordonează crescător;
• se evită variantele „toate răspunsurile de mai sus” și „niciun răspuns”;
• se evită formulările negative în premisă; dacă sunt necesare, negația se evidențiază.

Notare: punctajul se acordă integral pentru alegerea cheii. La itemii cu mai multe răspunsuri corecte, regula de punctare (inclusiv depunctarea alegerilor greșite) se anunță înainte de test.

Exemplu. Se consideră tabloul unidimensional (4, 9, 2, 9, 7), cu elementele numerotate de la

1. Căutarea secvențială a valorii 9, care se oprește la prima apariție, furnizează poziția:

• a) 2
• b) 4
• c) 9
• d) 0

Răspuns așteptat: a.

Fiecare distractor corespunde unei greșeli: b) căutarea continuă până la ultima apariție; c) se furnizează valoarea în locul poziției; d) se consideră, din cauza unei condiții greșite, că valoarea nu a fost găsită.

Itemii de tip pereche

Itemul de tip pereche cere elevului să stabilească o corespondență între elementele a două coloane: prima coloană conține premisele, a doua conține răspunsurile.

Caracteristici:

• elementele fiecărei coloane aparțin aceleiași categorii;
• coloanele au, de regulă, un număr diferit de elemente;
• verifică relații de tipul termen–definiție, simbol–semnificație, comandă–efect, algoritm–mod de funcționare;
• permit verificarea mai multor cunoștințe într-un singur item;
• notarea este obiectivă.

Reguli de proiectare:

• ambele coloane sunt omogene;
• numărul răspunsurilor este mai mare decât al premiselor, sau instrucțiunea precizează că un răspuns poate fi folosit de mai multe ori;
• instrucțiunea precizează modul de marcare a corespondențelor;
• fiecare coloană are un număr redus de elemente (de regulă, cel mult 7–8);
• premisele, mai lungi, se așază în stânga, iar răspunsurile, mai scurte, în dreapta;
• răspunsurile se ordonează după un criteriu logic (alfabetic, numeric);
• ambele coloane se află pe aceeași pagină.

Notare: se acordă punctajul pentru fiecare corespondență corectă.

Exemplu. Scrieți, în dreptul fiecărei cifre din coloana A, litera din coloana B care corespunde modului de funcționare al algoritmului. Fiecare literă se folosește cel mult o dată.

Răspuns așteptat: 1 – c; 2 – b; 3 – a.

Itemii semiobiectivi

Itemii semiobiectivi cer elevului să construiască răspunsul, dar forma răspunsului este limitată de sarcină: un cuvânt, un număr, o propoziție, o secvență scurtă de cod.

Caracteristici comune:

• elevul produce răspunsul, nu îl alege, deci ghicirea este practic exclusă;
• răspunsul este scurt și poate fi verificat după un barem precis;
• verifică și capacitatea de a aplica cunoștințele, nu doar de a le recunoaște;
• obiectivitatea notării rămâne ridicată, dar baremul trebuie să prevadă formulările echivalente acceptate.

Itemii cu răspuns scurt

Itemul cu răspuns scurt este o întrebare directă, la care elevul răspunde printr-un cuvânt, un număr, un simbol, o expresie sau o propoziție.

Caracteristici:

• răspunsul este construit de elev și are o întindere mică;
• întrebarea are un singur răspuns corect sau un număr mic de răspunsuri corecte, prevăzute în barem;
• se rezolvă repede, deci permite verificarea mai multor conținuturi;
• notarea este obiectivă dacă răspunsul este precis delimitat.

Domenii de utilizare: termeni și definiții scurte, rezultatul executării unui algoritm, valoarea unei expresii, numele unei comenzi, o condiție, un calcul.

Reguli de proiectare:

• întrebarea este formulată direct și clar, astfel încât să admită un singur răspuns;
• răspunsul cerut este scurt;
• se precizează forma cerută a răspunsului (de exemplu, numărul de cifre, unitatea de măsură, expresia într-un anumit limbaj);
• enunțul nu reproduce fraze din manual;
• spațiul lăsat pentru răspuns nu sugerează lungimea lui;
• baremul prevede toate răspunsurile corecte acceptate.

Exemplu. Scrieți condiția pe care trebuie să o îndeplinească elementele unui tablou unidimensional pentru ca într-un astfel de tablou să poată fi căutată o valoare prin metoda căutării binare.

Răspuns așteptat: elementele tabloului să fie ordonate (crescător sau descrescător).

Itemii de completare

Itemul de completare este o afirmație incompletă, pe care elevul o completează cu un cuvânt, un număr sau o sintagmă.

Caracteristici:

• elevul construiește partea lipsă a unei afirmații date;
• răspunsul este foarte scurt și limitat de structura afirmației;
• verifică mai ales cunoașterea termenilor și a relațiilor dintre ei, dar și rezultatul unor calcule;
• ghicirea este practic exclusă;
• se rezolvă repede;
• notarea este obiectivă, dacă spațiul liber admite un singur răspuns.

Reguli de proiectare:

• spațiul liber corespunde unui cuvânt-cheie, nu unui detaliu neimportant;
• afirmația are un singur spațiu liber sau un număr foarte mic de spații libere;
• spațiul liber se află spre sfârșitul afirmației, după ce elevul a citit contextul;
• spațiile libere au aceeași lungime, indiferent de lungimea răspunsului;
• afirmația admite un singur răspuns corect;
• afirmația nu conține indicii gramaticale pentru răspuns (de exemplu, articolul „un” sau „o” înaintea spațiului);
• afirmația nu reproduce fraze din manual.

Exemplu. Completați spațiul liber: Într-un tablou unidimensional ordonat crescător, cu 1024 de elemente, căutarea binară compară valoarea căutată cu cel mult … elemente ale tabloului.

Răspuns așteptat: 11.

Întrebarea structurată

Întrebarea structurată este alcătuită dintr-un material-stimul (un text, un fragment de cod, un set de date, o imagine, o diagramă) și din mai multe subîntrebări legate de acesta.

Caracteristici:

• subîntrebările au un element comun: materialul-stimul;
• subîntrebările pot fi de tipuri diferite: cu alegere, cu răspuns scurt, de completare, rezolvări scurte;
• subîntrebările sunt ordonate după dificultate, de la simplu la complex;
• permite evaluarea mai multor niveluri cognitive în același item;
• orientează răspunsul elevului, deci face trecerea de la itemii obiectivi la cei subiectivi;
• fiecare subîntrebare are punctajul ei, deci notarea rămâne obiectivă.

Justificarea folosirii la informatică: întrebarea structurată urmărește în trepte modul în care elevul lucrează cu un algoritm sau cu un program. Elevul citește codul, îi urmărește executarea pentru date concrete, stabilește ce face programul în general, apoi îl modifică. Astfel, profesorul află la ce treaptă apare dificultatea.

Reguli de proiectare:

• materialul-stimul este relevant pentru competența evaluată și accesibil elevilor;
• subîntrebările sunt formulate clar și sunt ordonate după dificultate;
• subîntrebările sunt, pe cât posibil, independente: un răspuns greșit la una dintre ele nu împiedică rezolvarea celorlalte;
• o subîntrebare nu sugerează răspunsul la alta;
• fiecare subîntrebare are punctajul precizat;
• spațiul pentru răspuns corespunde dimensiunii răspunsului așteptat.

Exemplu. Se consideră tabloul unidimensional ordonat crescător (3, 8, 12, 15, 21, 30, 42), cu elementele numerotate de la 1 la 7. Pentru căutarea binară, poziția elementului din mijlocul zonei de căutare cuprinse între pozițiile st și dr este partea întreagă a lui (st + dr) / 2.

• a) Scrieți, în ordine, elementele tabloului cu care este comparată valoarea x = 30.
• b) Scrieți, în ordine, elementele tabloului cu care este comparată valoarea x = 10 și precizați rezultatul căutării.
• c) Explicați de ce căutarea binară nu poate fi aplicată pe tabloul (8, 3, 15, 12) pentru a determina dacă valoarea 12 se află în tablou.

Răspuns așteptat:

• a) 15, 30;
• b) 15, 8, 12; valoarea 10 nu se află în tablou;
• c) tabloul nu este ordonat, iar căutarea binară presupune că toate elementele din stânga mijlocului sunt mai mici, iar cele din dreapta sunt mai mari; pentru x = 12, valoarea este comparată cu 3 (poziția 2) și căutarea continuă în dreapta, apoi cu 15 (poziția 3) și căutarea continuă în stânga; zona de căutare devine vidă și valoarea nu este găsită, deși se află pe poziția 4.

Itemii subiectivi

Itemii subiectivi cer elevului să construiască liber răspunsul: să organizeze ideile, să argumenteze, să rezolve o problemă nouă, să realizeze un produs.

Caracteristici:

• răspunsul nu este dat și nu este limitat ca formă; elevul își alege modul de organizare;
• evaluează capacități complexe: analiza, sinteza, argumentarea, rezolvarea de probleme, creativitatea;
• se construiesc relativ ușor, dar se corectează greu și în timp mai mare;
• notarea depinde, într-o măsură mai mare, de evaluator; obiectivitatea se asigură prin criterii stabilite dinainte;
• un test poate conține puțini itemi subiectivi, deci acoperă o parte mai mică a conținutului;
• ghicirea răspunsului este exclusă.

Modalități de evaluare și de notare a itemilor subiectivi:

• notarea analitică: răspunsul este descompus în elemente sau criterii (conținut, etape, organizare, corectitudine), iar fiecare primește un punctaj stabilit în barem;
• notarea holistică (globală): răspunsul este apreciat ca întreg și încadrat într-un nivel (de exemplu, foarte bine, bine, suficient, insuficient), pe baza unor descriptori;
• la examene se folosește și dubla corectare: două persoane corectează independent după același barem, iar diferențele mari se discută.

Rezolvarea de probleme

Itemul de tip rezolvare de probleme pune elevul într-o situație nouă, în care trebuie să aplice cunoștințele pentru a găsi o soluție.

Caracteristici:

• situația este nouă pentru elev, nu reproduce o problemă rezolvată la clasă;
• verifică aplicarea cunoștințelor, gândirea convergentă (o singură soluție corectă) sau divergentă (mai multe soluții posibile);
• se evaluează atât rezultatul, cât și etapele rezolvării;
• la informatică, rezolvarea înseamnă de obicei un algoritm, un program sau un subprogram, deci se evaluează și eficiența și corectitudinea sintactică.