PSIHOMETRIJA VALJANOST - VALIDNOST U formalnoj teoriji merenja ± svojstvo merne skale da verno odra ava stepen prisustva osobine koja se meri U psiholo koj praksi ± veoma razu eno, kompleksno i razli ito definisano svojstvo testa U TAO (Rasch) ± nastoji se podvesti pod objektivnost merenja Kada se za merenje ka e da je validno, misli se da je ono dobro i da nema velikih nedostataka. Validnost se tretira odvojeno od relijabilnosti, ali je sa njom ipak usko povezana. Mogu nosti za ponovno spajanje validnosti s apouzdano u koja je dobro dokumentovana i operacionalizovana jeste ona koja isti e obektivnost kao osnovni zahtev koje svako merenje mora da poseduje. Na izvestan na in ± ako postoji objektivnost ± postoje i pouzdanost i validnost. U KTT su pozdanost i validnost dva centralna merna svojstva kojima se bavi psihometrija. Pouzdanost = gre ke merenja Valjanost = odnos sa stvarno u. Visoke gre ke merenja ometaju uspostavljanje bilo kakvog odnosa testa i osobine koja se meri. Tako e, test koji ne bi merio ni ta, on bi merio sve drugo i po tuma enju izvora IR kao slu ajnih pojava, on bi produkovao samo gre ke merenja. Tri aspekta, vida ili zna enja validnosti Sadr inska validnost Da li test sadr i reprezentativan uzorak pona anja, znanja, misli, ose anja iz domena koji se meri. Testovi od kojih se o ekuje da poseduju sadr insku validnost su pre svega testovi znanja. Kriterijumska validnost Da li postoji povezanost testa i neke eksterne varijable ± kriterijuma. To su pre svega testovi podobnosti npr prijema na posao. Konstruktivna validnost Da li test meri onu osobinu za koju je namenjen. To su naj e e testovi koji mere odre ene crte, npr anksioznost. Ova validnost se smatra prototipom problema validnosti ± da li test meri ono za ta je namenjen. Sadr inska i kriterijumska validnost ne sadr e u svojoj kratkoj definiciji predmet merenja testa!!! Svi oblici validacije oslanjaju se na predmet merenja: 1. Prvo predmet merenja se javlja ili posredno, kao ono to defini e domen ± u sadr inskoj validnosti ili na bihejvioralan na in ± u kriterijumskoj validnosti, kao varjansa koju test deli sa kriterijumskom varijablom, ali to se ne sme pripisati nekom mentalisti kom konstrukut. 2. validnost merenja i konkretno psiholo kog testa, uvek se odnosi na neku vrstu generalizacije: konstruktivna valjanost omogu ava da se generalizuje sa manifestvnog pona anja na konstrukt, sadr inska validnost da se sa uzorka stavki generalizuje na domen, a kriterijumska da se sa jedne mere testovnog pona anja generalizuje na drugu meru npr uspe nost na poslu, 3. retki su psiho testovi koji su konstruisani i koji su opstali iklju ivo na pragmati nom nivou predikcije i dobre zastupljenosti sadr aja.. Mnogi smatraju da je osnovna i prava valjanost ± konstruktivna valjanost. Kako povezati mernoteorijsku i psiholo ku valjanost ta se prihvata kao definicija crte: domen, kriterijum ili konstrukt U ³Standardima...´ AERA i APA defini u valjanost kao ³stepen u kome podaci i teorija potkrepljuju interpretaciju testnih skorova´ .npr ako se ka e da ispitanik poseduje dovoljnu inteligenciju za neki posao onda validnost testa potkrepljuju na e tvrdnje a)da test meri inteligenciju i b)da je izmereni stepen dovoljan. Iz definicije validnosti koju zastupaju APA i AERA sledi: 1. tipovi validnosti su samo razli iti izvori podataka kojima se potkrepljuje interpretacija skorova 2. psiholo ki test mora biti validan na sva tri na ina. Generalno, utvr ivanje validnosti testa je slo en i trajan proces i ne zavr ava se jednom skalarnom veli inom. Tri tipa validnosti se mogu svesti na razli ite izvore podataka U principu, test mora biti valjan na sva tri na ina Implicitno, merena osobina je ono to mo e da pove e sve na ine odre ivanja valjanosti Konstruktivna valjanost Naziva se i hipoteti ka a nekada i simptomatska valanost. Sli na po zna enju ali specifi na po postupku utvr ivanja je i faktorska valjanost. Unutra nja ili interna valjanost je konstruktivna valjanost, dok je kriterijumska u tom slu aju ± eksterna. Implicitna psotavka u konstruktivnoj valjanosti je da psiolo ki test meri neki konstrukt, odnosno latentnu crtu. Odgovara na pitanje: TA TEST MERI? Odgovor na to se tra i izu avanjem interne strukture testa i odnosa testa sa drugim varijablama. Konstruktivna validnost je jedini izlaz za validaciju testa kad god nemamo ni kriterijum ni univerzum sadr aja ili kada oni nisu dovoljni za definisanje osobine koja se meri. U istorijskom smislu ± najmla a je Osim u evaluaciji testova igra va nu ulogu u proveri i stvaranju teorija psiholo kih konstrukata Ima zna ajnu ulogu u sproveri i stvaranju teorijskih osnova psihologije. Alternativni nazivi: hipoteti ka, simptomatska, faktorska, interna. . . Univerzalna je, mo e da se ocenjuje na svim vrstama testova, u svim primenama. Za razliku od sadr ajne ili prediktivne validnosti oje s edanas domnantno koriste u odre enim prilikama npr testovi postignu a i testovi podobnosti. Istorijat konstruktivne valjanosti Ona je ³najmla a´ zato to je bihejviorizam odbijao mentalisti ke pojmove i zna enja stavki - konstrukte I danas postoji funkcionalisti ki pristup psihometriji po kome je skor testa zbir ajtemskih odgovora koji treba da obavi neki posao ± a ne da izmeri crtu U dana njoj psihometriji na testovne skorove s egleda na 2 na ina: 1. kao na zbir ajtemskih skorova koji treba da obavi neki posao ili 2. kao indikator neke osobine koja stoji iza izmerenog pona anja. Pona anje koje se izaziv au test situaciji je UZORAK pona anja koji izaziva merena crta. ta su konstrukti Klju ni pojam konstruktivne valjanosti je konstrukt. U bihejviorizmu: nakon S-R modela uvedene su interveni u e (organske) varijable: S-O-R. Bihejvioristi ka psihologija je izu avaju i u enje isklju ivo po modelu SR do la do zaklju ka da se taj model mora pro iriti tre im varijablama ÄO³- organskim, koja je dobila naziv NAVIKA. Navika se operacionalno defini e kao pove avanje verovatno e pritiskanja poluge ako je ono pra eno potkrepljenjem. U primeru sa Skinerovom kutijom pacovi, (S-sredina nije se menjala, R pona anje se mnogo menjalo, jer je postojala O varijabla, tj hrana koja se dobija pritiskanjem poluge, na ta se pacov navikao) Interveni u e varijable nisu imale nikakav ³vi ak zna enja´, predstavljale su samo preciznu operacionalnu definiciju pojave Npr. navika je pojava da nakon vi estrukih ponavljanja uslovna dra izaziva bezuslovnu reakciju Kasniji razvoj je doveo do pojma hipoteti kog konstrukta (MacCorquodale i Meehl) Hipoteti ka osobina se ne mo e direktno meriti pa se naziva latentnom crtom, ili u okviru psiholo ke statistike latentnom varijablom. Na osnovu doti ne teorije psiholozi su izveli konsekvence, tj mogu a pona anja kona crta izaziva i zovu ga manifestnim. S obzirom da je najbolja alatka za analizu individualnih razlika i otkrivanje njihovih latnetnih generatora (osobina) statistika, naro ito multivarijantna statistika, latentne varijable, odnosno hipoteti ki se deriviraju kao matemati ki konstrukti. 2 va ne stvari: 1) to su osobine koje ne mo emo neposredno opa ati i 2) mora postojati teorija koja predvi a izvesna manifestna pona anja koja te osobine izazivaju ili moduli u. Psiholo ki konstrukti u na elu ne treba d abudu fiziolo ki, iako povezanost sa fiziolo kim varijablama zna ajno doprinosi njihovoj kredibilnosti. To je osobina, svojstvo, stanje, ³zaklju eni entitet´ ± npr. znanje Hipoteti ki konstrukt ³se ne vidi´ i korespondira sa dana njim pojmom latentne varijable Ocenjivanje konstruktivne valjanosti Ne postoje jedinstveni postupci za njeno ocenjivanje. Najpoznatija tehnika je do danas ostala faktorska analiza Me utim, to nije dovoljno i stvoreni su razli iti postupci u cilju bolje operacionalizacije kriterijumske validacije Pre svega: nomolo ka mre a i MOMM (konvergentna i diskriminativna valjanost) Problemi konstruktivne validacije Osnovni problem je to se paralelno sa proverom valjanosti testa vr i i provera konstrukta Problemi definicije konstrukta: latentna ili emergentna varijabla, osobina ili stanje, osobina ili sindrom. . . Problemi provere konstrukta ± ta uzeti kao dokaz realnosti: homogenost, diskriminativnost, fiziolo ke korelate. . . Nomolo ka mre a Nomolo ka mre a ima dvojaku ulogu: 1. manje ili vi e precizno defini e konstrukt koji se meri 2. sama mre a treba da se pove e sa realnim svetom i empirijski proveri. Prvi deo nomolo ke mre e se NE odnosi direktno na konstruktivnu validnost ali je njen preduslov. Sastoji se od konstrukata i njihovih relacija. Npr ako je konstrukt koji test meri inteligencija, nomolo ka mre a u svom prvom delu mo e biti predstavljena re enicom ÄInteligencija je pozitivno povezana sa op tim obrazovanjem, a negativno sa kriminalitetom³. Mre a je bolja to vi e konstrukata i njihovih veza uklju uje. Drugi deo ili sloj sadr i manifestna pona anja i njihove me usobne relacije. Konstrukti iz prvog sloja prvenstveno konstrukt koji s emeri, u psihologiji imaju status latentnih varijabli. Manifestna pona anja ili opaiva svojstva ili varijable koji sadr i drugi sloj su merljvii i oni predstavljaju osnov za utemeljenje mre e u realnom svojstvu. Relacije izme u njih moraju biti precizne, proverive, lako izra unljive. Tre i sloj sadr i relacije konstrukata i manifestnih pona anja. To podrazumeva operacionalne definicije na osnovu kojih s ekonstrkti pretvaraju u pona anja, zatim se pona anja mere a sve relacije u mre i ispituju i izra unavaju. Ova tri sloja omogu avaju da se postave OPERACIONALNE HIPOTEZE koje mogu empirijski da se provere i da rezultati provere postanu deo pre e. Invencija Cronbacha i Meehla koja je trebala da olak a kako konstruktivnu validaciju, tako i proveru konstrukta Nomolo ka mre a se ³prede´ oko jednog osnovnog konstrukta Nomolo ka mre a u osnovi sadr i: konstrukte i njihove relacije, pona anja i njihove relacije, operacionalne definicije to mre a sadr i vi e ovih elemenata, smatra se da bolje dokazuje osnovni konstrukt Konstrukti A i B koreliraju pozitivno X je mera konstrukta A Y je mera konstrukta B X i Y koreliraju pozitivno CILJ Nomolo ka mre a povezuje konstrukte i podatke sa ciljem konstruktivne validacije i provere konstrukata. Klasi ne metode za utvr ivanje konstruktivne valjanosti Korelacija sa drugim varijablama Od zna aja su i male-nikakve i visoke korelacije. Te male su upravo diskriminativna validnost kod Kembela i Fiksea. Analiza korelacije se mo e odnositi na pojedina ne korelacije i na korelacione matrice, a tad se primenjuje faktorska analiza. Razlike izme u grupa Utvr ivanje razlike ke isto to i utvr ivanje korelacije sa grupi u om varijablom. Utvr ivanje razlike kriterijumskih grupa je po testnom skoru je jedna od dve osnovne metode kriterijumske validacije. . sli nost je samo na nivou metode, dok je interpretacija nalaza bitno druga ija. Konstruktivna validnost testa se ne smatra dokazim na osnovu jednog ili vi e t-testova. Studija interne strukture testa ± ajtem analiza Sli na je metodi korelacija ali se istra uju interne korelacije izme u delova testa npr stavki i delova testa sa ukupnim skorom. U jedno mo emo biti sigurni: za test koji se pokazao kao homogen-jednodimenzionalan, mo emo biti sigurni da meri neki odre eni kosntrukt. Ako je merenje obavljeno bez ve ih gre aka, takav test e imati i vsoku pouzdanost interne konzistencije. . ali TEST KOJI nije homogen, jo uvek mo e biti konstruktivno validan ± stavke koje nisko koreliraju sa ostalima ili ukupnim skorom, mogu da pove aju validnost ukupnog skora. Studija interne strukture mo e podrazumevati analizu posebnih grupa ajtema koji se po ne emu razlikuju od ostalih ajtema u testu. Otkrivanje i otklanjanje odgovara kih usmerenja tako e se mo e podvesti podo vu metodu konstruktivne validacije. Studija promena izme u administracija testa U ovu metodu mo emo uvrstiti i eksperimentalne ili kvazieksperimentalne nacrte u kojima izme u vi e administracija testa namerno interveni emo na nekim varijablama.. test da bi bio validan mora ostati invarijantan na eksperimentalne manipulacije ili mora pokazati promene koje su u skladu sa nomolo kom mre om. U suprotnom- ako su promene neo ekivane ± nomolo ka mre a se mora menjati. Studija procesa posmatranje ispitanika tokom re avanja testa, analiza pojedina nih odgovora, izu avanje u injenih gre aka, kori enje tehnike Ämisliti naglas³ itd, su tehnike koje se mogu koristiti za dokazivanje ili unapre enje nomolo ke mre e, a time i za konstruktivnu validaciju. Nisu samo kvalitativne analize primenljive u studiji procesa. Korisne su i matemati ke i statisti ke analize. Faktorska analiza Naj e e i najja e oru e za konstruktivnu validaciju. Faktori se tretiraju kao mere konstrukata. Faktori kao linearne kombinacije manifestnih varijabli imaju epistemolo ki status mera latentnih varijabli. . nema univerzalnog recepta za izbor konkretne faktorsko analiti ke tehnike koja bi zadovoljila utvr ivanje konstruktivne validnosi svakog testa. FA je iroko dostupna zahvaljuju i dostupnosti na ra unarima i psiholog mo e da isproba veliki broj re enja. Konvergentna i diskriminativna valjanost i MOMM Multiosobinska ± multimetodska matrica MMOM je pristup za procenu konstruktivne valjanosti skupa mera dobijenih nekim psiholo kim merenjem, razvijena je kao poku aj da se pru i prakti na metodologija za procenu konstrukt.valjanosti. Nomolo ka mre a kada se pojavila je bila logi na osnova za procenjivanje konstruktivne valjanosti, me utim je ostala u sferi logike i nije se pokazala od koristi istra iva ima pri kvantifikaciji validnosti merenja. Za mnoge testove se pokazalo da visoko koreliraju sa nekom crtom za koju nisu namenjeni da mere i koju ne bi trebalo da mere. Da bi se dobile validne mere, korisno je da se iz korelacije dva testa parcijaliziraju efekti instrumenta i drugi kontaminiraju i faktori. U tom cilju su Kambel i Fiske uveli dva nova tipa validnosti ± konvergentnu i diskriminativnu, kao potkategorije konstruktivne validnosti i stvorili MMOM matricu kao metodologiju za njihovu procenu. Motiv im je bio da samo jedan metod za prikupljanje podataka i samo jedan indikator za merenje konstrukta (monometodski i monoosobinski pristuo) vode u pristrasnost. MMOM tehnika je bazirana na razmi ljanju da je neko mereno svojstvo kvantitativno, na principu da se mereni atribut stalno i kontinuirano povezuje sa drugim, irim i vi im konstruktima i da se empirijski dokazuju te veze, to je sadr ano u metodologiji nomolo ke mre e Kronbaha i Meela, sli an pristup se naziva triangulacija. Stvorili su ih Campbell i Fiske, nastoje i da objektiviziraju i operacionalizuju konstruktivnu valjanost Nomolo ka mre a se nije pokazala dovoljno operacionalizovana Konvergentna valjanost Konvergentna valjanost je princip da mere teorijski sli nih konstrukata moraju biti visoko korelirane! Npr. 4 ajtema I svaki stvarno reflektuje konstrukt dominantnosti, mo emo o ekivati da e biti visoko korelirani kao na slici. Te visoke korelacije su odraz konvergentne valjanosti. Tome se dodaje: Teorijski sli ni konstrukti moraju biti visoko korelirani, bez obzira kojom tehnikom su izmereni Diskriminativna valjanost Diskriminativna valjanost je princip da mere teorijski razli itih konstrukata ne smeju me usobno da visoko koreliraju! Primer 2 konstrukta: dominantnosti i socijabilnosti, svaki meren sa 2 ajtema. O ekuje se da kros-korelacije budu NISKE, i ako jesu niske dokaz su diskriminativne valjanosti! Dodajemo: Teorijski razli iti konstrukti ne smeju visoko korelirati, bez obzira kojom tehnikom su izmereni A ako je korelacija razli itih konstrukata izmerenih istom tehnikom visoka, onda sumnjamo da je ona posledica toga to je primenjena ista tehnika! Multiosobinsko-multimetodska matrica - MOMM Metod Projektivni Verbalni Osobina Projektivni Verbalni Pouzda-nost Pouzda-nost Bri nost 1 Bri nost 2 1 2 Projektivni Pouzda-nost 0,70 1 Verbalni Pouzda-nost 0,50 2 0,60 0,55 0,80 0,45 0,65 0,75 0,40 0,85 Projektivni Bri nost 1 Verbalni Bri nost 2 MOMM Dijagonala za pouzdanost (monoosobinska i monometodska) u njoj se nalaze ocene pouzdanosti svake mere u matrci. To se ocenjuje bilo kojom metodom (test-retest, interna konzistencija). U dijagonali pouzdanosti postoji onoliko koeficijenata koliko ima mera. Dijagonale za validnost (monoosobinske-heterometodske) u njima se nalazi korelacija izme u mera iste crte merenih razli itim metodama. O ekujemo da budu visoko korelirane. Heteroosobinski-monometodski trouglovi - To su korelacije izme u mera koje dele isti metod merenja. Dele metod a NE osobinu ili konstrukt. Ako su ove korelacije visoke, to je zbog toga to razli ite stvari kada se mere istom metodom rezultira koreliranim merama ± jak faktor metoda. Heteroosobinski-heterometodski trouglovi ± korelacije koje se razlikuju kako po osobini, tako i po metodi, ne dele ni osobine ni metode, o ekujemo da e biti najni e u matrici. Monometodski blokovi ± sastoje se od svih korelacija koje dele isti metod merenja. Postoji onoliko blokova koliko ima metoda merenja. U meri u kojoj su korelacije unutar ovih blokova vi e od korelacija u heterometodskim blokovima, metodi predstavljaju zna ajan faktor. Heterometodski blokovi ± sastoje se od svih me umetodskih korelacija koje ne dele iste metode. Ako su korelacije u ovim blokovimani e od korelacija u monometodskim blokovima, zaklju ujemo da postoji efekat metoda i zaklju ujemo da oni blokovi-metodi kod kojih su te razlike ve e ± vi e uti u na rezultate merenja. MMOM je matrica ± tehnologija za procenu i konvergentne i diskriminativne validnosti, koje su dve strane konstrukttivne validnosti. Da bismo dokazali da merenje poseduje konstruktivnu validnost, moramo dokaati da ono ima svojestvo konvergencije i diskriminacije. U MMOM strategiji validacije istra iva koristi vi estruke indikatore po konstruktu, prikuplja podatke za svaki indikator pomo u vi estrukih metoda i/ili iz vi estrukih izvora. OSNOVNO SREDSTVO MMOM METODOLOGIJE JE MMOM MATRICA KOJA PREDSTAVLJA MANJE V E UOBI AJENU MATRICU INTERKORELACIJA SVIH MERA DOBIJENIH NA RAZNIM CRTAMA POMO U RAZNIH METODA. Kriterijumska valjanost Odgovara na pitanje: DA LI TEST MO E DA ZAMENI MERENJE NEKE AKTIVNOSTI²OSOBINE? Ta aktivnost ili osobina se naziva kriterijumom Dakle, kriterijum se uzima kao predmet merenja testa, a namena je testa da zameni kriterijum Alternativni nazivi: pragmatska, prakti na, empirijska, statisti ka. Ova validnost se bavi odnosom testa i nekog svojstva ili aktivnosti kao kriterijuma. Pitanje koje se postvlja je da li test korelira sa tim svojstvom ili kativno u , odnosno pitanje je da li umesto da merimo svojstvo ili aktivnost mo emo da promenimo test. Odgovor na to pitanje se daje tokom kriterijumeske validacije (validacione studije), po pravilu u formi nekog koeficijenta asocijacije ± kojeficijenta validnosti. U praksi: validnost nam ka e da li na skup mernih operacija mo e da poslu i kao zamena za neki drugi skup mernih operacija. KRITERIJUM SE DEFINI E KAO STVARNI PREDMET I CILJ MERENJA, a kriterijumska validnost podrazumeva prihvatanje skupa operacija testiranja kao adekvatne fefinicije kriterijuma, ma kakav on bio. Kriterijumski validan test je onaj koji mo e da zamen kriterijum u nekom razumnom stepenu. Iz toga se javljaju dva alternativna naziva ± pragmatska (prakti na) ili empirijska valjanost. Prakti na je zato to se mo e jednostavno odrediti za bilo kakvu vrstu testa, bez obzira na format stavki, na in zadavanja... Vremenski odnos testa i kriterijuma U odnosu na konkretnu primenu testa kao prediktora kriterijum se mo e nalaziti u 3 vremena, pro lo, sada nje i budu e. Vremenski odnos testa i kriterijuma uop te ne uti ena principe kriterijumske validacije. U ³normalnoj´ psihologiji Kriterijum je u budu nosti ± prediktivna valjanost ÄStandardna³ situacija kada se test primenjuje da bi se predvideo kriterijum koji e se desiti u budu nosti. Najvi e o ekuje od testova postignu a i testova podobnosti, dakle u sferi profesionalne orijentacije, selekcije i klasifikacije. Kriterijum je u sada njosti ± konkurentna ili simultana valjanost tako e izraz i simultana validnost. (istovremeno kad i test). Konkurentna validnost mo e da se meri npr papir-olovka testom. Uvek nam je namera da otkrijemo ta postoji SADA dakle u vreme testiranje, a ne pro le doga aje (osim kao uzroke SADA NJIH stanja, niti predkciju). Jo jedna definicija ± McDonald podrazumeva pod konkurentnom validno i prvenstveno korelaciju testa koji se validira sa drugim testom iste namene i proverene validnosti. Kriterijum je u pro losti ± postdiktivna valjanost kriterijum se dogodio ili bio prisutan pre primene testa. Test je i dalje prediktor, a kriterijumska varijabla ± kriterijum, bez obzira na njihov vremenski redosled. Treba da je imaju testovi koji predvi aju pona anja ispitanika u pro losti., npr kriminologija. Najbolje kroz anketu. U psihopatologiji ± potrebna je postdiktivna validnost kada se testovima eli ispitati premorbidalna li nost. Tu se rade upitnici i intervjui. U abnormalnoj psihologiji Kriterijum je u budu nosti ± prognosti ka valjanost Ova validnost zahteva kada se eli oceniti efikasnost terapijskih postupaka, ili toka bolesti u budu nosti. Ova validnosti ima svoje specifi nosti jer se esto vezuje za neku intervenciju iji efekat na ispitanike prou avamo. Kriterijum je u sada njosti ± dijagnosti ka valjanost primarno se koristi za postavljanje dijagnoze, du evne bolesti npr. S obzirom da se kriterijumdu evna bolest i testiranje odvijaju istovremeno, klini ko testiranje zahteva konkurentnu validnost. ta je kriterijum Kriterijum je varijabla koja se mora meriti Za to merenje va e isti principi kao i za svako drugo psiholo ko merenje: pouzdanost, validnost, diskrimina-tivnost, te ina. . . Obi no se kriterijum defini e kao emergentna varijabla ± uspe nost u radu, stanje zdravlja itd.Emergentne varijable - neko stanje, smer kauzalnosti od indikatora ka konstruktu.Em.var. su obi no iri pojmovi za niz indikatora. Kriterijum je skup od jedne ili vi e varijabli koje opisuju stanjei ili efikasnost pona anja ispitanika u razli itim situacijama. Kriterijum se u kriterijumskoj validnosti mora operacionalizovati kao jedna ili vi e varijabli, to podrazumeva merenje kao najvi i nivo operacionalizovanosti. Varijabla mo e biti kategorijalna ili kontinuirana, diho ili politomna. Kriterijumske varijable su najbolji indikatori odre enih stanja. Vrste kriterijuma Razli ite mogu nosti podele: s obzirom na vreme ± budu i, sada nji i pro li prema vremenskom polo aju u odnosu na test. s obzirom na oblast ± uspe nost u radu i stepen i vrsta abnormalnosti Tj prema njihovom op tem sadr aju ili oblasti. po bliskosti i neposrednosti: ± ultimativni, ili finalni kriterijum su npr brzina i ta nost radnih operacija kod poslova koji se sastoje od jednostavnih operacija i iji je osnovni cilj izvo enje takvih operacija. Ultimativni kriterijum predstavlja odre enu redukciju, ekstrakciju ili apstrakciju. ± posredni kriterijum je zamena za aktivnost neposrednog kriterijuma. Naj e e kori en ± kolske ocene, pretpostavka da iza ocene stoji ste eno znanje. , ± neposredni Neka aktivnost ili pona anje koje mo e neposredno da zameni Äpravu³ aktivnost. Ocene u koli mogu biti i neposredni kriterijum kao osnov za validaciju prijemnih. po specifi nosti : ± op ti obuhvataju ire celine delatnosti koja se prediktuje, pa i delatnost u celini. ± specifi ni sastoje se od precizno definisanih varijabli koje se odnose na ta no ograni ene aktivnosti, bitne za odvijanje posla. Po pravilu se mogu dobro izmeriti teorijski predstavlja definiciju dobro obavljenog posla u skladu sa eljama i potrebama konkretne organizacije ili ire zajednice. I stvarni je na in na koji je teorijski kriterijum operacionalizovan ili izmeren. po metrijskim karakteristikama ± diskretni i kontinualni. To nema u knjizi, ali ima po metrijskim osobinama podela na jedno i vi edimenzionalne, na ure ene i neure ene... Uspe nost u radu Univerzalne kriterijumske varijable u domenu uspe nosti na poslu su svakako valitet i kvantitet (produktivnost) obavljenog posla Naj e i kriterijum u psihologiji zdravih Dve univerzalne varijable ovog kriterijuma su: Kvalitet Kvantitet Univerzalni prediktori uspe nosti su: Inteligencija Prva merena osobina u psihologiji. Inteligencija sama za sebe niej dovoljna iako je to osobina li nosti koja je najprediktivnija za uspe nost na poslu. Od psihologa s enajmanje o ekuje da identifikuje one kandidate koji sigurno ne e zadovoljiti na poslu. Podobnosti Osobine li nosti petofaktorski model se npr nije pokazao kao najrelevantniji za predvi anje uspe nosti na poslu... najve u validnost ima savesnost... Merenje uspe nosti Kriterijum se mora prvo operacionalizovati na pogodan na in da bi bio pravilno iumeren. Naj e i na in operacionalizacije je redukcija. Operacionalizacija obi no zahteva Redukciju Procedura operacionalizacije mora kao rezultat dati jednu ili vi e varijabli i na in njihovog merenja. Redukcija se dobrim delom poklapa sa onim to je Spektor nazvao ± prelazak sa teorijskog na stvarni kriterijum i s neposrednog na posredni. Prelaz sa teorijskog na stvarni Prelaz sa neposrednog na posredni Cilj je da se kriterijumske varijable mogu izmeriti to pouzdanije, valjanije i jednostavnije Ultimativni kriterijum nekad predstavlja radikalnu redukciju ciljeva i zadataka nekih profesija, ali se u zna ajnoj meri dobija na objektivnosti i lako i merenja. Posle operacionalizacije kriterijuma ostaje zadatak merenja kriterijumskih varijabli. Mogu se meriti na bilo kom NOIR nivou merenja. Stepen i vrsta abnormalnosti Druga najve a oblast primene psiholo kog testiranja je oblast psihopatologije, klini ke psihologije i psihologije savetovanja. Da bi neki psiholo ki test bio kriterijumski valjan, njegovi skorovi moraju omogu iti da se ispitanici ta no razvrstaju u kategorije-klase. Ako je nominalna kriterijumska varijabla (a kriterijum smo definisali kao jednu nminalnu varijablu koja kao kategorije ima klase bolesti, sihijatrijske ili nozolo ke dijagnoze), nije pouzdana i nije validna, verovatno a da e neki test u tom slu aju pokazati dovoljno visok kojeficijent validnosti je veoma mala. Da bismo znali tada da li ispitanik pripada jednoj ili drugoj nozolo koj kategoriji, u klini koj praksi emo merenje kriterijuma obaviti psihijatrijskom procenom. Naj e i kriterijumi u abnormalnoj psihologiji Mere se vrlo esto klini kom procenom Osnovne heuristi ke tehnike za tu procenu: Prevalenca ± u populaciji Incidenca ± broj novih slu ajeva Komorbiditet ± preklapanje sa drugim bolestima Konkordanca ± sli ni slu ajevi u porodici Univerzalna kriterijumska varijabla ± recidivizam U oblasti psihopatologije u celini se mo e identifikovati bar jedan univerzalni kriterijum, analogan kriterijumima kvantiteta i kvaliteta u oblasti uspe nosti u poslu ± recidivizam. Broj i u estalost ponavljanja psihopatolo kih pona anja ukazuje na te inu i prirodu aberacije ma u kom se domenu javljala. Koriste se i testovi za predvi anje uspeha nekog terapijskog postupka, za pra enje toka bolesti i za prevenciju patolo kih pona anja. Problemi merenja kriterijuma Pouzdanija mera ± test, validira se manje pouzdanom merom ± procenom Cirkularnost ili kontaminacija ± testovi se koriste i za merenje kriterijuma Neki autori vide u kriterijumskoj validaciji elemente cirkularnog zaklju ivanja zato to s ejedno merenje validira na osnovu drugog, a kasnije ono prvo se ini da potvrr uje drugo. Naprijemnim ispitima selekcija se npr vr i preko PVI... kolske ocene se sti u na osnovu PVI, pa tako mo emo re i da je validacija znanja sa prijemnog putem kolskih ocena u principu cirklarna i kontaminirana. KONTAMINACIJA je za Kohena situacija u kojoj je kriterijum delimi no (recimo neka od njegovih varijabli) izveden na osnovu merenja istim testom ija se validnost ispituje.. primer: do kontaminacije bi do lo ako bismo validnost klini kog testa MMPI za pravilno dijagnostikovanje pacijenata proveravali na pacijentima ije su dijagnoze ve utvr ene na nekim klinikama na osnovu MMPI. Cirkularnost mo e postojati i bez kori enja istog testa za merenje kriterijuma. Isti pristup, ista pravila merenja, isti teorijski ili mentalni okvir... stvore uslove za kontaminaciju kriterijuma. Kriterijum je pogre no operacionalizovan: nije potpun, ili nije relevantan Stvarni kriterijum je nepotpun ako ne pokriva potpuno teorijski kriterijum. Relevantnost se mo e izgubiti tokom prelaska sa teorijskog na stvarni kriterijum, sa ultimativnog na posredni, sa op teg na specifi ni... relevantan je samo ako njegove mere logi ki i stvarno reprezentuju terijski kriterijum. Osnovni nacrti kriterijumske validacije Longitudinalni Primimo sve i pratimo uspe nost Osnovni postupak je da s egrupa kandidata za neki posao ispita testom ili baterijom iju validnost odre ujemo i da se zatim prati i meri uspeh grupe na poslu. Ovaj nacrt se deli na dve varijante. U prvoj varijanti - svi su primljeni, to je statisti ki i psihometrijski naj istiji slu aj kriterijumske validacije. U drugoj varijanti bivaju primljeni samo najbolji kandidati, to je s stanovi ta radne organizacije jedina opravdana varijanta. Istovremeni, konkurentni ili simultani poredimo uspe ne i neuspe ne radnike U ovom postupku radnicima koji rade jednu vrstu posla s eodredi uspe nost na tom poslu i istovremeno se ispitaju testom ili baterijom testova. Kriterijum je u sada njosti, ali je cilj validacione studije da se odredi prediktivna valjanost. Koristi se dakle simultana validnost da bi se odredila prediktivna. O ekujemo apriori selekcionsai uzorak. Na osnovu uspeha u obuci sastoji se u tome da se umesto uspeha na poslu uzima uspeh na obuci ili prethodnom osposobljavanju za taj posao.koristan kada posao zahteva skupu obuku... Unakrsna validacija sa drugim testovima, ispitanicima, aktivnostima... Ovim se proverava stabilnost validnosti testa , a postupak se oslanja na generalizibilnost pona anja. Moramo biti sigurni da e test za koji znamo da je validan za neku delatnost, pokazivati tu validnost bez obzira na uzorak ispitanika. O ekujemo i da e test biti prediktivan u odnosu na sli ne delatnosti ili situacije. Koeficijenti validnosti Pod tim pojmom podrazumevamo izbor jedne ili vi e statisti kih tehnika pomo u kojih se ocenjuje stepen povezanosti testnih i kriterijumskih varijabli. Povezanost varijabli se naziva asocijacijom, a pokazatelji stepena asocijacije ± kojeficijentima asocijacije. Ukoliko je stepen povezanosti testa i kriterijuma dovoljno visok, mo e se smatrati da spiho test mo e da slu i kao zamena za kriterijum. Postojanje koeficijenta validnosti ini ovaj tip validnosti jedinstvenim Koeficijent validnosti je mera asocijacije testa i kriterijuma Izbor koeficijenta zavisi od broja i prirode testnih i kriterijumskih varijabli. Obi no se smatra da test ima stabilne kvantitativne varijable, kakvi s eobi no smatraju testni skorovi. to vi e varijable kriterijuma i testa odstupaju od ideala (sa malim gre kama merenja), to e se izbor odgovaraju ih statisti kih pokazatelja smanjivati a kvalitet njihove ocene bivati sve slabiji ± u obliku standardnih gre aka ili smanjene mo i testiranja zna ajnosti. U multivarijatnom slu aju ± redukcija dimenzionalnosti i baterije i kriterijuma. Kada imamo vi edimenzionalan kriterijum i bateriju testova, esto emo se odlu iti da kriterijum i testove svedemo na jednu dimenziju, odnosno da izvr imo redukciju dimenzionalnosti. Faktori koji uti u na visinu koeficijenta validnosti Pouzdanost testa i kriterijuma ± korekcija za atenuaciju. Pouzdanost testa ograni ava visinu njegovih korelacija sa drugim varijablama. Isto va i i za kojeficijente valjanosti, kao pokazatelje asocijacije izme u veze i kriterijuma. Sa strane testa podatak o pouzdanosti je obi no dostupan pa je jednosranu korekciju za atenuaciju lako obaviti. Te e je obaviti dvostranu korekciju, jer te ko dolazimo do pouzdanosti kriterijuma., zato se radi jednostrana. Paradoks atenuacije- visoka poudanost unutra nje konzistencije ograni ava valjanost jer kriterijumska valjanost Ävoli³ da stavke butu razli ite. Restrikcija opsega To zna i ± smanjena varijabilnost. Do smanjenja varijabilnosti testnih i kriterijskih skorova dolazi zbog: 1. selekcioniranost uzorka ispitanika 2. nedovoljna diskriminativnost testa. Smanjena varijabilnost dovodi do smanjenja kojeficijenta korelacije na nivou formule. Moderatorske i medijatorske varijable Razlike kojeficijenata validnosti unutar podgrupa tuma e se u okviru delovanja tzv moderatorskih varijabli. Osim podele na grupu primljenih i grupu odba enih, tokom validacione stuije se mogu pojaviti i druga ije podele, npr kojeficijent validnosti nije isti kod mu karaca i ena, starijih i mla ih, vi e i manje motivisanih... Zato s eka e da su varijable pola, motivisanosti i starosti ± moderatorske varijable. Du ina testa (uticaj na pouzdanost) du ina testa uti e na pouzdanost interne konzistencije. Spirman-Braunov obrazac-proro ki obrazac. Poudanost uti e na kojeficijente validnosti, pa sledi da du ina testa uti e na kojeficijente validnosti.. za pove anje kojeficijenta validnosti potrebno je test malo produ iti, to nije lako. Oblik distribucije i priroda veze. . . Na maksimalnu visinu kojeficijenta validnosti uti e oblik distrivucije testnih i kriterijumskih varijabli, kao i priroda veze izme u tih varijabli: da li je linearna ili nelinearna. Izbor kojeficijenta koji e slu iti kao kojeficijent validnosti zavisi od veli ine uzorka. Za male (nmanje od 30) neparametrijski testovi ± X-kvadrat ... Selekcija i klasifikacija kao psihometrijski problem U svim fazama selekcije I klasifikacije primenjuje s emerenje razli itih svojstava, od karaktersitika radnog mesta do osobina ljudi. Selekcija podrazumeva utvr ivanje da li ispitanici poseduju neka svojstva I da li ih poseduju u dovoljnom stepenu da bi mogli biti razvrstani u neku grupu. U psihopatolo kim oblastima potrebno je utvrditi da li ispitanik poseduje takav sklop osobina da bi s emogao klasifikovati kao du evno bolestan kao sklon kriminalu ili bolestima zavisnosti ili kao pogodan za neku terapiju« Zadatak KLASIFIKACIJE je uvek slo eniji od zadatka selekcije. Klasifikacija podrazumeva utvr ivanje ispitanikovog sklopa osobina sa nekim tipom ± etalonom I istovremeno razli itosti od drugih tipova ± etalona. Analiza radnih mesta nam daje podatke o znanjima, ve tinama, sposobnostima i osobinama li nosti ± ZVSO ± potrebnim za obavljanje posla Na osnovu toga se mo e vr iti profesionalna selekcija, kao i profesionalna orijentacija i klasifikacija Selekcioni dijagrami Dijagrami selekcije 1. a ± pogre no odba eni uspe ni su na poslu ali ih na osnovu testa nismo primili 2. b ± pravilno primljeni primljeni i bi e uspe ni na poslu 3. c ± pravilno odba eni nismo primili i bili bi neuspe ni 4. d ± pogre no primljeni primili smo ih a bi e neuspe ni. Ako prebrojimo slu ajeve koji se nalaze u ovim zonama i ako sa Än³ ozna imo ukupnu veli inu grupe, onda za selekciju i dijagnostiku postoje slede e propozicije: Bazna stopa - te ina posla - proporcija uspe nih bez selekcije = (a + b)/n. Bez upotrebe testa, u dijagnostici je to stopa oboljenja od neke bolesti ili verovatno a da emo slu ajno pogoditi da li neka osoba ima tu dijagnozu. Strogost selekcije = (b + d)/n - Proporcija primljenih Stopa proma aja = (a + d)/n Proporcija poge no odba enih i proporcija pogr no primljenih Selekcioni koli nik = broj mesta / broj prijavljenih Ako je manji od 1, zna i da ima vi e mesta nego kandidata. Ali i tad selekcija ima smisla. SROGOST SELEKCIJE JE OME ENA SELEKCIONIM KOLI NIKOM. Na uspe nost selekcije uti u koeficijent validnosti, selekcioni koli nik i bazna stopa Na njih psiholog ne mo e uticati Psiholog mo e uticati na strogost selekcije - Xc Korisnost selekcije Va na je prediktivna ili finansijska korisnost koja je neposredna, ali i posredna, ona koja se ti e motivisanja primljenih... Korisnost u celini zavisi od validnosti, selekcionog koli nika i 4 proporcije Sve se svodi na na u sposobnost d ana osnovu rezultata X predvidimo uspe nost na kriterijumu Y, a to je problem prediktivne validnosti, s jedne strane, a pitanje regresije sa druge strane. Prediktivna korisnost ili finansijska korisnost je ono to selekcija i klasifikacija moraju da postignu. Klasifikacija se javlja u 2 osnovne varijante: 1. Kao profesionalna orijentacija ili savetovanje. -savetovanje za izbor zanimanja 2. Simultano sa selekcijom kada s ena osnovu jednog celovitog psiholo kog ispitivanja mora doneti odluka da li e neki kandidati biti primljeni i na koje konkretno radno mesto/u koju kolu. Najjednostavnija procedura je na osnovu profila radnih mesta Postoje razne sugestije o tome koje osobine treba da u u u profil ± potrebnih osobina za neko radno mesto. Profil je rezultat analize radnog mesta. Vrlo poznat je Hollandov heksagon, koji razvrstava ljude i poslove u: konvencionalni, realisti ni, istra iva ki, umetni ki, dru tveni i preduzetni ki tip. Na osnovu njegove teroije izvr ena je podela 12000 ameri kih zanimanja i konstituisani su i psiholo ki instrumenti koji mere 6 dimenzija li nosti. Razvio je i tehnologiju po kojoj pojedinci sami mogu da odrede grupe zanimanja koje im najvi e odgovaraju. ± samoprocena aspiracija. U domenu psihologije, klasifikacija se odnosi na dijagnostikovanje. Pristrasnost testova i selekcija U oblasti diferencijalnog funkcionisanja ajtema termin pristrasnost sadr i nepotrebne vrednosne konotacije, zbog ega se umesto njega danas koristi termin DIF. Ali u oblasti selekcije od posebne je va nosti da procedura ne bude pristrasna ± nepravedna. Pristrasnost ili diferencijalno funkcionisanje se defini e kao razlika u testnom skoru koja ne poti e od razlike u osobini Mo e imati razli ite oblike, a naj e i uzrok je u delovanju tre ih varijabli Problem testiranja u razli itim lingvisti kim grupama kada se testiranje ne obalja na maternjem jeziku ispitanika. Posebno zna ajno je kognitivno testiranje, tj test postignu a. Problema kvota ili klju a. Problem se raspravlja u sklopu grupne pristrasnosti i mu i prvenstveno selekciju. Naj e e kod sociodemografskih varijabli uklju enih kao apriori kriterijumi selekcije. Kvote ± ravnomerna selekcija po polu, nacionalnosti, religioznoj pripadnosti.. Klju ± po tju i klju mi po tujemo grupna prava a zanemarujemo individualna prava, - odbacujemo p ojedince koji nisu Äpo klju u³, iako zahteve posla potpuno zadovoljavaju! Diferencijalno funkcionisanje ajtema ± DIF Ranije se nazivalo pristrasnost Referentna i fokusna grupa poti u iz razli itih populacija . Referentna grupa je ona koja se koristi za kalibraciju odnosno ba darenje stavki ili testa i ona defini e skalu ili metriku latentne crte. Fokusna grupa je ona iju ravnopravnost poredimo sa referentnom. Obe predstavljaju uzorke iz razli itih populacija, za koje se unapred zna da su relevantne za konstrukicju testa ili za neku konkretnu primenu testa ili na osnovu iskustva sumnje da su relevantne. Populaciju ini bilo ko. Ajtemi poseduju diferencijalno funkcionisanje onda kada imaju razli it prose ni ajtemski odgovor u referentnoj i u fokusnoj grupi IAKO SU OBE GRUPE JEDNAKE PO LATENTNOJ OSOBINI. DIF je kada obe grupe nemaju isti prose an skor iako imaju isti nivo osobine Drugim re ima: ako dve osobe imaju istu osobinu, moraju imati isti odgovor, bez obzira u kojoj su grupi Interna pristrasnost, pristrasnost merenja ili ajtemska pristrasnost je doferencijalno funkcionisanje. DIF Uzrokuju ga ³tre e´ varijable i zato se tretira kao pitanje validnosti. Posmatra se i sa stanovi ta jednakosti merenja, u ovom slu aju iz uzroka iz razli itih populacija. Pojmovi validnosti, pristrasnosti i diferencijalnog funkcionisanja su povezani.. Zumbo razlikuje efekat: - efekat ajtema, - lanovi dve grupe imaju zna ajno razli itu verovatno u pozitivnog odgovora na ajtemu zbog razli itog nivoa osobine. - DIF, - isto kao prethodno, ali nakon to se lanovi ujedna e po osobini koju ajtem treba da meri. - pristrasnost ajtema i ± kada lanovi grupe imaju manju verovatno u pozitivnog odgovora zbog neke karakteristike ajtema ili testne situacije koji nisu relevantni za svrhu testa. - ne eljeni efekat ± kada lanovi grupe imaju neproporcionalno razli ite anse da budu primljeni, npr na posao, a na osnovu testnog skora. UKOLIKO NEMA DIFA NEMA NI PRISTRASNOSTI! Umesto Äpristrasnosti ajtema i testa³ u literaturi dominira termin DIFERENCIJALNO FUNKCIONISANJE ± DIF. 4 osnovna tipa DIFA, a mi imamo 2 tipa Uniformni DIF odra ava samo razli itu te inu ajtema po grupama Razli ita te ina ajtema u grupama Neuniformni DIF poti e od nejednake diskriminativnosti ajtema u grupama Nejednaka diskriminativnost u grupama. Neuniformni DIF s eprepoznaje po UKR TENIM krivama u referentnoj i fokusnoj grupi ± LORDOVOM PARADOKSU. Najte a je diferencijacija neuniformnog DIFA. DIF se uobi ajeno tuma i postojanjem vi eimenzionalnosti ili nejednake dimenzionalnosti predmeta merenja u razli itim grupama. Otkrivanje DIF-aUgra eno je u TAO software, ali postoje i druge tehnike Detekcija DIFa je standardna operacija u svim ajtem analizama., nema sigurnog na ina da se taj zadatak stoprocentno obavi. Postoje tri procedure za otkrivanje 1. metode Hi kvadrata ± glavna metoda 2. metode klasi ne testne teorije 3. TAO metode koje je najbolja, ali zahtevaju najvi e ra unanja, poseban softver, velike uzorke i ve i broj ajtema. DIF se kod TAO otkriva na dva na ina grafi ki i algebarski: Mantel-Haenszelov statistik slaganja dve grupe jednostavna i dobra, ali nedostaci: nisu dovoljno veliki, MH metoda otkriva DIF u manje od 50% slu ajeva, slabo otkriva i lo e se pona a ako postoji neuniformni DIF Grafi ke tehnike (pore enje KKS) ako ajtem nema DIF ± KKS e biti jednake. Na ovaj na in se mo e uo iti na kojim nivoima osobine su razlike najve e. Najlak e se otkriva uniformni DIF Neuniformni se manifestuje Lordovim paradoksom Inkrementalna validnost Informacija koju test dodaje ve postoje im informacijama Sa gledi ta regresije, prediktivniji e biti oni testovi koji ne koreliraju sa ostalima Treba uklju iti onaj test koji ima najve u semiparcijalnu korelaciju sa kriterijumom (daje najve i porast R) esto se pominje u savremenim psihometrijskim tekstovima. Mnogi autori savetuju da se prediktivna valjanost zameni terminom prediktivna korisnost jer je taj termin op tiji. U tom slu aju izbortestova za selekciju, odnosno konstrukcija baterije, moraju se rukovoditi idejom prediktivne korisnosti. To zna i da treba uklju iti samo one testove koji doprinose korisnosti, a za njih s eka e da poseduju INKREMENTALNU VALJANOST. Ti testovi pove avaju prediktivnu valjanost postoje eg postupka kada se uklju e u predikciju ili dijagnostiku. Kada imamo 2 prediktora, primeni emo vi estruku regresiju i verovatno e se desiti da predikcija (vi estruki R) bude tek neznatno uve ana. To je zato to ta dva prediktora visoko koreliraju. Ali tad dodajemo jo jedan prediktor (npr 1 prediktor vreme u enja visoko korelira sa 2 prediktorom ± vreme u enja u biblioteci, a tre i prediktor ± vreme spavanja nisko korelira. I taj tre i ima inkrementalnu validnost jer on manje korelira sa ova dva i predstavlja jedan drugi aspekt pripreme za ispit. Dakle inkrementalna validnost se mo e operacionalizovati kao SEMIPARCIJALNA korelacija, odnosno ± stopa pove anja vi estrukog R u selekcionoj ili klasifikacionoj jedna ini. Takva operacionalizacija prili no su ava polje argumenata u prilog definisanju inkrementalne validnosti kao posebne vrste validnosti. Sadr inska valjanost Odgovara na pitanje: DA LI SU STAVKE U TESTU REPREZENTATIVAN UZORAK STAVKI IZ DOMENA CRTE KOJA SE MERI? Odgovor na sto se tra i u ekspertskoj analizi sadr aja stavki, u u pore ivanju sa teorijskim osnovama iz kojih je proistekao doti ni domen, u iskustvu i uverenju konstruktora testa, a naro ito kroz sam postupak konstrukcije testa. Pod reprezentativno u se ne podrazumeva slu ajno biranje ± pre nameran uzorak. Radi se na slo en na in. Sadr inska validnost se odre uje deduktivno, esto jo tokom konstrukcije testa, tako to se odredi univerzum stavki (na osnovu teorije, prakse ili apriori), iz tog univerzuma se uzorkuju stavke za test na osnovu nekog sistematskog postupka. U SADR INSKOJ VALIDNOSTI SE UNIVERZUM SADR AJA PRIHVATA KAO DEFINICIJA VARIJABLE KOJA SE MERI. Sadr inska validnost se vr i procenom saglasnosti stavke i domena koji im predstavlja pozadinu. To podrazumeva evaluaciju indikatora i neposredne formulacije stavki jer oni mogu biti pogre ni bez obzira na namere konstruktora testa. Svojstveno za sadr insku validnos je to to se ta evaluacija vr i deduktivno, na osnovu ekspertske procene. Sadr inska validnost se obezbe uje i odre uje PRE I TOKOM KONSTRUKCIJE TESTA, a ne onda kad je test gotov. Zbog toga je specifi na u odnosu na sva druga merna svojstva. Za testove podstignu a je sadr inska validnost od prevashodnog zna aja i od stvarnog je prakti nog zna aja da budu konstruisani tako da budu sadr inski valjani. Mo e se proveravati i nakon zavr etka, ali treba znati da je samo kada je namena testova ± selekcija, nu no da se sadr inska valjanost ispuni odmah. Alternativni nazivi su: logi ka, intrinsi ka (kolidira sa konstruktivnom) ili cirkularna, pa i relevantnost ili reprezentativnost testa. Naziv intrinisti ka kolidira sa terminom interna ili unutra nja valjanost koji se koriste u zna enju konstruktivna valjanost. Pojavna ili prividna valjanost su sli ne, ali u drugom kontekstu Univerzum se prihvata kao predmet merenja testa Sadr inska validnost se odre uje: Na osnovu ekspertske procene Tokom konstrukcije testa i pre njegove primene Sadr inska validnost je osnovni zahtev koji se postavlja pred testove postignu a (npr. znanja) Konstrukcija sadr inski validnog testa postignu a Za test postignu a treba napraviti plan ili skicu. Ona mora da sadr i nastavne celine, njihov me usobni zna aj, va ne probleme, klju ne detalje, format ajtema, na in ocenjivanja... 1. Definicija domena-univerzuma definisan je gradivom koje se ispituje. Jako je va no da se defini u poddomeni (tzv deskriptori) kao one celine, znanje ili ve tine koje smo eleli da u enici nau e ili da ih ispitamo da li su nau ili. Deskriptori moraju biti definisani precizno, koherentno, fundirano u dedago kim znanjima. Nastavne celine - deskriptori Kriti na znanja koji su aspekti gradiva bitni i bez kojih s ene smatra da su u enici ovladali gradivom. Domen i uzorak u testu su obi no NAMERAN uzorak iz populacije gradiva. Jako je va no da budu pokriveni svi poddomeni i da budu zadaci svih te ina. Mentalni procesi, kompetencije. . .ili ishodi ± poznata je Bloomova taksonomija domena ili nivoa koji moraju biti cilj svakog obrazovanja: znanje, razumevanje, primena, analiza, sinteza, evaluacija. - mora da postoji pravilna proporcionalna zastupljenost nastavnih celina u testu! To zna i a) da svi deskriptori koji su odre eni u skici testa moraju biti pokriveni stavkama b) broj savki u svakom deskriptoru treba da bude srazmeran obimu i zna enju deskriptora c) unutar svakog deskriptora moraju biti prisutne stavke razli ite te ine. Cilj je da za svaki poddomen, celinu, odnosno deskriptor postoji zaseban mali test koji sam za sebe mora dobro funkcionisati iako se ne zadaje posebno. Mora se pritom voditi ra una o kriti nim znanjima, kao i obrazovnim ciljevima tj ishodima. 2. Populacija testa ajtemima Treba te iti da svaki deskriptor bude pokriven vlastitim malim testom koji ima stavke razli ite te ine Deskriptori trebaju biti pokriveni ajtemima balansirano Timovi koji pi u stavke moraju biti ujedna eni, obu eni i moraju imati dobra uputstva PVI - PKO, testleti. . . Kvantifikacija sadr inske validnosti Najjednostavniji i naj e i pristup kvantifikaciji sadr inske validnosti je onaj koji se oslanja na FREKVENCIJSKU ANALIZU STAVKI U ODNOSU NA UNIVERZUM. Kvantifikacija sadr inske validnosti POST FESTUM nakon to je test primenjen i podaci prikupljeni, mogu a je iako nije teorijski Ä ista³- za ve inu testova znanja je tada prekasno, u enici su ve polo ili ili nisu. Jedini izlaz je pilot testiranje to se radi u slu aju va nih i masovnih testova. Vrlo te ko ± iz prakti nih i teorijskih razloga Prakti ni razlozi ± nakon to prikupimo podatke, po pravilu je kasno Mogu i izlaz: pilot testiranje Teorijski razlozi ± sadr inska validnost ne podrazumeva homogenost tj ne podrazumeva unutra nju konzistenciju u smislu da bi koreliranost svih delova testa morala biti visoka. Frekvencijska analiza i procenjivanje kvaliteta ajtema. Npr obuhvat gradiva, relativna zastupljenost celina, me usobni zna aj itd, se mogu operacionalizovati frenkvencijski ili na drugi na in, npr nekom od korelacionih metoda... Pojavna i prividna valjanost Engl. face validity se tretira i prevodi na razli ite na ine U smislu: pojavna, o igledna ili valjanost na izgled, predstavlja ocenu psihologa i stru njaka da li test izgleda kao da meri ono to treba da meri U smislu: prividna valjanost, ozna ava ono to nepsiholozi, posebno ispitanici misle da test meri Test znanja treba da ima pitanja kojima se ispituje znanje, test inteligencije treba da ima zadatke koji teraju na razmi ljanje... POJAVNA VALIDNOST JE POVR NA VARIJANTA SADR INSKE VALJANOSTI I ODNOSI S ENA PITANJE DA LI TEST IZGLEDA DA MERI ONO TO TREBA DA MERI. Nasuprot tome, prividna validnost ± TEST IZGLEDA DA MERI ONO TO TREBA A USTVARI MERI NE TO SASVIM DRUGO. Prividna validnost je namenjena ispitanicima i drugim npsiholo kim u esnicima u testiranju ± to su naru ioci testova, poslodavci, funkcioneri.... Osnovni smisao i pojavna i prividna validnost imaju upravo kada se stave u kontekst mi ljenja NEPSIHOLOGA. Ugro avanje validnosti Strategije odgovaranja kao osobine li nosti ± generalizabilne na druge situacije i nastaju kao rezultat nesvesnih manifestacija nekih irih osobina li nosti Odgovara ka pristrasnost ± situaciono specifi na, nije generalizabilna tj bez mogu nosti generalizacije na razli ite situacije. Odgovara ki stilovi ± generalizabilni tj generalizovani su na razli ite situacije i nastaju kao nusprodukt svesnih i namernih strategija. Slu ajne gre ke ± nisu generalizabilne nesistemati ni, nepounati i slu aji izvori koji nisu vredni posebne analize. Ugro avanje validnosti od strane ispitanika Radi se ointerakciji ispitanika i procedure merenja tj drugi izvor IR. Socijalno po eljno odgovaranje elja ispitanika da sebe predstavi u najboljem svetlu Izbegavanje tzv Äne znam³ ljudi Preferencija ekstremnih odgovora jer s etera inat i prkos, provocira ili iz nekog razloga namerno odgovara nepo eljno, npr glumi lo eg momka... Nepa ljivost, zbunjenost, neodlu nost Povodljivost slaganje tzv Äda-ljudi³ Poga anje (kod testova sa prvom paradigmom), uspavanost, brzanje Testovna mudrost, prepisivanje Ugro avanje validnosti od strane instrumenta - faktor metoda ili efekat instrumenta Pozitivne i negativne formulacije takvi ajtemi naru[avaju pretpostavku lokalne nezavisnosti, a ona je pretpostavka dobrog merenja, posebno u TAO. Polo aj stavke u testu, ajtemski kontekst Diferencijalno funkcionisanje (ima kasnije poseban odeljak) Ugro avanje validnosti od strane uslova primene Hawthorne efekat kratkotrajno pobolj anje odgovora dok traje pa nja administratora testa Efekat zamora Efekat transfera prenos ve tine re avanja testa sa jednog testa u bateriji na drugi... Ajtemski kontekst je bilo koji uticaj ili interpretacija koju ispitanici mogu pripisati ajtemu na osnovu odnosa koje taj ajtem ima sa drugim ajtemima u instrumentu. . efekti konteksta su uvek rpisutni, nepo eljni su, ali se mogu predvideti. Mo e se dogoditi da susedne stavke odre uju kontekst zna enja te stavke. Ajtemski kontekst ima efekat ugro avanja uvek kada kontekst stavke uti e na odgovaranje. Pod kontekstom podrazumevamo: 1. redosled ajtema 2. redosled alternativa 3. Formulaciju stabla ajtema i alternativa 4. Format ajtema... Okolni, posebno prethodni ajtemi uti u na odgovaranje Naj e e se de ava ako su stavke nejasne ili dvosmislene, pa ispitanik protuma i njihovo zna enje na osnovu okolnih ajtema Ajtemski kontekst naru ava pretpostavku lokalne nezavisnosti - to sa stanovi ta TAO, kod: testova brzine, situacije kada su ispitanici imali razli ite mogu nosti da se upoznaju sa gradivom koje se ispituje ajtemi su olan ani na izvestan na in, preko zajedni ke teme, tako da odgovor podrazumeva ili olak ava odgovor na slede i ajtem. Halo efekt ± efekt oreola 1. Tendencija da procenjiva sudi o postignu u na nezavisnim dimenzijama na osnovu op teg utiska o kandidatu 2. Tendencija da ocena kandidata na jednoj osobini uti e na ocenu na drugoj osobini 3. Nesposobnost da se razlikuju konceptualno razli iti i nezavisni aspekti pona anja 4. Pravi halo´ je kada osobine stvarno koreliraju barem malo, to je psiholo ka istina. To se zove PRAVI HALO ILI PRAVI OREOL. 5. ³Opa eni halo´ je kada procenjiva tu korelaciju naduvava Procenjiva i moraju biti obu eni i mora ih biti vi e za svakog kandidata. Socijalna po eljnost je situaciono specifi na (npr prilikom prijema na posao) ili posledica doslednog i svesnog odgovara kog stila. Nisu svi ispitanici tome podjednako skloni, ak i kad se radi o selekcionoj situaciji. Socijalnu po eljnost je te ko odvojiti od CRTA kao to su la ni moral, anksioznost, krutost.... soc.po eljnost je i pozitivna jer predstavlja komponentu prilago enosti, to npr u selekcionim testovima mo e i da pove a (i da umanji) kriterijumsku valjanost. Naj e a odgovara ka strategija Vrlo prisutna i vrlo te ko otklonjiva Te ko je razdvojiti od crta: la ne moralnosti, anksioznosti, krutosti, konformizma, autoritarnosti. . . U selekciji se mo e tretirati kao adaptiranost i mo e pove avati prediktivnu validnost Skale validnosti Samoprocena je sr svih testova koji pripadaju drugoj paradigmi psiholo kog merenja. Analogne su poga anju kod prve paradigme. Psiholozima su najpoznatije skale la i: One mogu biti sa injene od pitanja koja imaju blagu negativnu moralnu konotaciju, kao to su: Äponekad sla em ljude´, ili Äponekad ogovaram druge´. Odgovor Äne´ se skoruje kao pozitivan i interpretira kao Äskor la i´. Suprotno od toga, koriste se formulacije sa ÄnikadÄ, Äuvek´, Äsve´ itd. Na primer, Ämeni je svaki posao koji radim uvek jako zanimljiv´. Kao pozitivan odgovor na ovakvoj skali se boduje Äda´. Na primer: ÄBilo bi najbolje da se odbace svi zakoni´ otkriva ekscentri ne pojedince, tzv. ne-ljude, koji glume Änegativce´ ili provociraju autoritete, ili simulante ÄPro le godine posetio sam Martinik´, ili Äja sam jedan od retkih koji razume pojam relativne recipro nosti emocija´ mogu da otkriju osobe koje obmanjuju, ili koje su povodljive (da-ljudi, engl. acquiesence). Ajtemi ovog i prethodnog tipa se obi no nazivaju skalom frekvencije ili skalom izuzetka (engl. frequency/infrequency scale). ÄDa´ na pitanje Äponekad se ose am potpuno beskorisno´ ili odgovor Äne´ na pitanje kao to je Äponekad sam pun energije´. Simulanti du evne bolesti e se slo iti sa: Äbog je samo meni dao da razumem tajnu zaobljenih trapezoida´, ili Ävidim obojene trouglove u vidnom polju´, iako takvi simptomi ne postoje. Parovi potpuno istih stavki, ili parovi koji su po sadr aju isti ali pozitivno i negativno formulisane ± to su skale inkonzistencije. odgovori Äne znam´ ili Äneodlu an´, propu tena pitanja i nepravilno odgovorena pitanja Relevantne kod druge paradigme ± samoprocene Analogne problemu poga anja kod prve paradigme To su grupe ajtema koje imaju za cilj da otkriju ugro avanje validnosti u testovima samoprocene Skale la i, skale frekvencije, skale izuzetka, skale inkonzistencije. . . Korekcija skora na osnovu skale validnosti: Statisti ke (parcijalizacija) . Parcijalizacijom varijans ekoju obja njava skala validnosti koriguje se skor testa ili podtesta. Za to su potrebni ponderi testa koji se izra unavaju tikom standardizacije testa na reprezentativnom uzorku kao regresioni ili nrki drugi optimalni koeficijenti ili kao neoptimalni. Mo e se obaviti i na osnovu ciljane analize, npr uzorak dobrovoljaca.... Psiholozi vole definiciju: KOREKCIJA PARCIJALIZACIJOM JE ELIMINACIJA ONOG DELA SKORA NA TESTU KOJI SE MO E PREDVIDETI NA OSNOVU SKALE VALIDNOSTI. Oduzimanje ili dodavanje na ukupni skor Dodatni intervju... UMESTO oslanjanja na sklae validnosti treba; 1. pobolj ati psiholo ko ocenjivanje uklju ivanjem vi e izvora podataka, 2. pobolj ati testove umesto poku avati sa skalama validnosti i 3. popraviti odnos sa ispitanicima i motivisati ih. Neusagla enost referentnog okvira osnovno pitanje- ta ispitanici misle da zna e pitanja u testu! Ispitanik u manifestnom ± denotativnom, semanti kom smislu ne sme imati nikakve dileme oko toga ta zna i ajtem ili pojedina ne re i. Drugo, ak i ako je stavka manifestno jasna, ona mo e imati razli ita latentna ili konotativna zna enja u raznim situacijama.psotojanje razli itih referentnih okvira se te ko otkriva. Neusagla enost op teg zna enja, namene ili smisla izme u konstruktora i ispitanika ili izme u ispitanika Stavke mogu imati latentna, konotativna zna enja Razlika mo e postojati i izme u li nog i ve inskog stava Stavke mogu biti pisane za druga iju populaciju ± po uzrastu, polu, obrazovanju... Zavisnost testova od kulture Kultura diktira latentna zna enja stavki i referentni okvir Tetovi imaju razli ita zna enja u razli itim kulturama i prostim prevodom na drugi jezik gubi svoje metrijske karakteristike. Ali u razvijenim zemljama, na obrazovanim ispitanicima, ajtemi imaju svoja ustaljena i dobro poznata latentna zna enja i referentni okvir. Konkretna kultura se javlja kao regulator zna enja stavki i diktira referentni okvir. Etic pristup ± prevode se strane stavke Emic pristup ± pi u se vlastite stavke Kultura je prisutna i u kognitivnom testiranju npr Azijati ne vole dihotomne stavke DA-NE jer ne vole da svet gledaju crno-belo, a kad im se ponude politomne, oni uglavnom biraju neutralne alternative.