Belova O.V. Psychodiagnostyka ogólna

Normalizacja(A. Anastasi) to „jednolitość procedury przeprowadzania i oceny wykonania testu”. Standaryzacja jest zatem rozpatrywana dwojako: jako opracowanie jednolitych wymagań dotyczących procedury eksperymentalnej oraz jako określenie jednego kryterium oceny wyników badań diagnostycznych. Standaryzacja procedury eksperymentalnej oznacza ujednolicenie instrukcji, formularzy ankiet, metod rejestrowania wyników i warunków badań.

Etapy normalizacji

Na etapie opracowywania testu, jak również każdej innej metody, przeprowadzana jest procedura normalizacyjna, która obejmuje trzy etapy.

Pierwszym krokiem w kierunku standaryzacji testu psychologicznego jest stworzenie jednolitej procedury testowania. Obejmuje określenie następujących aspektów sytuacji diagnostycznej:

• 1) warunki testowania (pomieszczenie, oświetlenie i inne czynniki zewnętrzne). Oczywiście lepiej jest mierzyć objętość pamięci krótkotrwałej (na przykład za pomocą podtestu powtarzania cyfr w teście Wechslera), gdy nie ma bodźców zewnętrznych, takich jak obce dźwięki, głosy itp.
• 2) Treść instrukcji i cechy jej prezentacji (ton głosu, pauzy, szybkość mówienia itp.). Przykładowo w teście „10 słów” każde słowo musi zostać zaprezentowane po upływie określonego czasu wyrażonego w sekundach.
• 3) Dostępność standardowego materiału stymulującego. Przykładowo wiarygodność uzyskanych wyników w istotny sposób zależy od tego, czy respondentowi oferowane są domowe karty Rorschacha, czy standardowe – o określonej kolorystyce i odcieniach kolorystycznych.
• 4) Ograniczenia czasowe wykonania tego testu. Przykładowo, dorosły respondent ma 20 minut na wypełnienie testu Ravena.
• 5) Standardowy formularz wykonania tego badania. Korzystanie ze standardowego formularza upraszcza procedurę przetwarzania.
• 6) Uwzględnienie wpływu zmiennych sytuacyjnych na proces i wynik testowania. Zmienne oznaczają stan osoby badanej (zmęczenie, przemęczenie itp.), niestandardowe warunki badania (słabe oświetlenie, brak wentylacji itp.), przerwanie badania.
• 7) Uwzględnienie wpływu zachowania diagnosty na przebieg i wynik badania. Na przykład aprobujące i zachęcające zachowanie eksperymentatora podczas testowania może zostać odebrane przez respondenta jako wskazówka „poprawnej odpowiedzi” itp.
• 8) Uwzględnienie wpływu doświadczenia respondenta w testowaniu. Naturalnie respondent, poddając się procedurze badawczej nie po raz pierwszy, przezwyciężył poczucie niepewności i wykształcił określoną postawę wobec sytuacji testowej. Przykładowo, jeśli respondent wypełnił już test Ravena, to najprawdopodobniej nie warto mu go proponować po raz drugi.

Drugi etap standaryzacji testu psychologicznego polega na stworzeniu jednolitej oceny wykonania testu: standardowej interpretacji uzyskanych wyników i wstępnym przetworzeniu standardu. Na tym etapie następuje także porównanie uzyskanych wskaźników z normą wykonania tego testu dla danego wieku (np. w testach na inteligencję), płci itp. (patrz poniżej).

Trzecim etapem standaryzacji testu psychologicznego jest ustalenie norm wykonywania testu.

Standardy są opracowywane dla różnych grup wiekowych, zawodów, płci itp. Oto niektóre z nich: istniejące gatunki normy:

Standardy szkolne opracowywane są na podstawie sprawdzianów osiągnięć szkolnych lub sprawdzianów uzdolnień szkolnych. Ustalane są dla każdego poziomu szkoły i obowiązują na terenie całego kraju.

Profesjonalne standardy ustalane są na podstawie testów dla różnych grup zawodowych (na przykład mechaników o różnych profilach, maszynistek itp.).

Lokalne standardy są ustalane i stosowane dla wąskich kategorii osób, charakteryzujących się obecnością wspólną cechą wiek, płeć, obszar geograficzny, status społeczno-ekonomiczny itp. Na przykład w przypadku testu inteligencji Wechslera normy są ograniczone wiekiem.

Normy krajowe opracowywane są dla przedstawicieli danej narodowości, narodu, kraju jako całości. O potrzebie takich norm decyduje specyficzna kultura, wymagania moralne i tradycje każdego narodu.

Ich istotną cechą jest obecność danych normatywnych (norm) w standaryzowanych metodach psychodiagnostycznych.

Istnieją wymagania dotyczące przeprowadzenia eksperymentu:

• 1. Instrukcje należy przekazywać podmiotom w ten sam sposób, zwykle w formie pisemnej; w przypadku poleceń ustnych podawane są one w różnych grupach, tymi samymi słowami, zrozumiałymi dla wszystkich, w ten sam sposób;
• 2. Żaden podmiot nie powinien mieć przewagi nad innymi;
• 3. W trakcie eksperymentu poszczególnym osobom nie należy udzielać dodatkowych wyjaśnień;
• 4. Doświadczenie z różnymi grupami powinno być przeprowadzane o tej samej porze dnia, jeśli to możliwe, w podobnych warunkach;
• 5. Ograniczenia czasowe w realizacji zadań dla wszystkich przedmiotów powinny być takie same itd.

Każda norma zwykle zmienia się z czasem wraz z naturalne zmiany, które w psychologii człowieka zachodzą na przestrzeni lat, dlatego istnieje zasada, zgodnie z którą normy testu, zwłaszcza testu intelektualnego, należy weryfikować przynajmniej raz na pięć lat.

Aby spełnić normę statystyczną, stosuje się metody statystyki matematycznej (x – średnia arytmetyczna, – odchylenie standardowe). X 5

Percentyl to odsetek osób w próbie standaryzacyjnej.

Pod przewodnictwem Gurewicza opracowywane są testy, w których punktem wyjścia jest obiektywnie określony standard społeczno-psychologiczny, niezależny od wyników testu. Jest on realizowany w zestawie zadań składających się na test. Sam test w całości jest takim standardem.

Opracowując i stosując dowolny punkt odniesienia, należy zwrócić uwagę na próbę przedmiotów. W statystyce matematycznej rozróżnia się populację ogólną (populację) i próbę. Każda duża populacja ludzi, na temat której będziemy wyciągać wnioski, nazywana jest populacją ogólną.

Próbka- jest częścią lub podzbiorem populacji. Nie ma zwyczaju przeprowadzania badań na populacji. Zwykle wybiera się z niej grupę osób – próbę standaryzacyjną, która jest faktycznie badana i za jej pomocą oceniana jest populacja ogólna. Aby szacunki były wiarygodne, próba musi być reprezentatywna dla rozpatrywanej populacji, to znaczy jej prawdopodobne właściwości muszą pokrywać się lub być zbliżone do właściwości populacji ogólnej.

Jednym ze sposobów zapewnienia reprezentatywności próby jest ograniczenie populacji (płeć, wiek, zawód, stan zdrowia, status społeczno-ekonomiczny itp.). Populację taką określa się jako specyficzną.

• 1. Dobór podmiotów do próby standaryzacyjnej
• 2. Definicja populacji z określeniem istotnych i nieistotnych zmiennych w jej strukturze (wiek, płeć)
• 3. Podział populacji na części zależy od istotnych zmiennych.
• 4. Osoby badane dobierane są losowo i proporcjonalnie do liczebności każdej znaczącej części populacji. Minimalny próg próby wynosi 200 osób.

Norma statystyczna jest kryterium, według którego porównuje się wyniki technik diagnostycznych.

Norma wieku jest wskaźnikiem pojawiającym się w testach Bene-Simona (normą jest wykonanie wszystkich zadań).

Kryterium zewnętrzne – kryterium wykonania.

Percentyl to odsetek osób w próbie standaryzacyjnej, których wynik podstawowy jest niższy niż dany wynik podstawowy. Percentyle wskazują względną pozycję danej osoby w próbie standaryzacyjnej. Im niższy percentyl, tym gorsza pozycja jednostki. Percentyli nie należy mylić ze zwykłymi wartościami procentowymi, które są wskaźnikami podstawowymi i reprezentują odsetek poprawnie wykonanych zadań, natomiast percentyl jest wskaźnikiem pochodnym wskazującym proporcję Łączna członkowie grupy.

testy ważności wiarygodności standaryzacji

Tworzenie techniki psychodiagnostycznej to złożony, wieloetapowy proces. Nie pretendując do pełnego przedstawienia tego zagadnienia w ramach tego artykułu, podkreślę główne etapy krótki opis ich treść. Należy od razu zauważyć, że przedmiotem uwagi będzie technika diagnostyczna (kwestionariusz testowy), ponieważ dla innej klasy technik - badawczej, projekcyjnej, klinicznej - istnieją inne wymagania dotyczące tworzenia i testowania.

Stworzenie techniki psychodiagnostycznej nie ogranicza się do badania poszczególnych właściwości psychometrycznych – reprezentatywności, rzetelności, ważności, rzetelności itp. Podstawowa praca w tym kierunku rozpoczyna się od głębokiego teoretycznego przestudiowania podstaw przedmiotu, wraz z wyjaśnieniem metodologicznego i koncepcyjnego podejścia do jego badania. Przed opracowaniem procedury pomiarowej należy ją utworzyć koncepcja mierzalnej właściwości psychicznej, zbuduj jego model. Warunkiem udanej pracy nad stworzeniem metodologii spełniającej wszelkie kryteria jakościowe jest głębokie przeszkolenie teoretyczne. Można powiedzieć, że zanim przejdziemy do technologii opracowania metodologii, konieczne jest przeprowadzenie podstawowych badań teoretycznych.

Jeśli postępujesz zgodnie z logiką badania, musisz zacząć od definicji Problemy. Będzie to pierwszy etap tworzenia metodologii. Problem to zadanie, które nie ma rozwiązania lub ma rozwiązania niejednoznaczne. Problemy mogą być generowane zarówno przez warunki obiektywne, sytuację rzeczywistą, jak i mogą być wynikiem własnej działalności badacza. Problemy diagnostyczne są z reguły stosowane i skupiają się na praktycznym rozwiązaniu problemów pojawiających się w rzeczywistej sytuacji społecznej. Badacz musi pamiętać, że nie wszystkie problemy da się rozwiązać. Oprócz problemów realnych, będących przedmiotem bezpośredniego zastosowania wysiłków badacza, istnieje kategoria problemów, których nie da się rozwiązać za pomocą współczesnej nauki, oraz „pseudoproblemy”. Jak już wspomniano, problemy diagnostyczne są problemami rzeczywistymi, które wymagają własnego, stosowanego rozwiązania. Załóżmy, że jako przykład możemy przytoczyć problem lęku szkolnego. Problem ten jest przykładem problemu już zoperacjonalizowanego, przetłumaczonego, ujętego w kategoriach określonej dziedziny nauki. Czasami badacz wciąż stoi przed tym zadaniem.

Kolejnym krokiem w tworzeniu techniki psychodiagnostycznej będzie ustalenie temat diagnostyczny. Podmiot jest pośrednio obecny w zoperacjonalizowanym problemie. Obiekt to coś, co stanie się bezpośrednim przedmiotem pomiaru, coś, co będzie mierzona stworzona metodologia. Obiekt jest tradycyjnie definiowany jako aspekty, właściwości i relacje obiektu zapisane w doświadczeniu, badane w określonym celu i w danych warunkach. Przedmiot istnieje w formie pojęcia. W naszym przypadku przedmiotem diagnozy będzie zjawisko lęku, reprezentowane przez psychologiczną koncepcję „lęku”.

W następnym etapie konieczne jest ustalenie granice pojęcia(etap wyjaśnienia tematu). Procedura ta przeprowadzana jest poprzez analizę różnicową rozważanego pojęcia z pojęciami o podobnym i przeciwnym znaczeniu. Jednym ze sposobów definiowania pojęcia jest przyjęte w logice porównanie z wykorzystaniem kręgów Eulera – obrazów poprzez kręgi relacji pomiędzy objętościami pojęć. Okrąg w tej procedurze przedstawia objętość określonej koncepcji. W naszym przypadku oprócz pojęć lęku i lęku należy wziąć pod uwagę takie pojęcia, jak strach, niepokój itp.

Następny krok w opracowywaniu metodologii wiąże się z wyjaśnianiem fenomenalne pole koncepcyjne. W tym celu należy możliwie najdokładniej opisać zjawisko przedstawione w koncepcji, aby stworzyć możliwie pełny obraz tego zjawiska. Z reguły odbywa się to poprzez operacyjną definicję pojęcia. Definicja operacyjna to szczegółowa specyfikacja operacji niezbędnych do przedstawienia i zmierzenia koncepcji. W psychologii często posługuje się pojęciami abstrakcyjnymi, takimi jak inteligencja, poczucie własnej wartości, pamięć, uczenie się, kreatywność itp. Należy je operacjonalizować, czyli opisać wszystkie możliwe obiektywne sposoby uzewnętrzniania omawianego pojęcia. W diagnostyce obiektywnej, takiej jak kwestionariusz testowy, stosuje się tylko takie sposoby uzewnętrzniania pojęcia, które faktycznie dają się uchwycić, przynajmniej w obserwacji za pomocą naszych zmysłów.

W kolejnym etapie spośród zidentyfikowanych obiektywnych sposobów manifestacji koncepcji należy wybrać te najistotniejsze, które będą pełnić rolę kryteria do rozpoznania (diagnostyka) temat. Kryterium (środek oceny) to znak, na podstawie którego dokonuje się oceny, definicji lub klasyfikacji czegoś, miernik oceny. Kryteria mierzonej koncepcji muszą być istotne, wiarygodne i obiektywne znaki jego przejawy. To właśnie one znajdą odzwierciedlenie w pytaniach lub stwierdzeniach, które będą stanowić treść materiału bodźcowego danej techniki. Tym samym etap ten będzie powiązany z wyborem kryteriów, według których podmiot będzie diagnozowany.

W kolejnym etapie tworzenia metodologii wybór formy techniki. Formę techniki determinuje specyfika przedmiotu diagnozy i cele badawcze. Technikę można zaprojektować w formie kwestionariusza testowego (jak w naszym przypadku), techniki projekcyjnej, techniki klinicznej itp. Każda z prezentowanych form ma swoją specyfikę i charakterystyczne wymagania dotyczące kryteriów jakości. Na tym samym etapie następuje selekcja materiału bodźcowego. W naszym przypadku materiał bodźcowy można przedstawić w formie pytań lub stwierdzeń. Stwierdzenia z kolei mogą być osobiste lub bezosobowe.

Po określeniu kształtu materiału bodźcowego następuje jego selekcja. Wybór zawartość materiału bodźcowego zrealizowane z fenomenalnego pola koncepcji, będące efektem wcześniejszych prac, z uwzględnieniem wybranych kryteriów przedmiotu diagnozy. Jakość poszczególnych zadań (pytań, stwierdzeń) ma decydujące znaczenie dla całego kwestionariusza testowego, dlatego przy opracowywaniu zadań testowych należy wziąć pod uwagę najczęstsze problemy, które mogą prowadzić do jego niskiej ważności.

Przy wyborze poszczególnych zadań (pytań, stwierdzeń) konieczne jest ustalenie wskaźnik wydajności każda z nich. Aby to zrobić, możesz skorzystać z metody eksperckiej. Istota tej metody polega na tym, że kilku specjalistów z danej dziedziny (5–7 osób) proszenych jest o ocenę listy proponowanych zadań z materiału bodźcowego pod kątem ich trafności, czyli adekwatności przedmiotu mierzonej w skali ocen (3-, 5-, 7-sala balowa). Zadania, które uzyskają wysokie oceny od wszystkich lub większości ekspertów, będą miały ważność ekspercką i będą mogły być rekomendowane do umieszczenia w kwestionariuszu. Jako inną strategię wyboru materiału bodźcowego można zastosować badanie pilotażowe. Przeprowadzenie badania pilotażowego polega na wykonaniu zadań testowych przez osoby posiadające cechy podobne do tych, dla których test jest opracowywany. Analiza uzyskanych danych pozwoli twórcy testu wybrać najlepsze zadania do ostatecznej wersji kwestionariusza. Badania pilotażowe przeprowadza się na reprezentatywnej próbie. Minimalna wielkość próby powinna być dwukrotnie większa od liczby zadań. Następnie każde z zadań materiału bodźcowego rozpatrywane jest z punktu widzenia reakcji na niego wszystkich badanych. Przy wyborze programiści kierują się następującą zasadą: te zadania (pytania, stwierdzenia), które otrzymają jednoznaczne oceny od większości przedmiotów, nie przechodzą. Na przykład, jeśli wszyscy badani odpowiedzieli „tak” na jedno z pytań, wówczas nie jest to uwzględniane w przyszłym kwestionariuszu, ponieważ nie odzwierciedla Cechy indywidulane podmiotu, ale ma na celu pewną wspólną dla wszystkich właściwość. Wskaźnik wykonania każdego zadania powinien mieścić się w przedziale od 0,25 do 0,75, zbliżając się do średniej dla całego kwestionariusza wynoszącej 0,5. Oprócz wskaźnika wydajności konieczne jest również określenie dyskryminacyjności przedmiotu – sprawdzenie, czy poszczególne pozycje (pytania, stwierdzenia) mają te same właściwości co inne. Do określenia dyskryminacyjności pozycji wykorzystuje się współczynnik korelacji każdej pozycji z wynikiem ogólnym całego testu. Im wyższy współczynnik korelacji, tym większa dyskryminacyjność zadania, tym jest ono lepsze. Minimalny współczynnik korelacji powinien wynosić 0,2. Do obliczenia tego wskaźnika najczęściej stosuje się współczynnik iloczynu momentów Pearsona.

Ważny punkt w rozwoju materiału bodźcowego jest wybór formularze pytań.

Po wybraniu zadań do kwestionariusza testowego musisz się tym zająć niezawodność. Ta nieruchomość Metodologia (w przypadku kwestionariuszy) wydaje się dość istotna i stanowi jedno z kryteriów jej jakości. Najczęściej niezawodność zapewnia się poprzez włączenie skali korekcyjnej (skali kłamstwa) do treści materiału bodźcowego.

Ważnym etapem w tworzeniu techniki psychodiagnostycznej jest opracowanie instrukcji. Instrukcje sporządzane są w formie pisemnej, ponieważ na instrukcje ustne wpływają paralingwistyczne elementy badacza: mimika, gesty, intonacja, pauzy itp. Ponadto zapomina się o instrukcjach ustnych, ale zdający może w razie potrzeby powrócić do instrukcji pisemnych podczas wykonywania zadań testowych. Instrukcje powinny być proste i zrozumiałe dla zdającego, nie powinny zawierać specjalnych terminów zawodowych, które są dla zdającego niezrozumiałe, ani dwuznacznie interpretowanych słów i wyrażeń. Powinna wskazywać, w jaki sposób wybrać odpowiedź i jak ją zaznaczyć w ankiecie. W instrukcji należy podkreślić informacje, które mogą przyczynić się do efektywnej pracy osoby badanej, np. dotyczące zachowania poufności badania. Główne funkcje, jakie powinna pełnić instrukcja: informowanie i motywowanie.

Opracowanie instrukcji kończy etap tworzenia testu. Kolejny etap będzie poświęcony sprawdzeniu jego zgodności z kryteriami jakościowymi oraz jego standaryzacji i adaptacji.

Uwzględniono główne kryteria jakości techniki diagnostycznej ważność I niezawodność. Wymienione właściwości testu są niezbędnym atrybutem testu diagnostycznego. Technika, która nie została sprawdzona pod kątem ważności i niezawodności lub która nie spełnia wymagań w zakresie tych cech, nie może być stosowana jako narzędzie diagnostyczne, chociaż może być wykorzystywana do celów badawczych.

Ostatnim etapem rozwoju techniki psychodiagnostycznej jest jej normalizacja I dostosowanie. Metodologia diagnostyczna różni się od metodologii badawczej tym, że jest ustandaryzowana. Standaryzacja metodologii obejmuje dwa etapy:

1. Opracowanie jednolitych wymagań dotyczących procedury badawczej. Etap ten obejmuje ujednolicenie metod rejestrowania wyników, warunków instrukcji, form badań i testowania.

2. Definicja jednego kryterium oceny wyników. Na tym etapie ustalane są standardy testów.

Zastosowanie norm testowych w psychodiagnostyce polega na przeniesieniu wyników testów ze „skali surowej” do skali standardowej. Ta procedura nazywa się normalizacja Wynik testu . Norma testowa– jest to średni poziom ekspresji badanej jakości, ustalony na dużej próbie osób.

Dla kwestionariuszy testowych opracowywane są normy testów statystycznych. Aby je obliczyć, zwracamy się do metod statystyki matematycznej. Normy dla każdej grupy należy przedstawić w ujęciu wartości średnich i odchylenia standardowego. Efektem standaryzacji testów jest utworzenie tabeli przeliczeniowej umożliwiającej przeliczenie wyników „surowych” na standardowe w danej skali. To zapewnia pełna lista zgodność między przedziałami skali surowej a przedziałami skali standardowej. Standard testowy musi być poddawany przeglądowi co 5 lat. Opis testu dla każdej zawartej w nim normy musi koniecznie wskazywać: gdzie, kiedy, jak i na kim został ustalony.

Podsumowując, chcę powiedzieć, że konstruując testy, nie można ograniczać się do obliczeń matematycznych. Modele matematyczne w psychodiagnostyce nie mogą zastąpić opracowania konstrukcji teoretycznych i podstawowych zasad badań. Bez pełnego opisu psychologicznego mierzonego konstruktu, bez formułowania hipotez na temat jego wyników, proces tworzenia testu staje się ćwiczeniem ze statystyki matematycznej.

Obiektywizm, ważność i rzetelność to wymagania, które musi spełniać każdy test. Poniższe akapity poświęcone są rozważeniu tych koncepcji.

2. Test psychologiczny jako miernik obiektywny

Obiektywność test psychologiczny oznacza, że ​​podstawowe wskaźniki, ich ocena i interpretacja nie zależą od zachowań i subiektywnych ocen eksperymentatora. Wskaźniki pierwotne to te, które uzyskuje się po przetworzeniu danych wykonawczych respondenta. zadania testowe. Wskaźniki pierwotne wyrażone są w tzw. „punktach surowych”.

Opracowywanie zadań, procedura przeprowadzania i przetwarzanie wyników testów odbywają się według określonych standardowych zasad.

Obiektywizm testu psychologicznego można osiągnąć, jeśli zostaną spełnione następujące warunki:

jednolitość procedury badawczej w celu uzyskania wyników porównywalnych z normą (patrz poniżej);

jednolitość oceny wyników testów;

ustalenie standardu wykonania testów w celu porównania z nimi wskaźników uzyskanych w wyniku przetwarzania danych testowych (patrz tutaj „trzeci etap normalizacji”).

Te trzy warunki nazywane są etapy standaryzacji test psychologiczny.

Etapy normalizacji

Na etapie opracowywania testu, jak również każdej innej metody, przeprowadzana jest procedura normalizacyjna, która obejmuje trzy etapy.

Pierwszy etap standaryzacja testu psychologicznego polega na stworzeniu jednolitej procedury testowania. Obejmuje określenie następujących aspektów sytuacji diagnostycznej:

warunki testowania (pomieszczenie, oświetlenie i inne czynniki zewnętrzne). Oczywiście lepiej jest mierzyć objętość pamięci krótkotrwałej (na przykład za pomocą podtestu powtarzania cyfr w teście Wechslera), gdy nie ma bodźców zewnętrznych, takich jak obce dźwięki, głosy itp.

Jak wiadomo, test psychologiczny można uznać za skuteczny, jeśli spełnia następujące podstawowe warunki:

a) zastosowanie skali interwałowej;

b) niezawodność;

c) ważność;

d) dyskryminacja;

e) dostępność normalnych danych.

Oczywiście projektowanie testów związanych z rozsądnymi podejściami diagnostycznymi, pomimo konieczności spełnienia ogólnych wymagań dla tego procesu, ma pewną specyfikę.

Zwykle istnieją trzy główne strategie projektowania kwestionariusze osobowości: dedukcyjne, indukcyjne i zewnętrzne. Strategia dedukcyjna lub merytoryczna opiera się na teoretycznych wyobrażeniach na temat osobowości, jej struktury i funkcjonowania. Druga strategia ma charakter indukcyjny, który polega na wykorzystaniu analizy czynnikowej lub innych procedur statystycznych opartych na korelacjach. Główną cechą strategii indukcyjnej jest to, że badacz pozwala, aby dane mówiły same za siebie. Strategia zewnętrzna ma charakter empiryczny i opiera się na porównaniach kontrastujących grup. Żadnej z wymienionych grup nie można nazwać preferowaną.

Główne etapy konstrukcji testu

Zanim zaczniesz tworzyć test, musisz jasno wiedzieć, do czego on służy. Jasna odpowiedź na to pytanie jest warunkiem koniecznym pracy. Dlatego pierwszym krokiem jest sformułowanie celu przyszłego testu. Następnie należy przystąpić do opracowania specyfikacji przyszłego testu. Najwygodniej jest to zrobić w formie tabeli, w której obszary treści, które mają być mierzone, będą umieszczone poziomo, a ich przejawy, czyli sposoby, w jakie mogą objawiać się obszary treści, będą umieszczone pionowo .

Jasne zrozumienie celu przyszłego testu w naturalny sposób ułatwia skonstruowanie listy tego, co ma zostać zmierzone. Określając przejawy, ważne jest, aby to zapewnić różne formy ich wdrożenie.

W każdym zadaniu można zadać tylko jedno pytanie lub sformułować jedno stwierdzenie. Nie powinieneś pozwalać na pojawianie się zadań zawierających sformułowania typu: „dla tej osoby i innych osób”, „jak inni” i tym podobne. Każde zadanie (pytanie) powinno być niezwykle proste i przejrzyste. Należy unikać języka dwuznacznego i to w miarę możliwości proste opcje odpowiedzi. Jednocześnie należy dążyć do tego, aby badani nie mogli odgadnąć, jaką cechę ma mierzyć to lub inne zadanie. W przeciwnym razie odpowiedzi będą odzwierciedlać ich punkt widzenia na przejaw tej cechy samej w sobie, a nie rzeczywisty stan rzeczy.

Zadania powinny odzwierciedlać konkret, a nie aspekty ogólne badany obszar zachowania.

O ile to możliwe, należy unikać stosowania słów takich jak „często”, „rzadko” i tym podobnych. Innymi słowy, formułując zadania, należy zachować szczególną ostrożność w użyciu słów wskazujących częstotliwość działań. Należy także unikać terminów wyrażających uczucia. Lepiej przedstawić zadanie w kontekście zachowań.

Bardzo ważne jest, aby każda z proponowanych opcji odpowiedzi była postrzegana przez osobę badaną jako możliwa, prawdopodobna. Odpowiedź postrzegana przez osobę badaną jako niepoprawna będzie miała niskie prawdopodobieństwo wyboru.

Po opracowaniu wszystkich zadań warto po pewnym czasie do nich wrócić i spróbować jeszcze raz ocenić ich treść, upewniając się jeszcze raz, czy wszystkie są zrozumiałe i nie zawierają niejasności. Aby to zrobić, musisz zaangażować co najmniej dwóch lub trzech ekspertów. Kwestionariusze osobowości zazwyczaj wykorzystują trzy typy pozycji: dychotomiczne, trichotomiczne i pozycje ze skalami ocen. Zadania wyboru alternatywnego (dychotomiczne) cieszą się dużą popularnością, są proste w zrozumieniu, łatwe i wygodne w realizacji. To zadanie wymaga najmniej czasu na udzielenie odpowiedzi. Ich wadą jest to, że respondenci często nie są zadowoleni z proponowanej alternatywy i chcieliby zobaczyć więcej opcji odpowiedzi. Pozycje trychotomiczne (trzy możliwości odpowiedzi, np. „tak”, „nie wiem”, „nie”) są również powszechne w kwestionariuszach, a ich zaletą jest to, że badani mogą wyrazić się trafniej niż w przypadku alternatywy.

Nie ma żadnych reguł określających liczbę opcji odpowiedzi. Generalnie nie zaleca się stosowania w kwestionariuszach stosujących skale ocen więcej niż siedem. Ważne jest zapewnienie wystarczającej liczby stopni odpowiedzi, aby badani mogli się odpowiednio wyrazić. Należy pamiętać, że w opracowywanym kwestionariuszu wskazane jest stosowanie tylko jednego rodzaju zadań.

Twórcy testów doskonale zdają sobie sprawę, że projekt i prezentacja techniki, która jest definiowana jako jej oczywista (twarzowa) trafność, określa, jak poważnie traktują ją osoby testujące jako narzędzie ankiety. Każda ankieta musi zawierać blok podstawowych informacji, w tym jej tytuł, a także pytania dotyczące imienia, płci, wieku, wykształcenia i innych danych niezbędnych badaczowi. Należy podać datę wypełnienia ankiety.

Instrukcje muszą być jasne i łatwe do zrozumienia. Powinien wskazywać, jak wybrać odpowiedź i jak ją zaznaczyć w odroście. Zawiera także dodatkowe informacje, które deweloper uważa za niezbędne do przekazania podmiotowi.

Tworząc tekst kwestionariusza, należy kierować się poniższymi zaleceniami.

a) Każde zadanie jest ponumerowane.

b) Każda linia na stronie musi być krótka i zawierać nie więcej niż 10-12 słów.

c) Wszystkie zadania znajdują się w prostym pionowym pasku od góry do dołu, w lewym rogu strony.

Opcje odpowiedzi powinny być przedstawione w prostej linii pionowej od góry do dołu, w prawym rogu strony.

d) Każde zadanie należy od siebie oddzielić, lepiej to zrobić wykorzystując wolną przestrzeń niż poziomą linię.

e) Jeżeli wykorzystywany jest więcej niż jeden rodzaj pracy, podobne stanowiska są grupowane razem. Każdy rodzaj zadania wymaga innych instrukcji i własnych opcji odpowiedzi.

f) Kwestionariusz jest drukowany w sposób zapewniający estetyczny wygląd.

Analiza pozycji na podstawie wyników uzyskanych w badaniu pilotażowym ma na celu wybranie najlepszych pozycji do ostatecznej wersji kwestionariusza i uwzględnia określone proporcje poprawnych odpowiedzi oraz rozróżnialność każdej analizy. Pierwszym krokiem jest utworzenie tabeli analizy zadań, w której każda kolumna reprezentuje zadanie, a każdy wiersz reprezentuje temat. Jeśli chodzi o opracowywanie kwestionariuszy osobowości, w tabeli wpisuje się odpowiednią punktację dla każdego zadania i przyjmuje się, że zadania odwrotne (o przeciwnej treści) są punktowane w taki sam sposób, jak zadania bezpośrednie, ale w przeciwnym kierunku kontinuum punktacji. Wyniki każdej komórki są następnie sumowane, aby uzyskać łączny wynik dla każdego wiersza (przedmioty) i łączny wynik dla każdej kolumny (zadania).

Kolejnym krokiem jest obliczenie wskaźnika, który określa odsetek osób, które odpowiedziały zgodnie z „kluczem” kwestionariusza lub wskaźnikiem wykonania zadania.

Należy także upewnić się, patrząc na wyniki w tabeli analizy pozycji, że dobry wskaźnik wydajności, czyli znajdujący się gdzieś pośrodku pomiędzy skrajnymi ocenami, nie oznacza po prostu wyboru średnich ocen w kontinuum ocen przez każdego zdającego, ale reprezentuje różnicę w różnych ocenach.

Pozycje powinny zostać uwzględnione w ostatecznej wersji kwestionariusza tylko wtedy, gdy mierzą te same cechy osobowości, co inne przeznaczone dla tej pozycji. To jest główne kryterium.

Test jest ogólnie uważany za wiarygodny, jeśli przy wielokrotnym testowaniu daje takie same wyniki dla każdego pacjenta.

W psychometrii słowo niezawodność ma dwa znaczenia. Jednym z nich jest niezawodność oparta na wewnętrznej spójności. Całkiem naturalne jest założenie, że jeśli pewna zmienna jest mierzona częścią testu, to pozostałe jej części, niezgodne z pierwszą, mierzą coś innego. Aby test był ważny, musi być spójny. Istnieje kilka sposobów określenia niezawodności.

Wiarygodność testu powtórnego polega na wielokrotnym przeprowadzaniu tego samego testu tym samym osobom i w mniej więcej takich samych warunkach jak test oryginalny, a następnie ustaleniu korelacji między obiema seriami danych. Stosując tę ​​metodę określania rzetelności trzeba mieć świadomość, że badani potrafią zapamiętać swoje odpowiedzi i odtworzyć je po raz drugi, dlatego powtarzane badanie powinno być oddzielone od pierwszego mniej lub bardziej znaczącym odstępem czasu, zwykle co najmniej miesiąca.

Wiarygodność formularzy równoległych polega na utworzeniu równoważnych formularzy kwestionariusza i przedstawieniu ich tym samym osobom, aby następnie ocenić korelację pomiędzy uzyskanymi wynikami. Głównym problemem uniemożliwiającym powszechne przyjęcie tej metody określania wiarygodności jest konieczność przygotowania dwóch zbiorów wiedzy, co jest niezwykle trudne, ponieważ wymagane są przekonujące dowody na ich równoważność.

Wiarygodność części ciała określa się dzieląc kwestionariusz na dwie części (najczęściej parzyste i nieparzyste), a następnie obliczając korelację pomiędzy tymi częściami. Zazwyczaj ta metoda określania wiarygodności jest zalecana tylko w przypadkach, gdy konieczne jest szybkie uzyskanie wyników.

W wielu przypadkach twórca testu staje przed zadaniem „kompresji” informacji, czyli innymi słowy, zwięzłego opisania badanego zjawiska w obecności wielu obserwacji lub zmiennych. Analiza czynnikowa jest właśnie metodą zmniejszania wymiaru badanego zjawiska wielowymiarowego.

Jak powszechnie wiadomo, jedną z typowych form reprezentacji danych eksperymentalnych jest macierz, której kolumny odpowiadają wynikom (wartościom) uzyskanym w wyniku ich zastosowania. Wizualna analiza matrycy o dowolnej wielkości jest niemożliwa, dlatego konieczne jest skompresowanie informacji wyjściowych i wydobycie z nich tego, co najważniejsze i najistotniejsze. Przede wszystkim badacz musi uzyskać macierz korelacji (obliczenie współczynników korelacji).

W testach psychologicznych celem analizy czynnikowej jest znalezienie kilku podstawowych czynników, które wyjaśniałyby większość wariancji w grupie wyników różnych testów lub innych miar psychometrycznych. Istnieje kilka procedur analizy czynnikowej, lecz nie wszystkie składają się z dwóch etapów: 1) faktoryzacji macierzy korelacji w celu otrzymania wyjściowej macierzy czynnikowej; 2) rotacja macierzy czynnikowej w celu znalezienia najprostszej konfiguracji ładunków czynnikowych.

Etap faktoryzacji w tym procesie ma na celu określenie liczby czynników potrzebnych do wyjaśnienia zależności między różnymi testami i zapewnia wstępne szacunki obciążenia (wagi) każdego testu każdym czynnikiem. Rotacja czynników jest konieczna, aby uczynić je bardziej zrozumiałymi (interpretowalnymi) poprzez utworzenie konfiguracji czynników, w której bardzo niewiele testów ma wysokie ładunki, natomiast większość testy mają niskie ładunki na dowolnym czynniku.

Podejście analityczne czynnikowe pozwala także ocenić rzetelność testu. Jak wiadomo, całkowita wariancja testu jest równa sumie wariancji czynników ogólnych, plus wariancji określonych czynników, plus wariancja błędu. Zatem jeśli podniesiemy analizę czynnikową testu i podniesiemy go do kwadratu oraz zsumujemy jego ładunki czynnikowe, otrzymamy jego rzetelność, ponieważ ładunki czynnikowe reprezentują korelację testu z czynnikami ogólnymi lub specyficznymi. Należy jednak pamiętać, że ta metoda ustalania wiarygodności jest najbardziej odpowiednia w przypadku testu już rozłożonego na czynniki, a nie testów, które mogą mierzyć szeroki zakres różnych czynników, z których część może nie zostać uwzględniona w zestawie badanym przez badacza.

Jedną z istotnych różnic pomiędzy testami psychometrycznymi jest to, że są one standaryzowane, co umożliwia porównanie wyników uzyskanych przez jedną osobę z wynikami populacji ogólnej lub odpowiednich grup. W ten sposób osiąga się odpowiednią interpretację wskaźnika konkretnego przedmiotu. Dlatego standaryzacja testu jest najważniejsza w przypadkach, w których porównuje się wyniki osób badanych. Jednocześnie wprowadza się pojęcie normy, czyli wskaźników normatywnych. Aby uzyskać standardowe normy, należy starannie wybrać większą liczbę przedmiotów, według jasno określonych kryteriów. Tworząc próbę standaryzacyjną należy wziąć pod uwagę jej wielkość i reprezentatywność. Podręczniki testów najczęściej wskazują, że wielkość próby wynosząca 500 osób będzie wystarczająca, aby po prostu zmniejszyć błąd standaryzowany. Jednakże reprezentatywność próby nie zależy od jej wielkości.

Obecnie w praktyce coraz częściej stosuje się tego typu oceny pochodne, takie jak standardowe wskaźniki, które spełniają większość wymagań pomiaru psychologicznego. Takie wskaźniki wyrażają różnicę między indywidualnym wynikiem podmiotu a średnią w jednostkach odchylenia standardowego odpowiedniego rozkładu. Wskaźniki standardowe uzyskuje się na dwa sposoby: poprzez liniową i nieliniową transformację szacunków pierwotnych („surowych”).

Stworzenie standaryzowanego testu i jego publikacja zwykle dopełniają pracę psychologa, należy jednak pamiętać, że z biegiem czasu konieczna jest rewizja testu.

Strona 21 z 25

Główne etapy konstruowania testu pedagogicznego

Problemy projektowania kwestionariuszy.

Opracowując zadania do kwestionariuszy, należy wziąć pod uwagę następujące problemy, które, jeśli się ich nie uniknie, nieuchronnie doprowadzą do niskiej wiarygodności testów.

1. Instalacja zgody. Jest to tendencja podmiotu do zgadzania się ze stwierdzeniami lub odpowiadania na pytania „tak” niezależnie od ich treści. Najczęściej ma to miejsce, gdy stwierdzenia (pytania) są niejednoznaczne i niejasne.

2. Skoncentruj się na odpowiedziach zaakceptowanych społecznie. Jest to tendencja osób zdających do odpowiadania na pytania testowe w sposób, który wydaje się „społecznie pozytywny”: jeśli możliwa jest „społecznie pożądana” odpowiedź, jest wysoce prawdopodobne, że zdający jej udzielą.

3. Postaw na niejasne lub przeciętne odpowiedzi. Jeżeli w kwestionariuszu przedstawiono średnią kategorię odpowiedzi, która odzwierciedla niezdecydowanie lub niepewność odpowiedzi (np.
„nie wiem”, „nie wiem” lub „trudno odpowiedzieć”), wówczas wiele osób zwykle ucieka się do tego jako bezpiecznego kompromisu. Powoduje to zmniejszoną trafność, ponieważ większość metod analizy pozycji opiera się na skrajnych wynikach.

4. Ustawienie na „ekstremalne” (znajdujące się na krawędziach skali) odpowiada. Taka postawa może być widoczna w przypadku stosowania wielopozycyjnej skali ocen. Część przedmiotów, niezależnie od treści pytań, woli wybierać odpowiedzi skrajne.

5. Wykazalna ważność pytań. Oczywiście testy osobowości wymagają pewności, że odpowiedzi na pytania można uznać za zgodne z prawdą.

6. Problemy w ustaleniu odpowiedniego kryterium ważności. Znalezienie odpowiedniego kryterium jest dość trudne.

Są to główne trudności związane z konstruowaniem kwestionariuszy i należy je dokładnie zrozumieć, zanim zacznie się formułować pytania lub stwierdzenia. Dwa ostatnie problemy, choć decydujące, wychodzą na pierwszy plan po wyborze zadań testowych.

Proces tworzenia testu, jego naukowego uzasadnienia, przetwarzania i doskonalenia można podzielić na kilka etapów.

1. Określenie celu testowania, wybór rodzaju testu i podejścia do jego tworzenia.

2. Analiza treści badanego zjawiska (jakość).

3. Ustalenie struktury testu i strategii rozmieszczania zadań.

4. Opracowanie specyfikacji testów, dobór długości testu i czasu jego wykonania.

5. Tworzenie zadań przedtestowych.

6. Wybór zadań do testu i ich ranking zgodnie z obraną strategią prezentacji w oparciu o aprioryczną autorską ocenę trudności zadań.

7. Sprawdzenie treści zadań przedtestowych i kolokwium.

8. Badanie formy zadań przedtestowych.

9. Przepracowanie treści i formy zadań na podstawie wyników egzaminu.

10. Opracowanie metodyki badań aprobacyjnych.

11. Opracowanie instrukcji dla osób przeprowadzających badania testowe.

12. Przeprowadzanie badań akceptacyjnych.

13. Zbiór wyników empirycznych

14. Statystyczne przetwarzanie wyników badań.

15. Interpretacja wyników przetwarzania w celu poprawy jakości badania. Weryfikacja zgodności charakterystyki testów z naukowymi kryteriami jakości.

16. Korekta treści i formy zadań na podstawie danych z poprzedniego etapu. Oczyszczenie testu i dodanie nowych zadań w celu optymalizacji zakresu wartości parametrów trudności i poprawy właściwości systemotwórczych zadań testowych. Optymalizacja długości testów i czasu wykonania. Optymalizacja kolejności zadań w teście.

17. Powtarzanie etapu testowania w celu poprawy jakości testu.

18. Interpretacja danych przetwarzających, ustalanie standardów testowych i tworzenie skali oceny wyników osób badanych.

Powstaje swego rodzaju cykl, gdyż po oczyszczeniu testu deweloper musi powrócić do etapu zbierania danych empirycznych i to z reguły nie raz, ale dwa, trzy lub więcej razy. W pewnym sensie cykl ten nie ma końca, ale nie dlatego, że wszystkie zadania są złe, a programista nie ma wystarczającego doświadczenia w tworzeniu testu. Proces konstruowania testu jest dość trudny, gdyż wymagane jest kompleksowe podejście do oceny jakości testu i charakterystyki pozycji testowych oraz weryfikacji ich właściwości systemotwórczych.

Ponadto możemy uznać to za zadanie optymalny wybór Skład testu nie ma jednego rozwiązania, gdyż nie wszystko tutaj zależy od jakości materiału testowego, a wiele zależy jeszcze od poziomu przygotowania grupy uczniów. Zadania, które sprawdzają się w przypadku jednej próby uczniów, mogą być bezużyteczne dla innej, ponieważ będą albo za łatwe, albo za trudne i żaden uczeń w grupie nie wykona ich poprawnie.

Sukces tworzenia testu w dużej mierze zależy od wysokiej jakości wyjściowego materiału testowego, o czym zapewnia właściwy dobór testowanej treści oraz umiejętność prawidłowego jej wyświetlenia przez programistę w zadaniach testowych. Niezwykle ważny jest etap przetwarzania wyników badań empirycznych, który wymaga specjalnego oprogramowania do profesjonalnego opracowania testów.

Oczywiście nie zawsze konieczne jest osiągnięcie profesjonalnego poziomu jakości w procesie tworzenia testów, szczególnie jeśli pominiemy cele ogólne. W codziennej pracy nauczyciela potrzebne są sprawdziany o zróżnicowanej, czasem niskiej jakości, skupiające się na zadaniach bieżącej kontroli. Wykonanie tego ostatniego zadania leży całkowicie w możliwościach pojedynczego nauczyciela lub grupy nauczycieli. Jednak nawet w tym przypadku można samodzielnie wykonać szereg obliczeń w oparciu o minimalny aparat matematyczny i pozwalających na znaczny postęp od zadań przedtestowych do testu rzeczywistego.

Na etapie gromadzenia danych należy podjąć specjalne środki, aby zapewnić spójność procedury badawczej. Standaryzacja tej procedury dotyczy kwestii utworzenia reprezentatywnej próby pacjentów, odpowiednich instrukcji, wyboru optymalnego czasu badania, jakości materiałów i odpowiedniego środowiska. Należy zwrócić szczególną uwagę na przeszkolenie nauczycieli przeprowadzających egzaminy w zakresie podejmowania działań zapobiegających ściąganiu podczas egzaminu. Najmniejsze odchylenie od wymagań normalizacyjnych będzie oznaczać spadek wiarygodności wyników empirycznych testu. Oprócz wymienionych na wyniki testu może mieć wpływ wiele innych, mniej oczywistych czynników. Ogólnie rzecz biorąc, aby zapewnić gromadzenie rzetelnych danych empirycznych, konieczne jest:

Dokładnie przestrzegaj procedur standaryzacyjnych podczas zbierania danych empirycznych;

Zarejestruj wszelkie niestandardowe warunki prowadzące do odstępstw od wymagań normalizacyjnych;

Interpretując test, należy wziąć pod uwagę niestandardowe warunki testowania.

Rozwój ma ogromne znaczenie prawidłowe instrukcje o przeprowadzeniu testu, który powinien być przygotowany zarówno dla nauczyciela prowadzącego proces stosowania testu, jak i dla uczniów przeprowadzających test.

Instrukcja dla nauczyciela zawiera zalecenia dotyczące przygotowania grupy uczniów do przystąpienia do egzaminu, przybliżone obowiązki nauczyciela na etapie kolokwium, zalecenia dotyczące przygotowania krótkiego sprawozdania z przeprowadzonej procedury testowej.
Ogólnie rzecz biorąc, przed testowaniem nauczyciel potrzebuje następujących informacji.

1. Wyjaśnij, dlaczego potrzebne jest badanie, powiedz, jakich wyników się oczekuje.

2. Wyjaśnij, dlaczego uczestnicy muszą dołożyć wszelkich starań, aby je ukończyć, skupić uwagę badanych na możliwości sprawdzenia swoich sił i podkreślić motyw rywalizacji. Należy pamiętać, że zarówno zbyt silna motywacja, jak i słaba motywacja, równie negatywnie wpływają na wyniki testu.

3. Powoli i wyraźnie przeczytaj instrukcję do testu z przykładami, jeśli takie istnieją. Możliwa jest sytuacja, gdy uczniowie samodzielnie postępują zgodnie z instrukcją według swoich możliwości testowych, a nauczyciel czyta ją lub odtwarza z pamięci.

4. Daj uczestnikom możliwość przećwiczenia, rozwiązując samodzielnie jeden lub więcej przykładowych problemów, jeśli takie istnieją. Sprawdź, czy instrukcje są poprawnie zrozumiane na podstawie wyników wykonania przykładowych zadań testowych.

5. Poinformuj o zasobie tymczasowym, zasadach poprawiania błędów, porozmawiaj o tym, czego nie zaleca się robić podczas wykonywania zadań i z kim się kontaktować w przypadku pytań.

6. Razem z badanymi wpiszcie, jeśli to konieczne, dane paszportowe i biograficzne na formularzach rejestracyjnych i zadbajcie o ich prawidłowe wypełnienie.

7. Przed rozpoczęciem testu odpowiedz na dostępne pytania.

8. Rozdaj test.

9. Wydaj polecenie rozpoczęcia wykonywania zadań. Sam zapisz godzinę rozpoczęcia lub poproś o to uczestników w formularzu rejestracyjnym.

10. Podczas wykonywania zadań zwracaj uwagę na:

Na czas realizacji poszczególnych podtestów, jeśli zajdzie taka potrzeba, jak np. przy wykonywaniu testów prędkości;

Aby uzyskać dostęp do zaostrzonych ołówków i innych materiałów;

Zapewnienie prawidłowego wypełnienia części paszportowej formularzy rejestracyjnych (w przypadku zauważenia błędu należy go w odpowiednim czasie poprawić);

Upewnij się, że badani nie piszą na książeczkach testowych, chyba że zostaną poinstruowani, aby to zrobić;

Upewnij się, że sąsiedzi nie komunikują się, nie przeszkadzają sobie nawzajem i nie podglądają;

Ze względu na stan badanych;

Zapewnienie, że badani otrzymają terminowo odpowiedzi na pytania dozwolone w instrukcji w sytuacjach związanych z zabiegiem.

11. Po sygnale wykonania zadań testowych w grupie wydaj polecenie złożenia broszur i formularzy odpowiedzi na ich pierwotne miejsce lub samodzielnego złożenia (jeśli uczestniczy nie więcej niż 30 osób). Jeżeli uczestników testu jest więcej niż 30, zaleca się, aby wszyscy pozostali na swoich miejscach i przekazali materiały testowe na początek rzędu w następującej kolejności: formularze odpowiedzi, broszury, wersje robocze. Następnie policz liczbę formularzy i broszur.

12. Na koniec testu przejrzyj wszystkie broszury i usuń znajdujące się na nich oznaczenia.