Metoda ocen eksperckich. Metody egzaminacyjne

Dzisiaj jest to naprawdę zbyt proste: możesz podejść do komputera i mając niewielką lub żadną wiedzę na temat tego, co robisz, tworzyć inteligencję i bzdury z naprawdę zdumiewającą szybkością. (J. Box)

Oceny ekspertów

Oceny eksperckie często pojawiają się w praktyce, np. podczas degustacji produktów spożywczych. Generalnie są one typowe dla badań socjologicznych, np. kierownik kontroli jakości przeprowadza ankietę wśród klientów supermarketu. W przypadku metody eksperckiej do oceny jakości często wykorzystuje się skalę zamówień. Kwestię porównania rozwiązano w myśl zasady „lepsze jest gorsze”, „więcej znaczy mniej”. Więcej dokładna informacja ile razy lepiej lub gorzej często nie jest wymagane.

Porównanie parami (obiekty porównuje się ze sobą parami). Konstruując skalę porządkową, czyli tzw. szeregi rankingowe, eksperci korzystają z tej metody porównanie parami. W zakładce. Rysunek 1 przedstawia przykład rankingu sześciu obiektów przy użyciu porównania parami. To efekt pracy jednego eksperta, który w określony sposób ocenił obiekty. Preferencja jednego obiektu względem drugiego jest oznaczona liczbą 1, sytuacja odwrotna jest oznaczona liczbą 0.

Seria rankingowa(skala porządkowa) dla obiektów, których ocenę porównawczą podano w tabeli. 1 będzie wyglądać:

Pytanie 4

Jeśli skorzystasz z pomocy kilku ekspertów, możesz uzyskać dokładniejszy wynik.

Można zastosować bardziej zaawansowane kryteria, na przykład przewaga jest określana na podstawie wyniku 1, gorsza jakość jest określana na podstawie wyniku -1, a równorzędna jakość jest określana na podstawie wyniku 0. Mechanizm tworzenia szeregów rankingowych pozostaje To samo.

Psychologowie udowodnili, że u podstaw każdego wyboru leży porównanie parami (czyli wybiera się produkty porównując je parami), często jednak skala zamówień jest ustalana z góry (a nie seria rankingowa) i są w niej ustalone punkty odniesienia, które nazywane są punktami .

Tak pojawiła się dwunastopunktowa skala intensywności trzęsień ziemi MSK - 64, skala mineralogiczna Mohsa, pięciopunktowa skala oceny wiedzy, punkty w łyżwiarstwie figurowym itp. W tabeli 2 przedstawiono przykładową skalę twardości minerału Mohsa.

Numer obiektu							Konkluzja

Tabela 1. Ranking sześciu obiektów poprzez porównanie parami

Tabela 2. Skala Mohsa

Każdy kolejny minerał pozostawia rysę na poprzednim, czyli tzw. jest solidniejszy. Wyniki pomiarów uzyskane poprzez porównanie parami można udoskonalić metodą kolejnych aproksymacji.

Wpływ składu ekspertów na wyniki egzaminu

Tworząc grupę ekspercką wskazane jest przeprowadzenie badań, wzajemnej oceny ekspertów oraz sprawdzenie zgodności opinii.

Testowanie polega na rozwiązywaniu przez ekspertów problemów, których wyniki są znane organizatorom testów, ale nieznanym ekspertom, oraz testowaniu, przy użyciu kryterium Fishera, hipotezy, że oceny różnych ekspertów należą do tej samej ogólnej populacji ocen.

Samoocena polega na tym, że każdy ekspert w określonym czasie odpowiada na pytania zawarte w specjalnie zaprojektowanej ankiecie. Test ten jest przeprowadzany na komputerze i następnie oceniany. Eksperci mogą się wzajemnie oceniać, ale wymaga to atmosfery zaufania i doświadczenia we wspólnej pracy. Zgodność opinii biegłego można ocenić za pomocą wartości współczynnika zgodności:

Gdzie S- suma kwadratów odchyleń wszystkich oszacowań rang dla każdego obiektu badań od wartości średniej;
N- liczba ekspertów;
M- liczba obiektów badania.

Współczynnik zgodności zmienia się w zakresie 0<W<1, причем 0 - полная несогласованность, 1 - полное единодушие.

Przykład

Należy określić stopień zgodności opinii pięciu ekspertów, czego wyniki dla siedmiu uszeregowanych obiektów przedstawiono w tabeli 3. Do określenia stopnia zgodności stosuje się specjalną miarę – współczynnik zgodności Kendalla (z łac. . zgoda- uporządkować, uporządkować).

Numer przedmiotu badania	Suma rang	Odchylenie od średniej	Odchylenie kwadratowe
Numer przedmiotu badania	Suma rang	Odchylenie od średniej	Odchylenie kwadratowe

Tabela 3. Dane do oceny zgodności opinii pięciu ekspertów

Szacujemy średnią arytmetyczną liczby rang:

Średnia Q = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Następnie szacujemy sumę kwadratów odchyleń od średniej: S = 630. Wyznaczamy wartość współczynnika zgodności:

W = 12 * 630 / 25 * (343 - 7) = 0,9.

Czy to dużo czy mało? Jeśli przeprowadzimy odpowiednie obliczenia w STATYSTYKA, możesz uzyskać następującą tabelę wyników:

Ryż. 1. Wyniki analiz w programie STATISTICA

Z tabeli tej wynika, że różne opinie ekspertów w tym przykładzie są nieistotne: s<0.00014.

Wpływ na wyniki badań składu ilościowego ekspertów. Wraz ze wzrostem liczby ekspertów w grupie wzrasta dokładność pomiaru, co jest typowe dla pomiarów powtarzanych.

Liczba ekspertów N zapewniający daną dokładność pomiaru, można ustalić znając prawo rozkładu opinii ekspertów oraz maksymalny dopuszczalny błąd standardowy oszacowania Sx. Następnie za pomocą znanego wyrażenia można określić minimalną liczbę ekspertów N, zapewniając określoną dokładność pomiaru:

gdzie jest odchyleniem standardowym, które określa się według wzoru:

gdzie jest średnią arytmetyczną ocen ekspertów;
- liczba ocen wydanych przez ekspertów.

Rozróżnia się także indywidualne i zbiorowe opinie ekspertów, przy czym tę drugą uważa się za bardziej trafną i, co najważniejsze, spójną. Rolą ekspertów mogą być osoby ze specjalnym przeszkoleniem, potencjalni konsumenci i producenci produktów.

Wprowadzenie……………………………………………………………………………..3

Rozdział 1 Istota, metody i proces ekspertyz…………………5

1.1 Istota ekspertyz……………………………………………5

1.2 Rola ekspertów w zarządzaniu……………………………………………..9

1.3 Proces wzajemnej oceny ………………………………………10

1.4 Metody ocen eksperckich……………………………………………..18

1.4.1 Analiza SWOT………………………………………………………...18

1.4.2 Metoda SMART…………………………………………………………….20

1.4.3 Sposób rankingu i oceny……………………………………..21

1.4.4 Metoda oceny bezpośredniej……………………………22

1.5 Ocena umowy eksperckiej………………………………….23

Rozdział 2 Metody ocen eksperckich na przykładzie OJSC „UAZ” …………….24

Zakończenie…………………………………………………………………………………32

Wykaz źródeł i wykorzystanej literatury …………………………..33

Wstęp

W badaniach nad zarządzaniem szeroko stosowana jest metoda ocen eksperckich. Tłumaczy się to złożonością wielu problemów, ich pochodzeniem z „czynnika ludzkiego” oraz brakiem wiarygodnych narzędzi eksperymentalnych lub normatywnych.

Nie ulega wątpliwości, że aby podejmować świadome decyzje, należy polegać na doświadczeniu, wiedzy i intuicji specjalistów. Po drugiej wojnie światowej w ramach teorii zarządzania zaczęła rozwijać się samodzielna dyscyplina – oceny eksperckie.

Metody ocen eksperckich to metody organizacji pracy z ekspertami i przetwarzania opinii eksperckich, wyrażonych w formie ilościowej i/lub jakościowej, w celu przygotowania informacji do podejmowania decyzji przez decydentów.

Badaniu możliwości i cech wykorzystania ocen eksperckich poświęcono wiele prac. Omawiane są formy badań eksperckich (różne rodzaje ankiet, wywiady), podejścia do oceny (ranking, normowanie, różne rodzaje porządkowania itp.), sposoby przetwarzania wyników badań, wymagania stawiane ekspertom i tworzenia grup eksperckich, zagadnienia szkolenie ekspertów, ocena ich kompetencji (przy przetwarzaniu ocen wprowadzane i uwzględniane są współczynniki kompetencji ekspertów i rzetelności ich opinii), metody organizacji badań eksperckich. Dobór form i metod prowadzenia badań eksperckich, podejść do przetwarzania wyników badań itp. zależy od konkretnego zadania i warunków egzaminu.

Metody eksperckie znajdują obecnie zastosowanie w sytuacjach, gdy wybór, uzasadnienie i ocena skutków decyzji nie może być dokonana na podstawie dokładnych obliczeń. Takie sytuacje często powstają przy opracowywaniu współczesnych problemów zarządzania produkcją społeczną, a zwłaszcza przy prognozowaniu i planowaniu długoterminowym. W ostatnich latach oceny eksperckie znalazły szerokie zastosowanie w prognozowaniu społeczno-politycznym i naukowo-technicznym, w planowaniu gospodarki narodowej, gałęzi przemysłu, stowarzyszeń, w opracowywaniu głównych programów naukowych, technicznych, gospodarczych i społecznych oraz w rozwiązywaniu indywidualnych problemów zarządczych .

Rozdział 1 Istota, metody i proces ocen eksperckich

1.1 Istota ocen eksperckich

Możliwość wykorzystania ocen eksperckich i uzasadnienie ich obiektywności zwykle polega na tym, że nieznana cecha badanego zjawiska jest interpretowana jako zmienna losowa, której odzwierciedleniem prawa rozkładu jest indywidualna ocena specjalisty. o wiarygodności i znaczeniu konkretnego zdarzenia. Zakłada się, że rzeczywista wartość badanej cechy mieści się w granicach szacunków uzyskanych od grupy ekspertów, a uogólniona opinia zbiorowa jest wiarygodna.

Jednak niektóre badania teoretyczne kwestionują to założenie. Proponuje się na przykład podzielenie problemów, dla których wykorzystuje się oceny eksperckie, na dwie klasy. DO uliczka druga klasa Należą do nich problemy w miarę dobrze zaopatrzone w informacje, przy których można zastosować zasadę „dobrego mierniczego”, uznając eksperta za depozytariusza dużej ilości informacji oraz grupową opinię ekspertów za bliską prawdziwej jeden. Współ. druga klasa Należą do nich problemy, dla których wiedza nie jest wystarczająca, aby zapewnić słuszność powyższych założeń; ekspertów nie można uważać za „dobrych mierniczych” i należy zachować ostrożność podczas przetwarzania wyników badania, gdyż w tym przypadku opinia jednego (pojedynczego) eksperta, który większą uwagę poświęca badaniu mało zbadanego problem, może okazać się najważniejszy, a podczas formalnego przetwarzania zostanie utracony. W związku z tym w przypadku problemów drugiej klasy należy głównie stosować jakościowe przetwarzanie wyników. Stosowanie metod uśredniających (dotyczy „dobrych liczników”) w tym przypadku może prowadzić do znacznych błędów.

Zadania zbiorowego podejmowania decyzji mające na celu formułowanie celów, doskonalenie metod i form zarządzania można zwykle zaliczyć do pierwszej klasy. Przy opracowywaniu prognoz i planów długoterminowych warto jednak identyfikować opinie „rzadkie” i poddawać je dokładniejszej analizie.

Kolejnym problemem, o którym należy pamiętać przeprowadzając analizę systemową, jest to, że nawet w przypadku rozwiązywania problemów należących do pierwszej klasy nie można zapominać, że oceny eksperckie niosą ze sobą nie tylko wąsko subiektywne cechy właściwe poszczególnym ekspertom, ale także łącznie - cechy subiektywne, które nie zanikają w trakcie przetwarzania wyników ankiety (a przy zastosowaniu procedury Delphi mogą nawet się nasilać). Innymi słowy, oceny eksperckie należy postrzegać jako pewien „publiczny punkt widzenia”, zależny od poziomu wiedzy naukowo-technicznej społeczeństwa na temat przedmiotu badań, która może się zmieniać wraz z rozwojem systemu i naszych wyobrażeń na jego temat. Dlatego też badanie eksperckie nie jest procedurą jednorazową. Ten sposób uzyskiwania informacji o złożonym problemie charakteryzującym się dużym stopniem niepewności powinien stać się swego rodzaju „mechanizmem” w złożonym systemie, tj. konieczne jest stworzenie stałego systemu pracy z ekspertami.

Należy także zaznaczyć, że zastosowanie klasycznego podejścia częstotliwościowego do oceny prawdopodobieństwa przy organizacji badań eksperckich może być trudne, a czasami niemożliwe (ze względu na brak możliwości udowodnienia zasadności stosowania reprezentatywności próby). Dlatego obecnie trwają badania nad naturą prawdopodobieństwa oceny eksperckiej, w oparciu o teorię zbiorów rozmytych Zadeha, na koncepcji oceny eksperckiej jako stopnia potwierdzenia hipotezy lub jako prawdopodobieństwa osiągnięcia celu. Jedną z odmian metody eksperckiej jest metoda badania mocnych i słabych stron organizacji, szans i zagrożeń dla jej działalności – metoda analizy SWOT.

Gromadzenie informacji eksperckich uzależnione jest od wyboru metody oceny eksperckiej. Zazwyczaj w celu zebrania informacji eksperckich sporządzane są specjalne dokumenty, takie jak kwestionariusze, zatwierdzane przez odpowiednich menedżerów, a następnie przesyłane do ekspertów.

Przetwarzanie informacji eksperckich odbywa się wybraną metodą, najczęściej z wykorzystaniem technologii komputerowej. Dane uzyskane w wyniku przetwarzania są analizowane i wykorzystywane do rozwiązywania problemów analizy i syntezy systemów sterowania.

Oceny eksperckie służą do analizy, diagnozy stanu, a następnie prognozowania możliwości rozwoju:

1) przedmioty, których rozwój całkowicie lub częściowo wykracza poza opis merytoryczny lub formację matematyczną;

2) w przypadku braku wystarczająco reprezentatywnych i wiarygodnych statystyk dotyczących charakterystyki obiektu;

3) w warunkach dużej niepewności otoczenia funkcjonowania obiektu, otoczenia rynkowego;

4) do średnio- i długoterminowego prognozowania nowych rynków, obiektów nowych dziedzin przemysłu, na które duży wpływ mają odkrycia nauk podstawowych (np. przemysł mikrobiologiczny, elektronika kwantowa, inżynieria nuklearna);

5) w przypadkach, gdy czas lub środki przeznaczone na prognozowanie i podejmowanie decyzji nie pozwalają na zbadanie problemu za pomocą modeli formalnych;

6) brak niezbędnych narzędzi do modelowania technicznego, np. technologii komputerowej o odpowiednich charakterystykach;

7) w sytuacjach ekstremalnych.

Zadania rozwiązywane w procesie ocen eksperckich systemów zarządzania można podzielić na dwie grupy:

1) zadania syntezy nowych systemów sterowania i ich oceny;

2) zadanie analizy (pomiaru) istniejących systemów zarządzania według wybranych wskaźników i kryteriów efektywności.

Część informacji eksperckich uzyskanych w trakcie rozwiązywania tych problemów ma charakter jakościowy i kształtuje się w postaci złożonych ocen w formie opisowej. Jednakże problemy syntezy rozwiązywane za pomocą ocen eksperckich mogą mieć charakter ilościowy, a ich rozwiązanie będzie związane z uzasadnieniem wielu parametrów (charakterystyk) tworzonego systemu.

Zadania drugiej grupy obejmują wszystkie zadania oceny istniejących lub stworzonych opcji systemów sterowania przy użyciu określonych wskaźników i kryteriów wydajności. Przykładami takich zadań są: określenie cech strukturalnych, funkcjonalnych lub informacyjnych systemu; ocena jego skuteczności podczas różnych operacji; określenie możliwości dalszej eksploatacji urządzeń kontroli technicznej i łączności itp. Znaczna część informacji eksperckich wykorzystywanych przy rozwiązywaniu takich problemów ma charakter ilościowy lub ma formę elementarnych ocen i jest przetwarzana przy użyciu różnych metod statystycznych.

1.2 Rola ekspertów w zarządzaniu

Ekspertyza to opinia, pomysł, decyzja lub ocena oparta na wdrożeniu cennego doświadczenia specjalisty, głębokiej znajomości tematu badań i technologii analizy jakościowej .

Ekspertyza może mieć charakter indywidualny lub grupowy. W badaniu grupowym ogromne znaczenie ma dobór grupy ekspertów oraz metodyka ostatecznego opracowania wyników jej pracy.

Opinia biegłego jest dokumentem dokumentującym przebieg badania i jego wyniki. W tym przypadku wnioski i opinie ekspertów mogą mieć zarówno formę kategoryczną („tak”, „nie”), jak i probabilistyczną (w postaci założenia, rankingu, współczynnika preferencji itp.).

Organizując pracę ekspertów, należy przestrzegać następujących zasad:

1. Pomysły, opinie i oceny muszą mieścić się w przygotowanym wcześniej schemacie. Pozwala to na ich uogólnianie, porównywanie, podkreślanie itp. Taki schemat nie powinien krępować myślenia i ograniczać wyobraźni. Schemat może dopuszczać i sugerować możliwość jego modyfikacji i uzupełnień.

2. Przetwarzanie opinii biegłych musi odbywać się nie tylko w drodze uogólnienia ilościowego, ale także poprzez analizę jakościową, podkreślając główne, istotne, ważne, istotne, oryginalne, nowe itp. Opinia biegłego może być przedmiotem drugiej- egzamin etapowy.

3. Eksperci muszą być niezależni, tj. wolny od wszelkich ograniczeń organizacyjnych, koncepcyjnych i psychologicznych. W tym przypadku najlepiej sprawdzają się ich doświadczenie, wiedza i intuicja.

4. Praca grupy eksperckiej powinna być celowa. Zrozumienie, dlaczego i w jaki sposób przeprowadza się badanie, jest ważnym elementem jego wdrożenia. W wielu przypadkach konieczne jest specjalne przeszkolenie ekspertów, które pełni rolę mobilizującą wysiłek i inteligencję.

5. Istnieją różne formy organizacji pracy grupy eksperckiej: albo każdy ekspert wykonuje badanie indywidualnie, a następnie podsumowuje i usystematyzuje wyniki, albo eksperci pracują kolektywnie, współdziałając ze sobą.

6. Możliwa jest równoległa i wieloetapowa praca kilku grup eksperckich. Porównanie badań dostarcza ważnych informacji.

Metod uzyskiwania ocen eksperckich jest wiele. W niektórych pracują z każdym ekspertem osobno, on nawet nie wie, kto jeszcze jest ekspertem, dlatego wyraża swoją opinię niezależnie od autorytetów. W innych eksperci gromadzą się, aby przygotować materiały dla decydentów, a eksperci omawiają między sobą problem, uczą się od siebie, a błędne opinie są odrzucane. W niektórych metodach liczba ekspertów jest stała i taka, że statystyczne metody sprawdzania zgodności opinii, a następnie ich uśredniania pozwalają na podejmowanie świadomych decyzji. W innych liczba ekspertów rośnie w trakcie procesu egzaminacyjnego, np. przy zastosowaniu metody „kuli śnieżnej”.

Specjalistę lub grupę specjalistów pełniących rolę ekspertów utożsamia się czasem z przyrządem pomiarowym obarczonym przypadkowymi i systematycznymi błędami pomiarowymi.

Błędy losowe wynikają z subiektywizmu opinii ekspertów na dany temat i mogą odbiegać w tym czy innym kierunku od prawdziwej wartości. Wpływ takich błędów zmniejsza się poprzez uśrednienie wystarczającej liczby szacunków.

Błąd systematyczny jest nieodłącznym elementem całego zespołu ekspertów i nie można go wyeliminować poprzez przetwarzanie uzyskanych szacunków. Sugeruje to, że w niektórych przypadkach należy bardzo ostrożnie podchodzić do wyników ankiety eksperckiej, która czasami może wyrażać ogólnie błędny punkt widzenia, w zależności od poziomu wiedzy i przekonań ekspertów.

1.3 Proces wzajemnej oceny

Do głównych etapów procesu oceny eksperckiej zalicza się:

kształtowanie celu i celów oceny eksperckiej;

utworzenie grupy zarządzającej i wykonanie decyzji o przeprowadzeniu ekspertyzy;

wybór sposobu pozyskiwania informacji eksperckiej i sposobów jej przetwarzania;

wybór grupy eksperckiej i w razie potrzeby wygenerowanie kwestionariuszy ankietowych;

badanie ekspertów (badanie);

przetwarzanie i analiza wyników badań;

interpretacja uzyskanych wyników;

kompilacja raportu.

Zadanie przeprowadzenia ekspertyz wyznacza decydent. Etap kształtowania celów i zadań oceny eksperckiej jest najważniejszy. Od tego zależy wiarygodność uzyskanego wyniku i jego wartość pragmatyczna. Kształtowanie celów i zadań oceny eksperckiej podyktowane jest istotą rozwiązywanego problemu. Należy przy tym wziąć pod uwagę następujące czynniki: rzetelność i kompletność dostępnych informacji wstępnych, wymaganą formę przedstawienia wyniku (jakościową lub ilościową), możliwe obszary wykorzystania otrzymanych informacji, czas ich prezentacji, zasoby dostępne dla kadry zarządzającej, możliwość przyciągnięcia specjalistów z innych dziedzin wiedzy i wiele więcej. Zadanie jest sformalizowane w formie dokumentu przewodniego (na przykład decyzji o przeprowadzeniu ekspertyzy).

Wyznacza się kierownika egzaminu, który przygotowuje decyzję i kieruje dalszymi pracami. Określa skład zespołu zarządzającego. Grupa zarządzająca przekazuje informację zwrotną ekspertom lub stosując metodę Delphi.

Grupie zarządzającej powierzone są nie tylko wszelkie prace organizacyjno-planistyczne mające na celu zapewnienie sprzyjających warunków efektywnej działalności twórczej ekspertów, ale także prace analityczne nad wyłonieniem grupy eksperckiej, określeniem sposobów pozyskiwania i przetwarzania informacji, opracowywaniem ankiet i merytoryczną interpretacją uzyskane wyniki.

Tak duży i złożony zakres problemów do rozwiązania wymaga włączenia w skład kierownictwa wysoko wykwalifikowanych specjalistów zarówno z zakresu rozpatrywanego problemu, jak i z innych dziedzin - psychologii, matematyki, medycyny, socjologii.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

· ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności jako ekspertów w zakresie pierwszych problemów badań CS;

· zbiorcza ocena kandydata na eksperta jako specjalisty w danej dziedzinie

· samoocena kandydata na eksperta;

· analityczne określenie kompetencji kandydatów na ekspertów.

Wszystkie te metody mają jednak pewne wady, do których należą: brak jednej, ogólnie przyjętej metodologii oceny; wysoka pracochłonność oceny; pojawienie się problemów etycznych przy stosowaniu subiektywnych metod oceny.

W trakcie tej pracy często stosuje się kilka metod jednocześnie: samoocenę i zbiorową ocenę cech proponowanego eksperta. Takie podejście umożliwia rozsądny dobór ekspertów o niezbędnych cechach. Należy jednak przyznać, że metoda oceny dotychczasowych osiągnięć wydaje się bardziej obiektywna niż metody samooceny i oceny zbiorowej.

Generalnie utworzenie grupy eksperckiej poprzedzają następujące działania:

· problem został zidentyfikowany i sformułowany;

· ustala się cel i obszar działania grupy;

· sporządza się wstępną listę ekspertów;

· przeprowadzana jest analiza i selekcja ekspertów (w oparciu o zastosowanie jednej lub kilku metod ich selekcji);

· ustalana jest lista ekspertów; . uzyskano zgodę biegłego na udział w pracach grupy ekspertów;

· ustala się ostateczną reprezentatywną listę ekspertów. Wszystkich potencjalnych ekspertów, w zależności od ich jakości i kompetencji, można podzielić na siedem klas

Przykład oceny jakości i kompetencji ekspertów

O wyborze liczby klas jakości ekspertów w tym przypadku decyduje „reguła siedmiu”, tradycyjnie stosowana przy rozwiązywaniu problemów zarządzania jakością.

Gradacja ta pozwala na wybranie wymaganych ekspertów do pracy w grupie eksperckiej. Aby uzyskać w miarę obiektywne wyniki badania CS, warto wybierać spośród ekspertów należących do klas jakości 1-4. Nie zaleca się angażowania w egzaminy kandydatów na ekspertów o niższych klasach.

Niezależnie od wybranej metody oceny kwalifikacji kandydatów, eksperci muszą w każdym przypadku spełniać określone wymagania, m.in.:

Kompetencje zawodowe oraz doświadczenie praktyczne i badawcze w obszarze zarządzania;

Kreatywność (umiejętność rozwiązywania problemów twórczych); . intuicja naukowa;

Zainteresowanie obiektywnymi wynikami pracy eksperckiej;

Niezależność wyroku;

Biznesowy „opanowanie” umiejętność przechodzenia z jednego rodzaju działalności na inny, komunikacja, niezależność oceny, motywacja działań);

Obiektywność;

Nonkonformizm;

Wysoka erudycja ogólna.

Przeprowadzenie zbioru ekspertyz polega na ustaleniu: miejsca i terminu zbierania opinii; formy i metody zbierania opinii; liczba rund zbierania opinii; skład i zawartość dokumentacji; tryb utrwalenia wyników ekspertyz w dokumentach.

Bardzo ważne jest określenie formy zbierania opinii biegłych. Wśród wszystkich znanych form zbierania opinii możemy wyróżnić indywidualny, zbiorowy (grupowy) I mieszany. Zatem formy te różnią się przede wszystkim czynnikiem udziału eksperckiego w pracy (indywidualnego lub zbiorowego) i każda z nich ma szereg odmian:

Kwestionariusz;

Wywiad;

Dyskusja;

Burza mózgów

Spotkanie;

Gra biznesowa.

Wszystkie mają swoje zalety i wady. W wielu przypadkach każdą z tych odmian stosuje się w połączeniu z innymi, co często zapewnia większy efekt i obiektywizm. Czy formę mieszaną stosuje się przy zbieraniu opinii ekspertów w przypadku niepewności co do problemu, w przypadku braku porozumienia? indywidualne opinie lub spory między ekspertami podczas wspólnej dyskusji.

Wyniki są przetwarzane po przeprowadzeniu badania wśród grupy ekspertów. Początkową informacją do przetwarzania są dane liczbowe wyrażające preferencje ekspertów oraz merytoryczne uzasadnienie tych preferencji. Celem przetwarzania jest uzyskanie danych uogólnionych oraz nowych informacji zawartych w formie ukrytej w ocenach eksperckich. Na podstawie wyników przetwarzania tworzone jest rozwiązanie problemu.

Obecność zarówno danych liczbowych, jak i znaczących wypowiedzi ekspertów powoduje konieczność zastosowania metod jakościowych i ilościowych do przetwarzania wyników grupowej oceny ekspertów. Udział tych metod w istotny sposób zależy od klasy problemów rozwiązywanych w drodze oceny eksperckiej.

Cały zestaw problemów można podzielić na dwie klasy. Do pierwszej klasy zalicza się problemy, dla których istnieje wystarczający poziom wiedzy i doświadczenia, czyli niezbędny potencjał informacyjny. Przy rozwiązywaniu problemów należących do tej klasy eksperci są przeciętnie uważani za dobrych mierniczych. Termin „średnio dobry” odnosi się do możliwości uzyskania wyników pomiarów zbliżonych do rzeczywistych. Dla wielu ekspertów ich osądy skupiają się wokół prawdziwej wartości. Wynika z tego, że do przetwarzania wyników grupowej oceny eksperckiej problemów pierwszej klasy można z powodzeniem zastosować metody statystyki matematycznej opartej na uśrednianiu danych.

Druga klasa obejmuje problemy, dla których nie zgromadzono jeszcze wystarczającego potencjału informacyjnego. W tym względzie opinie ekspertów mogą się znacznie od siebie różnić. Co więcej, ocena jednego biegłego, która bardzo różni się od pozostałych opinii, może okazać się prawdziwa. Jest oczywiste, że stosowanie metod uśredniania wyników grupowej oceny eksperckiej przy rozwiązywaniu problemów drugiej klasy może prowadzić do dużych błędów. Dlatego przetwarzanie wyników ankiety eksperckiej w tym przypadku powinno opierać się na metodach nie wykorzystujących zasad uśredniania, ale na metodach analizy jakościowej.

Biorąc pod uwagę, że w praktyce oceny eksperckiej najczęściej spotykane są problemy pierwszej klasy, w tym rozdziale skupiono się przede wszystkim na sposobach przetwarzania wyników badań dla tej klasy problemów.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

1) konstruowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen eksperckich;

2) konstruowanie uogólnionej oceny na podstawie porównania obiektów parami przez każdego eksperta;

3) wyznaczanie względnych ciężarów przedmiotów;

4) ustalanie zgodności opinii biegłych;

5) określenie zależności pomiędzy rankingami;

6) ocena wiarygodności wyników przetwarzania.

Zadanie konstruowania uogólnionej oceny obiektów w oparciu o indywidualne oceny eksperckie pojawia się podczas grupowej oceny eksperckiej. Rozwiązanie tego problemu zależy od metody pomiaru stosowanej przez ekspertów.

Przy rozwiązywaniu wielu problemów nie wystarczy uporządkować obiekty według jednego wskaźnika lub jakiegoś zestawu wskaźników. Pożądane jest posiadanie wartości liczbowych dla każdego obiektu, które określają jego względne znaczenie w porównaniu z innymi obiektami. Innymi słowy, w przypadku wielu zadań konieczne są oceny obiektów, które nie tylko je organizują, ale także pozwalają określić stopień preferencji jednego obiektu względem drugiego. Aby rozwiązać ten problem, można bezpośrednio zastosować metodę szacowania bezpośredniego. Jednak ten sam problem, pod pewnymi warunkami, można rozwiązać, przetwarzając oceny ekspertów.

Zgodność opinii biegłych określa się poprzez obliczenie miary liczbowej charakteryzującej stopień podobieństwa poszczególnych opinii. Analiza wartości miary spójności przyczynia się do wyrobienia prawidłowego sądu o ogólnym poziomie wiedzy na temat rozwiązywanego problemu oraz identyfikacji grup opinii eksperckich. Jakościowa analiza przyczyn grupowania opinii pozwala ustalić istnienie różnych poglądów, koncepcji, zidentyfikować szkoły naukowe, określić charakter działalności zawodowej itp. Wszystkie te czynniki pozwalają na głębsze zrozumienie wyników ankieta wśród ekspertów.

Przetwarzając wyniki ocen ekspertów, można określić zależności pomiędzy rankingami różnych ekspertów, a tym samym ustalić jedność i różnicę w opiniach ekspertów. Ważną rolę odgrywa także ustalenie zależności pomiędzy rankingami w oparciu o różne wskaźniki służące do porównywania obiektów. Identyfikacja takich zależności pozwala na ujawnienie powiązanych wskaźników porównawczych i ewentualnie pogrupowanie ich ze względu na stopień powiązania. Znaczenie zadania ustalenia zależności dla praktyki jest oczywiste. Przykładowo, jeśli wskaźnikami porównania są różne cele, a obiekty są środkami do osiągnięcia celów, to ustalenie relacji pomiędzy rankingami porządkującymi środki z punktu widzenia osiągnięcia celów pozwala rozsądnie odpowiedzieć na pytanie w jakim stopniu osiągnięcie jednego celu za pomocą danych środków przyczynia się do osiągnięcia innych celów.

Oszacowania uzyskane w wyniku przetwarzania są obiektami losowymi, dlatego jednym z ważnych zadań procedury przetwarzania jest określenie ich wiarygodności. Rozwiązaniem tego problemu należy poświęcić odpowiednią uwagę.

Przetwarzanie wyników badania jest procesem pracochłonnym. Ręczne wykonywanie operacji obliczania szacunków i wskaźników ich wiarygodności wiąże się z dużymi kosztami pracy, nawet w przypadku rozwiązywania prostych problemów porządkowych. W związku z tym wskazane jest korzystanie z technologii komputerowej, a zwłaszcza komputerów. Zastosowanie komputerów rodzi problem opracowania programów komputerowych implementujących algorytmy przetwarzania wyników ocen eksperckich.

1.4 Metody ocen eksperckich

1.4.1 Analiza SWOT

Szczególnym rodzajem metody eksperckiej, cieszącym się dużą popularnością, jest autorska metoda analizy SWOT. Swoją nazwę wzięła od pierwszych liter czterech angielskich słów, które w rosyjskim tłumaczeniu oznaczają: mocne i słabe strony, szanse i zagrożenia.

Metodologię tę można stosować jako uniwersalną. Ma to szczególne znaczenie przy badaniu procesów zachodzących w systemie społeczno-gospodarczym, który charakteryzuje się dynamizmem, sterowalnością, zależnością wewnętrznych i zewnętrznych czynników funkcjonowania oraz cyklicznością rozwoju.

Zgodnie z metodologią tej analizy, rozkład czynników charakteryzujących przedmiot badań na te cztery składowe przeprowadza się z uwzględnieniem tego, czy czynnik ten należy do klasy czynników zewnętrznych, czy wewnętrznych.

W rezultacie pojawia się obraz relacji pomiędzy mocnymi i słabymi stronami, szansami i zagrożeniami, który sugeruje, jak należy zmienić sytuację, aby zapewnić pomyślny rozwój.

Rozdzielanie czynników na te ćwiartki lub sektory macierzy nie zawsze jest łatwe. Zdarza się, że ten sam czynnik charakteryzuje jednocześnie mocne i słabe strony obiektu. Ponadto czynniki działają sytuacyjnie. W jednej sytuacji wydają się zaletą, w innej - wadą. Czasami są one niewspółmierne pod względem znaczenia. Okoliczności te można i należy brać pod uwagę.

Ten sam czynnik można umieścić w kilku ćwiartkach, jeżeli trudno jest jednoznacznie określić jego miejsce. Nie będzie to miało negatywnego wpływu na naukę. Przecież istotą metody jest identyfikacja czynników, umiejscowienie ich w taki sposób, aby ich koncentracja sugerowała sposoby rozwiązania problemu, aby stały się możliwe do opanowania.

W każdym kwadrancie czynniki nie muszą mieć jednakowej wagi, ale muszą być przedstawione w całości.

Wypełniona matryca pokazuje rzeczywisty stan rzeczy, stan problemu i charakter sytuacji. Jest to pierwszy etap analizy SWOT.

Drugim krokiem jest przeprowadzenie analizy porównawczej mocnych stron i szans, która powinna pokazać, jak mocne strony wykorzystać. Jednocześnie konieczna jest analiza słabych stron istniejących zagrożeń. Taka analiza pokaże, jak prawdopodobne jest wystąpienie kryzysu. Przecież niebezpieczeństwo wzrasta, gdy pojawia się w warunkach słabości, gdy słabości nie dają możliwości zapobieżenia niebezpieczeństwu.

Oczywiście bardzo przydatne jest dokonanie analizy porównawczej mocnych stron i istniejących zagrożeń. W końcu mocne strony można źle wykorzystać, aby zapobiec kryzysowi; mocne strony należy postrzegać nie tylko w odniesieniu do sprzyjających szans, ale także w odniesieniu do zagrożeń.

W badaniu systemów sterowania przedmiotem tej metody mogą być różne problemy rozwoju zarządzania. Na przykład wydajność, personel, styl, rozkład funkcji, struktura systemu zarządzania, mechanizm zarządzania, motywacja, profesjonalizm, wsparcie informacyjne, komunikacja i zachowania organizacyjne itp.

Wykorzystanie specjalnie przeszkolonych i wyselekcjonowanych ekspertów lub wewnętrznych konsultantów może zwiększyć skuteczność tej metody.

1.4.2 Metoda SMART

Istnieje wiele modyfikacji metody analizy SWOT. Najciekawszy z nich jest sposób opracowywania i analizowania celów.

Wiadomo, że cel zarządzania jest czynnikiem decydującym o sukcesie, efektywności, strategii i rozwoju. Bez celu nie da się opracować planu ani programu. Dotyczy to jednak nie tylko celu zarządzania, ale także celu badań. W końcu prawidłowe sformułowanie tego celu również może być trudne. Program badań i metody jego realizacji zależą od celu.

Cel powinien być opracowany według kryteriów Osiągalności, Specyficzności, Ocenialności (Mierzylności), biorąc pod uwagę Miejsce i Czas. Kryteria te odzwierciedlają angielskie słowa -Specific, Measurable, Achievable, Relevant, Timed, w skróconej nazwie jest to SMART. Tak nazywa się ta metoda.

Metoda polega na spójnej ocenie celów w oparciu o zestaw kryteriów ułożonych w formie matrycy. Oto zestaw porównywalnych czynników odzwierciedlających charakterystykę celu: trudny do osiągnięcia - łatwy do osiągnięcia, wysokie koszty - niski koszt, ma wsparcie personelu - nie ma wsparcia personelu, ma priorytety - nie ma priorytetów, wymaga dużo czasu - wymaga mało czasu, ma szerokie oddziaływanie - ma ograniczone oddziaływanie, koncentruje się na wysokich technologiach - koncentruje się na niskich (konwencjonalnych) technologiach, związanych z nową organizacją zarządzającą - nie jest powiązany z nową organizacją zarządzającą.

Następnym krokiem jest utworzenie macierzy identyfikacji problemu. Aby osiągnąć cel, należy rozwiązać szereg problemów. Ale aby to zrobić, należy je najpierw zdefiniować.

Podział problemów odbywa się według następujących kryteriów: sytuacja istniejąca, sytuacja pożądana, możliwość osiągnięcia celu. Kryteria te charakteryzują poziomość matrycy. Wertykalnie rozpatrywane są następujące kryteria: definicja problemu, ocena problemu (parametry ilościowe), organizacja rozwiązania (kto, gdzie, kiedy), koszty rozwiązania problemu.

Matryca ta pozwala na sporządzenie planu badań.

1.4.3 Metoda rankingu i oceny

Stosując metodę rang, ekspert dokonuje rankingowania (uporządkowania) badanych obiektów systemu organizacyjnego w zależności od ich względnej ważności (preferencji), przy czym najbardziej preferowanemu obiektowi przypisuje się rangę 1, a najmniej preferowanemu ostatnią rangę, równą w wartości bezwzględnej do liczby zamawianych obiektów. Dokładniejsze uporządkowanie ma miejsce przy mniejszej liczbie obiektów badań i odwrotnie.

W przypadku preferowanego (według rangi) ułożenia obiektów badania przez jednego eksperta suma rang powinna być równa sumie numerów całego naturalnego szeregu liczby obiektów N, zaczynając od jednego: N=(H+1): 2.

Otrzymane rangi obiektów rankingowych na podstawie danych ankietowych wyznaczane są jako suma rang dla każdego obiektu. W tym przypadku ostatecznie pierwszą rangę przypisuje się obiektowi, który otrzymał najmniejszą sumę rang, a ostatnią – temu, który otrzymał największą sumę rang, tj. obiekt najmniej znaczący (przykład ustalenia wynikowej rangi trzech obiektów przez siedmiu ekspertów)

Im więcej ekspertów jest zaangażowanych, tym wyższy obiektywizm wyniku oceny. Jednakże zaangażowanie dużej liczby wykwalifikowanych ekspertów i duża pracochłonność pracy ekspertów zwiększają koszt ocen jakości. Dlatego, aby zmniejszyć pracochłonność pracy ekspertów, stosują metodę rang, która przewiduje jedynie ranking wskaźników, a nie ich numeryczne określenie przez ekspertów.

Niemniej jednak metoda ta jest stosowana w praktyce badania układów sterowania, pomimo swojej prostoty i stosunkowo małej pracochłonności. Tłumaczy się to dużą liczbą rankingowanych obiektów badawczych.

1.4.4 Metoda oceny bezpośredniej

Reprezentuje kolejność badanych obiektów (na przykład przy wyborze parametrów do kompilacji modelu parametrycznego) w zależności od ich ważności poprzez przypisanie każdemu z nich punktów. W tym przypadku najważniejszy obiekt otrzymuje najwyższą liczbę punktów w przyjętej skali (nadawana jest ocena). Najpopularniejszy zakres skali ocen wynosi od 0 do 1; 0 do 5; 0 do 10; Od 0 do 100. W najprostszym przypadku wynik może wynosić 0 lub 1.

Czasami ocena dokonywana jest werbalnie. Na przykład „bardzo ważne”, „ważne”, „nieważne” itp., co czasami przekłada się również na skalę punktową (odpowiednio 3, 2, 1) dla większej wygody w przetwarzaniu wyników ankiety.

Oceny bezpośredniej należy dokonywać z pełnym zaufaniem do fachowej wiedzy ekspertów na temat właściwości badanych obiektów. Na podstawie wyników oceny ustalana jest ranga i waga (znaczenie) każdego badanego obiektu

1.5 Ocena zgodności ekspertów

Zebrane ekspertyzy przetwarzane są zarówno ilościowo (dane liczbowe), jak i jakościowo (informacje merytoryczne). Stosuje się do tego różne metody. Należy zauważyć, że w obecności danych liczbowych, aby rozwiązać problemy z wystarczającym materiałem informacyjnym, stosuje się głównie metody uśredniania ocen eksperckich. Jednak nawet przy dostępnych danych liczbowych, ale przy niewystarczającej informacji na dany temat (co często ma miejsce w badaniach systemów sterowania), obok ilościowych metod przetwarzania danych eksperckich stosuje się także metody analizy i syntezy jakościowej .

Należy pamiętać, że opinie biegłych często nie są do końca zbieżne, dlatego konieczne jest ilościowe określenie stopnia zgodności opinii biegłych i ustalenie przyczyn rozbieżności w ocenach.

Podczas oceniania obiektów eksperci zwykle nie zgadzają się co do rozwiązania problemu. W tym względzie istnieje potrzeba ilościowego określenia stopnia zgodności ekspertów. Uzyskanie ilościowego miernika zgodności opinii biegłych pozwala na bardziej rozsądną interpretację przyczyn rozbieżności opinii.

Obecnie znane są dwie miary zgodności opinii grupy ekspertów: współczynniki dyspersji i zgodności entropii.

Rozdział 2 Metody ocen eksperckich na przykładzie OJSC UAZ

We współczesnych warunkach ocena personelu jest jednym z najważniejszych elementów systemu zarządzania, na jej podstawie menedżerowie podejmują właściwe decyzje dotyczące swoich pracowników. Skuteczność podjętej decyzji ostatecznie zależy od jakości i wiarygodności informacji uzyskanych w ramach działań oceniających.

Duże znaczenie oceny kadr przedsiębiorstwa wynika także z faktu, że łączy ona wszystkie elementy systemu zarządzania personelem w jedną całość. Niemożliwe jest zarządzanie personelem w jakimkolwiek obszarze (planowanie personelu, selekcja, rozwój pracowników, zachęty do pracy, transfery pracowników itp.) bez oceny odpowiednich cech pracowników przedsiębiorstwa.

Rozważmy praktyczne doświadczenie oceny personelu w jednym z największych rosyjskich przedsiębiorstw przemysłowych, UAZ OJSC.

Od wielu lat główną formą rozpatrywanego procesu jest certyfikacja pracowników. Proces certyfikacji charakteryzował się dość prostym schematem. Bezpośredni przełożony pracownika wystawił mu referencję. Następnie odbyło się posiedzenie komisji certyfikacyjnej, która dopiero na podstawie oceny (cech) kierownika podjęła decyzję o zgodności (niespełnianiu) pracownika z zajmowanym stanowiskiem. O innych ekspertach (poza przełożonym pracownika) nie wspomniano. Wyniki takiej certyfikacji nie dostarczyły dostatecznie uzasadnionych informacji na temat doskonalenia pracy z personelem, tj. certyfikacja miała charakter czysto formalny, nie było systematycznego podejścia do tego wydarzenia, ani zainteresowania uzyskaniem rzetelnych wyników. Wnioski komisji certyfikującej zostały wpisane do akt osobowych pracowników i nie były dalej wykorzystywane do podnoszenia jakości kadr. Wraz z pojawieniem się nowego właściciela i zespołu zarządzającego w UAZ OJSC zmieniło się podejście do personelu i zaczęto go uważać za najważniejszy zasób rozwojowy. Dlatego też większą uwagę poświęcono problematyce pracowniczej, a system oceny personelu przeszedł istotne zmiany ewolucyjne. W 2002 roku w Dyrekcji Personalnej utworzono Dział Analiz Personalnych, którego celem jest stworzenie systemu oceny personelu, analiza danych uzyskanych w wyniku oceny i efektywne ich wykorzystanie. Kierownictwo postawiło wówczas zadanie: ocenić menedżerów, specjalistów i pracowników w formie certyfikacji nową metodą, dla której wybraliśmy metodę oceny eksperckiej.

Przez certyfikację rozumiemy zatem procedurę ustalania kwalifikacji, poziomu wiedzy, umiejętności praktycznych, cech biznesowych i osobistych pracownika, jakości działalności zawodowej i jej wyników oraz stwierdzania ich zgodności (niezgodności) z wymaganiami zajmowane stanowisko. Celem certyfikacji w UAZ OJSC jest zwiększenie wydajności pracy i zainteresowania pracowników wynikami swojej pracy i działalnością całej organizacji.

Certyfikacji podlegają wszyscy menedżerowie, specjaliści i pracownicy UAZ OJSC, z wyjątkiem:

Pracownicy, którzy przepracowali na swoim stanowisku krócej niż rok;

Kobiety w ciąży; kobiety i samotni mężczyźni z dziećmi do trzeciego roku życia.

Certyfikacja w OJSC UAZ przeprowadzana jest okresowo, raz na trzy lata. Termin certyfikacji zatwierdzany jest zarządzeniem Dyrektora Generalnego UAZ OJSC. Harmonogram certyfikacji sporządzany jest przez Dyrekcję HR i zatwierdzany przez Dyrektora HR. Harmonogram wskazuje terminy certyfikacji w jednostkach konstrukcyjnych. Harmonogram certyfikacji jest podawany do wiadomości pracowników nie później niż na dwa miesiące przed posiedzeniem komisji certyfikacyjnej.

Aby przeprowadzić certyfikację, w każdym dziale strukturalnym UAZ OJSC tworzone są komisje certyfikacyjne. Komisja certyfikująca składa się z przewodniczącego, wiceprzewodniczącego, sekretarza, przedstawiciela wybranego organu związkowego oraz pozostałych członków komisji. Zaleca się, aby w komitecie certyfikującym nie było więcej niż dziewięć osób. Ponadto w skład komisji mogą wchodzić eksperci, którzy nie biorą udziału w głosowaniu.

Decyzja komisji certyfikacyjnej podejmowana jest większością głosów członków komisji obecnych na posiedzeniu. Komisja jest uprawniona do rozstrzygania spraw, jeżeli na posiedzeniu jest obecnych co najmniej dwie trzecie jej członków. W przypadku równości głosów zapada decyzja o przyznaniu pracownikowi certyfikatu.

Ponadto Dyrektor HR tworzy Centralną Komisję Certyfikacyjną, której zadaniem jest certyfikacja kadry kierowniczej wyższego szczebla (zastępców dyrektora, kierowników produkcji, kierowników działów i centrów). Obejmuje wszystkich dyrektorów funkcjonalnych UAZ OJSC.

Jeżeli certyfikowany pracownik bez uzasadnionej przyczyny nie brał udziału w czynnościach certyfikacyjnych, komisja certyfikująca ma prawo przeprowadzić dyskusję bez udziału osoby certyfikowanej. Prawidłowe powody to: choroba, podróż służbowa, wakacje, nauka.

Na etapie przygotowań do certyfikacji w przedsiębiorstwie utworzono grupę roboczą, w skład której weszli kierownicy pionów strukturalnych oraz pracownicy Dyrekcji Personalnej. Grupa zdecydowała, że w ramach działań oceniających, przed faktyczną certyfikacją, należy ocenić najważniejsze cechy personelu, które zidentyfikowano jako:

1. Wiedza i umiejętności zawodowe.

2. Poziom jakości pracy.

3. Terminowa realizacja zadań.

4. Inicjatywa w zakresie innowacji.

5. Złożoność wykonywanej pracy.

Aby określić stopień ekspresji cech biznesowych pracowników, stosujemy ocenę ekspercką - metodę grupowej oceny pracowników, opartą na badaniu przeprowadzonym wśród jej menedżerów i osób o tym samym statusie służbowym. Dodatkowo dokonywana jest samoocena pracownika. Do udziału w grupie eksperckiej wybierani są kompetentni pracownicy:

Posiadanie wysokiego poziomu komunikacji i powiązań biznesowych z osobą ocenianą;

Pracują razem od co najmniej roku;

Nie powiązane.

Skład ilościowy grup eksperckich to cztery osoby plus oceniany pracownik.

W celu uregulowania certyfikacji opracowano procedurę przeprowadzania tego procesu:

Etap 1 (przygotowawczy):

1.1. Wydanie zarządzenia dyrektora generalnego zakładu w sprawie certyfikacji; przedłożenie do podpisu zarządzenia i harmonogramu certyfikacji kierownikom wszystkich działów konstrukcyjnych.

1.2. Powołanie na zlecenie kierownika każdej jednostki strukturalnej odpowiedzialnej za prowadzenie działalności certyfikacyjnej (koordynator) i utworzenie składu komisji certyfikacyjnej.

1.3. Przeprowadzenie seminarium przez specjalistów z działu analiz personalnych Dyrekcji HR w celu przeszkolenia koordynatorów z procedury oceny działań.

1.4. Opracowanie przez koordynatora planu działań w zakresie przeprowadzenia certyfikacji, jego zatwierdzenie przez kierownika jednostki strukturalnej i poinformowanie certyfikowanych.

1,5. Listy pracowników podlegających certyfikacji i pracowników niepodlegających certyfikacji zostały wygenerowane i zatwierdzone przez kierowników pionów strukturalnych, z jasnym uzasadnieniem powodów, dla których pracownik ten nie podlega certyfikacji, a listy zostały przekazane do działu analiz personalnych ( obowiązkowe na nośnikach elektronicznych i papierowych) w terminie siedmiu dni roboczych od dnia otrzymania zamówienia na certyfikację.

1.6. Sporządzanie list grup eksperckich i ich zatwierdzanie przez kierownika jednostki strukturalnej.

Etap 2 (ocena):

2.1. Sporządzenie przez bezpośredniego przełożonego referencji dla certyfikowanego pracownika i wpisanie jej do arkusza ocen.

2.2. Organizowanie i przeprowadzanie ekspertyz kadrowych przez koordynatora. Maksymalny okres organizowania wydarzeń wynosi pięć dni roboczych.

Członkowie grup eksperckich oceniają cechy biznesowe menedżerów, specjalistów i pracowników UAZ OJSC. Każdy ekspert wypełnia ankiety dla certyfikowanego pracownika, kierując się wyłącznie własną opinią, zgodnie z zaproponowaną instrukcją i skalą. Dodatkowo dokonywana jest samoocena pracownika, czyli wypełnienie ankiety przez osobę posiadającą certyfikat na te same cechy.

2.3. Koordynatorzy przekazują wypełnione kwestionariusze do działu analiz personalnych Dyrekcji Personalnej w celu określenia stopnia ekspresji poszczególnych cech biznesowych u certyfikowanego pracownika; Wyniki obliczeń wpisuje się do tabeli w arkuszu ocen.

Średni wynik za jakość biznesową każdego pracownika oblicza się jako średnią arytmetyczną ocen wszystkich ekspertów za jakość biznesową tego pracownika, tj. według wzoru:

SB=(01+02+...+0p):p,

gdzie SB to średni wynik jakości biznesu,

0i - ocena (w punktach) jakości biznesu wydana przez i-tego eksperta (i = 1,2,...n),

n - liczba ekspertów.

Na podstawie uzyskanych średnich ocen określa się stopień ekspresji poszczególnych cech biznesowych ocenianego pracownika zgodnie z tabelą.

Stopień ekspresji ocenianej jakości biznesowej pracownika:

Średni wynik do 2,4 - Jakość nie jest wyrażona

Średni wynik 2,5 - 3,4 - Jakość jest słaba

Średni wynik 3,5 - 4,4 - Jakość jest wystarczająco wyrażona

Średni wynik 4,5 - 5,0 - Wysoka jakość

2.4. Przekazanie wypełnionych arkuszy ocen przez dział analizy personelu do komisji certyfikującej jednostki strukturalnej (nie później niż na dwa tygodnie przed posiedzeniem komisji certyfikującej) w celu zapoznania się z nimi przez certyfikowanych pracowników pod podpisem.

Etap 3 (posiedzenie komisji certyfikującej):

3.1. Komisja certyfikująca zapoznaje się z arkuszami ocen, wysłuchuje opinii bezpośredniego przełożonego certyfikowanego pracownika, przeprowadza rozmowę z certyfikowanym pracownikiem, omawia wnioski i zatwierdza je w drodze głosowania.

3.2. Formułowanie ostatecznych wniosków i rekomendacji przez komisję certyfikującą na podstawie wyników głosowania i zapisywanie ich w karcie certyfikacji.

a) odpowiada zajmowanemu stanowisku;

b) odpowiada zajmowanemu stanowisku, pod warunkiem usprawnienia pracy i wdrożenia zaleceń komisji certyfikującej z ponowną certyfikacją po roku;

c) nie odpowiada zajmowanemu stanowisku.

O podwyżce oficjalnego wynagrodzenia;

W przypadku przeniesienia pracownika na inne stanowisko;

O priorytetowych obszarach rozwoju;

O wpisaniu pracownika do rezerwy kadrowej.

3.3. Niezwłocznie po certyfikacji koordynator przekazuje wnioski i decyzje komisji certyfikującej certyfikowanym osobom i ich menadżerom pod podpisem.

3.4. Przekazanie kart certyfikacyjnych przez koordynatora do działu analiz personalnych.

3.5. Po zakończeniu certyfikacji Dział Analiz Personalnych Dyrekcji dokonuje statystycznego opracowania danych o wszystkich certyfikowanych pracownikach wraz z przygotowaniem raportu zbiorczego, po czym karty zaświadczeń umieszczane są w aktach osobowych pracowników.

Uwaga: informacje zawarte w kartach oceny i certyfikacji mają charakter poufny i nie podlegają ujawnieniu osobom niebędącym członkami komisji certyfikującej i nie biorącym udziału w procedurze przetwarzania i przechowywania kart certyfikacyjnych. Po zakończeniu certyfikacji propozycje komisji certyfikacyjnej zapisane w arkuszach certyfikacji są rozpatrywane przez kierownika jednostki strukturalnej i podejmuje decyzję w ciągu dwóch miesięcy od momentu zapoznania się z nimi. Pracownik, w przypadku uznania go za nieodpowiedniego na zajmowane stanowisko, kierowany jest na szkolenie zaawansowane lub przekwalifikowujące albo za jego pisemną zgodą przenoszony na inne stanowisko. Po dwóch miesiącach przeniesienie pracownika na inne stanowisko na podstawie wyników tej certyfikacji nie jest dozwolone. W przypadku konieczności przeprowadzenia recertyfikacji Dyrektor HR wydaje zarządzenie wskazujące podziały strukturalne, wykazy pracowników podlegających recertyfikacji oraz termin jej przeprowadzenia. Posiedzenia komisji certyfikujących odbywają się w tym samym składzie. Decyzja o zgodności (niezgodności) pracownika z zajmowanym stanowiskiem podejmowana jest na podstawie:

Charakterystyka menedżera dla certyfikowanego pracownika;

Wszelkie kwestie kontrowersyjne związane z wynikami certyfikacji są rozpatrywane przez komisję certyfikującą zgodnie z obowiązującymi przepisami lub kierowane do Komisji ds. Sporów Pracowniczych.

Tak więc, jeśli przed 2002 rokiem certyfikacja w UAZ OJSC była prowadzona wyłącznie na podstawie cech menedżera, to od 2002 roku certyfikacja opierała się na ocenie eksperckiej, co pozwoliło zmniejszyć stopień subiektywizmu oceny. W latach 2002–2005 wraz z oddziałami strukturalnymi przedsiębiorstwa przeprowadziliśmy certyfikację wszystkich menedżerów, specjalistów i pracowników UAZ OJSC podlegających certyfikacji, których liczba przekracza pięć tysięcy osób.

Wniosek

Obecnie coraz częściej stosuje się różne metody ocen eksperckich. Są niezastąpione przy rozwiązywaniu złożonych problemów oceny i selekcji obiektów technicznych, w tym obiektów specjalnego przeznaczenia, przy analizie i przewidywaniu sytuacji z dużą liczbą istotnych czynników – wszędzie tam, gdzie konieczne jest zaangażowanie wiedzy, intuicji i doświadczenia wielu wysoko wykwalifikowanych ekspertów specjaliści.

Metody eksperckie są stale rozwijane i udoskonalane. Główne kierunki tego rozwoju wyznacza szereg czynników, m.in. chęć poszerzania zakresu zastosowań, zwiększania stopnia wykorzystania metod matematycznych i elektronicznej techniki komputerowej, a także szukania sposobów eliminowania pojawiających się niedociągnięć.

Pomimo sukcesów osiągniętych w ostatnich latach w rozwoju i praktycznym zastosowaniu metody oceny eksperckiej, istnieje szereg problemów i zadań wymagających dalszych badań metodologicznych i testów praktycznych. Należy udoskonalić system doboru ekspertów, zwiększyć wiarygodność cech opinii grupowych, opracować metody sprawdzania zasadności ocen i badania ukrytych przyczyn obniżających wiarygodność ocen eksperckich.

Ekspercka ocena właściwości i cech biznesowych kandydata opiera się na parametrach ilościowych i kryteriach oceny uzyskanych w wyniku rozmowy kwalifikacyjnej. Choć są tu elementy konwencji i subiektywizmu, przy dobrze opracowanej skali ocen i ostrożnym (profesjonalnym) podejściu ekspertów, można oceniać tematy z dużą rzetelnością.

Wykaz źródeł i wykorzystanej literatury

1. Grigorov V. M. Eksperci w systemie zarządzania produkcją publiczną // M.: Mysl, 1976

2. Demidova A.V. Badania układów sterowania. – M.: Prior-izdat, 2005. – 96 s.

3. Johnson R. i wsp. Systemy i zarządzanie (teoria systemów i zarządzanie systemami) / Tłum. z angielskiego // M.: Radio radzieckie, 1974.

4. Ignatieva A.V. Badania układów sterowania. – M.: UNITY-DANA, 2003. – 157 s.

5. Kafidow V.V. Badania układów sterowania. – M.: Projekt Akademicki, 2005. – 160 s.

6. Malin A.S. Badania układów sterowania. – M.: Państwowa Wyższa Szkoła Ekonomiczna, 2005. – 399 s.

7. Mishin V.M. Badania układów sterowania. - M.: UNITY-DANA, 2005

8. Mukhin V.I. Badania układów sterowania. – M.: Egzamin, 2003. – 384 s.

9. Polzunova N.N. Badania układów sterowania. – M.: Projekt Akademicki, 2004. – 176 s.

10. Reilyan Ya. R. Podstawy podejmowania decyzji zarządczych // M.: Finanse i statystyka, 1989

11. Remennikov V.B. Opracowanie rozwiązania do zarządzania. Podręcznik dodatek. - M.: UNITY-DANA, 2000.

12. Smolkin A.M. Zarządzanie: podstawy organizacji. - M.: INFRA-M, 1999.

13. Zarządzanie organizacją. /wyd. A.G. Porsneva, Z.P. Rumyantseva, N.A. Salomatina. -M.: INFRA-M, 1999.

Wyślij swoją dobrą pracę do bazy wiedzy jest prosta. Skorzystaj z poniższego formularza

Studenci, doktoranci, młodzi naukowcy, którzy wykorzystują bazę wiedzy w swoich studiach i pracy, będą Państwu bardzo wdzięczni.

Wysłany dnia http://www.allbest.ru/

MOSKWA INSTYTUT SPOŁECZNO-EKONOMICZNY

na temat „Metodologia przeprowadzania ekspertyz”

Studentki:

Artiuszenko Julia Wiktorowna

Grupa: M10B-D-O-z

Moskwa 2014

Wstęp

2. Metody ocen eksperckich

Wniosek

Wstęp

1. Charakter, metody i proces ocen eksperckich

1.1 Istota ocen eksperckich

Jednak niektóre badania teoretyczne kwestionują to założenie. Proponuje się na przykład podzielenie problemów, dla których wykorzystuje się oceny eksperckie, na dwie klasy. Do pierwszej klasy zalicza się problemy, które są dość dobrze zaopatrzone w informacje i dla których można zastosować zasadę „dobrego mierniczego”, uznając eksperta za depozytariusza dużej ilości informacji, a grupową opinię ekspertów za zbliżoną do ten prawdziwy. Do drugiej klasy zaliczają się problemy, dla których wiedza nie jest wystarczająca, aby mieć pewność co do słuszności powyższych założeń; ekspertów nie można uważać za „dobrych mierniczych” i należy zachować ostrożność podczas przetwarzania wyników badania, gdyż w tym przypadku opinia jednego (pojedynczego) eksperta, który większą uwagę poświęca badaniu mało zbadanego problem, może okazać się najważniejszy, a podczas formalnego przetwarzania zostanie utracony. W związku z tym w przypadku problemów drugiej klasy należy głównie stosować jakościowe przetwarzanie wyników. Stosowanie metod uśredniających (dotyczy „dobrych liczników”) w tym przypadku może prowadzić do znacznych błędów.

Kolejnym problemem, o którym należy pamiętać przeprowadzając analizę systemową, jest to, że nawet w przypadku rozwiązywania problemów należących do pierwszej klasy nie można zapominać, że oceny eksperckie niosą ze sobą nie tylko wąsko subiektywne cechy właściwe poszczególnym ekspertom, ale także cechy zbiorowo-subiektywne, które nie zanikają w trakcie przetwarzania wyników ankiety (a przy zastosowaniu procedur Delphi mogą nawet się nasilać). Innymi słowy, oceny eksperckie należy postrzegać jako pewien „publiczny punkt widzenia”, zależny od poziomu wiedzy naukowo-technicznej społeczeństwa na temat przedmiotu badań, która może się zmieniać wraz z rozwojem systemu i naszych wyobrażeń na jego temat. Dlatego też badanie eksperckie nie jest procedurą jednorazową. Ten sposób uzyskiwania informacji o złożonym problemie charakteryzującym się dużym stopniem niepewności powinien stać się swego rodzaju „mechanizmem” w złożonym systemie, tj. konieczne jest stworzenie stałego systemu pracy z ekspertami.

Oceny eksperckie służą do analizy, diagnozy stanu, a następnie prognozowania możliwości rozwoju:

1) przedmioty, których rozwój całkowicie lub częściowo wykracza poza opis merytoryczny lub formację matematyczną;

2) w przypadku braku wystarczająco reprezentatywnych i wiarygodnych statystyk dotyczących charakterystyki obiektu;

3) w warunkach dużej niepewności otoczenia funkcjonowania obiektu, otoczenia rynkowego;

5) w przypadkach, gdy czas lub środki przeznaczone na prognozowanie i podejmowanie decyzji nie pozwalają na zbadanie problemu za pomocą modeli formalnych;

6) brak niezbędnych narzędzi do modelowania technicznego, np. technologii komputerowej o odpowiednich charakterystykach;

7) w sytuacjach ekstremalnych.

Zadania rozwiązywane w procesie ocen eksperckich systemów zarządzania można podzielić na dwie grupy:

1) zadania syntezy nowych systemów sterowania i ich oceny;

2) zadanie analizy (pomiaru) istniejących systemów zarządzania według wybranych wskaźników i kryteriów efektywności.

Do zadań pierwszej grupy zalicza się: kształtowanie wyglądu tworzonego systemu; prognozowanie wskaźników technicznych i ekonomicznych etapów jego cyklu życia; uzasadnienie głównych kierunków reorganizacji systemu zarządzania społecznego; wybór optymalnych lub zadowalających metod działania i wyników przy wykorzystaniu stworzonego systemu kontroli itp. Część informacji eksperckich uzyskiwanych w trakcie rozwiązywania tych problemów ma charakter jakościowy i kształtuje się w postaci złożonych sądów w formie opisowej. Jednakże problemy syntezy rozwiązywane za pomocą ocen eksperckich mogą mieć charakter ilościowy, a ich rozwiązanie będzie związane z uzasadnieniem wielu parametrów (charakterystyk) tworzonego systemu. Zadania drugiej grupy obejmują wszystkie zadania oceny istniejących lub stworzonych opcji systemów sterowania przy użyciu określonych wskaźników i kryteriów wydajności. Przykładami takich zadań są: określenie cech strukturalnych, funkcjonalnych lub informacyjnych systemu; ocena jego skuteczności podczas różnych operacji; określenie możliwości dalszej eksploatacji urządzeń kontroli technicznej i łączności itp.

1.2 Rola ekspertów w zarządzaniu

Ekspertyza to opinia, pomysł, decyzja lub ocena oparta na wdrożeniu cennego doświadczenia specjalisty, głębokiej znajomości przedmiotu badań i technologii analizy jakościowej.

Ekspertyza może mieć charakter indywidualny lub grupowy. W badaniu grupowym ogromne znaczenie ma dobór grupy ekspertów oraz metodyka ostatecznego opracowania wyników jej pracy.

Organizując pracę ekspertów, należy przestrzegać następujących zasad:

2. Przetwarzanie opinii biegłych musi odbywać się nie tylko w drodze uogólnienia ilościowego, ale także poprzez analizę jakościową, podkreślając najważniejsze, istotne, ważne, istotne, oryginalne, nowe itp. Opinia biegłego może być przedmiotem drugiej- egzamin etapowy.

6. Możliwa jest równoległa i wieloetapowa praca kilku grup eksperckich. Porównanie badań dostarcza ważnych informacji.

Specjalistę lub grupę specjalistów pełniących rolę ekspertów utożsamia się czasem z przyrządem pomiarowym obarczonym przypadkowymi i systematycznymi błędami pomiarowymi.

1.3 Proces wzajemnej oceny

Do głównych etapów procesu oceny eksperckiej zalicza się:

Kształtowanie celów i zadań oceny eksperckiej;

Utworzenie grupy zarządzającej i rejestracja decyzji o przeprowadzeniu ekspertyzy;

Wybór metody pozyskiwania informacji eksperckiej i metod jej przetwarzania;

Wybór grupy eksperckiej i w razie potrzeby wygenerowanie kwestionariuszy ankietowych;

Badanie ekspertów (badanie);

Przetwarzanie i analiza wyników badań;

Interpretacja uzyskanych wyników;

Kompilacja raportu.

Zadanie przeprowadzenia ekspertyzy wyznacza decydent. Etap kształtowania celów i zadań oceny eksperckiej jest najważniejszy. Od tego zależy wiarygodność uzyskanego wyniku i jego wartość pragmatyczna. Kształtowanie celów i zadań oceny eksperckiej podyktowane jest istotą rozwiązywanego problemu. Należy przy tym wziąć pod uwagę następujące czynniki: rzetelność i kompletność dostępnych informacji wstępnych, wymaganą formę przedstawienia wyniku (jakościową lub ilościową), możliwe obszary wykorzystania otrzymanych informacji, czas ich prezentacji, zasoby dostępne dla kadry zarządzającej, możliwość przyciągnięcia specjalistów z innych dziedzin wiedzy i wiele więcej. Zadanie jest sformalizowane w formie dokumentu przewodniego (na przykład decyzji o przeprowadzeniu ekspertyzy).

Grupie zarządzającej powierzone są nie tylko wszelkie prace organizacyjno-planistyczne mające na celu zapewnienie sprzyjających warunków efektywnej działalności twórczej ekspertów, ale także prace analityczne nad wyłonieniem grupy eksperckiej, określeniem sposobów pozyskiwania i przetwarzania informacji, sporządzaniem ankiet, miarodajną interpretacją uzyskane wyniki.

Wybór konkretnych ekspertów odbywa się na podstawie analizy jakości każdego z proponowanych ekspertów. W tym celu stosuje się różne metody:

ocena kandydatów na ekspertów na podstawie analizy statystycznej wyników dotychczasowej działalności jako ekspertów w zakresie pierwszych problemów badań CS;

zbiorcza ocena kandydata na eksperta jako specjalisty w danej dziedzinie

samoocena kandydata na eksperta;

analityczne określenie kompetencji kandydatów na ekspertów.

Generalnie utworzenie grupy eksperckiej poprzedzają następujące działania:

problem został zidentyfikowany i sformułowany;

określa się cel i obszar działania grupy;

sporządzana jest wstępna lista ekspertów;

przeprowadzana jest analiza i selekcja ekspertów (w oparciu o zastosowanie jednej lub kilku metod ich selekcji);

ustalana jest lista ekspertów; . uzyskano zgodę biegłego na udział w pracach grupy ekspertów;

ustalana jest ostateczna reprezentatywna lista ekspertów. Wszystkich potencjalnych ekspertów, w zależności od ich jakości i kompetencji, można podzielić na siedem klas

Przykład oceny jakości i kompetencji ekspertów.

O wyborze liczby klas jakości ekspertów w tym przypadku decyduje „reguła siedmiu”, tradycyjnie stosowana przy rozwiązywaniu problemów zarządzania jakością.

Gradacja ta pozwala na wybranie wymaganych ekspertów do pracy w grupie eksperckiej. Aby uzyskać w miarę obiektywne wyniki badania CS, warto wybierać spośród ekspertów należących do klas jakości 1–4. Nie zaleca się angażowania w egzaminy kandydatów na ekspertów o niższych klasach.

Niezależnie od wybranej metody oceny kwalifikacji kandydatów, eksperci muszą w każdym przypadku spełniać określone wymagania, m.in.:

* kompetencje zawodowe oraz doświadczenie praktyczne i badawcze w obszarze zarządzania;

* kreatywność (umiejętność rozwiązywania problemów twórczych); . intuicja naukowa;

Zainteresowanie obiektywnymi wynikami pracy eksperckiej;

* niezależność wyroku;

* rzeczowy „opanowanie” umiejętność przechodzenia z jednego rodzaju działalności na inny, komunikacja, niezależność oceny, motywacja działań);

* obiektywizm;

* nonkonformizm;

*wysoka erudycja ogólna.

Bardzo ważne jest określenie formy zbierania opinii biegłych. Wśród wszystkich znanych form zbierania opinii możemy wyróżnić indywidualne, zbiorowe (grupowe) i mieszane. Zatem formy te różnią się przede wszystkim czynnikiem udziału eksperckiego w pracy (indywidualnego lub zbiorowego) i każda z nich ma szereg odmian:

* ankieta;

* wywiad;

* dyskusja;

* burza mózgów

* spotkanie;

* gra biznesowa.

W zależności od celów oceny eksperckiej i wybranej metody pomiaru, podczas przetwarzania wyników ankiety pojawiają się następujące główne zadania:

1) konstruowanie uogólnionej oceny obiektów na podstawie indywidualnych ocen eksperckich;

2) konstruowanie uogólnionej oceny na podstawie porównania obiektów parami przez każdego eksperta;

3) wyznaczanie względnych ciężarów przedmiotów;

4) ustalanie zgodności opinii biegłych;

5) określenie zależności pomiędzy rankingami;

6) ocena wiarygodności wyników przetwarzania.

2. Metody ocen eksperckich

Analiza SWOT

W rezultacie pojawia się obraz relacji pomiędzy mocnymi i słabymi stronami, szansami i zagrożeniami, który sugeruje, jak należy zmienić sytuację, aby zapewnić pomyślny rozwój.

W każdym kwadrancie czynniki nie muszą mieć jednakowej wagi, ale muszą być przedstawione w całości.

Wypełniona matryca pokazuje rzeczywisty stan rzeczy, stan problemu i charakter sytuacji. Jest to pierwszy etap analizy SWOT.

Wykorzystanie specjalnie przeszkolonych i wyselekcjonowanych ekspertów lub wewnętrznych konsultantów może zwiększyć skuteczność tej metody.

Metoda SMART

Istnieje wiele modyfikacji metody analizy SWOT. Najciekawszy z nich jest sposób opracowywania i analizowania celów.

Cel należy opracować według kryteriów osiągalności, konkretności, wartościowalności (mierzalności), biorąc pod uwagę Miejsce i Czas. Kryteria te odzwierciedlają angielskie słowa -Specific, Measurable, Achievable, Relevant, Timed, w skróconej nazwie jest to SMART. Tak nazywa się ta metoda.

Metoda polega na spójnej ocenie celów w oparciu o zestaw kryteriów ułożonych w formie matrycy. Oto zestaw porównywalnych czynników odzwierciedlających charakterystykę celu: trudny do osiągnięcia - łatwy do osiągnięcia, wysokie koszty - niski koszt, ma wsparcie personelu - nie ma wsparcia personelu, ma priorytety - nie ma priorytetów, wymaga dużo czasu - wymaga mało czasu, ma szerokie oddziaływanie - ma ograniczony wpływ, jest nastawiony na wysokie technologie - jest nastawiony na niskie (konwencjonalne) technologie, jest powiązany z nową organizacją zarządzającą - nie jest powiązany z nową organizacją zarządzającą.

Następnym krokiem jest utworzenie macierzy identyfikacji problemu. Aby osiągnąć cel, należy rozwiązać szereg problemów. Ale aby to zrobić, należy je najpierw zdefiniować.

Matryca ta pozwala na sporządzenie planu badań.

Metoda rankingu i oceny.

Przy preferowanym (stopniowym) ułożeniu obiektów badań przez jednego eksperta suma rang powinna być równa sumie liczb całego szeregu naturalnego liczby obiektów H, zaczynając od jednego: H = (H+ 1): 2.

Otrzymane rangi obiektów rankingowych na podstawie danych ankietowych wyznaczane są jako suma rang dla każdego obiektu. W tym przypadku ostatecznie pierwszą rangę przypisuje się obiektowi, który otrzymał najmniejszą sumę rang, a ostatnią rangę przypisuje się temu, który otrzymał największą sumę rang, tj. obiekt najmniej znaczący (przykład ustalenia wynikowej rangi trzech obiektów przez siedmiu ekspertów)

Metoda oceny bezpośredniej

Wniosek

Wykaz używanej literatury

1.Grigorov V.M. Eksperci w systemie zarządzania produkcją publiczną // M.: Mysl, 1976

2. Demidova A.V. Badania układów sterowania. - M.: Prior-izdat, 2005. - 96 s.

3. Ignatieva A.V. Badania układów sterowania. - M.: UNITY-DANA, 2003. - 157 s.

4. Kafidow V.V. Badania układów sterowania. - M.: Projekt Akademicki, 2005. - 160 s.

5. Malin A.S. Badania układów sterowania. - M.: Państwowa Wyższa Szkoła Ekonomiczna, 2005. - 399 s.

6. Reylyan Ya. R. Podstawy podejmowania decyzji zarządczych // M.: Finanse i statystyka, 1989

7. Remennikov V.B. Opracowanie rozwiązania do zarządzania. Podręcznik dodatek. -- M.: UNITY-DANA, 2000.

8. Smolkin A.M. Zarządzanie: podstawy organizacji. - M.: INFRA-M, 1999.

Opublikowano na Allbest.ru

Podobne dokumenty

Rozwiązywanie problemów, argumentacja i tworzenie ilościowych szacunków wyników metodami formalnymi. Elementy metody oceny eksperckiej. Metoda zbiorowego generowania pomysłów („burza mózgów”). Metoda Delphi, cechy metody grupy fokusowej, analiza SWOT.

prezentacja, dodano 30.03.2014

Istota i treść, główne etapy analizy eksperckiej, obszary i cechy jej praktycznego zastosowania, interpretacja wyników. Stopień wiarygodności tego badania. Zastosowanie metody oceny eksperckiej do konstrukcji drzewa celów.

praca na kursie, dodano 25.02.2012

Koncepcja i cechy wykorzystania technologii eksperckich jako integralnej części procesu przygotowania i podejmowania ważnych decyzji zarządczych. Badanie głównych etapów ankiety eksperckiej. Wybór ekspertów. Metoda Delphi, WZÓR, burza mózgów.

streszczenie, dodano 10.09.2016

Wykorzystanie ocen eksperckich. Zastosowanie różnych metod do rozwiązania jednego problemu. Rankingi, porównania parami i wielokrotne, ocena bezpośrednia, metoda Thurstone’a to najczęściej stosowane eksperckie procedury pomiarowe. Metody typu Delphi.

test, dodano 09.03.2011

Istota i rodzaje ekspertyz, cele ich stosowania. Główne etapy badań eksperckich. Charakterystyka metod zbiorowej pracy grupy eksperckiej oraz metod uzyskiwania opinii indywidualnych. Przetwarzanie wyników ankiety wśród specjalistów.

streszczenie, dodano 04.03.2012

Charakterystyka procedur eksperckich: cechy metod i modeli heurystycznych, metody ocen indywidualnych, zbiorowe oceny eksperckie. Specyfika badania, treść i przetwarzanie wyników. Ekspercka ocena poziomu ryzyka kraju.

streszczenie, dodano 05.10.2010

Metody uzyskiwania ocen eksperckich. Problem doboru ekspertów. Dokumenty regulacyjne regulujące działalność komisji eksperckich. Podejmowanie decyzji w warunkach ryzyka i niepewności. Zadania decyzyjne w warunkach niepewności.

test, dodano 15.07.2010

Istota i rodzaje decyzji w procesie zarządzania produkcją. Podstawowe wymagania dotyczące jakości decyzji zarządczych. Metody optymalizacji decyzji zarządczych. Metody optymalizacji rozwiązań z wykorzystaniem eksperckich metod oceny.

praca na kursie, dodano 08.05.2002

Badanie metod prognozowania rozwoju: ekstrapolacji, bilansu, metod normatywnych i programowo-celowych. Badanie organizacji pracy eksperta, tworzenie kwestionariuszy i tabel ocen ekspertów. Analiza matematycznych i statystycznych modeli prognostycznych.

test, dodano 19.06.2011

Metodologia i etapy klasyfikacji systemów według różnych kryteriów. Opracowanie kwestionariuszy w celu uzyskania ocen eksperckich, ich obowiązkowych szczegółów i głównych pytań. Istota i konstrukcja drzewa celów, zasady jego uszczegółowienia. Metodologia oceny systemów złożonych.

3. METODY PODEJMOWANIA DECYZJI

3.4. EKSPERTOWE METODY PODEJMOWANIA DECYZJI

3.4.1. Podstawowe pojęcia metod oceny eksperckiej

Przykłady metod oceny eksperckiej. Jak otoczenie gospodarcze będzie się zmieniać w czasie? Co stanie się ze środowiskiem naturalnym za dziesięć lat? Jak zmieni się sytuacja środowiskowa? Czy zapewnione zostanie bezpieczeństwo ekologiczne produkcji przemysłowej, czy też wokół zacznie się rozprzestrzeniać sztuczna pustynia? Wystarczy pomyśleć o tych sformułowaniach kwestii naturalnych, przeanalizować, jak dziesięć, a nawet dwadzieścia lat temu wyobrażaliśmy sobie dzisiaj, aby zrozumieć, że po prostu nie można mówić o stuprocentowo wiarygodnych prognozach. Zamiast zestawień z konkretnymi liczbami można spodziewać się jedynie szacunków jakościowych. Niemniej jednak my, menedżerowie, ekonomiści, inżynierowie, musimy podejmować decyzje na przykład dotyczące projektów i inwestycji środowiskowych i innych, których konsekwencje będą odczuwalne za dziesięć, dwadzieścia itd. lata. Co powinienem zrobić? Pozostaje zwrócić się do metod ocen eksperckich. Jakie są te metody?

Nie ulega wątpliwości, że aby podejmować świadome decyzje, należy polegać na doświadczeniu, wiedzy i intuicji specjalistów. Po drugiej wojnie światowej w ramach cybernetyki, teorii sterowania, zarządzania i badań operacyjnych zaczęła rozwijać się samodzielna dyscyplina – teoria i praktyka ocen eksperckich.

Metody ocen eksperckich to metody organizacji pracy z biegłymi specjalistami i przetwarzania opinii eksperckich. Opinie te są zwykle wyrażane częściowo w formie ilościowej, a częściowo w formie jakościowej. Badania eksperckie przeprowadza się w celu przygotowania informacji do podjęcia decyzji przez decydenta (pamiętajmy, że decydent to decydent). W celu prowadzenia prac metodą ocen eksperckich tworzy się Grupę Roboczą (w skrócie WP), która organizuje w imieniu decydenta działalność ekspertów zrzeszonych (formalnie lub merytorycznie) w komisję ekspercką (KE ).

Oceny ekspertów są indywidualny I kolektyw. Indywidualne oceny- To są oceny jednego specjalisty. Na przykład nauczyciel samodzielnie wystawia ocenę uczniowi, a lekarz stawia diagnozę pacjentowi. Ale w skomplikowanych przypadkach choroby lub groźby wydalenia studenta za słabe studia, zwracają się do nich kolektyw opinia - sympozjum lekarzy lub komisja pedagogiczna. Podobna sytuacja jest w wojsku. Zwykle dowódca podejmuje decyzję sam. Ale w trudnych i odpowiedzialnych sytuacjach zwołuje się naradę wojskową. Jednym z najbardziej znanych przykładów tego rodzaju jest rada wojskowa z 1812 roku w Fili, na której pod przewodnictwem M.I. Kutuzowa rozstrzygnięto pytanie: „Czy powinniśmy, czy nie powinniśmy dać Francuzom bitwę pod Moskwą?”

Innym prostym przykładem ocen eksperckich jest ocena liczb w KVN. Każdy z członków jury podnosi sklejkę swoją punktacją, a pracownik techniczny oblicza średnią arytmetyczną wyniku, która ogłaszana jest jako zbiorowa opinia jury (przekonamy się poniżej, że takie podejście jest błędne z punktu widzenia teorii pomiaru ).

W łyżwiarstwie figurowym procedura staje się bardziej skomplikowana - przed uśrednieniem największe i najmniejsze wyniki są odrzucane. Dzieje się tak, aby nie było pokusy przeceniania jednego sportowca (na przykład rodaka) lub niedoceniania innego. Takie oceny, które wyraźnie odstają od ogólnej serii, zostaną natychmiast odrzucone.

Przy wyborze często wykorzystuje się opinie ekspertów, na przykład:

Jedna wersja urządzenia technicznego do wprowadzenia na serię kilku próbek,

Grupy astronautów z wielu kandydatów,

Zestaw projektów badawczych do finansowania z masy wniosków,

Odbiorcy pożyczek ekologicznych spośród wielu, którzy chcą,

Przy wyborze projektów inwestycyjnych do realizacji spośród przedstawionych itp.

Metod przetwarzania odpowiedzi ekspertów jest nie mniej, także tych bardzo matematycznych i skomputeryzowanych. Wiele z nich opiera się na osiągnięciach statystyki obiektów o charakterze nienumerycznym i innych nowoczesnych metodach statystyki stosowanej.

Jedną z najbardziej znanych metod oceny eksperckiej jest Metoda Delphi. Nazwa wzięła się ze starożytnego zwyczaju zwracania się do Świątyni Delfickiej, aby otrzymać wsparcie przy podejmowaniu decyzji. Znajdowała się u wylotu trujących gazów wulkanicznych. Kapłanki świątyni, wdychając truciznę, zaczęły prorokować, wypowiadając niezrozumiałe słowa. Specjalni „tłumacze” – kapłani świątyni – zinterpretowali te słowa i odpowiedzieli na pytania pielgrzymów, którzy przybyli ze swoimi problemami. Tradycja głosi, że Świątynia Delficka znajdowała się w Grecji. Ale tam nie ma wulkanów. Najwyraźniej przebywał we Włoszech - w pobliżu Wezuwiusza lub Etny, a same opisane przepowiednie miały miejsce w XII-XIV wieku. Wynika to z najwyższego osiągnięcia współczesnej nauki historycznej - nowej chronologii statystycznej.

W USA w latach 60. XX w. metodę Delphi nazywano procedurą ekspercką służącą prognozowaniu rozwoju naukowo-technicznego. W pierwszej turze eksperci określili prawdopodobne daty określonych przyszłych osiągnięć. W drugiej turze każdy z ekspertów zapoznał się z prognozami pozostałych. Jeśli jego prognoza bardzo odbiegała od prognoz ogółu populacji, proszono go o wyjaśnienie swojego stanowiska i często zmieniał swoje szacunki, zbliżając się do wartości średnich. Te średnie wartości zostały przekazane klientowi jako opinia grupowa. Trzeba przyznać, że rzeczywiste wyniki badań okazały się dość skromne – choć datę lądowania Ameryki na Księżycu przewidywano z dokładnością do miesiąca, wszystkie inne prognozy zawiodły – zimna fuzja termojądrowa i lekarstwo na raka w XX wieku. ludzkość nie czekała.

Jednak sama technika okazała się popularna – przez kolejne lata użyto jej co najmniej 40 tysięcy razy. Średni koszt ekspertyzy metodą Delphi to 5 tys. dolarów, jednak w niektórych przypadkach konieczne było wydanie większych sum – nawet do 130 tys. dolarów.

Nieco poza głównym nurtem ocen eksperckich leży metoda skryptowa, używany głównie do prognozowania eksperckiego. Rozważmy główne idee technologii prognoz ekspertów scenariuszowych. Prognozy środowiskowe lub społeczno-ekonomiczne, jak każde prognozowanie w ogóle, mogą odnieść sukces tylko przy pewnej stabilności warunków. Jednak decyzje władz, osób i innych wydarzeń zmieniają warunki, a wydarzenia rozwijają się inaczej niż wcześniej oczekiwano. Jest rzeczą oczywistą, że po pierwszej turze wyborów prezydenckich w 1996 r. dalszy rozwój wydarzeń można było rozważać jedynie w kategoriach scenariuszowych: zwycięstwo B.N. w drugiej turze. Jelcyna, to stanie się to i tamto, jeśli wygra G.A. Ziuganow, wtedy wydarzenia potoczą się w tę i tamtą stronę.

Metoda scenariuszowa jest konieczna nie tylko w obszarze społeczno-ekonomicznym czy środowiskowym. Na przykład przy opracowywaniu wsparcia metodologicznego, oprogramowania i informacji ocena ryzyka Projekty technologii chemicznej wymagają stworzenia szczegółowego katalogu scenariuszy wypadków związanych z wyciekami toksycznych chemikaliów. Każdy z tych scenariuszy opisuje wypadek innego rodzaju, z jego indywidualnym pochodzeniem, przebiegiem, konsekwencjami i możliwościami zapobiegania.

Metoda scenariuszowa jest zatem metodą dekompozycji problemu prognostycznego, która polega na identyfikacji zbioru indywidualnych opcji rozwoju zdarzeń (scenariuszy), obejmujących łącznie wszystkie możliwe opcje rozwoju. Ponadto każdy indywidualny scenariusz musi umożliwiać w miarę dokładne prognozowanie, a łączna liczba scenariuszy musi być przewidywalna.

Możliwość takiego rozkładu nie jest oczywista. Stosując metodę scenariuszową konieczne jest przeprowadzenie dwóch etapów badań:

Budowa kompleksowego, ale wykonalnego zestawu scenariuszy;

Prognozowanie w ramach każdego konkretnego scenariusza w celu uzyskania odpowiedzi na interesujące badacza pytania.

Każdy z tych etapów jest tylko częściowo sformalizowany. Znaczna część rozumowania prowadzona jest na poziomie jakościowym, jak to jest w zwyczaju w naukach społeczno-ekonomicznych i humanistycznych. Jednym z powodów jest to, że prowadzi do tego chęć nadmiernej formalizacji i matematyzowania sztuczny wprowadzanie pewności tam, gdzie w zasadzie jej nie ma, lub stosowanie kłopotliwej aparatury matematycznej. Zatem rozumowanie na poziomie werbalnym w większości sytuacji uznawane jest za dowodowe, natomiast próba wyjaśnienia znaczenia użytych słów za pomocą np. teorii zbiorów rozmytych prowadzi do bardzo uciążliwych modeli matematycznych.

Zestaw scenariuszy powinien być widoczny. Musimy wykluczyć różne mało prawdopodobne zdarzenia - przybycie kosmitów, upadek asteroidy, masowe epidemie nieznanych wcześniej chorób itp. Samo stworzenie zestawu scenariuszy jest przedmiotem badań eksperckich. Ponadto eksperci mogą ocenić prawdopodobieństwo wystąpienia określonego scenariusza.

Prognozowanie w ramach każdego konkretnego scenariusza w celu uzyskania odpowiedzi na interesujące badacza pytania odbywa się również zgodnie z opisaną powyżej metodologią prognozowania. W stabilnych warunkach można zastosować metody statystyczne do prognozowania szeregów czasowych. Poprzedzone jest to jednak analizą przy pomocy ekspertów i często prognozowanie na poziomie werbalnym jest wystarczające (aby uzyskać wnioski interesujące badacza i decydenta) i nie wymaga doprecyzowania ilościowego.

Jak wiadomo, podejmując decyzje w oparciu o Analiza sytuacji(jak to mówią, kiedy analiza sytuacyjna), w tym analiza wyników badań predykcyjnych, może opierać się na różnych kryteriach. Możesz więc skupić się na tym, że sytuacja zakończy się w najgorszy, najlepszy lub przeciętny (w pewnym sensie) sposób. Możesz spróbować nakreślić środki, które zapewnią minimalne akceptowalne przydatne wyniki w dowolnym scenariuszu itp.

Inną opcją oceny eksperckiej jest burza mózgów. Organizowane jest w formie spotkania ekspertów, których wystąpienia podlegają jednemu, ale bardzo istotnemu ograniczeniu – nie można krytykować propozycji innych. Możesz je rozwijać, możesz wyrażać swoje pomysły, ale nie możesz ich krytykować! Podczas spotkania eksperci „zarażając” się nawzajem, wyrażają coraz bardziej ekstrawaganckie pomysły. Po około dwóch godzinach spotkanie nagrane na magnetofon lub kamerę wideo dobiega końca i rozpoczyna się drugi etap burzy mózgów – analiza wyrażonych pomysłów. Zazwyczaj na 100 pomysłów 30 zasługuje na dalszy rozwój, na 5-6 pozwalają na sformułowanie projektów aplikacyjnych, a 2-3 ostatecznie przynoszą użyteczny efekt - zysk, zwiększenie bezpieczeństwa ekologicznego, poprawę stanu środowiska naturalnego itp. Co więcej, interpretacja pomysłów jest procesem twórczym. Przykładowo, omawiając możliwości ochrony statków przed atakiem torpedowym, wysunięto pomysł: „Ustaw marynarzy wzdłuż burty i dmuchaj w torpedę, aby zmienić jej kurs”. Po opracowaniu pomysł ten doprowadził do stworzenia specjalnych urządzeń wytwarzających fale, które zbijają torpedę z kursu.

Główne etapy badania eksperckiego. Przyjrzyjmy się bliżej poszczególnym etapom badań eksperckich. Jak pokazuje doświadczenie, z punktu widzenia menedżera – organizatora takiego badania wskazane jest wyodrębnienie kolejnych etapów przeprowadzenia badania eksperckiego.

1) Podjęcie decyzji o konieczności przeprowadzenia badania eksperckiego i sformułowanie jego celów przez Decydenta (DM). Dlatego inicjatywa musi wyjść od kierownictwa, co dodatkowo zapewni pomyślne rozwiązanie problemów organizacyjnych i finansowych. Oczywiście początkowy impuls może dać notatka od jednego z pracowników lub dyskusja na spotkaniu, ale prawdziwym początkiem pracy jest decyzja osoby decyzyjnej.

2) Wybór i powołanie decydentów głównego składu Grupy Roboczej, w skrócie RG (zwykle kierownik naukowy i sekretarz). W takim przypadku opiekun naukowy jest odpowiedzialny za organizację i przeprowadzenie całości badań eksperckich, a także za analizę zgromadzonego materiału i sformułowanie wniosków komisji eksperckiej. Uczestniczy w tworzeniu zespołu ekspertów i powierzaniu zadań każdemu ekspertowi (wraz z decydentem lub jego przedstawicielem). On sam jest ekspertem o wysokich kwalifikacjach, uznawanym przez innych ekspertów za formalnego i nieformalnego przewodniczącego komisji eksperckiej. Zadaniem sekretarza jest prowadzenie dokumentacji ankiety eksperckiej i rozwiązywanie problemów organizacyjnych.

3) Rozwój RG(dokładniej jej główny personel, przede wszystkim dyrektor naukowy i sekretarz) oraz zatwierdzenie przez decydenta specyfikacji technicznych przeprowadzenia ekspertyzy. Na tym etapie decyzja o przeprowadzeniu ankiety eksperckiej staje się jasna pod względem wsparcia czasowego, finansowego, kadrowego, rzeczowego i organizacyjnego. W szczególności tworzona jest Grupa Robocza, w WG przydzielane są różne grupy specjalistów - analityczne, ekonometryczne (specjaliści od metod), komputerowe, pracujące z ekspertami (na przykład ankieterami), organizacyjne. Dla osiągnięcia sukcesu bardzo ważne jest, aby wszystkie te stanowiska zostały zatwierdzone przez decydenta.

4) Opracowanie przez grupę analityczną WG szczegółowego scenariusza (tj. regulaminu) gromadzenia i analizowania ekspertyz (ocen). Scenariusz uwzględnia przede wszystkim określony rodzaj informacji, który otrzymamy od ekspertów (na przykład słowa, gradacje warunkowe, liczby, rankingi, podziały czy innego rodzaju obiekty o charakterze nieliczbowym). Na przykład dość często eksperci proszeni są o swobodne wypowiadanie się, odpowiadając jednocześnie na szereg wcześniej sformułowanych pytań. Dodatkowo proszeni są o wypełnienie formalnej karty, wybierając w każdym punkcie jedną z kilku gradacji. Skrypt musi także zawierać określone metody analizy zebranych informacji. Na przykład obliczanie mediany Kemeny'ego, analiza statystyczna Lucians, zastosowanie innych metod statystyki obiektów o charakterze nienumerycznym i inne sekcje stosowanej statystyki (niektóre z tych metod zostaną omówione poniżej). Praca ta należy do grupy ekonometryczno-komputerowej RG. Tradycyjnym błędem jest najpierw zebrać informacje, a potem zastanowić się, co z nimi zrobić. W rezultacie, jak pokazuje smutne doświadczenie, wykorzystuje się nie więcej niż 1-2% informacji.

5) Wybór ekspertów zgodnie ze swoimi kompetencjami. Na tym etapie Grupa Robocza sporządza listę potencjalnych ekspertów i ocenia ich przydatność do planowanego badania.

6) Utworzenie komisji eksperckiej. Na tym etapie WG negocjuje z ekspertami i uzyskuje ich zgodę na pracę w komisji eksperckiej (w skrócie KE). Możliwe jest, że niektórzy eksperci wskazani przez GR nie będą mogli dołączyć do komisji ekspertów (choroba, urlop, podróż służbowa itp.) lub odmówić z tego czy innego powodu (zatrudnienie, warunki umowy itp.). Decydent zatwierdza skład komisji eksperckiej, ewentualnie skreślając lub dodając niektórych ekspertów do propozycji Grupy Roboczej. Z ekspertami zawierane są umowy dotyczące warunków ich pracy i wynagrodzenia.

7) Prowadzenie gromadzenia informacji eksperckich. Często poprzedzone jest to rekrutacją i szkoleniem ankieterów – jednej z grup wchodzących w skład RG.

8) Komputer analiza informacji eksperckich korzystając z metod zawartych w skrypcie. Poprzedzona jest zazwyczaj wprowadzeniem informacji do komputerów.

9) Stosując procedurę ekspercką z kilku rund zgodnie ze scenariuszem - powtórzenie dwa poprzednie etapy.

10) Końcowa analiza opinii biegłych, interpretacja uzyskanych wyników grupa analityczna WG i przygotowanie dokumentu końcowego KE dla decydentów.

11) Oficjalny kończący się działalność RG, m.in zatwierdzenie przez decydenta dokumentu końcowego KE, sporządzanie i zatwierdzanie raportów naukowo-finansowych Grupy Roboczej w sprawie prowadzenia badań eksperckich, wynagrodzeń ekspertów i pracowników Grupy Roboczej, oficjalnego zakończenia działalności (rozwiązania) KE i Grupy Roboczej.

Przyjrzyjmy się bliżej poszczególnym etapom badań eksperckich. Zacznijmy od wyboru ekspertów: personel jest najważniejszy! Jakość wniosków komisji ekspertów jest taka sama, jak wniosków ekspertów.

Wybór ekspertów. Zagadnienie doboru ekspertów jest jednym z najtrudniejszych w teorii i praktyce badań eksperckich. Oczywiście konieczne jest wykorzystanie w charakterze ekspertów tych osób, których osądy najbardziej pomogą w podjęciu właściwej decyzji. Jak jednak zidentyfikować, znaleźć, wybrać takie osoby? Trzeba to powiedzieć wprost Nie ma metod doboru ekspertów, które z pewnością zapewnią powodzenie egzaminu. Nie będziemy teraz omawiać problemu istnienia różnych „partii” wśród ekspertów, a zwrócimy uwagę na różne inne aspekty procedur wyboru ekspertów.

Problem doboru ekspertów można podzielić na dwie składowe: sporządzenie listy ewentualnych ekspertów i wybór spośród nich komisji ekspertów zgodnie z kompetencjami kandydatów.

Sporządzenie listy potencjalnych biegłych jest łatwiejsze, jeżeli dany rodzaj badania przeprowadza się wielokrotnie. W takich sytuacjach zwykle jest to przeprowadzane rejestr ewentualnych ekspertów np. z zakresu państwowej oceny oddziaływania na środowisko czy oceniania łyżwiarstwa figurowego, spośród których można wybierać według różnych kryteriów lub za pomocą czujnika liczb pseudolosowych (lub tabeli).

Co zrobić, jeśli badanie przeprowadzane jest po raz pierwszy i nie ma ustalonych list potencjalnych biegłych? Jednak nawet w tym przypadku każdy konkretny specjalista ma pewne pojęcie o tym, czego wymaga się od eksperta w takiej sytuacji. Istnieje przydatna metoda generowania listy "śnieżna kula" w którym od każdego specjalisty zaangażowanego w rolę eksperta otrzymują określoną liczbę (zwykle 5 - 10) nazwisk tych, którzy mogą być ekspertami w rozpatrywanym temacie. Oczywiście część z tych nazw spotkała się już wcześniej w działalności RG, a część jest nowa. Z każdą nową osobą przeprowadzany jest wywiad według tego samego schematu. Proces poszerzania listy kończy się w momencie, gdy nowe nazwiska praktycznie przestają się pojawiać. Rezultatem jest dość obszerna lista potencjalnych ekspertów. metoda "śnieżna kula" Ma to również wady. Nie można z góry przewidzieć liczby rund, po których nastąpi zatrzymanie procesu wzrostu śpiączki. Ponadto jasne jest, że jeśli na pierwszym etapie wszyscy eksperci należeli do tego samego „klanu”, mieli nieco podobne poglądy lub zajmowali się podobnymi działaniami, to metoda „kuli śnieżnej” najprawdopodobniej przyniesie osoby z tego samego „klanu”. ” Będzie brakować opinii i argumentów innych „klanów”. (Mówimy tu o tym, że społeczność specjalistów jest właściwie podzielona na grupy, zwane powyżej „klanami”, a komunikacja odbywa się głównie w obrębie „klanów”. Nieformalna struktura nauki, do której należą „klany”, jest dość trudne do zbadania.Zauważmy tutaj, że „klany” powstają zwykle w oparciu o duże ośrodki formalne (uniwersytety, instytuty naukowe, szkoły naukowe).

Nie mniej złożona jest kwestia oceny kompetencji ekspertów. Oczywiste jest, że pomyślny udział w poprzednich egzaminach jest dobrym kryterium działalności degustatora, lekarza, sędziego w zawodach sportowych, tj. takich ekspertów, którzy uczestniczą w długich seriach podobnych badań. Jednak, niestety, najciekawsze i najważniejsze są unikalne badania dużych projektów, które nie mają analogii. Stosowanie formalnych wskaźników ekspertów (stanowisko, stopień i tytuł naukowy, staż pracy, liczba publikacji...), oczywiście, we współczesnych szybko zmieniających się warunkach może mieć jedynie charakter pomocniczy, chociaż takie wskaźniki są najłatwiejsze w użyciu .

Często proponuje się stosowanie metod samooceny i wzajemnej oceny kompetencji ekspertów. Omówmy je, zaczynając od metody samooceny, w której ekspert sam dostarcza informacji, w jakich obszarach jest kompetentny, a w jakich nie. Z jednej strony, kto zna możliwości eksperta lepiej niż on sam? Natomiast przy samoocenie kompetencji ocenia się stopień pewności siebie eksperta, a nie jego faktyczne kompetencje. Co więcej, sama koncepcja "kompetencja" nie ściśle określone. Można to wyjaśnić, podkreślając jego elementy, ale komplikuje to wstępną część działań komisji eksperckiej. Dość często ekspert wyolbrzymia swoje faktyczne kompetencje. Na przykład większość ludzi uważa, że jest dobrze zorientowana w polityce, ekonomii, problematyce oświaty i wychowania, rodzinie i medycynie. Tak naprawdę jest bardzo niewielu ekspertów (a nawet ludzi posiadających wiedzę) w tych dziedzinach. Zdarzają się też odchylenia w drugą stronę, czyli zbyt krytyczne podejście do swoich możliwości.

W przypadku stosowania metody wzajemnej oceny, oprócz możliwości okazania osobistych i grupowych upodobań, rolę odgrywa także niska świadomość ekspertów co do swoich możliwości. W nowoczesnych warunkach tylko specjaliści, którzy pracują razem od wielu lat (co najmniej 3-4), w tym samym pomieszczeniu, nad tym samym tematem, mogą w miarę dobrze zapoznać się ze swoją pracą i możliwościami. To właśnie o takich parach możemy powiedzieć, że „ razem zjedliśmy funt soli„Jednak przyciąganie takich par specjalistów nie jest zbyt wskazane, ponieważ ich poglądy, ze względu na podobieństwo dróg życiowych, są do siebie zbyt podobne.

Jeżeli procedura ankiety eksperckiej obejmuje bezpośrednią komunikację między ekspertami, należy wziąć pod uwagę szereg innych okoliczności. Ogromne znaczenie mają ich cechy osobiste (społeczno-psychologiczne). Tak, jedyny” gaduła„może sparaliżować działania całej komisji na wspólnym posiedzeniu. Wrogie stosunki pomiędzy członkami komisji oraz bardzo odmienny status naukowy i urzędowy członków komisji mogą doprowadzić do załamania. W takich przypadkach ważne jest, aby przestrzegać regulaminu pracy opracowanego przez WG.

Należy podkreślić, że dobór ekspertów jest jedną z głównych funkcji Grupy Roboczej i żadne metody selekcji nie zwalniają jej z odpowiedzialności. Inaczej mówiąc, to Grupa Robocza odpowiada za kompetencje ekspertów, za ich podstawową zdolność do rozwiązania zadania. Istotnym wymogiem jest zatwierdzenie listy ekspertów przez decydenta. Jednocześnie decydent może albo dodać do komisji poszczególnych ekspertów, albo skreślić część z nich – z własnych powodów, z którymi członkowie Grupy Roboczej i Komitetu Wykonawczego nie muszą się zapoznawać.

Istnieje szereg dokumentów normatywnych regulujących działalność komisji eksperckich w określonych obszarach. Przykładem jest ustawa Federacji Rosyjskiej „O ekspertyzach środowiskowych” z dnia 23 listopada 1995 r., która reguluje procedurę badania „planowanych działań gospodarczych lub innych” w celu zidentyfikowania ewentualnych szkód, jakie dana działalność może wyrządzić społeczeństwu. środowisko naturalne.

W sprawie opracowania regulaminu gromadzenia i analizy opinii biegłych. Metod uzyskiwania ocen eksperckich jest wiele. W niektórych pracują z każdym ekspertem osobno, on nawet nie wie, kto jeszcze jest ekspertem, dlatego wyraża swoją opinię niezależnie od władz, „klanów” i poszczególnych kolegów. W innych eksperci gromadzą się w celu przygotowania materiałów dla decydentów, przy czym eksperci omawiają między sobą problem, akceptują lub odrzucają swoje argumenty, uczą się od siebie nawzajem, a błędne lub niewystarczająco uzasadnione opinie są odrzucane. W niektórych metodach liczba ekspertów jest stała i taka, że statystyczne metody sprawdzania zgodności opinii, a następnie (w przypadku dostatecznie dobrej zgodności opinii) ich uśredniania pozwalają na podejmowanie świadomych decyzji z ekonometrycznego punktu widzenia. W innych liczba ekspertów rośnie w trakcie badania, np. przy tworzeniu zespołu ekspertów metodą „kuli śnieżnej”.

Obecnie nie istnieje ogólnie przyjętą, opartą na nauce klasyfikację metod oceny eksperckiej, a tym bardziej jasne zalecenia dotyczące ich stosowania. Próba na siłę zatwierdzenia jednego z możliwych punktów widzenia w sprawie klasyfikacji metod oceny eksperckiej może jedynie zaszkodzić.

Aby jednak mówić o różnorodności ocen eksperckich, konieczna jest pewnego rodzaju robocza klasyfikacja metod. Poniżej podajemy jedną z takich możliwych klasyfikacji, wymieniając podstawy, według których dzielimy oceny eksperckie.

Jednym z głównych pytań jest to, co dokładnie komisja ekspercka powinna przedstawić w wyniku swoich prac – informację dla decydenta do podjęcia decyzji czy sam projekt decyzji? Od odpowiedzi na to pytanie metodologiczne zależy organizacja prac komisji eksperckiej, która stanowi pierwszą podstawę podziału metod.

CEL - ZBIERANIE INFORMACJI DLA KIEROWNIKÓW DECYZJI. Następnie Grupa Robocza powinna zebrać jak najwięcej istotnych informacji, argumentów za i przeciw określonym wariantom decyzyjnym. Przydatna jest następująca metoda stopniowego zwiększania liczby ekspertów. Najpierw pierwszy ekspert przedstawia swoje przemyślenia na temat rozpatrywanej kwestii. Opracowany przez niego materiał zostaje przekazany drugiemu biegłemu, który dodaje swoje argumenty. Nagromadzony materiał trafia do kolejnego – trzeciego – eksperta… Procedura kończy się, gdy wyschnie dopływ nowych rozważań.

Zauważmy, że w rozważanej metodzie eksperci jedynie dostarczają informacji i argumentów za i przeciw, ale nie wypracowują uzgodnionego projektu rozwiązania. Nie ma potrzeby zabiegać o to, aby opinie biegłych były ze sobą spójne. Co więcej, największe korzyści odnoszą eksperci o sposobie myślenia odbiegającym od głównego nurtu. To od nich należy spodziewać się najbardziej oryginalnych argumentów.

CEL - PRZYGOTOWANIE PROJEKTU ROZWIĄZANIA DLA KIEROWCY DECYZJI. Metody matematyczne w ocenach eksperckich są zwykle stosowane specjalnie do rozwiązywania problemów związanych z przygotowaniem projektu rozwiązania. Jednocześnie często bezkrytycznie akceptowane są dogmaty spójności i jednowymiarowości. Dogmaty te „wędrują” z publikacji do publikacji, dlatego warto je przedyskutować.

DOGMAT KONSYSTENCJI. Często bez żadnego uzasadnienia uważa się, że decyzję można podjąć jedynie na podstawie konsensusu opinii ekspertów. Dlatego z grupy eksperckiej wyłączani są ci, których opinia odbiega od opinii większości. Jednocześnie eliminowane są zarówno osoby niewykwalifikowane, które weszły w skład komisji eksperckiej na skutek nieporozumienia lub z powodów niezwiązanych z ich poziomem zawodowym, jak i najbardziej oryginalni myśliciele, którzy wniknęli w problem głębiej niż większość. Należy wyjaśnić ich argumenty i dać im możliwość uzasadnienia swojego punktu widzenia. Zamiast tego ich opinie są ignorowane.

Zdarza się również, że eksperci dzielą się na dwie lub więcej grup, które łączy wspólna cecha Grupa punkty widzenia. Znany jest zatem przykład dzielenia specjalistów przy ocenie wyników badań naukowych na dwie grupy: „teoretyków”, którzy wyraźnie preferują pracę badawczą, w której uzyskano wyniki teoretyczne, oraz „praktyków”, którzy wybierają te projekty badawcze, które pozwalają na uzyskanie wyniki stosowane bezpośrednio (mówimy o konkursie badawczym w Akademickim Instytucie Problemów Sterowania (automatyka i telemechanika)).

Czasami twierdzi się, że w przypadku znalezienia dwóch lub więcej grup ekspertów (a nie jednej, która zgadza się w swoich opiniach), badanie nie osiąga swojego celu. To jest źle! Cel został osiągnięty – ustalono, że konsensusu nie ma. To jest dość ważne. A decydent musi to brać pod uwagę przy podejmowaniu decyzji. Chęć zapewnienia spójności w opiniach ekspertów wszelkiego rodzaju może prowadzić do celowego, jednostronnego doboru ekspertów, ignorowania wszystkich punktów widzenia z wyjątkiem jednego, tego, który jest najbardziej lubiany przez Grupę Roboczą (lub wręcz „pod wpływem” decyzji -producent).

Często nie bierze się pod uwagę innej okoliczności czysto ekonometrycznej. Ponieważ liczba ekspertów zwykle nie przekracza 20-30, formalną spójność statystyczną opinii ekspertów (ustalaną na podstawie określonych kryteriów testowania hipotez statystycznych) można połączyć z faktycznym podziałem ekspertów na grupy, co sprawia, że dalsze obliczenia nie mają już związku z rzeczywistością. Jako przykład przejdźmy do konkretnych metod obliczeń wykorzystujących współczynniki zgodności (tj. tłumaczone jako zgodność) oparte na współczynnikach korelacji rang Kendalla lub Spearmana. Należy przypomnieć, że zgodnie z teorią ekonometrii pozytywny wynik badania spójności w ten sposób oznacza nic innego jak odrzucenie hipotezy o niezależności i równomiernym rozkładzie opinii eksperckich na zbiorze wszystkich rankingów. W ten sposób testowana jest hipoteza zerowa, zgodnie z którą rankingi opisujące opinie ekspertów są niezależnymi losowymi relacjami binarnymi, równomiernie rozłożonymi w zbiorze wszystkich rankingów. Odrzucenie tej hipotezy zerowej jest tradycyjnie interpretowane jako zgodność odpowiedzi ekspertów. Inaczej mówiąc, padamy ofiarą nieporozumień wynikających ze swoistej interpretacji słów: sprawdzanie spójności w określonym sensie matematyczno-statystycznym nie jest wcale sprawdzaniem spójności w sensie praktyki ocen eksperckich. (To właśnie niedoskonałość rozważanych metod matematycznych i statystycznych analizy rankingów skłoniła grupę specjalistów do opracowania nowego aparatu ekonometrycznego do sprawdzania spójności - metod nieparametrycznych opartych na tzw. Lucjan i zawarte w nowoczesnej sekcji ekonometrii - statystyki danych nienumerycznych). Grupy ekspertów posługujących się podobnymi metodami można identyfikować za pomocą ekonometrycznych metod analizy skupień.

OPINIE DYSYDENTÓW. Aby sztucznie osiągnąć spójność, starają się ograniczać wpływ ekspertyz - dysydenci, tj. dysydentów w porównaniu z większością. Twardy Sposobem radzenia sobie z dysydentami jest ignorowanie ich opinii, tj. w istocie poprzez wykluczenie ich z komisji ekspertów. Odrzucenie ekspertów, a także odrzucenie wartości odstających skutkuje procedurami o słabych lub nieznanych właściwościach statystycznych. Tak, jest to znane ekstremalna niestabilność klasyczne metody odrzucania wartości odstających w odniesieniu do odchyleń od założeń modelu (patrz np. tutorial).

Miękki Sposobem radzenia sobie z dysydentami jest użycie solidne (stabilne) procedury statystyczne. Najprostszy przykład: jeśli odpowiedź eksperta jest liczbą rzeczywistą, wówczas wyraźna opinia dysydenta ma duży wpływ na średnią arytmetyczną odpowiedzi ekspertów i nie wpływa na ich medianę. Dlatego rozsądne jest uznanie mediany za opinię konsensusową. Pomija się to jednak (nie dociera do decydenta) argumenty dysydentów.

W każdym z dwóch sposobów postępowania z dysydentami decydent zostaje pozbawiony informacji pochodzących od dysydentów, w związku z czym może podjąć bezpodstawną decyzję, która w konsekwencji doprowadzi do negatywnych konsekwencji. Z drugiej strony przedstawienie decydentowi całego zestawu opinii zdejmuje część odpowiedzialności i pracy związanej z przygotowaniem ostatecznej decyzji z komisji ekspertów i grupy roboczej odpowiedzialnej za przeprowadzenie badania eksperckiego, a przenosi tę odpowiedzialność i pracę na barki decydenta.

DOGMA JEDNOWYMIAROWOŚCI. W przestarzałej, a czasami także współczesnej literaturze naukowo-technicznej, powszechne jest dość kontrowersyjne podejście do tzw. „kwalimetrii”, zgodnie z którą przedmiot badań zawsze można ocenić jeden numer. Dziwny pomysł! Ludziom na targach niewolników przyszło do głowy oceniać osobę za pomocą jednej liczby.. Jest mało prawdopodobne, aby nawet najbardziej zagorzali jakościomierze uznali książkę lub obraz za odpowiednik liczby - jej „wartość rynkową”. Prawie wszystkie obiekty rzeczywiste są dość złożone i dlatego można je opisać z dowolną dokładnością jedynie za pomocą wielu, wielu liczb, a także obiektów matematycznych o charakterze nienumerycznym.

Jednocześnie nie można całkowicie zaprzeczyć samej idei poszukiwania uogólnionych wskaźników jakości, poziomu technicznego i tym podobnych. Dzięki temu każdy obiekt można ocenić według wielu wskaźników jakości. Na przykład samochód osobowy można ocenić według następujących wskaźników:

zużycie benzyny na 100 km (średnio);

niezawodność (w tym średni koszt napraw rocznie);

bezpieczeństwo ekologiczne, oceniane na podstawie zawartości substancji szkodliwych w spalinach;

zwrotność (w tym promień skrętu);

prędkość 100 km/h po rozpoczęciu ruchu; maksymalna osiągalna prędkość;

czas utrzymywania dodatniej temperatury w kabinie przy niskiej temperaturze zewnętrznej (na przykład minus pięćdziesiąt stopni Celsjusza) i wyłączony silnik;

design (atrakcyjność i „modność” wyglądu i wyposażenia wnętrz);

waga itp.

Czy możliwe jest połączenie wyników tych wskaźników razem? Oczywiste jest, że decydująca jest konkretna sytuacja, dla której wybierany jest samochód. Osiągana prędkość maksymalna jest ważna dla kierowcy, ale naszym zdaniem ma niewielkie znaczenie praktyczne dla kierowcy zwykłego samochodu prywatnego, szczególnie w mieście, w którym obowiązuje surowe ograniczenie prędkości maksymalnej. Dla takiego kierowcy ważniejsze są przebiegi na gazie, zwrotność i niezawodność. W samochodach różnych służb administracji publicznej niezawodność jest najwyraźniej ważniejsza niż w przypadku prywatnego właściciela, a zużycie benzyny jest odwrotnie. W przypadku regionów Dalekiej Północy izolacja termiczna wnętrza jest ważna, ale w regionach południowych nie. Itp.

Ważne jest zatem konkretne (wąskie) sformułowanie zadania przed ekspertami. Ale takie ustawienie często nie istnieje. A następnie „gry” mające na celu opracowanie uogólnionego wskaźnika jakości - na przykład w postaci funkcji liniowej wymienionych zmiennych - nie mogą dać obiektywnych wniosków. Alternatywą dla jedynego uogólnionego wskaźnika jest aparat matematyczny optymalizacja wielokryterialna- Zbiory Pareto itp.

W niektórych przypadkach nadal możliwe jest globalne porównanie obiektów – np. przy pomocy tych samych ekspertów, uzyskanie zamówienia na dane obiekty – produkty czy projekty. Następnie możesz WYBRAĆ współczynniki dla poszczególnych wskaźników tak, aby porządkowanie za pomocą funkcji liniowej mogło bardziej odpowiadać porządkowaniu globalnemu(na przykład znajdź te współczynniki metodą najmniejszych kwadratów). Wręcz przeciwnie, w takich przypadkach NIE NALEŻY szacować określonych współczynników przy pomocy ekspertów. Ta prosta idea nie stała się jeszcze oczywista dla niektórych kompilatorów metod przeprowadzania ankiet eksperckich i analizowania ich wyników. Bardzo się starają, aby eksperci zrobili to, co oni niezdolny- wskazać wagi, z jakimi poszczególne wskaźniki jakości powinny zostać uwzględnione w ostatecznym uogólnionym wskaźniku.

Eksperci zazwyczaj mogą porównywać obiekty lub projekty jako całość, ale nie mogą wyodrębnić udziału poszczególnych czynników . Ponieważ organizatorzy ankiety pytają, eksperci odpowiadają: ale te odpowiedzi nie niosą ze sobą rzetelnej informacji o rzeczywistości...

DRUGĄ PODSTAWĄ KLASYFIKACJI POSTĘP EKSPERTÓW JEST LICZBA RUNDÓW. Egzaminy mogą obejmować jedną rundę, określoną liczbę rund (dwie, trzy,...) lub nieokreśloną liczbę rund. Im więcej rund, tym dokładniejsza jest analiza sytuacji, gdyż eksperci zwykle wracają do tematu swojego badania wielokrotnie. Ale jednocześnie zwiększa się całkowity czas badania i wzrasta jego koszt. Możesz obniżyć koszty, wprowadzając do badania nie wszystkich ekspertów od razu, ale stopniowo. Jeśli więc na przykład celem jest zebranie argumentów za i przeciw, wówczas wstępną listę argumentów może ułożyć jeden ekspert. Drugi doda do tego własne argumenty. Materiał podsumowujący trafi do części pierwszej i trzeciej, którzy przedstawią swoje argumenty i kontrargumenty. I tak dalej – na każdą nową rundę dodawany jest jeden ekspert.

Największe trudności sprawiają procedury z określoną liczbą rund, np. „kula śnieżna”. Często podaje się maksymalną możliwą liczbę rund i wtedy niepewność sprowadza się do tego, czy tę maksymalną liczbę rund trzeba będzie przeprowadzić, czy też będzie można ograniczyć się do mniejszej liczby.

TRZECĄ PODSTAWĄ KLASYFIKACJI POSTĘP EKSPERTÓW JEST ORGANIZACJA KOMUNIKACJI EKSPERTÓW. Rozważmy zalety i wady każdego z elementów skali: brak komunikacji - korespondencja anonimowa komunikacja - komunikacja korespondencyjna bez anonimowości - komunikacja twarzą w twarz z ograniczeniami - komunikacja twarzą w twarz bez ograniczeń. W przypadku braku komunikacji ekspert wyraża swoją opinię, nie wiedząc nic o innych ekspertach i ich opiniach. Jest całkowicie niezależny, co jest zarówno dobre, jak i złe. Zwykle taka sytuacja odpowiada egzaminowi składającemu się z jednej rundy . Brak anonimowej komunikacji np. jak w metodzie Delphi oznacza, że ekspert zapoznaje się z opiniami i argumentami innych ekspertów, ale nie wie, kto dokładnie wyraził to czy tamto stanowisko. Dlatego egzamin musi obejmować co najmniej dwie rundy. Komunikacja korespondencyjna bez anonimowości odpowiada na przykład komunikacji przez Internet. Wszystkie możliwości badania korespondencji są dobre, ponieważ nie ma potrzeby gromadzenia ekspertów w jednym miejscu, a co za tym idzie, znalezienia dogodnego na to czasu i miejsca.

Podczas egzaminów bezpośrednich eksperci raczej mówią niż piszą, tak jak podczas egzaminów korespondencyjnych, dzięki czemu mogą powiedzieć znacznie więcej w tym samym czasie. Badanie osobiste z ograniczeniami bardzo częste. Jest to spotkanie odbywające się według ustalonego harmonogramu. Przykładem jest rada wojskowa w cesarskiej armii rosyjskiej, w której eksperci (oficerowie i generałowie) wypowiadali się w kolejności od młodszego (według rangi i stanowiska) do starszego. Wreszcie, badanie twarzą w twarz bez ograniczeń- to jest wolna dyskusja. Wszystkie badania bezpośrednie mają wady związane z możliwością negatywnego wpływu na ich przebieg właściwości społeczno-psychologicznych i upodobań klanowych (partyjnych) uczestników, a także nierówności ich statusu zawodowego, urzędowego i naukowego . Wyobraź sobie, że spotyka się 5 poruczników i 3 generałów. Niezależnie od tego, jakie informacje posiada ten czy inny uczestnik spotkania, jego przebieg nie jest trudny do przewidzenia: generałowie będą rozmawiać, a porucznicy będą milczeć. Jednocześnie jest całkiem oczywiste, że porucznicy otrzymali wykształcenie później niż generałowie i dlatego posiadają przydatne informacje, których nie mają generałowie.

POŁĄCZENIE RÓŻNYCH RODZAJÓW BADAŃ. Rzeczywiste badania są często kombinacją różnych typów badań opisanych powyżej. Jako przykład rozważmy obronę pracy dyplomowej przez studenta. Najpierw następuje wieloetapowy egzamin bezpośredni przeprowadzany przez promotora i konsultantów, w wyniku którego student przygotowuje projekt do obronności. Wówczas zaocznie pracuje dwóch ekspertów – autor recenzji z zewnętrznej organizacji oraz kierownik wydziału, który dopuszcza obronę pracy. Zwróć uwagę na różnicę w zadaniach tych ekspertów i natężeniu pracy, jaką wykonują – jeden pisze szczegółową recenzję, drugi autoryzuje jej obronę poprzez podpisanie się na stronie tytułowej projektu. Wreszcie – badanie bezpośrednie bez ograniczeń (dla członków Państwowej Komisji Atestacyjnej – Państwowa Komisja Atestacyjna). Projekt dyplomowy oceniany jest kolegialnie, większością głosów, przy czym jeden z ekspertów (opiekun naukowy) zna szczegółowo pracę, a pozostali – głównie wyłącznie z protokołu. Należy zwrócić uwagę, że opinie ekspertów uwzględniane są z wagą, czyli opinie członków NSA – z wagą 1, a opinie wszystkich pozostałych – z wagą 0 (głos doradczy). Mamy zatem kombinację badań wielo- i jednorundowych, korespondencyjnych i bezpośrednich. Takie kombinacje są typowe dla wielu rzeczywistych badań.

Poprzedni

Główną ideą prognozowania na podstawie ocen ekspertów jest budowanie racjonalna procedura ludzkiego myślenia intuicyjno-logicznego w połączeniu z ilościowymi metodami oceny i przetwarzania uzyskanych wyników.

Istotą metod oceny eksperckiej jest to, na czym opiera się prognoza opinia specjalisty lub zespołu specjalistów, w oparciu o doświadczenie zawodowe, naukowe i praktyczne.

Indywidualne oceny ekspertów- opierają się na wykorzystaniu opinii ekspertów-specjalistów w danym profilu.

1. Metoda wywiadu polega na rozmowie prognosty z ekspertem w trybie pytań i odpowiedzi, podczas której prognosta, zgodnie z opracowanym programem, zadaje ekspertowi pytania dotyczące perspektyw zagospodarowania prognozowanego obiektu. Powodzenie takiej oceny zależy w dużej mierze od umiejętności eksperta do wydawania zaimprowizowanych opinii na temat najróżniejszych kwestii.

2. Metoda ankietowa polega na tym, że ekspert proszony jest o wypełnienie ankiety (kwestionariusza) zawierającej listę pytań, z których każde jest logicznie powiązane z zadaniem badawczym.

W ankiecie można zastosować następujące typy pytań:

otwarte – odpowiedzi na te pytania można sformułować w dowolnej formie;

typ zamknięty – oferowane są opcje odpowiedzi, z których jedna musi zostać wybrana przez eksperta.

Preferowane jest stosowanie w kwestionariuszu pytań zamkniętych, gdyż ułatwia to statystyczne przetwarzanie wyników odpowiedzi i ułatwia pracę eksperta przy wypełnianiu kwestionariusza. Natomiast lista odpowiedzi na pytanie nie może zawierać opinii biegłego. Dlatego tworząc listę opcji odpowiedzi na niektóre pytania, ekspert powinien mieć możliwość zaproponowania własnej opcji odpowiedzi lub uniknięcia odpowiedzi.

3. Metoda analityczna (notatki analityczne) przewiduje staranną, samodzielną pracę biegłego w celu analizy trendów, oceny stanu i ścieżek rozwoju przewidywanego obiektu. Ekspert może wykorzystać wszystkie potrzebne mu informacje na temat prognozowanego obiektu. Swoje wnioski formułuje w formie memorandum. Główną zaletą tej metody jest możliwość maksymalnego wykorzystania indywidualnych możliwości specjalisty. Jest jednak mało przydatny do przewidywania złożonych systemów i opracowywania strategii ze względu na ograniczoną wiedzę jednego specjalisty-eksperta z pokrewnych dziedzin wiedzy.

Główną zaletą indywidualnych metod oceny eksperckiej jest możliwość maksymalnego wykorzystania indywidualnych zdolności ekspertów. Metody te są jednak mało przydatne do przewidywania najbardziej ogólnych strategii ze względu na ograniczoną wiedzę jednego eksperta na temat rozwoju powiązanych dziedzin nauki i praktyki.

Przykładem wykorzystania ocen eksperckich w planowaniu rozwoju systemów społeczno-gospodarczych jest wielokryterialne zadanie wyboru opcji rozwiązania, które jest obecnie istotne w wielu obszarach działalności człowieka.

Procedura selekcji wielokryterialnej obejmuje następujące etapy:

Identyfikacja najważniejszych wskaźników (kryteriów) charakteryzujących badany obiekt;

Ustalenie metody ilościowej oceny wskaźników;

Określenie dopuszczalnych limitów zmian wskaźników;

Wybór metody znalezienia najlepszej opcji;

Rozwiązanie problemu i analiza wyników.

Jako funkcję celu do oceny opcji rozwiązania najczęściej stosuje się addytywne sploty kryteriów:

Lub
, (2.18)

Gdzie - współczynniki wagowe charakteryzujące istotność kryterium . Wartości liczbowe ustalone przez ekspertów i pożądane jest spełnienie następujących warunków:

. (2.19)

Jeśli kryteria
mają różne jednostki miary, należy je sprowadzić do jednej skali bezwymiarowej, aby spełnione były następujące nierówności:

(2.20)

(2.21)

Przykład . Według ekspertów głównymi wskaźnikami rozwoju gospodarczego i społecznego regionu są:

produkt krajowy brutto (regionalny);

poziom zatrudnienia;

średnie miesięczne wynagrodzenie.

Ekspercką ocenę istotności kryteriów w dziesięciopunktowej skali przedstawiono w tabeli. 2.2.

Regionalnemu liderowi zaproponowano cztery ukierunkowane programy rozwoju regionalnego, których celem jest finansowanie priorytetowe:

Kompleks rolno-przemysłowy;

Przedsiębiorstwa przemysłu spożywczego;

Gałęzie sfery społeczno-kulturowej;

Budownictwo mieszkaniowe.

Oczekiwane wartości głównych wskaźników uzyskane podczas realizacji rozpatrywanych programów docelowych podano w tabeli. 2.3.

Tabela 2.2

Wyniki oceny eksperckiej

Tabela 2.3

Oczekiwane wartości głównych czynników społeczno-ekonomicznych

wskaźniki rozwoju regionalnego

Konieczne jest określenie najwłaściwszego programu rozwoju regionu.

Rozwiązanie:

Określmy wartości współczynników wagowych:

;
;
.

Zatem w wyniku przetwarzania ocen eksperckich funkcja celu przyjmuje postać:

Biorąc pod uwagę, że program docelowy nr 3 jest oczywiście nieskuteczny w porównaniu z programem nr 2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Ponieważ wartości wskaźników mają różne wymiary, należy je sprowadzić do jednej bezwymiarowej skali. Osiąga się to poprzez podzielenie elementów każdej kolumny przez maksymalną wartość w kolumnie:

Na ostatnim etapie wyznaczamy wartość funkcji celu dla proponowanych programów:

Maksymalna wartość funkcji celu odpowiada programowi nr 1. Dlatego wdrożenie tego programu jest jak najbardziej właściwe.

Najbardziej niezawodne są zbiorowe oceny eksperckie - polegać na ustaleniu stopnia zgodności opinii eksperckich dotyczących perspektywicznych obszarów zagospodarowania obiektu prognozy, formułowanych przez poszczególnych specjalistów.

W celu organizacji ocen eksperckich tworzone są grupy robocze, których zadaniem jest prowadzenie ankiety, opracowywanie materiałów i analiza wyników zbiorczej oceny eksperckiej. Grupa robocza powołuje ekspertów, którzy udzielają odpowiedzi na zadawane pytania dotyczące perspektyw rozwoju tego obiektu.

1. Esencja metoda zbiorowego generowania pomysłów (burza mózgów) polega na wykorzystaniu potencjału twórczego specjalistów w przeprowadzeniu burzy mózgów na temat sytuacji problemowej, która w pierwszej kolejności polega na wygenerowaniu pomysłów, a następnie na ich uporządkowaniu, analizie i krytyce, wysuwaniu kontrpomysłów i wypracowywaniu spójnego punktu widzenia.

Metoda kolektywnego generowania pomysłów polega na realizacji następujących etapów:

1. utworzenie grupy uczestników burzy mózgów w celu rozwiązania konkretnego problemu. Optymalną wielkość grupy ustala się empirycznie. Za najbardziej produktywne uważa się grupy składające się z 10-15 osób.

2. Grupa analityczna sporządza notatkę problemową, która formułuje sytuację problemową i zawiera opis metody oraz sytuacji problemowej.

3. Etap generowania pomysłu. Każdy uczestnik ma prawo wystąpić wielokrotnie. Niedopuszczalna jest krytyka wcześniejszych wykonań oraz uwagi sceptyczne. Facylitator dostosowuje proces, z radością przyjmuje ulepszenia lub kombinacje pomysłów oraz zapewnia wsparcie, uwalniając uczestników od ograniczeń. Czas trwania sesji burzy mózgów wynosi nie mniej niż 20 minut i nie więcej niż 1 godzinę, w zależności od aktywności uczestników.

4. Systematyzacja idei wyrażanych na etapie generacyjnym. Tworzona jest lista pomysłów, identyfikowane są cechy, według których można łączyć pomysły, pomysły są łączone w grupy zgodnie ze zidentyfikowanymi cechami.

5. Na piątym etapie następuje destrukturyzacja (niszczenie) usystematyzowanych idei. Każdy pomysł poddawany jest kompleksowej krytyce przez grupę wysoko wykwalifikowanych specjalistów liczącą 20-25 osób.

6. W szóstym etapie oceniane są uwagi krytyczne i tworzona jest lista pomysłów możliwych do praktycznego wdrożenia.

Metoda „635” - jedna z odmian „burzy mózgów”. Liczby b, 3, 5 oznaczają 6 uczestników, z których każdy musi w ciągu 5 minut zapisać 3 pomysły. Liść krąży po okręgu. Zatem za pół godziny każdy napisze 18 pomysłów, a razem 108. Struktura pomysłów jest jasno określona. Możliwe są modyfikacje metody. Metoda ta jest szeroko stosowana w innych krajach (zwłaszcza w Japonii) w celu wybrania spośród różnorodnych pomysłów najbardziej oryginalnych i postępowych rozwiązań określonych problemów.

2. Metoda Delphi. Celem metody jest opracowanie programu sekwencyjnych, wielorundowych badań indywidualnych. Indywidualne badania ekspertów przeprowadzane są najczęściej w formie ankiet. Następnie są one przetwarzane statystycznie na komputerze i wyrabiana jest zbiorowa opinia grupy, identyfikowane i podsumowywane argumenty przemawiające za różnymi ocenami. Przetworzone komputerowo informacje przekazywane są ekspertom, którzy mogą korygować oceny, wyjaśniając jednocześnie powody swojego sprzeciwu wobec oceny zbiorowej. Procedurę tę można powtórzyć maksymalnie 3-4 razy. W efekcie zawęża się zakres ocen i wypracowywany jest spójny osąd co do perspektyw zagospodarowania obiektu.

Cechy metody Delphi:

a) anonimowość ekspertów – całkowicie wykluczona jest interakcja pomiędzy członkami grupy podczas wypełniania ankiet;

b) możliwość wykorzystania wyników poprzedniej edycji badania;

c) charakterystyka statystyczna opinii grupowej.

3. Metoda „prowizyjna”. - na podstawie prac specjalnych komisji. Grupy ekspertów przy okrągłym stole omawiają konkretny problem, aby zharmonizować punkty widzenia i wypracować wspólną opinię. Wadą tej metody jest to, że grupa ekspertów w swoich ocenach kieruje się głównie logiką kompromisu.

Metodę komisji eksperckich można zorganizować w jednej z następujących form:

Jak pokazała praktyka, metoda „prowizji” ma istotne wady:

duży wpływ takiego czynnika psychologicznego, jak opinia autorytatywnych ekspertów, do której przyłączają się inni eksperci, nie wyrażając swojego punktu widzenia;

niechęć ekspertów do publicznego wyrzeczenia się wcześniej wyrażonych opinii;

Podczas prac komisji najczęściej dochodzi do sporu pomiędzy dwoma lub trzema najbardziej autorytatywnymi ekspertami, w wyniku czego pozostali eksperci albo nie biorą udziału w dyskusji, albo ich opinie nie są brane pod uwagę.

4. Metoda próby – polega na zorganizowaniu pracy zespołu ekspertów w formie przeprowadzenia badania. Stosowanie tej metody jest wskazane w przypadku, gdy istnieje kilka grup ekspertów, z których każda broni swojego punktu widzenia. W tym przypadku obiekt prognozowania występuje w roli „pozwanego”. Liderzy grup wyrażających alternatywne punkty widzenia pełnią funkcję oskarżenia i obrony (prokurator, prawnik). Biegli indywidualni pełnią rolę świadków, dostarczając sądowi informacji niezbędnych do podjęcia decyzji. Rolę sędziego pełni zainteresowana osoba (grupa osób). Na przykład w programie telewizyjnym „Proces”, opartym na wykorzystaniu metody sądowej do analizy i przewidywania rozwoju różnych procesów społeczno-gospodarczych, rolę sędziego pełniła publiczność, głosując w trakcie programu telefonicznie wzywa do przedstawienia punktu widzenia, który popierali.

Metoda analizy morfologicznej polega na wyborze najbardziej akceptowalnego rozwiązania problemu spośród możliwych. Wskazane jest wykorzystanie go przy prognozowaniu badań podstawowych. Metoda obejmuje szereg technik polegających na systematycznym uwzględnianiu cech obiektu. Badanie przeprowadza się metodą „skrzynki morfologicznej”, która zbudowana jest w formie drzewa celów lub macierzy, w której w komórkach wprowadzane są odpowiednie parametry. Możliwym rozwiązaniem problemu jest połączenie parametru pierwszego poziomu szeregowo z jednym z parametrów kolejnych poziomów. Całkowita liczba możliwych rozwiązań jest równa iloczynowi liczby wszystkich parametrów przedstawionych w „pudełku” w wierszach. Poprzez permutacje i różne kombinacje można opracować probabilistyczne cechy obiektów.

Metoda pisania skryptu- polega na określeniu logiki procesu lub zjawiska w czasie w różnych warunkach. Polega na ustaleniu sekwencji zdarzeń, która rozwija się podczas przejścia od sytuacji istniejącej do przyszłego stanu obiektu. Scenariusz prognozy wyznacza strategię rozwoju prognozowanego obiektu. Powinien odzwierciedlać ogólny cel rozwoju obiektu, kryteria oceny górnych poziomów „drzewa celów”, priorytety problemów i zasoby do osiągnięcia głównych celów. Scenariusz przedstawia sekwencyjne rozwiązanie problemu i możliwych przeszkód. W takim przypadku wykorzystywane są materiały niezbędne do opracowania obiektu prognozy.

Wykres prognozy to figura składająca się z punktów wierzchołkowych połączonych segmentami krawędzi. „Drzewo celów” to graf drzewiasty wyrażający relację pomiędzy wierzchołkami-etapami lub problemami osiągnięcia celu. Każdy wierzchołek reprezentuje cel dla wszystkich wychodzących z niego gałęzi. „Drzewo celów” obejmuje identyfikację kilku poziomów strukturalnych lub hierarchicznych.

Budowa „drzewa celów” wymaga rozwiązania wielu problemów: prognozowania rozwoju obiektu jako całości; sformułowanie scenariusza przewidywanego celu, określenie poziomów i wierzchołków „drzewa”, kryteriów i ich wag w rankingu wierzchołków. Zadania te można w razie potrzeby rozwiązać, stosując eksperckie metody oceny. Należy zauważyć, że ten cel jako obiekt prognozy może odpowiadać wielu różnym scenariuszom.

Scenariusz ma zazwyczaj charakter wielowymiarowy i podkreśla trzy kierunki zachowań: optymistyczny – rozwój systemu w najkorzystniejszej sytuacji; pesymistyczny - rozwój systemu w najmniej korzystnej sytuacji; działający - rozwój systemu z uwzględnieniem przeciwdziałania czynnikom negatywnym, których wystąpienie jest najbardziej prawdopodobne. W ramach scenariusza prognostycznego wskazane jest opracowanie strategii awaryjnej na wypadek nieprzewidzianych sytuacji.

Gotowy scenariusz należy poddać analizie. Na podstawie analizy informacji uznanych za odpowiednie dla przyszłej prognozy formułowane są cele, ustalane są kryteria i rozważane są alternatywne rozwiązania.