Método de avaliações periciais. Métodos de exame

Hoje é realmente muito fácil: você pode ir até um computador e, com pouco ou nenhum conhecimento do que está fazendo, criar inteligência e bobagens com uma velocidade verdadeiramente surpreendente. (J.Caixa)

Avaliações de especialistas

As avaliações de especialistas surgem frequentemente na prática, por exemplo, durante a degustação de produtos alimentares. Em geral, são típicos de pesquisas sociológicas, por exemplo, um gerente de controle de qualidade realiza uma pesquisa com clientes de um supermercado. Ao usar o método especializado, uma escala de pedido é frequentemente usada para avaliar a qualidade. A questão da comparação é resolvida segundo o princípio “melhor é pior”, “mais é menos”. Mais informação detalhada quantas vezes melhor ou pior muitas vezes não é necessário.

Comparação em pares (os objetos são comparados entre si em pares). Ao construir uma escala de ordem ou as chamadas séries classificadas, os especialistas usam o método comparação parelha. Na aba. A Figura 1 mostra um exemplo de classificação de seis objetos usando comparação de pares. Este é o resultado do trabalho de um especialista que avaliou os objetos de uma determinada forma. A preferência por um objeto em detrimento de outro é indicada por 1, a situação oposta é indicada por 0.

Série classificada(escala de pedido) para objetos cuja avaliação comparativa é apresentada na tabela. 1 ficará assim:

4º trimestre

Se você usar vários especialistas, poderá obter um resultado mais preciso.

Você pode usar critérios mais avançados, por exemplo, a vantagem é determinada por uma pontuação de 1, a pior qualidade é determinada por uma pontuação de -1 e a qualidade equivalente é determinada por uma pontuação de 0. O mecanismo para compilar uma série classificada continua sendo o mesmo.

Os psicólogos provaram que a comparação aos pares está subjacente a qualquer escolha (ou seja, você escolhe os produtos comparando-os aos pares), no entanto, a escala de pedidos é muitas vezes elaborada antecipadamente (não uma série classificada) e nela são fixados pontos de referência, que são chamados de pontos .

Foi assim que surgiram a escala de doze pontos de intensidade do terremoto MSK - 64, a escala mineralógica de Mohs, a escala de cinco pontos para avaliação do conhecimento, pontos na patinação artística, etc. A Tabela 2 mostra a escala de dureza mineral de Mohs como exemplo.

Número do objeto							Resultado final

Tabela 1. Classificação de seis objetos por comparação pareada

Tabela 2. Escala de Mohs

Cada mineral subsequente deixa um arranhão no anterior, ou seja, é mais sólido. Os resultados da medição obtidos por comparação aos pares podem ser refinados pelo método de aproximação sucessiva.

A influência da composição dos especialistas nos resultados do exame

Na formação de um grupo de especialistas, é aconselhável realizar testes, avaliação mútua de especialistas e verificar a consistência das opiniões.

Teste consiste em especialistas resolvendo problemas com resultados conhecidos pelos organizadores dos testes, mas desconhecidos pelos especialistas, e testando, usando o critério de Fisher, a hipótese de que as avaliações de diferentes especialistas pertencem à mesma população geral de avaliações.

A autoavaliação consiste em cada especialista responder a perguntas de um questionário especialmente elaborado dentro de um tempo limitado. Este teste é realizado em um computador e depois pontuado. Os especialistas podem avaliar uns aos outros, mas isso requer um ambiente de confiança e experiência de trabalho conjunto. A consistência da opinião especializada pode ser avaliada pelo valor do coeficiente de concordância:

Onde S- a soma dos desvios quadrados de todas as estimativas de classificação para cada objeto de exame em relação ao valor médio;
n- número de especialistas;
eu- número de objetos de exame.

O coeficiente de concordância varia na faixa 0<C<1, причем 0 - полная несогласованность, 1 - полное единодушие.

Exemplo

É necessário determinar o grau de consistência nas opiniões de cinco especialistas, cujos resultados classificam sete objetos são apresentados na Tabela 3. Para determinar o grau de consistência, é utilizada uma medida especial - o coeficiente de concordância de Kendall (do latim . concordar- alinhar, organizar).

Número do objeto de exame	Soma das classificações	Desvio da média	Desvio quadrado
Número do objeto de exame	Soma das classificações	Desvio da média	Desvio quadrado

Tabela 3. Dados para avaliação da consistência das opiniões de cinco especialistas

Estimamos o número médio aritmético de classificações:

Q média = (21 + 15 + 9 + 28 + 7 + 25 + 35)/7 = 20.

Em seguida, estimamos a soma dos desvios quadrados da média: S = 630. Determinamos o valor do coeficiente de concordância:

C = 12 * 630 / 25 * (343 - 7) = 0,9.

É muito ou pouco? Se fizermos os cálculos correspondentes em ESTATÍSTICA, então você pode obter a seguinte tabela de resultados:

Arroz. 1. Resultados da análise no STATISTICA

Segue-se desta tabela que as diferentes opiniões de especialistas neste exemplo são insignificantes: p<0.00014.

Influência nos resultados do exame da composição quantitativa dos peritos. À medida que aumenta o número de especialistas no grupo, aumenta a precisão da medição, o que é típico de medições repetidas.

Número de especialistas n, garantindo uma determinada precisão de medição, pode ser estabelecida conhecendo a lei de distribuição das opiniões de especialistas e o erro padrão máximo permitido de estimativa Sx. Então, usando uma expressão bem conhecida, você pode determinar o número mínimo de especialistas n, fornecendo a precisão de medição especificada:

onde está o desvio padrão, que é determinado pela fórmula:

onde está a média aritmética das avaliações periciais;
- número de avaliações feitas por especialistas.

Há também uma distinção entre opiniões individuais e coletivas de especialistas; esta última é considerada mais precisa e, mais importante, consistente. O papel dos especialistas pode ser feito por pessoas com formação especial, potenciais consumidores e fabricantes de produtos.

Introdução………………………………………………………………………………..3

Capítulo 1 A essência, métodos e processo de avaliações de especialistas…………………5

1.1 A essência das avaliações periciais………………………………………………5

1.2 O papel dos especialistas em gestão……………………………………………..9

1.3 Processo de revisão por pares ………………………………………10

1.4 Métodos de avaliações periciais……………………………………………..18

1.4.1 Análise SWOT……………………………………………………...18

1.4.2 Método SMART……………………………………………………………….20

1.4.3 Método de classificação e avaliação…………………………………..21

1.4.4 Método de avaliação direta……………………………22

1.5 Avaliação da concordância de especialistas………………………………….23

Capítulo 2 Métodos de avaliação de especialistas usando o exemplo do OJSC “UAZ” ...………….24

Conclusão………………………………………………………………………………32

Lista de fontes e literatura utilizada ………………………..33

Introdução

Na pesquisa gerencial, o método de avaliações de especialistas é amplamente utilizado. Isto é explicado pela complexidade de muitos problemas, pela sua origem no “fator humano” e pela falta de ferramentas experimentais ou normativas confiáveis.

É absolutamente indiscutível que para tomar decisões informadas é necessário contar com a experiência, o conhecimento e a intuição de especialistas. Após a Segunda Guerra Mundial, no âmbito da teoria da gestão, uma disciplina independente começou a se desenvolver - as avaliações de especialistas.

Os métodos de avaliação pericial são métodos de organização do trabalho com especialistas especializados e de processamento de opiniões periciais, expressas de forma quantitativa e/ou qualitativa, a fim de preparar informações para a tomada de decisões pelos tomadores de decisão.

Muitos trabalhos têm sido dedicados ao estudo das possibilidades e características da utilização de avaliações periciais. Eles discutem formas de pesquisas de especialistas (vários tipos de questionários, entrevistas), abordagens de avaliação (classificação, normatização, vários tipos de ordenação, etc.), métodos para processar resultados de pesquisas, requisitos para especialistas e a formação de grupos de especialistas, questões de formação de peritos, avaliações da sua competência (no processamento das avaliações, são introduzidos e tidos em consideração os coeficientes de competência dos peritos e a fiabilidade das suas opiniões), métodos de organização de inquéritos a peritos. Seleção de formulários e métodos para a realização de pesquisas especializadas, abordagens para processamento dos resultados da pesquisa, etc. depende da tarefa específica e das condições do exame.

Os métodos periciais são agora utilizados em situações em que a escolha, justificação e avaliação das consequências das decisões não podem ser feitas com base em cálculos precisos. Tais situações surgem frequentemente no desenvolvimento de problemas modernos de gestão da produção social e, especialmente, na previsão e no planejamento de longo prazo. Nos últimos anos, as avaliações de especialistas têm encontrado ampla aplicação nas previsões sócio-políticas e técnico-científicas, no planejamento da economia nacional, indústrias, associações, no desenvolvimento de grandes programas científicos, técnicos, econômicos e sociais e na resolução de problemas de gestão individuais. .

Capítulo 1 A essência, métodos e processo de avaliações especializadas

1.1 A essência das avaliações de especialistas

A possibilidade de utilização de avaliações periciais e a justificativa de sua objetividade geralmente se baseia no fato de que a característica desconhecida do fenômeno em estudo é interpretada como uma variável aleatória, cujo reflexo da lei de distribuição é a avaliação individual de um especialista especialista sobre a confiabilidade e o significado de um evento específico. Supõe-se que o verdadeiro valor da característica em estudo esteja dentro da faixa de estimativas obtidas de um grupo de especialistas e que a opinião coletiva generalizada seja confiável.

No entanto, alguns estudos teóricos questionam esta suposição. Por exemplo, propõe-se dividir os problemas para os quais são utilizadas avaliações de especialistas em duas classes. PARA faixa segunda classe Estes incluem problemas que estão razoavelmente bem providos de informação e para os quais o princípio de um “bom medidor” pode ser usado, considerando o perito como o guardião de uma grande quantidade de informação, e a opinião do grupo de peritos tão próxima da verdadeira um. Co. segunda série Estes incluem problemas para os quais o conhecimento é insuficiente para garantir a validade dos pressupostos acima; os especialistas não podem ser considerados “bons medidores”, sendo necessário ter cuidado no processamento dos resultados do exame, pois neste caso a opinião de um (único) especialista, que dá mais atenção ao estudo de um assunto pouco estudado problema, pode revelar-se o mais significativo e, durante o processamento formal, será perdido. Nesse sentido, para problemas da segunda classe, o processamento qualitativo dos resultados deve ser aplicado principalmente. A utilização de métodos de média (válidos para “bons medidores”) neste caso pode levar a erros significativos.

As tarefas de tomada de decisão coletiva para formular metas, melhorar métodos e formas de gestão geralmente podem ser classificadas como de primeira classe. Porém, no desenvolvimento de previsões e planos de longo prazo, é aconselhável identificar opiniões “raras” e submetê-las a uma análise mais aprofundada.

Outro problema que deve ser levado em consideração ao realizar uma análise de sistema é o seguinte: mesmo no caso de resolução de problemas pertencentes à primeira classe, não devemos esquecer que as avaliações de especialistas carregam não apenas características estreitamente subjetivas inerentes aos especialistas individuais, mas também características coletivamente subjetivas que não desaparecem durante o processamento dos resultados da pesquisa (e podem até se intensificar ao usar o procedimento Delphi). Ou seja, as avaliações periciais devem ser vistas como um certo “ponto de vista público”, dependendo do nível de conhecimento científico e técnico da sociedade sobre o tema da investigação, que pode mudar à medida que o sistema e as nossas ideias sobre ele se desenvolvem. Portanto, uma perícia não é um procedimento único. Este método de obtenção de informações sobre um problema complexo caracterizado por um alto grau de incerteza deve se tornar uma espécie de “mecanismo” em um sistema complexo, ou seja, é necessário criar um sistema regular de trabalho com especialistas.

Deve-se notar também que a utilização da abordagem clássica de frequência para avaliar a probabilidade ao organizar inquéritos a peritos pode ser difícil e por vezes impossível (devido à impossibilidade de provar a legitimidade da utilização da representatividade da amostra). Portanto, estão atualmente em andamento pesquisas sobre a natureza da probabilidade da avaliação pericial, com base na teoria dos conjuntos difusos de Zadeh, na ideia de avaliação pericial como o grau de confirmação de uma hipótese ou como a probabilidade de atingir um objetivo. Uma das variedades do método especialista é o método de estudar os pontos fortes e fracos de uma organização, oportunidades e ameaças às suas atividades - o método de análise SWOT.

A coleta de informações periciais depende da escolha do método de avaliação pericial. Normalmente, para coletar informações periciais, são elaborados documentos especiais, como questionários, aprovados pelos gestores competentes e posteriormente enviados aos especialistas.

O processamento da informação pericial é realizado pelo método selecionado, geralmente por meio de tecnologia informática. Os dados obtidos como resultado do processamento são analisados e utilizados para resolver problemas de análise e síntese de sistemas de controle.

Avaliações de especialistas são usadas para análise, diagnóstico da condição e subsequente previsão de opções de desenvolvimento:

1) objetos cujo desenvolvimento está total ou parcialmente além da descrição substantiva ou da formalização matemática;

2) na ausência de estatísticas suficientemente representativas e confiáveis sobre as características do objeto;

3) em condições de grande incerteza no ambiente operacional da instalação, o ambiente de mercado;

4) para previsões de médio e longo prazo de novos mercados, objetos de novas áreas da indústria, fortemente influenciadas por descobertas em ciências fundamentais (por exemplo, indústria microbiológica, eletrônica quântica, engenharia nuclear);

5) nos casos em que o tempo ou os recursos alocados para previsão e tomada de decisão não permitem estudar o problema por meio de modelos formais;

6) não existem ferramentas técnicas de modelagem necessárias, por exemplo, tecnologia informática com características adequadas;

7) em situações extremas.

As tarefas resolvidas no processo de avaliações periciais de sistemas de gestão podem ser divididas em dois grupos:

1) tarefas de síntese de novos sistemas de controle e sua avaliação;

2) a tarefa de analisar (medir) os sistemas de gestão existentes de acordo com indicadores e critérios de desempenho selecionados.

Algumas das informações periciais obtidas no decorrer da resolução desses problemas são de natureza qualitativa e são formadas na forma de julgamentos complexos de forma descritiva. No entanto, os problemas de síntese resolvidos com o auxílio de avaliações de especialistas podem ser de natureza quantitativa, e a sua solução estará associada à justificação de numerosos parâmetros (características) do sistema a ser criado.

As tarefas do segundo grupo incluem todas as tarefas de avaliação de opções existentes ou criadas para sistemas de controle usando indicadores e critérios de desempenho específicos. Exemplos de tais tarefas são: determinar as características estruturais, funcionais ou de informação do sistema; avaliação da sua eficácia durante diversas operações; determinar a viabilidade de operação adicional de equipamentos técnicos de controle e comunicação, etc. Uma parte significativa da informação especializada utilizada na resolução de tais problemas é de natureza quantitativa ou na forma de julgamentos elementares e é processada por meio de vários métodos estatísticos.

1.2 O papel dos especialistas em gestão

Expertise é uma opinião, ideia, decisão ou avaliação baseada na implementação da valiosa experiência de um especialista, profundo conhecimento do tema da pesquisa e tecnologias de análise qualitativa .

A expertise pode ser individual ou em grupo. Num exame de grupo, a seleção de um grupo de especialistas e a metodologia de tratamento final dos resultados do seu trabalho são de grande importância.

A perícia é um documento que registra o andamento do estudo e seus resultados. Neste caso, as conclusões e opiniões dos especialistas podem ter forma categórica (“sim”, “não”) e probabilística (na forma de suposição, classificação, coeficiente de preferência, etc.).

Ao organizar o trabalho dos especialistas, é necessário respeitar os seguintes princípios:

1. As ideias, opiniões e avaliações devem enquadrar-se num esquema pré-elaborado. Isso permite que sejam generalizados, comparados, destacados, etc. Tal esquema não deve restringir o pensamento e limitar a imaginação. O esquema pode permitir e sugerir a possibilidade de sua modificação e adição.

2. O tratamento dos pareceres periciais deve ser efectuado não só na generalização quantitativa, mas também através da análise qualitativa, destacando o principal, o essencial, o importante, o relevante, o original, o novo, etc. exame de estágio.

3. Os peritos devem ser independentes, ou seja, livre de quaisquer restrições organizacionais ou conceituais, bem como psicológicas. Nesse caso, sua experiência, conhecimento e intuição são mais bem realizados.

4. O trabalho do grupo de especialistas deve ser objetivo. Compreender porquê e como um exame é realizado é um elemento importante da sua implementação. Em muitos casos, é necessária uma formação especial de especialistas, que desempenha o papel de mobilizar esforços e inteligência.

5. Existem várias formas de organização do trabalho de um grupo de peritos: ou cada perito realiza um exame individualmente, depois os resultados são resumidos e sistematizados, ou os peritos trabalham colectivamente, interagindo entre si.

6. É possível o trabalho paralelo e em várias etapas de vários grupos de especialistas. Uma comparação de exames fornece informações importantes.

Existem muitos métodos para obter avaliações de especialistas. Em alguns, trabalham com cada especialista separadamente; ele nem sabe quem mais é especialista e, portanto, expressa sua opinião independentemente das autoridades. Noutros, os especialistas são reunidos para preparar materiais para os decisores, e os especialistas discutem o problema entre si, aprendem uns com os outros e as opiniões incorrectas são descartadas. Em alguns métodos, o número de especialistas é fixo e de tal forma que os métodos estatísticos de verificação da consistência das opiniões e, em seguida, de cálculo da média delas permitem tomar decisões informadas. Em outros, o número de especialistas cresce durante o processo de exame, por exemplo, quando se utiliza o método “bola de neve”.

Um especialista ou grupo de especialistas que atuam como especialistas às vezes é identificado com um instrumento de medição que apresenta erros de medição aleatórios e sistemáticos.

Erros aleatórios são devidos à subjetividade das opiniões de especialistas sobre o assunto em consideração e podem desviar-se em uma direção ou outra do valor real. O impacto de tais erros é reduzido através da média de um número suficiente de estimativas.

O erro sistemático é inerente a toda a equipe de especialistas e não pode ser eliminado pelo processamento das estimativas resultantes. Isto sugere que, em alguns casos, é necessário abordar com muito cuidado os resultados de uma pesquisa especializada, que pode por vezes expressar um ponto de vista geralmente errôneo, dependendo do nível de conhecimento e crenças dos especialistas.

1.3 Processo de revisão por pares

As principais etapas do processo de avaliação pericial incluem:

formação da finalidade e objetivos da avaliação pericial;

formação de grupo gestor e execução da decisão de realização de perícia;

escolher um método para obter informações especializadas e métodos para processá-las;

seleção de um grupo de especialistas e geração de questionários de pesquisa, se necessário;

pesquisa de especialistas (exame);

processamento e análise de resultados de exames;

interpretação dos resultados obtidos;

compilação de um relatório.

A tarefa de realizar avaliações periciais é definida pelo tomador de decisão. A etapa de formação das metas e objetivos da avaliação pericial é a principal. Disso dependem a confiabilidade do resultado obtido e seu valor pragmático. A formação das metas e objetivos da avaliação pericial é ditada pela essência do problema a ser resolvido. Os seguintes fatores devem ser levados em consideração aqui: a confiabilidade e integridade da informação inicial disponível, a forma exigida de apresentação do resultado (qualitativa ou quantitativa), possíveis áreas de utilização da informação recebida, o momento de sua apresentação, os recursos à disposição da gestão, possibilidade de atrair especialistas de outras áreas do conhecimento e muito mais. A tarefa é formalizada na forma de um documento orientador (por exemplo, uma decisão de realizar uma avaliação pericial).

Um chefe do exame é nomeado para preparar a decisão e orientar todos os trabalhos futuros. Determina a composição da equipe de gestão. O grupo de gestão fornece feedback aos especialistas ou utiliza o método Delphi.

O grupo de gestão é encarregado não apenas de todo o trabalho de organização e planejamento para garantir condições favoráveis para uma atividade criativa eficaz dos especialistas, mas também do trabalho analítico de seleção de um grupo de especialistas, determinação de métodos de obtenção e processamento de informações, elaboração de questionários e interpretação significativa de os resultados obtidos.

Esta vasta e complexa gama de problemas a resolver exige a inclusão no grupo de gestão de especialistas altamente qualificados tanto na área do problema em causa como noutras áreas - psicologia, matemática, medicina, sociologia.

A seleção dos peritos específicos é realizada com base na análise da qualidade de cada um dos peritos propostos. Vários métodos são usados para esse fim:

· avaliação dos candidatos a peritos com base na análise estatística dos resultados de atividades anteriores como peritos nos primeiros problemas da investigação em ciência da computação;

· avaliação coletiva do candidato a especialista como especialista nesta área

· autoavaliação do candidato a especialista;

· determinação analítica da competência dos candidatos a peritos.

Contudo, todos estes métodos têm certas desvantagens, incluindo: a falta de uma metodologia de avaliação única geralmente aceite; alta intensidade de trabalho de avaliação; o surgimento de problemas éticos ao usar métodos de avaliação subjetivos.

No decorrer deste trabalho, vários métodos são frequentemente utilizados simultaneamente: autoavaliação e avaliação coletiva das qualidades do perito proposto. Esta abordagem permite selecionar razoavelmente especialistas com as qualidades necessárias. Contudo, deve reconhecer-se que o método de avaliação do desempenho passado parece ser mais objectivo do que os métodos de autoavaliação e avaliação colectiva.

Em geral, a formação de um grupo de especialistas é precedida das seguintes atividades:

· o problema é identificado e formulado;

· é determinada a finalidade e a área de atuação do grupo;

· é compilada uma lista preliminar de peritos;

· é realizada a análise e seleção de especialistas (com base na utilização de um ou mais métodos de seleção);

· a lista de peritos está a ser especificada; . é obtido o consentimento do perito para participar nos trabalhos do grupo de peritos;

· é determinada a lista representativa final de peritos. Todos os potenciais especialistas, dependendo da sua qualidade e competência, podem ser classificados em sete classes

Um exemplo de classificação da qualidade e competência de especialistas

A escolha do número de classes de especialistas em qualidade, neste caso, é determinada pela “regra dos sete”, tradicionalmente utilizada na resolução de problemas de gestão da qualidade.

Esta gradação permite selecionar os especialistas necessários para trabalhar no grupo de especialistas. Para obter resultados bastante objetivos do estudo de CS, é aconselhável selecionar entre especialistas pertencentes às classes de qualidade 1-4. Não é aconselhável envolver nos exames candidatos a peritos de turmas de qualidade inferior.

Independentemente do método escolhido para avaliar as qualidades dos candidatos, os peritos devem, em todos os casos, cumprir determinados requisitos, incluindo:

Competência profissional e experiência prática e de investigação na área da gestão;

Criatividade (capacidade de resolver problemas criativos); . intuição científica;

Interesse nos resultados objetivos do trabalho especializado;

Independência de julgamento;

Capacidade de “compostura” empresarial para mudar de um tipo de atividade para outro, comunicação, independência de julgamento, motivação de ações);

Objetividade;

Inconformismo;

Alta erudição geral.

A realização de uma coleta de pareceres periciais envolve determinar: o local e o horário da coleta de pareceres; formas e métodos de recolha de opiniões; número de rodadas de coleta de opiniões; composição e conteúdo da documentação; o procedimento de registro dos resultados das perícias em documentos.

É muito importante determinar a forma de coleta de opiniões de especialistas. Dentre todas as formas conhecidas de coleta de opiniões, podemos destacar individual, coletivo (grupo) E misturado. Assim, essas formas diferem principalmente no fator de participação especializada no trabalho (individual ou coletivo) e cada uma delas possui uma série de variedades:

Questionário;

Entrevista;

Discussão;

chuva de ideias

Reunião;

Jogo de negócios.

Todos eles têm suas próprias vantagens e desvantagens. Em muitos casos, cada uma dessas variedades é utilizada em conjunto com outras, o que muitas vezes proporciona maior efeito e objetividade. A forma mista é utilizada na coleta de opiniões de especialistas em casos de alguma incerteza sobre o problema, em caso de divergência? opiniões individuais ou divergências entre especialistas durante a discussão coletiva.

Após a realização de uma pesquisa com um grupo de especialistas, os resultados são processados. A informação inicial para processamento são dados numéricos que expressam as preferências dos especialistas e uma justificativa significativa para essas preferências. O objetivo do processamento é obter dados generalizados e novas informações contidas de forma oculta nas avaliações periciais. Com base nos resultados do processamento, é formada uma solução para o problema.

A presença de dados numéricos e de declarações significativas de especialistas leva à necessidade de utilizar métodos qualitativos e quantitativos para processar os resultados da avaliação de especialistas em grupo. A participação desses métodos depende significativamente da classe de problemas resolvidos pela avaliação especializada.

Todo o conjunto de problemas pode ser dividido em duas classes. A primeira classe inclui problemas para os quais existe um nível de conhecimento e experiência suficiente, ou seja, existe o potencial de informação necessário. Ao resolver problemas pertencentes a esta classe, os especialistas são considerados, em média, bons medidores. O termo “bom na média” refere-se à capacidade de obter resultados de medição próximos dos verdadeiros. Para muitos especialistas, os seus julgamentos concentram-se em torno do verdadeiro valor. Conclui-se que para processar os resultados da avaliação de especialistas em grupo de problemas da primeira classe, métodos de estatística matemática baseados na média de dados podem ser aplicados com sucesso.

A segunda classe inclui problemas para os quais ainda não foi acumulado potencial de informação suficiente. A este respeito, as opiniões dos especialistas podem variar muito entre si. Além disso, o julgamento de um especialista, muito diferente de outras opiniões, pode revelar-se verdadeiro. É óbvio que o uso de métodos para calcular a média dos resultados da avaliação de especialistas em grupo na resolução de problemas de segunda classe pode levar a grandes erros. Portanto, o processamento dos resultados de uma pesquisa com especialistas, neste caso, deve basear-se em métodos que não utilizem os princípios da média, mas sim em métodos de análise qualitativa.

Considerando que os problemas da primeira classe são os mais comuns na prática da avaliação pericial, a atenção principal deste capítulo está nos métodos de processamento dos resultados dos exames para esta classe de problemas.

Dependendo dos objetivos da avaliação especializada e do método de medição escolhido, surgem as seguintes tarefas principais ao processar os resultados da pesquisa:

1) construir uma avaliação generalizada de objetos com base em avaliações de especialistas individuais;

2) construir uma avaliação generalizada baseada na comparação pareada de objetos por cada especialista;

3) determinação dos pesos relativos dos objetos;

4) determinação da consistência das opiniões de especialistas;

5) determinação de dependências entre rankings;

6) avaliação da confiabilidade dos resultados do processamento.

A tarefa de construir uma avaliação generalizada de objetos com base em avaliações de especialistas individuais surge durante a avaliação de especialistas em grupo. A solução para este problema depende do método de medição utilizado pelos especialistas.

Ao resolver muitos problemas, não basta organizar os objetos de acordo com um indicador ou algum conjunto de indicadores. É desejável ter valores numéricos para cada objeto que determinem sua importância relativa em comparação com outros objetos. Ou seja, para muitas tarefas é necessário ter avaliações de objetos que não apenas os organizem, mas também permitam determinar o grau de preferência de um objeto em relação a outro. Para resolver este problema, você pode aplicar diretamente o método de estimativa direta. No entanto, o mesmo problema, sob certas condições, pode ser resolvido através do processamento de avaliações periciais.

A consistência das opiniões de especialistas é determinada pelo cálculo de uma medida numérica que caracteriza o grau de semelhança das opiniões individuais. A análise do valor da medida de consistência contribui para o desenvolvimento de um julgamento correto sobre o nível geral de conhecimento sobre o problema a ser resolvido e a identificação de agrupamentos de opiniões de especialistas. Uma análise qualitativa das razões do agrupamento de opiniões permite estabelecer a existência de diferentes visões, conceitos, identificar escolas científicas, determinar a natureza da atividade profissional, etc. uma pesquisa com especialistas.

Ao processar os resultados da avaliação pericial, é possível determinar as dependências entre as classificações dos vários especialistas e, assim, estabelecer a unidade e a diferença nas opiniões dos especialistas. Um papel importante também é desempenhado pelo estabelecimento da relação entre classificações baseadas em diversos indicadores de comparação de objetos. A identificação de tais dependências permite revelar indicadores de comparação relacionados e, talvez, agrupá-los de acordo com o grau de conexão. A importância da tarefa de determinar dependências para a prática é óbvia. Por exemplo, se os indicadores de comparação são vários objetivos e os objetos são os meios para atingir os objetivos, então estabelecer a relação entre as classificações que ordenam os meios do ponto de vista do alcance dos objetivos permite-nos responder razoavelmente à questão até que ponto a realização de um objetivo com determinados meios contribui para a realização de outros objetivos.

As estimativas obtidas no processamento são objetos aleatórios, portanto uma das tarefas importantes do procedimento de processamento é determinar sua confiabilidade. A devida atenção deve ser dada à resolução deste problema.

O processamento dos resultados do exame é um processo trabalhoso. A realização manual de operações de cálculo de estimativas e indicadores de sua confiabilidade está associada a grandes custos de mão de obra, mesmo no caso de resolução de problemas simples de pedido. Nesse sentido, é aconselhável utilizar tecnologia de informática e principalmente computadores. O uso de computadores levanta o problema do desenvolvimento de programas de computador que implementem algoritmos para processamento dos resultados da avaliação pericial.

1.4Métodos de avaliações periciais

1.4.1 Análise SWOT

Um tipo especial de método especializado muito popular é o método de análise SWOT original. Recebeu o nome das primeiras letras de quatro palavras em inglês, que na tradução russa significam: Pontos fortes e fracos, Oportunidades e Ameaças.

Esta metodologia pode ser usada como universal. Tem um efeito especial no estudo de processos num sistema socioeconómico, que se caracteriza pelo dinamismo, controlabilidade, dependência de factores internos e externos de funcionamento e desenvolvimento cíclico.

De acordo com a metodologia desta análise, é realizada a distribuição dos fatores que caracterizam o objeto de pesquisa nestes quatro componentes, levando em consideração se esse fator pertence à classe dos fatores externos ou internos.

Como resultado, surge uma imagem da relação entre pontos fortes e fracos, oportunidades e perigos, que sugere como a situação deve ser mudada para que se tenha um desenvolvimento bem-sucedido.

Distribuir fatores nesses quadrantes ou setores de matrizes nem sempre é fácil. Acontece que o mesmo fator caracteriza simultaneamente os pontos fortes e fracos de um objeto. Além disso, os fatores operam situacionalmente. Numa situação parecem uma vantagem, noutra - uma desvantagem. Às vezes eles são incomensuráveis em sua importância. Estas circunstâncias podem e devem ser tidas em conta.

O mesmo fator pode ser colocado em vários quadrantes se for difícil determinar claramente o seu lugar. Isso não terá um impacto negativo no estudo. Afinal, a essência do método é identificar os fatores, colocá-los de tal forma que sua concentração sugira formas de resolver o problema, para que se tornem administráveis.

Em cada quadrante, os fatores não precisam necessariamente ter peso igual, mas devem ser apresentados na sua totalidade.

A matriz preenchida mostra a situação real, o estado do problema e a natureza da situação. Esta é a primeira etapa de uma análise SWOT.

O segundo passo é realizar uma análise comparativa dos pontos fortes e das oportunidades, que deverá mostrar como utilizar os pontos fortes. Ao mesmo tempo, é necessário analisar as fragilidades relativamente aos perigos existentes. Tal análise mostrará a probabilidade de uma crise. Afinal, o perigo aumenta quando surge em condições de fraqueza, quando as fraquezas não oferecem a oportunidade de prevenir o perigo.

Claro, é muito útil fazer uma análise comparativa dos pontos fortes e dos perigos existentes. Afinal, os pontos fortes podem ser mal utilizados na prevenção de uma crise; os pontos fortes devem ser vistos não apenas em relação às oportunidades favoráveis, mas também em relação aos perigos.

No estudo de sistemas de controle, o tema deste método pode ser vários problemas de desenvolvimento gerencial. Por exemplo, eficiência, pessoal, estilo, distribuição de funções, estrutura do sistema de gestão, mecanismo de gestão, motivação, profissionalismo, suporte de informação, comunicações e comportamento organizacional, etc.

A utilização de especialistas ou consultores internos especialmente treinados e selecionados pode aumentar a eficácia deste método.

1.4.2 Método SMART

Existem muitas modificações no método de análise SWOT. O mais interessante deles é o método de desenvolvimento e análise de metas.

Sabe-se que o propósito da gestão é fator decisivo de sucesso, eficiência, estratégia e desenvolvimento. Sem uma meta é impossível desenvolver um plano ou programa. Mas isto diz respeito não apenas ao propósito da gestão, mas também ao propósito da investigação. Afinal, formular corretamente esse objetivo também pode ser difícil. O programa de pesquisa e os métodos utilizados para conduzi-lo dependem do propósito.

A meta deverá ser desenvolvida segundo os critérios de Atingibilidade, Especificidade, Avaliabilidade (Mensurabilidade), levando em consideração Local e Tempo. Esses critérios refletem as palavras em inglês - Specific, Measurable, Achievable, Relevant, Timed, no nome abreviado é SMART. É assim que esse método é chamado.

O método envolve uma avaliação consistente de metas com base em um conjunto de critérios dispostos em forma de matriz. Aqui está um conjunto de factores comparáveis que reflectem as características do objectivo: difícil de alcançar - fácil de alcançar, custos elevados - custos baixos, tem apoio de pessoal - não tem apoio de pessoal, tem prioridades - não tem prioridades, requer muito tempo - requer pouco tempo, tem amplo impacto - tem impacto limitado, focado em altas tecnologias - focado em tecnologias baixas (convencionais), associado a uma nova organização de gestão - não associado a uma nova organização de gestão.

O próximo passo é criar uma matriz de identificação do problema. Para atingir o objetivo, vários problemas devem ser resolvidos. Mas para fazer isso, eles devem primeiro ser definidos.

A distribuição dos problemas é feita de acordo com os seguintes critérios: a situação existente, a situação desejada, a possibilidade de atingir o objetivo. Esses critérios caracterizam a horizontalidade da matriz. Os seguintes critérios são considerados verticalmente: definição do problema, avaliação do problema (parâmetros quantitativos), organização da solução (quem, onde, quando), custos de resolução do problema.

Esta matriz permite traçar um plano de pesquisa.

1.4.3 Método de classificação e avaliação

Utilizando o método de classificação, o especialista realiza a classificação (ordenação) dos objetos estudados do sistema organizacional em função de sua importância relativa (preferência), quando o objeto mais preferido recebe a classificação 1, e o menos preferido recebe a última classificação, igual em valor absoluto ao número de objetos sendo ordenados. Uma ordenação mais precisa ocorre com menos objetos de estudo e vice-versa.

No caso de disposição preferencial (por classificação) dos objetos de exame por um perito, a soma das classificações deve ser igual à soma dos números de toda a série natural do número de objetos N, começando por um: N =(H+1): 2.

As classificações resultantes de objetos de classificação com base nos dados da pesquisa são determinadas como a soma das classificações de cada objeto. Nesse caso, ao final, a primeira classificação é atribuída ao objeto que recebeu a menor soma de classificações, e a última - àquele que recebeu a maior soma de classificações, ou seja, o objeto menos significativo (um exemplo de determinação da classificação resultante de três objetos por sete especialistas)

Quanto mais especialistas estiverem envolvidos, maior será a objetividade do resultado da avaliação. No entanto, o envolvimento de um grande número de peritos qualificados e a elevada intensidade de mão-de-obra do trabalho especializado aumentam o custo das avaliações de qualidade. Portanto, para reduzir a intensidade laboral do trabalho dos especialistas, utilizam o método de classificação, que prevê apenas a classificação dos indicadores, e não a sua determinação numérica pelos especialistas.

No entanto, este método é utilizado na prática de estudo de sistemas de controle, apesar de sua simplicidade e baixa intensidade de trabalho, comparativamente. Isso se explica pelo grande número de objetos de pesquisa classificados.

1.4.4 Método de avaliação direta

Representa a ordenação dos objetos em estudo (por exemplo, ao selecionar parâmetros para compilar um modelo paramétrico) em função de sua importância, atribuindo pontos a cada um deles. Neste caso, o objeto mais importante recebe o maior número de pontos na escala aceita (é dada uma classificação). A escala de classificação mais comum é de 0 a 1; 0 a 5; 0 a 10; 0 a 100. No caso mais simples, a pontuação pode ser 0 ou 1.

Às vezes a avaliação é realizada verbalmente. Por exemplo, “muito importante”, “importante”, “sem importância”, etc., que por vezes também é traduzido numa escala de pontos (3, 2, 1, respetivamente) para maior comodidade no processamento dos resultados dos inquéritos.

A avaliação direta deve ser utilizada com total confiança no conhecimento profissional de especialistas sobre as propriedades dos objetos em estudo. Com base nos resultados da avaliação, são determinados a classificação e o peso (significância) de cada objeto em estudo

1.5 Avaliação da concordância entre especialistas

As opiniões de peritos recolhidas são processadas tanto quantitativamente (dados numéricos) como qualitativamente (informações substantivas). Vários métodos são usados para isso. Deve-se notar que, na presença de dados numéricos, para resolver problemas com material de informação suficiente, são utilizados principalmente métodos de média de julgamentos de especialistas. Porém, mesmo com os dados numéricos disponíveis, mas com informações insuficientes sobre o assunto em questão (o que muitas vezes acontece no estudo de sistemas de controle), juntamente com métodos quantitativos de processamento de dados periciais, também são utilizados métodos de análise e síntese qualitativa. .

Deve-se lembrar que as opiniões dos especialistas muitas vezes não coincidem completamente, por isso é necessário quantificar o grau de consistência das opiniões dos especialistas e estabelecer as razões da discrepância nos julgamentos.

Ao classificar objetos, os especialistas geralmente discordam sobre o problema que está sendo resolvido. A este respeito, é necessário quantificar o grau de concordância dos especialistas. A obtenção de uma medida quantitativa da consistência das opiniões de especialistas permite uma interpretação mais razoável das razões da divergência de opiniões.

Atualmente são conhecidas duas medidas de concordância entre as opiniões de um grupo de especialistas: coeficientes de dispersão e de concordância de entropia.

Capítulo 2 Métodos de avaliação de especialistas usando o exemplo do OJSC UAZ

Nas condições modernas, a avaliação de pessoal é um dos elementos mais importantes do sistema de gestão: com base nela, os gestores tomam decisões adequadas em relação aos seus colaboradores. A eficácia da decisão tomada depende, em última análise, da qualidade e fiabilidade das informações obtidas no âmbito das atividades de avaliação.

A grande importância da avaliação de pessoal de uma empresa também se deve ao fato de ela unir todos os elementos do sistema de gestão de pessoas em um único todo. É impossível realizar a gestão de pessoas em qualquer área (planejamento de pessoal, seleção, desenvolvimento de funcionários, incentivos trabalhistas, transferências de mão de obra, etc.) sem avaliar as características relevantes dos funcionários da empresa.

Consideremos a experiência prática de avaliação de pessoal em uma das maiores empresas industriais russas, a UAZ OJSC.

A certificação de funcionários tem sido utilizada como principal forma do processo em consideração há muitos anos. O processo de certificação caracterizou-se por um esquema bastante simples. O superior imediato do funcionário escreveu uma referência para ele. Seguiu-se uma reunião da comissão de certificação, que, apenas com base na avaliação (características) do gestor, tomou uma decisão sobre a conformidade (não conformidade) do colaborador com o cargo ocupado. Não houve menção a quaisquer outros especialistas (exceto ao supervisor do funcionário). Os resultados dessa certificação não forneceram informações suficientemente fundamentadas sobre a melhoria do trabalho com o pessoal, ou seja, a certificação foi de natureza puramente formal, não houve abordagem sistemática a este evento, nem interesse na obtenção de resultados fiáveis. As conclusões da comissão de certificação foram registadas nos ficheiros pessoais dos colaboradores e não foram posteriormente utilizadas para melhorar a qualidade do pessoal. Com a chegada do novo proprietário e da equipe administrativa à UAZ OJSC, a atitude em relação ao pessoal mudou, e eles passaram a ser considerados o recurso de desenvolvimento mais importante. Portanto, mais atenção tem sido dada aos problemas relacionados aos colaboradores, e o sistema de avaliação de pessoal sofreu mudanças evolutivas significativas. Em 2002, foi criado um departamento de análise de pessoal na Direcção de Pessoal com o objectivo de criar um sistema de avaliação de pessoal, analisando os dados obtidos na avaliação e utilizando-os de forma eficaz. Naquele momento, a direção se propôs a: avaliar gestores, especialistas e colaboradores na forma de certificação por meio de um novo método, para o qual optamos pelo método de avaliação pericial.

Assim, por certificação entendemos o procedimento para determinar as qualificações, nível de conhecimento, habilidades práticas, qualidades empresariais e pessoais de um funcionário, a qualidade da atividade laboral e seus resultados e estabelecer a sua conformidade (não conformidade) com os requisitos do cargo ocupado. O objetivo da certificação na UAZ OJSC é aumentar a eficiência do trabalho e o interesse dos funcionários pelos resultados de seu trabalho e pelas atividades de toda a organização.

Todos os gestores, especialistas e funcionários da UAZ OJSC estão sujeitos à certificação, com exceção de:

Colaboradores que exerçam o cargo há menos de um ano;

Mulheres grávidas; mulheres e homens solteiros com filhos menores de três anos.

A certificação na OJSC UAZ é realizada periodicamente, uma vez a cada três anos. O momento da certificação é aprovado por despacho do Diretor Geral da UAZ OJSC. O cronograma de certificação é elaborado pela Diretoria de RH e aprovado pelo Diretor de RH. O cronograma indica o momento da certificação em unidades estruturais. O cronograma de certificação é levado ao conhecimento dos colaboradores o mais tardar dois meses antes da reunião da comissão de certificação.

Para realizar a certificação, são criadas comissões de certificação em cada divisão estrutural da UAZ OJSC. A comissão de certificação é composta por um presidente, vice-presidente, secretário, representante do órgão sindical eleito e demais membros da comissão. Recomenda-se incluir no máximo nove pessoas no comitê de certificação. Além disso, especialistas que não participem da votação poderão ser incluídos na comissão.

A decisão da comissão de certificação é tomada por maioria de votos dos membros da comissão presentes na reunião. A comissão está autorizada a resolver questões desde que pelo menos dois terços dos seus membros estejam presentes na reunião. Em caso de igualdade de votos, é tomada uma decisão a favor do funcionário a ser certificado.

Além disso, o Diretor de RH forma uma Comissão Central de Certificação para certificar os executivos da alta administração (diretores adjuntos, gerentes de produção, chefes de departamentos e centros). Inclui todos os diretores funcionais da UAZ OJSC.

Caso o funcionário certificado não tenha participado das atividades de certificação sem justa causa, a comissão de certificação está autorizada a conduzir uma discussão sem a participação da pessoa certificada. Os motivos válidos são: doença, viagem de negócios, férias, estudo.

Na fase de preparação para a certificação, foi constituído na empresa um grupo de trabalho composto por chefes de divisões estruturais e colaboradores da Direcção de RH. O grupo decidiu que no âmbito das atividades de avaliação, antes da certificação propriamente dita, é necessário avaliar as características mais importantes do pessoal, que foram identificadas como as seguintes:

1. Conhecimentos e habilidades profissionais.

2. Nível de qualidade do trabalho.

3. Conclusão oportuna das tarefas.

4. Iniciativa em inovação.

5. A complexidade do trabalho executado.

Para determinar o grau de expressão das qualidades empresariais dos colaboradores, utilizamos a avaliação pericial - método de avaliação em grupo dos colaboradores, com base num inquérito aos seus gestores e pessoas com o mesmo estatuto oficial. Além disso, é realizada a autoavaliação do colaborador. Trabalhadores competentes são selecionados para participar do grupo de especialistas:

Ter um alto nível de comunicação e conexões comerciais com a pessoa que está sendo avaliada;

Trabalharam juntos por pelo menos um ano;

Não relacionado.

A composição quantitativa dos grupos de peritos é de quatro pessoas mais o colaborador avaliado.

Para regular a certificação, foi desenvolvido um procedimento para a realização deste processo:

Etapa 1 (preparatória):

1.1. Emissão de despacho do diretor geral da fábrica sobre certificação; levar a ordem e o cronograma de certificação aos chefes de todas as divisões estruturais mediante assinatura.

1.2. Nomeação por despacho do chefe de cada unidade estrutural responsável pela condução das atividades de certificação (coordenador) e formação da composição da comissão de certificação.

1.3. Realização de seminário com especialistas do departamento de análise de pessoal da Diretoria de RH para treinar coordenadores no procedimento de atividades de avaliação.

1.4. Elaboração pelo coordenador de um plano de ação para a realização da certificação, sua aprovação pelo responsável da unidade estrutural e informação dos certificados.

1.5. As listas de colaboradores sujeitos a certificação e de colaboradores não sujeitos a certificação foram geradas e aprovadas pelos responsáveis das divisões estruturais, com justificação clara dos motivos pelos quais este colaborador não está sujeito a certificação, e as listas foram fornecidas ao departamento de análise de pessoal ( obrigatório em meios eletrônicos e em papel) no prazo de sete dias úteis a partir da data de recebimento do pedido de certificação.

1.6. Elaboração de listas de grupos de peritos e sua aprovação pelo chefe da unidade estrutural.

Etapa 2 (avaliação):

2.1. Elaborar pela chefia imediata a referência do colaborador a ser certificado e inscrevê-la na ficha de avaliação.

2.2. Organizar e realizar avaliação especializada de pessoal pelo coordenador. O prazo máximo para realização de eventos é de cinco dias úteis.

Membros de grupos de especialistas avaliam as qualidades empresariais de gestores, especialistas e funcionários da UAZ OJSC. Cada especialista preenche questionários para o funcionário certificado, guiado apenas pela sua opinião, de acordo com as instruções e escala propostas. Além disso, é realizada a autoavaliação do colaborador, ou seja, o preenchimento de um questionário pela pessoa que está sendo certificada pelas mesmas qualidades.

2.3. Os coordenadores submetem questionários preenchidos ao departamento de análise de pessoal da Direção de Pessoal para determinar o grau de expressão de cada qualidade empresarial no colaborador certificado; Os resultados do cálculo são inseridos em uma tabela na súmula.

A pontuação média para a qualidade empresarial de cada funcionário é calculada como a média aritmética das avaliações de todos os especialistas para a qualidade empresarial deste funcionário, ou seja, de acordo com a fórmula:

SB=(01+02+...+0p):p,

onde SB é a pontuação média da qualidade do negócio,

0i - avaliação (em pontos) da qualidade do negócio dada pelo i-ésimo especialista (i = 1,2,...n),

n - número de especialistas.

Com base nas pontuações médias obtidas, o grau de expressão de cada qualidade empresarial do colaborador avaliado é determinado de acordo com a tabela.

Grau de expressão da qualidade empresarial do colaborador avaliado:

Pontuação média até 2,4 - Qualidade não expressa

Pontuação média 2,5 - 3,4 - A qualidade é fraca

Pontuação média 3,5 - 4,4 - A qualidade está suficientemente expressa

Pontuação média 4,5 - 5,0 - Alta qualidade

2.4. Transferência das fichas de avaliação preenchidas pelo departamento de análise de pessoal para a comissão de certificação da unidade estrutural (o mais tardar duas semanas antes da reunião da comissão de certificação) para familiarização com as mesmas pelos funcionários certificados mediante assinatura.

Etapa 3 (reunião da comissão de certificação):

3.1. A comissão de certificação estuda as fichas de avaliação, ouve a opinião do superior imediato do colaborador certificado, entrevista o colaborador certificado, discute os resultados e aprova-os por votação.

3.2. Formulação de conclusões finais e recomendações pela comissão de certificação com base nos resultados da votação e registo na ficha de certificação.

a) corresponde ao cargo ocupado;

b) corresponde ao cargo ocupado, sujeito a melhoria do trabalho e implementação das recomendações da comissão de certificação com recertificação após um ano;

c) não corresponde ao cargo ocupado.

Sobre um aumento no salário oficial;

Na transferência de funcionário para outro cargo;

Em áreas prioritárias de desenvolvimento;

Ao inscrever um funcionário na reserva de pessoal.

3.3. Imediatamente após a certificação, o coordenador comunica as conclusões e decisões da comissão de certificação às pessoas certificadas e aos seus gestores, mediante assinatura.

3.4. Transferência das fichas de certificação pelo coordenador para o departamento de análise de pessoal.

3.5. Após a conclusão da certificação, o departamento de análise de pessoal da Direcção efectua o tratamento estatístico dos dados de todos os colaboradores certificados com a elaboração de um relatório sumário, após o qual as fichas de certificação são colocadas nos ficheiros pessoais dos colaboradores.

Nota: as informações contidas nas fichas de avaliação e certificação são confidenciais e não estão sujeitas a divulgação a pessoas que não sejam membros da comissão de certificação e não estejam envolvidas no procedimento de processamento e armazenamento das fichas de certificação. Após a conclusão da certificação, as propostas da comissão de certificação, registadas nas fichas de certificação, são apreciadas pelo responsável da unidade estrutural para tomada de decisão no prazo de dois meses a partir do momento da sua familiarização. O colaborador, caso não seja considerado adequado para o cargo, é encaminhado para formação avançada ou reciclagem, ou, com o seu consentimento por escrito, é transferido para outro cargo. Após dois meses, não é permitida a transferência do funcionário para outro cargo com base no resultado desta certificação. Caso seja necessária a recertificação, o Diretor de RH emite despacho indicando as divisões estruturais, as listas dos colaboradores sujeitos à recertificação e o momento da sua implementação. As reuniões das comissões de certificação são realizadas com a mesma composição. A decisão sobre o cumprimento (não cumprimento) de um colaborador do cargo que ocupa é tomada com base em:

Características do gestor do funcionário certificado;

Todas as questões polêmicas relacionadas aos resultados da certificação são apreciadas pela comissão de certificação de acordo com a legislação vigente ou encaminhadas à Comissão de Controvérsias Trabalhistas.

Assim, se antes de 2002 a certificação no UAZ OJSC era realizada apenas com base nas características do gestor, desde 2002 a certificação era baseada na avaliação pericial, o que permitia reduzir o grau de subjetividade da avaliação. Durante o período de 2002 a 2005, nós, em conjunto com as divisões estruturais da empresa, realizamos a certificação de todos os gestores, especialistas e funcionários da UAZ OJSC sujeitos a certificação, cujo número é superior a cinco mil pessoas.

Conclusão

Atualmente, vários métodos de avaliação de especialistas são cada vez mais utilizados. São indispensáveis na resolução de problemas complexos de avaliação e seleção de objetos técnicos, inclusive de uso especial, na análise e previsão de situações com um grande número de fatores significativos - sempre que for necessário envolver o conhecimento, a intuição e a experiência de muitos especialistas altamente qualificados especialistas.

Os métodos especializados estão sendo constantemente desenvolvidos e aprimorados. As principais direções deste desenvolvimento são determinadas por uma série de fatores, incluindo o desejo de expandir o escopo de aplicações, aumentar o grau de utilização de métodos matemáticos e da tecnologia de informática eletrônica, e também encontrar maneiras de eliminar deficiências emergentes.

Apesar dos sucessos alcançados nos últimos anos no desenvolvimento e utilização prática do método de avaliação especializada, há uma série de problemas e tarefas que requerem mais investigação metodológica e testes práticos. É necessário melhorar o sistema de seleção de especialistas, aumentando a confiabilidade das características das opiniões dos grupos, desenvolvendo métodos de verificação da validade das avaliações e estudando razões ocultas que reduzem a confiabilidade das avaliações de especialistas.

A avaliação pericial das propriedades e qualidades empresariais do candidato baseia-se em parâmetros quantitativos e critérios de avaliação obtidos na entrevista. Embora existam aqui elementos de convenção e subjetividade, com uma escala de avaliação bem desenvolvida e uma abordagem cuidadosa (profissional) de especialistas, é possível avaliar os assuntos com alto grau de confiabilidade.

Lista de fontes e literatura utilizada

1. Grigorov V. M. Especialistas no sistema de gestão da produção pública // M.: Mysl, 1976

2. Demidova A.V. Pesquisa de sistemas de controle. – M.: Prior-izdat, 2005. – 96 p.

3. Johnson R. e outros Sistemas e gestão (a teoria dos sistemas e gestão de sistemas) / Trad. do inglês // M.: Rádio Soviética, 1974.

4. Ignatieva A.V. Pesquisa de sistemas de controle. – M.: UNIDADE-DANA, 2003. – 157 p.

5. Kafidov V.V. Pesquisa de sistemas de controle. – M.: Projeto Acadêmico, 2005. – 160 p.

6. Malin A.S. Pesquisa de sistemas de controle. – M.: Escola Superior de Economia da Universidade Estadual, 2005. – 399 p.

7. Mishin V.M. Pesquisa de sistemas de controle. - M.: UNIDADE-DANA, 2005

8. Mukhin V.I. Pesquisa de sistemas de controle. – M.: Exame, 2003. – 384 p.

9. Polzunova N.N. Pesquisa de sistemas de controle. – M.: Projeto Acadêmico, 2004. – 176 p.

10. Reilyan Ya. R. Base para a tomada de decisões de gestão // M.: Finanças e Estatística, 1989

11. Remennikov V.B. Desenvolvimento de uma solução de gestão. Livro didático mesada. - M.: UNIDADE-DANA, 2000.

12. Smolkin A.M. Gestão: noções básicas de organização. - M.: INFRA-M, 1999.

13. Gestão organizacional. /Ed. A.G. Porshneva, Z.P. Rumyantseva, N.A. Salomatina. -M.: INFRA-M, 1999.

Enviar seu bom trabalho na base de conhecimento é simples. Use o formulário abaixo

Estudantes, estudantes de pós-graduação, jovens cientistas que utilizam a base de conhecimento em seus estudos e trabalhos ficarão muito gratos a você.

postado em http://www.allbest.ru/

INSTITUTO SÓCIO-ECONÔMICO DE MOSCOVO

no tema “Metodologia para realização de avaliações periciais”

Estudantes femininas:

Artyushenko Yulia Viktorovna

Grupo: M10B-D-O-z

Moscou 2014

Introdução

2. Métodos de avaliação pericial

Conclusão

Introdução

1. Natureza, métodos e processo de avaliações periciais

1.1 A essência das avaliações periciais

No entanto, alguns estudos teóricos questionam esta suposição. Por exemplo, propõe-se dividir os problemas para os quais são utilizadas avaliações de especialistas em duas classes. A primeira classe inclui problemas que estão razoavelmente bem providos de informação e para os quais pode ser utilizado o princípio de um “bom medidor”, considerando o perito como o guardião de uma grande quantidade de informação, e a opinião do grupo de peritos tão próxima de o verdadeiro. A segunda classe inclui problemas para os quais o conhecimento é insuficiente para ter confiança na validade das suposições acima; os especialistas não podem ser considerados “bons medidores”, sendo necessário ter cuidado no processamento dos resultados do exame, pois neste caso a opinião de um (único) especialista, que dá mais atenção ao estudo de um assunto pouco estudado problema, pode revelar-se o mais significativo e, durante o processamento formal, será perdido. Nesse sentido, para problemas da segunda classe, o processamento qualitativo dos resultados deve ser aplicado principalmente. A utilização de métodos de média (válidos para “bons medidores”) neste caso pode levar a erros significativos.

Outro problema que deve ser levado em consideração ao realizar uma análise de sistema é o seguinte: mesmo no caso de resolução de problemas pertencentes à primeira classe, não devemos esquecer que as avaliações de especialistas carregam não apenas características estreitamente subjetivas inerentes aos especialistas individuais, mas também características coletivo-subjetivas que não desaparecem no processamento dos resultados da pesquisa (e podem até se intensificar ao usar procedimentos Delphi). Ou seja, as avaliações periciais devem ser vistas como um certo “ponto de vista público”, dependendo do nível de conhecimento científico e técnico da sociedade sobre o tema da investigação, que pode mudar à medida que o sistema e as nossas ideias sobre ele se desenvolvem. Portanto, uma perícia não é um procedimento único. Este método de obtenção de informações sobre um problema complexo caracterizado por um alto grau de incerteza deve se tornar uma espécie de “mecanismo” em um sistema complexo, ou seja, é necessário criar um sistema regular de trabalho com especialistas.

Avaliações de especialistas são usadas para análise, diagnóstico da condição e subsequente previsão de opções de desenvolvimento:

1) objetos cujo desenvolvimento está total ou parcialmente além da descrição substantiva ou da formalização matemática;

2) na ausência de estatísticas suficientemente representativas e confiáveis sobre as características do objeto;

3) em condições de grande incerteza no ambiente operacional da instalação, o ambiente de mercado;

5) nos casos em que o tempo ou os recursos alocados para previsão e tomada de decisão não permitem estudar o problema por meio de modelos formais;

6) não existem ferramentas técnicas de modelagem necessárias, por exemplo, tecnologia informática com características adequadas;

7) em situações extremas.

As tarefas resolvidas no processo de avaliações periciais de sistemas de gestão podem ser divididas em dois grupos:

1) tarefas de síntese de novos sistemas de controle e sua avaliação;

2) a tarefa de analisar (medir) os sistemas de gestão existentes de acordo com indicadores e critérios de desempenho selecionados.

As tarefas do primeiro grupo incluem: moldar a aparência do sistema que está sendo criado; previsão de indicadores técnicos e econômicos das etapas do seu ciclo de vida; justificativa dos principais rumos da reorganização do sistema de gestão social; seleção de métodos de ação e resultados ideais ou satisfatórios usando o sistema de controle criado, etc. Algumas das informações especializadas obtidas no decorrer da resolução desses problemas são de natureza qualitativa e são formadas na forma de julgamentos complexos de forma descritiva. No entanto, os problemas de síntese resolvidos com o auxílio de avaliações de especialistas podem ser de natureza quantitativa, e a sua solução estará associada à justificação de numerosos parâmetros (características) do sistema a ser criado. As tarefas do segundo grupo incluem todas as tarefas de avaliação de opções existentes ou criadas para sistemas de controle usando indicadores e critérios de desempenho específicos. Exemplos de tais tarefas são: determinar as características estruturais, funcionais ou de informação do sistema; avaliação da sua eficácia durante diversas operações; determinar a viabilidade de operação adicional de equipamentos técnicos de controle e comunicação, etc.

1.2 O papel dos especialistas em gestão

Ao organizar o trabalho dos especialistas, é necessário respeitar os seguintes princípios:

6. É possível o trabalho paralelo e em várias etapas de vários grupos de especialistas. Uma comparação de exames fornece informações importantes.

Um especialista ou grupo de especialistas que atuam como especialistas às vezes é identificado com um instrumento de medição que apresenta erros de medição aleatórios e sistemáticos.

1.3 Processo de revisão por pares

As principais etapas do processo de avaliação pericial incluem:

Formação das metas e objetivos da avaliação pericial;

Constituição de grupo gestor e registro da decisão de realização de perícia;

Escolher um método para obter informações especializadas e métodos para processá-las;

Seleção de um grupo de especialistas e geração de questionários de pesquisa, se necessário;

Pesquisa de especialistas (exame);

Processamento e análise de resultados de exames;

Interpretação dos resultados obtidos;

Compilação de um relatório.

A tarefa de realizar a avaliação pericial é definida pelo tomador de decisão. A etapa de formação das metas e objetivos da avaliação pericial é a principal. Disso dependem a confiabilidade do resultado obtido e seu valor pragmático. A formação das metas e objetivos da avaliação pericial é ditada pela essência do problema a ser resolvido. Os seguintes fatores devem ser levados em consideração aqui: a confiabilidade e integridade da informação inicial disponível, a forma exigida de apresentação do resultado (qualitativa ou quantitativa), possíveis áreas de utilização da informação recebida, o momento de sua apresentação, os recursos à disposição da gestão, possibilidade de atrair especialistas de outras áreas do conhecimento e muito mais. A tarefa é formalizada na forma de um documento orientador (por exemplo, uma decisão de realizar uma avaliação pericial).

Ao grupo de gestão é confiado não só todo o trabalho de organização e planeamento para garantir condições favoráveis para uma atividade criativa eficaz dos especialistas, mas também o trabalho analítico de seleção de um grupo de especialistas, determinação de métodos de obtenção e processamento de informação, elaboração de questionários, interpretação significativa de os resultados obtidos.

A seleção dos peritos específicos é realizada com base na análise da qualidade de cada um dos peritos propostos. Vários métodos são usados para esse fim:

avaliação de candidatos a peritos com base na análise estatística dos resultados de atividades anteriores como peritos nos primeiros problemas de investigação em ciência da computação;

avaliação coletiva de um candidato a especialista como especialista nesta área

autoavaliação do candidato a especialista;

determinação analítica da competência dos candidatos a especialistas.

Em geral, a formação de um grupo de especialistas é precedida das seguintes atividades:

o problema é identificado e formulado;

é determinada a finalidade e a área de atuação do grupo;

é compilada uma lista preliminar de especialistas;

é realizada a análise e seleção de especialistas (com base na utilização de um ou mais métodos de seleção);

a lista de especialistas está sendo especificada; . é obtido o consentimento do perito para participar nos trabalhos do grupo de peritos;

a lista representativa final de especialistas é determinada. Todos os potenciais especialistas, dependendo da sua qualidade e competência, podem ser classificados em sete classes

Um exemplo de classificação da qualidade e competência dos especialistas.

A escolha do número de classes de especialistas em qualidade, neste caso, é determinada pela “regra dos sete”, tradicionalmente utilizada na resolução de problemas de gestão da qualidade.

Esta gradação permite selecionar os especialistas necessários para trabalhar no grupo de especialistas. Para obter resultados bastante objetivos do estudo de CS, é aconselhável selecionar entre especialistas pertencentes às classes de qualidade 1–4. Não é aconselhável envolver nos exames candidatos a peritos de turmas de qualidade inferior.

Independentemente do método escolhido para avaliar as qualidades dos candidatos, os peritos devem, em todos os casos, cumprir determinados requisitos, incluindo:

* competência profissional e experiência prática e de investigação no domínio da gestão;

* criatividade (capacidade de resolver problemas criativos); . intuição científica;

Interesse nos resultados objetivos do trabalho especializado;

* independência de julgamento;

* capacidade de “compostura” profissional para mudar de um tipo de atividade para outro, comunicação, independência de julgamento, motivação de ações);

*objetividade;

* inconformismo;

* alta erudição geral.

É muito importante determinar a forma de coleta de opiniões de especialistas. Dentre todas as formas conhecidas de coleta de opiniões, podemos destacar a individual, a coletiva (grupo) e a mista. Assim, essas formas diferem principalmente no fator de participação especializada no trabalho (individual ou coletivo) e cada uma delas possui uma série de variedades:

* enquete;

* entrevista;

* discussão;

* chuva de ideias

* reunião;

* jogo de negócios.

Dependendo dos objetivos da avaliação especializada e do método de medição escolhido, surgem as seguintes tarefas principais ao processar os resultados da pesquisa:

1) construir uma avaliação generalizada de objetos com base em avaliações de especialistas individuais;

2) construir uma avaliação generalizada baseada na comparação pareada de objetos por cada especialista;

3) determinação dos pesos relativos dos objetos;

4) determinação da consistência das opiniões de especialistas;

5) determinação de dependências entre rankings;

6) avaliação da confiabilidade dos resultados do processamento.

Ao processar os resultados da avaliação pericial, é possível determinar as dependências entre as classificações dos vários especialistas e, assim, estabelecer a unidade e a diferença nas opiniões dos especialistas. Um papel importante também é desempenhado pelo estabelecimento da relação entre classificações baseadas em diversos indicadores de comparação de objetos. A identificação de tais dependências permite revelar indicadores de comparação relacionados e, talvez, agrupá-los de acordo com o grau de conexão. A importância da tarefa de determinar dependências para a prática é óbvia. Por exemplo, se os indicadores de comparação são vários objetivos e os objetos são os meios para atingir os objetivos, então estabelecer a relação entre as classificações que ordenam os meios do ponto de vista do alcance dos objetivos permite-nos responder razoavelmente à questão até que ponto a realização de um objectivo com determinados meios contribui para a realização de outros objectivos.

2. Métodos de avaliação pericial

Análise SWOT

Como resultado, surge uma imagem da relação entre pontos fortes e fracos, oportunidades e perigos, que sugere como a situação deve ser mudada para que se tenha um desenvolvimento bem-sucedido.

Em cada quadrante, os fatores não precisam necessariamente ter peso igual, mas devem ser apresentados na sua totalidade.

A matriz preenchida mostra a situação real, o estado do problema e a natureza da situação. Esta é a primeira etapa de uma análise SWOT.

A utilização de especialistas ou consultores internos especialmente treinados e selecionados pode aumentar a eficácia deste método.

Método SMART

Existem muitas modificações no método de análise SWOT. O mais interessante deles é o método de desenvolvimento e análise de metas.

A meta deve ser desenvolvida de acordo com os critérios de alcançábilidade, especificidade, avaliabilidade (mensurabilidade), levando em consideração Local e Tempo. Esses critérios refletem as palavras em inglês - Specific, Measurable, Achievable, Relevant, Timed, no nome abreviado é SMART. É assim que esse método é chamado.

O método envolve uma avaliação consistente de metas com base em um conjunto de critérios dispostos em forma de matriz. Aqui está um conjunto de factores comparáveis que reflectem as características do objectivo: difícil de alcançar - fácil de alcançar, custos elevados - custos baixos, tem apoio de pessoal - não tem apoio de pessoal, tem prioridades - não tem prioridades, requer muito tempo - requer pouco tempo, tem um impacto amplo - tem influência limitada, está focado em tecnologias de ponta - está focado em tecnologias baixas (convencionais), está associado a uma nova organização de gestão - não está associado a uma nova organização de gestão.

O próximo passo é criar uma matriz de identificação do problema. Para atingir o objetivo, vários problemas devem ser resolvidos. Mas para fazer isso, eles devem primeiro ser definidos.

Esta matriz permite traçar um plano de pesquisa.

Método de classificação e avaliação.

Com a disposição preferencial (por classificação) dos objetos de exame por um perito, a soma das classificações deve ser igual à soma dos números de toda a série natural do número de objetos H, a partir de um: H = (H+ 1): 2.

As classificações resultantes de objetos de classificação com base nos dados da pesquisa são determinadas como a soma das classificações de cada objeto. Neste caso, ao final, a primeira classificação é atribuída ao objeto que recebeu a menor soma de classificações, e a última classificação é atribuída àquele que recebeu a maior soma de classificações, ou seja, o objeto menos significativo (um exemplo de determinação da classificação resultante de três objetos por sete especialistas)

Método de avaliação direta

Conclusão

Lista de literatura usada

1.Grigorov V. M. Especialistas no sistema de gestão da produção pública // M.: Mysl, 1976

2. Demidova A.V. Pesquisa de sistemas de controle. - M.: Prior-izdat, 2005. - 96 p.

3. Ignatieva A.V. Pesquisa de sistemas de controle. - M.: UNIDADE-DANA, 2003. - 157 p.

4. Kafidov V.V. Pesquisa de sistemas de controle. - M.: Projeto Acadêmico, 2005. - 160 p.

5. Malin A.S. Pesquisa de sistemas de controle. - M.: Escola Superior de Economia da Universidade Estadual, 2005. - 399 p.

6. Reylyan Ya. R. Base para a tomada de decisões gerenciais // M.: Finanças e Estatística, 1989

7. Remennikov V.B. Desenvolvimento de uma solução de gestão. Livro didático mesada. -- M.: UNIDADE-DANA, 2000.

8. Smolkin A.M. Gestão: noções básicas de organização. - M.: INFRA-M, 1999.

Postado em Allbest.ru

Documentos semelhantes

Resolução de problemas, argumentação e formação de estimativas quantitativas de resultados através de métodos formais. Componentes do método de avaliação pericial. Método de geração coletiva de ideias (“brainstorming”). Método Delphi, características do método de grupo focal, análise SWOT.

apresentação, adicionada em 30/03/2014

Essência e conteúdo, principais etapas da análise pericial, áreas e características da sua aplicação prática, interpretação dos resultados. O grau de confiabilidade deste exame. Aplicação do método de avaliação pericial para construção de árvore de metas.

trabalho do curso, adicionado em 25/02/2012

O conceito e as características da utilização de tecnologias especializadas como parte integrante do processo de preparação e tomada de importantes decisões de gestão. Estudar as principais etapas de uma perícia. Seleção de especialistas. Método Delphi, PATTERN, brainstorming.

resumo, adicionado em 09/10/2016

Uso de avaliações de especialistas. Aplicação de diferentes métodos para resolver um problema. Classificação, comparações pareadas e múltiplas, avaliação direta e método de Thurstone são os procedimentos de medição especializados mais comumente usados. Métodos do tipo Delphi.

teste, adicionado em 09/03/2011

A essência e os tipos de perícias, as finalidades da sua utilização. Principais etapas da pesquisa especializada. Características dos métodos de trabalho coletivo de um grupo de especialistas, bem como métodos de obtenção de opiniões individuais. Processamento dos resultados de uma pesquisa com especialistas.

resumo, adicionado em 03/04/2012

Características dos procedimentos periciais: características dos métodos e modelos heurísticos, métodos de avaliações individuais, avaliações periciais coletivas. Especificações do exame, conteúdo e processamento dos resultados. Avaliação especializada do nível de risco país.

resumo, adicionado em 10/05/2010

Métodos de obtenção de avaliações periciais. O problema de selecionar especialistas. Documentos normativos que regulamentam a atuação das comissões de peritos. Tomada de decisão em condições de risco e incerteza. Tarefas de tomada de decisão em condições de incerteza.

teste, adicionado em 15/07/2010

A essência e os tipos de decisões no processo de gestão da produção. Requisitos básicos para a qualidade das decisões de gestão. Métodos para otimizar decisões de gestão. Métodos para otimizar soluções usando métodos de avaliação especializada.

trabalho de curso, adicionado em 08/05/2002

Estudo de métodos de previsão de desenvolvimento: métodos de extrapolação, balanço, normativos e metas programáticas. Estudo da organização do trabalho do perito, formação de questionários e tabelas de avaliações periciais. Análise de modelos matemáticos e estatísticos de previsão.

teste, adicionado em 19/06/2011

Metodologia e etapas de classificação dos sistemas segundo diversos critérios. Elaboração de questionários para obtenção de avaliações periciais, seus dados obrigatórios e principais dúvidas. A essência e construção da árvore de metas, os princípios do seu detalhamento. Metodologia de avaliação de sistemas complexos.

3. MÉTODOS DE TOMADA DE DECISÃO

3.4. MÉTODOS DE TOMADA DE DECISÃO ESPECIALIZADA

3.4.1. Ideias básicas de métodos de avaliação especializada

Exemplos de métodos de avaliação especializada. Como o ambiente econômico mudará ao longo do tempo? O que acontecerá com o ambiente natural em dez anos? Como a situação ambiental mudará? A segurança ambiental da produção industrial será garantida ou um deserto artificial começará a se espalhar? Basta pensar nessas formulações de questões naturais, analisar como imaginávamos hoje há dez ou mais vinte anos para compreender que simplesmente não pode haver previsões cem por cento confiáveis. Em vez de declarações com números específicos, só podemos esperar estimativas qualitativas. No entanto, nós, gestores, economistas, engenheiros, devemos tomar decisões, por exemplo, sobre projetos e investimentos ambientais e outros, cujas consequências serão sentidas em dez, vinte, etc. anos. O que devo fazer? Resta recorrer aos métodos de avaliação de especialistas. Quais são esses métodos?

É absolutamente indiscutível que para tomar decisões informadas é necessário contar com a experiência, o conhecimento e a intuição de especialistas. Após a Segunda Guerra Mundial, no âmbito da cibernética, teoria do controle, gestão e pesquisa operacional, uma disciplina independente começou a se desenvolver - a teoria e a prática das avaliações especializadas.

Os métodos de avaliação de especialistas são métodos de organização do trabalho com especialistas especializados e processamento de opiniões de especialistas. Estas opiniões são geralmente expressas em parte de forma quantitativa e em parte de forma qualitativa. A pesquisa especializada é realizada com o objetivo de preparar informações para a tomada de decisão do tomador de decisão (lembre-se, o tomador de decisão é o tomador de decisão). Para a realização de trabalhos pelo método de peritagens, é criado um Grupo de Trabalho (abreviado como WP), que organiza, em nome do decisor, as atividades dos peritos reunidos (formalmente ou em essência) numa comissão de peritos (CE ).

Avaliações de especialistas são Individual E coletivo. Avaliações individuais- Estas são as avaliações de um especialista. Por exemplo, um professor sozinho dá uma nota a um aluno e um médico dá um diagnóstico a um paciente. Mas em casos complexos de doença ou ameaça de expulsão de um aluno por maus estudos, eles recorrem coletivo opinião - um simpósio de médicos ou uma comissão de professores. A situação é semelhante no exército. Normalmente o comandante toma a decisão sozinho. Mas em situações difíceis e responsáveis, é realizado um conselho militar. Um dos exemplos mais famosos deste tipo é o conselho militar de 1812 em Fili, no qual, sob a presidência de M.I. Kutuzov, a questão foi decidida: “Devemos ou não dar aos franceses uma batalha perto de Moscou?”

Outro exemplo simples de avaliações de especialistas é a avaliação de números no KVN. Cada um dos jurados eleva o compensado com sua pontuação, e o técnico calcula a pontuação média aritmética, que é anunciada como opinião coletiva do júri (veremos a seguir que esta abordagem é incorreta do ponto de vista da teoria da medição ).

Na patinação artística, o procedimento se torna mais complicado - antes da média as pontuações maiores e menores são descartadas. Isso é feito para que não haja a tentação de superestimar um atleta (por exemplo, um compatriota) ou subestimar outro. Tais avaliações que se destacam nitidamente da série geral serão imediatamente descartadas.

Julgamentos de especialistas são frequentemente usados na seleção, por exemplo:

Uma versão de um dispositivo técnico a ser lançada em uma série de diversas amostras,

Grupos de astronautas de muitos candidatos,

Um conjunto de projetos de pesquisa para financiamento a partir de uma massa de aplicações,

Os beneficiários de empréstimos ambientais, entre muitos que desejam,

Na escolha de projetos de investimento para implementação entre os apresentados, etc.

Não existem menos métodos para processar respostas de especialistas, inclusive aqueles que são muito matemáticos e informatizados. Muitos deles baseiam-se nas realizações de estatísticas de objetos de natureza não numérica e em outros métodos modernos de estatística aplicada.

Um dos métodos mais conhecidos de avaliações de especialistas é Método Delphi. O nome é dado por associação ao antigo costume de recorrer ao Templo de Delfos para receber apoio na tomada de decisões. Estava localizado na saída de gases vulcânicos venenosos. As sacerdotisas do templo, tendo inalado o veneno, começaram a profetizar, proferindo palavras incompreensíveis. “Tradutores” especiais - os sacerdotes do templo - interpretaram estas palavras e responderam às perguntas dos peregrinos que vieram com os seus problemas. Segundo a tradição, dizem que o Templo de Delfos estava localizado na Grécia. Mas não há vulcões lá. Aparentemente, ele estava na Itália - perto do Vesúvio ou do Etna, e as próprias previsões descritas ocorreram nos séculos XII-XIV. Isto decorre da maior conquista da ciência histórica moderna - a nova cronologia estatística.

Nos EUA, na década de 1960, o método Delphi era denominado procedimento especializado para previsão do desenvolvimento científico e tecnológico. Na primeira ronda, os especialistas indicaram datas prováveis para determinadas realizações futuras. Na segunda rodada, cada especialista conheceu as previsões de todos os demais. Se a sua previsão fosse muito diferente das previsões da população em geral, era-lhe pedido que explicasse a sua posição, e muitas vezes alterava as suas estimativas, aproximando-se dos valores médios. Esses valores médios foram entregues ao cliente como opinião de grupo. Deve-se dizer que os resultados reais do estudo revelaram-se bastante modestos - embora a data do pouso americano na Lua tenha sido prevista com uma precisão de até um mês, todas as outras previsões falharam - fusão termonuclear fria e cura para o câncer no século XX. a humanidade não esperou.

No entanto, a técnica em si acabou se tornando popular - nos anos seguintes foi usada pelo menos 40 mil vezes. O custo médio de um estudo pericial pelo método Delphi é de 5 mil dólares, mas em alguns casos foi necessário gastar quantias maiores - até 130 mil dólares.

Um pouco fora da corrente principal das avaliações de especialistas está método de script, usado principalmente para previsões especializadas. Consideremos as principais ideias da tecnologia de previsões de especialistas em cenários. As previsões ambientais ou socioeconómicas, como qualquer previsão em geral, só podem ser bem sucedidas sob alguma estabilidade de condições. Contudo, as decisões das autoridades, dos indivíduos e outros acontecimentos alteram as condições e os acontecimentos desenvolvem-se de forma diferente do anteriormente esperado. É bastante óbvio que após a primeira volta das eleições presidenciais de 1996, a evolução dos acontecimentos só poderia ser discutida em termos de cenários: se o B.N. vencer na segunda volta. Yeltsin, então isso e aquilo acontecerão se G.A. vencer. Zyuganov, então os eventos serão de um lado e de outro.

O método do cenário é necessário não apenas no domínio socioeconómico ou ambiental. Por exemplo, ao desenvolver suporte metodológico, de software e de informação análise de risco Os projetos de tecnologia química precisam criar um catálogo detalhado de cenários de acidentes associados a vazamentos de produtos químicos tóxicos. Cada um destes cenários descreve um acidente do seu próprio tipo, com origem, desenvolvimento, consequências e capacidades de prevenção individuais.

Assim, o método de cenários é um método de decomposição do problema de previsão, que envolve a identificação de um conjunto de opções individuais para o desenvolvimento de eventos (cenários), abrangendo coletivamente todas as opções de desenvolvimento possíveis. Além disso, cada cenário individual deve permitir a possibilidade de previsões bastante precisas e o número total de cenários deve ser previsível.

A possibilidade de tal decomposição não é óbvia. Ao aplicar o método de cenário, é necessária a realização de duas etapas de pesquisa:

Construção de um conjunto de cenários abrangente mas administrável;

Previsão dentro de cada cenário específico para obter respostas às questões de interesse do pesquisador.

Cada uma dessas etapas está apenas parcialmente formalizada. Uma parte significativa do raciocínio é realizada a nível qualitativo, como é habitual nas ciências socioeconómicas e humanas. Uma das razões é que o desejo de excessiva formalização e matematização leva a artificial introduzir certeza onde essencialmente não existe, ou usar aparatos matemáticos complicados. Assim, o raciocínio no nível verbal é considerado evidencial na maioria das situações, enquanto uma tentativa de esclarecer o significado das palavras utilizadas usando, por exemplo, a teoria dos conjuntos fuzzy leva a modelos matemáticos muito complicados.

O conjunto de cenários deve estar visível. Temos que excluir vários eventos improváveis - a chegada de alienígenas, a queda de um asteróide, epidemias em massa de doenças até então desconhecidas, etc. A criação de um conjunto de cenários em si é objeto de pesquisas especializadas. Além disso, os especialistas podem avaliar a probabilidade de ocorrência de um determinado cenário.

A previsão dentro de cada cenário específico para obter respostas às questões de interesse do pesquisador também é realizada de acordo com a metodologia de previsão descrita acima. Sob condições estáveis, métodos estatísticos para previsão de séries temporais podem ser aplicados. No entanto, esta é precedida de análise com a ajuda de especialistas, e muitas vezes a previsão a nível verbal é suficiente (para obter conclusões de interesse do investigador e do decisor) e não requer esclarecimentos quantitativos.

Como se sabe, ao tomar decisões baseadas em analise da situação(como dizem, quando análise situacional), incluindo a análise dos resultados de estudos preditivos, pode basear-se em vários critérios. Portanto, você pode se concentrar no fato de que a situação acabará da pior, ou melhor, ou mediana (em certo sentido). Você pode tentar delinear medidas que forneçam os resultados úteis mínimos aceitáveis em qualquer cenário, etc.

Outra opção para avaliação especializada é chuva de ideias. Está organizado como um encontro de especialistas, cujas intervenções estão sujeitas a uma, mas muito significativa restrição - não se pode criticar as propostas dos outros. Você pode desenvolvê-las, pode expressar suas ideias, mas não pode criticá-las! Durante a reunião, os especialistas, “infectando-se”, expressam ideias cada vez mais extravagantes. Cerca de duas horas depois, termina a reunião gravada em gravador ou câmera de vídeo e inicia-se a segunda etapa do brainstorming - análise das ideias expressas. Normalmente, de 100 ideias, 30 merecem maior desenvolvimento, de 5 a 6 permitem formular projetos aplicados e 2 a 3 trazem, em última análise, um efeito útil - lucro, aumento da segurança ambiental, melhoria do ambiente natural, etc. Além disso, a interpretação de ideias é um processo criativo. Por exemplo, ao discutir as possibilidades de proteger os navios de um ataque de torpedo, foi apresentada a ideia: “Alinhe os marinheiros ao longo da lateral e sopre o torpedo para mudar seu curso”. Após o desenvolvimento, essa ideia levou à criação de dispositivos especiais que criam ondas que desviam o torpedo do curso.

As principais etapas da perícia. Vejamos os estágios individuais da pesquisa especializada com mais detalhes. Como mostra a experiência, do ponto de vista do gestor - organizador de tal estudo, é aconselhável distinguir as seguintes etapas da realização de uma perícia.

1) Deliberar sobre a necessidade de realização de perícia e formular seus objetivos pelo Decisor (DM). Assim, a iniciativa deve partir da gestão, o que garantirá ainda mais a solução bem-sucedida dos problemas organizacionais e financeiros. Obviamente, o impulso inicial pode ser dado por um memorando de um dos colaboradores ou por uma discussão em reunião, mas o verdadeiro início do trabalho é a decisão do decisor.

2) Seleção e nomeação dos tomadores de decisão da composição principal do Grupo de Trabalho, abreviado como RG (geralmente supervisor científico e secretário). Neste caso, o orientador científico é responsável pela organização e condução da perícia como um todo, bem como pela análise dos materiais recolhidos e pela formulação da conclusão da comissão de peritos. Participa na formação de uma equipa de peritos e na atribuição de tarefas a cada perito (juntamente com o decisor ou o seu representante). Ele próprio é um especialista altamente qualificado e reconhecido por outros especialistas como o líder formal e informal da comissão de peritos. A função do secretário é manter a documentação da perícia e solucionar problemas organizacionais.

3) Desenvolvimento RG(mais precisamente, o seu pessoal principal, principalmente o diretor científico e o secretário) e aprovação pelo tomador de decisão das especificações técnicas para realização de perícia. Nesta fase, a decisão de realizar uma perícia torna-se clara em termos de tempo, apoio financeiro, pessoal, material e organizacional. Em particular, está sendo formado um Grupo de Trabalho, vários grupos de especialistas estão alocados no GT - analíticos, econométricos (especialistas em métodos), informática, trabalhando com especialistas (por exemplo, entrevistadores), organizacionais. É muito importante para o sucesso que todas essas posições sejam aprovadas pelo tomador de decisão.

4) Desenvolvimento pelo grupo analítico do GT de um cenário detalhado (ou seja, regulamentos) para coleta e análise de opiniões de especialistas (avaliações). O cenário inclui, em primeiro lugar, um tipo específico de informação que será recebida de especialistas (por exemplo, palavras, gradações condicionais, números, classificações, partições ou outros tipos de objetos de natureza não numérica). Por exemplo, muitas vezes os especialistas são convidados a falar livremente, enquanto respondem a uma série de perguntas pré-formuladas. Além disso, é solicitado que preencham uma ficha formal, selecionando uma das diversas gradações em cada ponto. O roteiro também deve conter métodos específicos para análise das informações coletadas. Por exemplo, cálculo da mediana de Kemeny, análise estatística de Lucians, uso de outros métodos de estatística de objetos de natureza não numérica e outras seções de estatística aplicada (alguns desses métodos serão discutidos abaixo). Este trabalho insere-se no grupo de econometria e informática do GP. Um erro tradicional é primeiro coletar informações e depois pensar no que fazer com elas. Como resultado, como mostra a triste experiência, não são utilizadas mais de 1-2% das informações.

5) Seleção de especialistas de acordo com sua competência. Nesta fase, o GT compila uma lista de possíveis especialistas e avalia a sua adequação para o estudo planeado.

6) Formação de uma comissão de especialistas. Nesta fase, o GT negocia com os especialistas e obtém o seu consentimento para trabalhar na comissão de especialistas (abreviada como CE). É possível que alguns dos peritos identificados pelo GT não possam integrar a comissão de peritos (doença, férias, viagem de negócios, etc.) ou recusem por um motivo ou outro (emprego, condições contratuais, etc.). O tomador de decisão aprova a composição da comissão de especialistas, podendo excluir ou adicionar alguns especialistas às propostas do Grupo de Trabalho. São celebrados acordos com peritos sobre as condições do seu trabalho e o seu pagamento.

7) Realização de coleta de informações especializadas. Muitas vezes, isso é precedido de recrutamento e treinamento de entrevistadores – um dos grupos incluídos no GP.

8) Computador análise de informações especializadas usando os métodos incluídos no script. Geralmente é precedido pela inserção de informações em computadores.

9) Ao aplicar um procedimento pericial de diversas rodadas de acordo com o cenário - repetição duas etapas anteriores.

10) Análise final das opiniões de especialistas, interpretação dos resultados obtidos grupo analítico do GT e preparação do documento final CE para tomadores de decisão.

11) Oficial final atividades do RG, incluindo aprovação pelo decisor do documento final da CE, preparação e aprovação de relatórios científicos e financeiros do Grupo de Trabalho sobre a realização de pesquisas periciais, remuneração de especialistas e funcionários do Grupo de Trabalho, encerramento oficial das atividades (dissolução) da CE e do Grupo de Trabalho.

Vamos examinar mais detalhadamente os estágios individuais da pesquisa especializada. Comecemos pela seleção dos especialistas: pessoal é tudo! A qualidade da conclusão da comissão de especialistas é a mesma dos especialistas.

Seleção de especialistas. O problema de selecionar especialistas é um dos mais difíceis na teoria e na prática da pesquisa especializada. Obviamente, é necessário utilizar como especialistas aquelas pessoas cujos julgamentos mais ajudarão na tomada de uma decisão adequada. Mas como identificar, encontrar, selecionar essas pessoas? Deve ser dito diretamente que Não existem métodos de seleção de especialistas que certamente garantam o sucesso do exame. Agora não discutiremos o problema da existência de vários “partidos” entre os especialistas e prestaremos atenção a vários outros aspectos dos procedimentos de seleção de especialistas.

O problema de seleção de especialistas pode ser dividido em dois componentes: compilar uma lista de possíveis especialistas e selecionar deles uma comissão de especialistas de acordo com a competência dos candidatos.

A elaboração de uma lista de possíveis peritos é mais fácil quando o tipo de exame em questão é realizado repetidamente. Nessas situações geralmente é realizado registro possíveis especialistas, por exemplo, na área de avaliação ambiental estadual ou julgamento de patinação artística, dos quais você pode selecionar de acordo com vários critérios ou usando um sensor (ou tabela) de números pseudo-aleatórios.

O que fazer se o exame for realizado pela primeira vez e não existirem listas estabelecidas de possíveis especialistas? Porém, mesmo neste caso, cada especialista específico tem alguma ideia do que é exigido de um especialista em tal situação. Existe um método útil para gerar uma lista "bola de neve" em que de cada especialista envolvido como especialista recebe um determinado número (geralmente 5 a 10) de nomes daqueles que podem ser especialistas no tema em questão. Obviamente, alguns destes nomes foram encontrados anteriormente nas atividades do GP e alguns são novos. Cada nova pessoa é entrevistada de acordo com o mesmo esquema. O processo de expansão da lista é interrompido quando novos nomes praticamente deixam de aparecer. O resultado é uma lista bastante extensa de possíveis especialistas. Método "bola de neve" Também tem desvantagens. O número de rodadas antes que o processo de crescimento do coma pare não pode ser previsto com antecedência. Além disso, é claro que se na primeira fase todos os especialistas pertencessem ao mesmo “clã”, tivessem opiniões semelhantes ou estivessem envolvidos em actividades semelhantes, então o método “bola de neve” provavelmente produzirá pessoas do mesmo “clã”. ” . As opiniões e argumentos de outros “clãs” farão falta. (Estamos falando aqui do fato de que a comunidade de especialistas está na verdade dividida em grupos, chamados acima de “clãs”, e a comunicação ocorre principalmente dentro dos “clãs”. A estrutura informal da ciência, à qual pertencem os “clãs”, é bastante difícil de estudar. Observemos aqui que esses “clãs” são geralmente formados com base em grandes centros formais (universidades, institutos científicos, escolas científicas).

A questão da avaliação da competência dos peritos não é menos complexa. É claro que a participação bem-sucedida em exames anteriores é um bom critério para a atuação de provador, médico, juiz em competições esportivas, ou seja, tais especialistas que participam de longas séries de exames semelhantes. Porém, infelizmente, o mais interessante e importante são os exames únicos de grandes projetos que não possuem análogos. A utilização de indicadores formais de especialistas (posição, grau académico e título, tempo de serviço, número de publicações...), obviamente, nas condições modernas em rápida mudança, só pode ser de natureza auxiliar, embora tais indicadores sejam os mais fáceis de usar .

Muitas vezes propõe-se a utilização de métodos de autoavaliação e avaliação mútua da competência dos especialistas. Vamos discuti-los, começando pelo método de autoavaliação, em que o próprio especialista fornece informações sobre em quais áreas ele é competente e em quais não é. Por um lado, quem pode conhecer melhor as capacidades de um especialista do que ele próprio? Por outro lado, na autoavaliação da competência, avalia-se o grau de autoconfiança do perito e não a sua competência real. Além disso, o próprio conceito "competência" não estritamente definido. Pode ser esclarecido destacando seus componentes, mas isso complica a parte preliminar das atividades da comissão de especialistas. Muitas vezes, um especialista exagera a sua competência real. Por exemplo, a maioria das pessoas acredita que são bem versadas em política, economia, problemas de educação e criação, família e medicina. Na verdade, existem muito poucos especialistas (e até mesmo pessoas com conhecimento) nessas áreas. Há também desvios na outra direção, uma atitude excessivamente crítica em relação às próprias capacidades.

Ao utilizar o método de avaliação mútua, além da possibilidade de mostrar gostos e desgostos pessoais e grupais, o baixo conhecimento dos especialistas sobre as capacidades uns dos outros desempenha um papel. Nas condições modernas, apenas especialistas que trabalham juntos há muitos anos (pelo menos 3-4), na mesma sala, sobre o mesmo assunto, podem ter um bom conhecimento do trabalho e das capacidades uns dos outros. É sobre esses casais que podemos dizer que eles " juntos comemos meio quilo de sal“No entanto, atrair essas duplas de especialistas não é muito aconselhável, pois seus pontos de vista, pela semelhança de suas trajetórias de vida, são muito semelhantes entre si.

Se o procedimento de perícia envolver comunicação direta entre especialistas, uma série de outras circunstâncias devem ser levadas em consideração. As suas qualidades pessoais (sócio-psicológicas) são de grande importância. Sim, o único" falador"pode paralisar as atividades de toda a comissão em uma reunião conjunta. As relações hostis entre os membros da comissão e o status científico e oficial muito diferente dos membros da comissão podem levar ao colapso. Nesses casos, é importante cumprir as normas de trabalho desenvolvidas pelo GT.

Deve-se enfatizar que a seleção de especialistas é uma das principais funções do Grupo de Trabalho e nenhum método de seleção o isenta de responsabilidades. Ou seja, é o Grupo de Trabalho o responsável pela competência dos especialistas, pela sua capacidade fundamental para resolver a tarefa. Um requisito importante é que o tomador de decisão aprove a lista de especialistas. Ao mesmo tempo, o decisor pode adicionar especialistas individuais à comissão ou eliminar alguns deles - por razões próprias, que os membros do Grupo de Trabalho e do Comité Executivo não precisam de conhecer.

Existem diversos documentos normativos que regulamentam a atuação das comissões de especialistas em determinadas áreas. Um exemplo é a Lei da Federação Russa “Sobre Perícia Ambiental” de 23 de novembro de 1995, que regulamenta o procedimento para o exame de “atividades econômicas planejadas ou outras” a fim de identificar possíveis danos que a atividade em questão possa causar ao ambiente natural.

Sobre o desenvolvimento de regulamentos para coleta e análise de perícias. Existem muitos métodos para obter avaliações de especialistas. Em alguns, trabalham com cada especialista separadamente; ele nem sabe quem mais é especialista e, portanto, expressa sua opinião independentemente de autoridades, “clãs” e colegas individuais. Noutros, os peritos são reunidos para preparar materiais para os decisores, discutindo o problema uns com os outros, aceitando ou rejeitando os argumentos uns dos outros, aprendendo uns com os outros e sendo descartadas opiniões incorrectas ou insuficientemente fundamentadas. Em alguns métodos, o número de peritos é fixo e tal que os métodos estatísticos de verificação da consistência das opiniões e depois (no caso de um acordo de opiniões suficientemente bom) a média das mesmas permitem tomar decisões informadas do ponto de vista econométrico. Em outros, o número de especialistas cresce durante o processo de exame, por exemplo, quando se utiliza o método “bola de neve” para formar uma equipe de especialistas.

Atualmente não existe uma classificação geralmente aceita, com base científica, de métodos de avaliação de especialistas e, mais ainda, recomendações claras para seu uso. Uma tentativa de aprovar vigorosamente um dos possíveis pontos de vista sobre a classificação dos métodos de avaliação pericial só pode trazer danos.

No entanto, para falar sobre a diversidade de avaliações de especialistas, é necessário algum tipo de classificação funcional de métodos. Apresentamos abaixo uma dessas classificações possíveis, listando os fundamentos pelos quais dividimos as avaliações de especialistas.

Uma das principais questões é o que exatamente a comissão de especialistas deve apresentar como resultado do seu trabalho - informações para o tomador de decisão tomar uma decisão ou o próprio projeto de decisão? A organização do trabalho da comissão de peritos depende da resposta a esta questão metodológica e serve de primeira base para a divisão dos métodos.

OBJETIVO - COLETA DE INFORMAÇÕES PARA GERENTES DE DECISÃO. Em seguida, o Grupo de Trabalho deverá recolher o máximo possível de informação relevante, bem como argumentos a favor e contra determinadas opções de decisão. O seguinte método de aumentar gradualmente o número de especialistas é útil. Primeiramente, o primeiro especialista expõe sua opinião sobre o assunto em questão. O material por ele compilado é transferido para o segundo perito, que acrescenta seus argumentos. O material acumulado vai para o próximo terceiro especialista... O procedimento termina quando o fluxo de novas considerações se esgota.

Notemos que no método em consideração, os especialistas apenas fornecem informações e argumentos a favor e contra, mas não desenvolvem um projeto de solução acordado. Não há necessidade de se esforçar para garantir que as opiniões dos especialistas sejam consistentes entre si. Além disso, o maior benefício vem de especialistas com uma mentalidade que se desvia da corrente dominante. É deles que se devem esperar os argumentos mais originais.

OBJETIVO - PREPARAÇÃO DE UM PROJETO DE SOLUÇÃO PARA O GERENTE DE DECISÕES. Os métodos matemáticos em avaliações de especialistas são geralmente usados especificamente para resolver problemas relacionados à preparação de um projeto de solução. Ao mesmo tempo, os dogmas da consistência e da unidimensionalidade são muitas vezes aceites sem crítica. Estes dogmas “vagam” de uma publicação para outra, por isso é aconselhável discuti-los.

DOGMA DE CONSISTÊNCIA. Acredita-se muitas vezes, sem qualquer justificação, que uma decisão só pode ser tomada com base em opiniões consensuais de especialistas. Portanto, aqueles cuja opinião diverge da opinião majoritária são excluídos do grupo de especialistas. Ao mesmo tempo, são eliminadas tanto as pessoas não qualificadas que foram incluídas na comissão de peritos por mal-entendido ou por motivos não relacionados com o seu nível profissional, como os pensadores mais originais que penetraram mais profundamente no problema do que a maioria. Os seus argumentos devem ser esclarecidos e deve ser-lhes dada a oportunidade de fundamentar os seus pontos de vista. Em vez disso, as suas opiniões são ignoradas.

Acontece também que os especialistas são divididos em dois ou mais grupos que têm grupo pontos de vista. Assim, é conhecido o exemplo de divisão dos especialistas na avaliação dos resultados da investigação científica em dois grupos: “teóricos” que claramente preferem trabalhos de investigação em que foram obtidos resultados teóricos, e “praticantes” que escolhem aqueles projectos de investigação que permitem obter resultados aplicados diretamente (estamos falando de concurso de pesquisa no Instituto Acadêmico de Problemas de Controle (automação e telemecânica)).

Por vezes afirma-se que se forem encontrados dois ou mais grupos de peritos (em vez de um que concorde nas suas opiniões), o inquérito não conseguiu atingir o seu objectivo. Isto está errado! O objetivo foi alcançado - ficou estabelecido que não há consenso. Isto é muito importante. E o tomador de decisão deve levar isso em consideração na hora de tomar decisões. O desejo de garantir consistência nas opiniões de especialistas de qualquer tipo pode levar a uma seleção deliberada e unilateral de especialistas, ignorando todos os pontos de vista, exceto um, aquele mais querido pelo Grupo de Trabalho (ou mesmo “estimulado” pela decisão -criador).

Outra circunstância puramente econométrica muitas vezes não é levada em consideração. Uma vez que o número de especialistas geralmente não excede 20-30, a consistência estatística formal das opiniões de especialistas (estabelecida usando certos critérios para testar hipóteses estatísticas) pode ser combinada com a divisão real de especialistas em grupos, o que torna os cálculos adicionais irrelevantes para a realidade. Como exemplo, vamos nos voltar para métodos de cálculo específicos usando coeficientes de concordância (ou seja, traduzidos como concordância) baseados nos coeficientes de correlação de postos de Kendall ou Spearman. Deve-se lembrar que, de acordo com a teoria econométrica, um resultado positivo de testar a consistência desta forma significa nada mais nada menos do que uma rejeição da hipótese de independência e distribuição uniforme de opiniões de especialistas no conjunto de todas as classificações. Assim, testa-se a hipótese nula, segundo a qual os rankings que descrevem as opiniões dos especialistas são relações binárias aleatórias independentes, distribuídas uniformemente pelo conjunto de todos os rankings. A rejeição desta hipótese nula é tradicionalmente interpretada como concordância entre as respostas dos especialistas. Em outras palavras, somos vítimas de equívocos decorrentes de uma interpretação peculiar das palavras: verificar a consistência no sentido matemático-estatístico especificado não é de forma alguma uma verificação da consistência no sentido da prática de avaliações periciais. (Foi precisamente a inadequação dos métodos matemáticos e estatísticos considerados para a análise de rankings que levou um grupo de especialistas a desenvolver um novo aparato econométrico para verificação de consistência - métodos não paramétricos baseados nos chamados Lucianos e incluído na seção moderna de econometria - estatísticas de dados não numéricos). Grupos de especialistas com métodos semelhantes podem ser identificados utilizando métodos econométricos de análise de cluster.

OPINIÕES DE DISSIDENTES. Para alcançar artificialmente a consistência, tentam reduzir a influência das opiniões de especialistas - dissidentes, ou seja dissidentes em comparação com a maioria. Duro A maneira de lidar com dissidentes é ignorar as suas opiniões, ou seja, na verdade, na sua exclusão da comissão de peritos. A rejeição de especialistas, bem como a rejeição de valores discrepantes, resulta em procedimentos que possuem propriedades estatísticas pobres ou desconhecidas. Sim, é conhecido instabilidade extrema métodos clássicos para rejeitar outliers em relação a desvios das suposições do modelo (ver, por exemplo, o tutorial).

Macio A maneira de lidar com dissidentes é usar procedimentos estatísticos robustos (estáveis). O exemplo mais simples: se a resposta do especialista for um número real, então a opinião aberta do dissidente afeta muito a média aritmética das respostas dos especialistas e não afeta sua mediana. Portanto, é razoável considerar a mediana como a opinião consensual. Contudo, isto ignora (não chega ao decisor) os argumentos dos dissidentes.

Em qualquer um dos dois métodos de lidar com os dissidentes, o tomador de decisão fica privado de informações provenientes dos dissidentes e, portanto, pode tomar uma decisão infundada, que posteriormente levará a consequências negativas. Por outro lado, apresentar todo o conjunto de opiniões ao decisor retira parte da responsabilidade e do trabalho de preparação da decisão final da comissão de peritos e do grupo de trabalho para a realização da perícia e transfere essa responsabilidade e trabalho para os ombros. do tomador de decisão.

DOGMA DA UNIDIMENSIONALIDADE. Na literatura científica e técnica desatualizada, e às vezes moderna, é comum uma abordagem bastante controversa da chamada “qualimetria”, segundo a qual o objeto de exame sempre pode ser avaliado um número. Ideia estranha! Só ocorreu às pessoas nos mercados de escravos avaliar uma pessoa usando um número.. É improvável que mesmo os qualimeteristas mais zelosos considerem um livro ou uma pintura como equivalente a um número - o seu “valor de mercado”. Quase todos os objetos reais são bastante complexos e, portanto, podem ser descritos com alguma precisão apenas com a ajuda de muitos, muitos números, bem como objetos matemáticos de natureza não numérica.

Ao mesmo tempo, não se pode negar completamente a própria ideia de buscar indicadores generalizados de qualidade, nível técnico e similares. Assim, cada objeto pode ser avaliado de acordo com diversos indicadores de qualidade. Por exemplo, um automóvel de passageiros pode ser avaliado de acordo com os seguintes indicadores:

consumo de gasolina por 100 km (em média);

confiabilidade (incluindo o custo médio de reparos por ano);

segurança ambiental, avaliada pelo teor de substâncias nocivas nos gases de escape;

manobrabilidade (incluindo raio de viragem);

velocidade de 100 km/h após início do movimento; velocidade máxima alcançável;

a duração da manutenção de uma temperatura positiva na cabine em uma temperatura externa baixa (por exemplo, menos cinquenta graus Celsius) e o motor desligado;

design (atratividade e “moda” de aparência e decoração de interiores);

peso, etc

É possível combinar as pontuações destes indicadores? É claro que a situação específica para a qual o automóvel foi selecionado é decisiva. A velocidade máxima alcançada é importante para o motorista, mas, em nossa opinião, tem pouca importância prática para o motorista de um carro particular comum, especialmente em uma cidade com limite máximo de velocidade severo. Para esse tipo de motorista, o consumo de combustível, a manobrabilidade e a confiabilidade são mais importantes. Para automóveis de diversos serviços da administração pública, a confiabilidade é aparentemente mais importante do que para um proprietário privado, e o consumo de gasolina é o oposto. Para as regiões do Extremo Norte, o isolamento térmico do interior é importante, mas para as regiões do Sul não. Etc.

Assim, é importante uma formulação específica (restrita) da tarefa perante os especialistas. Mas tal cenário muitas vezes não existe. E então os “jogos” para desenvolver um indicador de qualidade generalizado - por exemplo, na forma de uma função linear das variáveis listadas - não podem dar conclusões objetivas. Uma alternativa ao único indicador generalizado é um aparato matemático como otimização multicritério- Conjuntos de Pareto, etc.

Em alguns casos, ainda é possível comparar objetos globalmente – por exemplo, com a ajuda dos mesmos especialistas, obter uma ordenação dos objetos em questão – produtos ou projetos. Então você pode SELECIONAR coeficientes para indicadores individuais para que a ordenação usando uma função linear pode ter correspondido mais de perto à ordenação global(por exemplo, encontre esses coeficientes usando o método dos mínimos quadrados). Pelo contrário, nesses casos, os coeficientes especificados NÃO DEVEM ser estimados com a ajuda de especialistas. Esta ideia simples ainda não se tornou óbvia para alguns compiladores de métodos para conduzir pesquisas especializadas e analisar seus resultados. Eles se esforçam para que especialistas façam o que fazem impossível- indicar os pesos com que os indicadores individuais de qualidade devem ser incluídos no indicador generalizado final.

Os especialistas geralmente conseguem comparar objetos ou projetos como um todo, mas não conseguem isolar a contribuição de fatores individuais. . Já que os organizadores da pesquisa perguntam, os especialistas respondem: mas essas respostas não trazem informações confiáveis sobre a realidade...

A SEGUNDA BASE PARA A CLASSIFICAÇÃO DOS PROCEDIMENTOS PERICIALISTAS É O NÚMERO DE RODADAS. Os exames podem incluir uma volta, um determinado número fixo de voltas (duas, três,...) ou um número indefinido de voltas. Quanto mais rodadas, mais aprofundada é a análise da situação, já que os especialistas costumam voltar muitas vezes para considerar o assunto de seu exame. Mas, ao mesmo tempo, o tempo total do exame aumenta e seu custo aumenta. Você pode reduzir custos introduzindo não todos os especialistas no exame de uma só vez, mas gradualmente. Assim, por exemplo, se o objetivo é coletar argumentos a favor e contra, então a lista inicial de argumentos pode ser compilada por um especialista. O segundo acrescentará seus próprios argumentos. O material resumido irá para o primeiro e terceiro, que contribuirão com seus argumentos e contra-argumentos. E assim por diante - um especialista é adicionado a cada nova rodada.

As maiores dificuldades são causadas por procedimentos com número de rodadas pré-determinado, por exemplo, “bola de neve”. Muitas vezes é especificado o número máximo possível de rondas, e então a incerteza resume-se a saber se esse número máximo de rondas terá de ser realizado ou se será possível limitar-se a um número menor.

A TERCEIRA BASE PARA A CLASSIFICAÇÃO DOS PROCEDIMENTOS PERICIALISTAS É A ORGANIZAÇÃO DA COMUNICAÇÃO DOS ESPECIALISTAS. Consideremos as vantagens e desvantagens de cada um dos elementos da escala: falta de comunicação - comunicação por correspondência anônima - comunicação por correspondência sem anonimato - comunicação presencial com restrições - comunicação presencial sem restrições. Na ausência de comunicação o especialista expressa sua opinião sem saber nada sobre outros especialistas e suas opiniões. Ele é completamente independente, o que é bom e ruim. Normalmente esta situação corresponde a um exame de uma rodada . Comunicação anônima ausente, por exemplo, como no método Delphi, significa que o especialista conhece as opiniões e argumentos de outros especialistas, mas não sabe quem exatamente expressou esta ou aquela posição. Portanto, o exame deve incluir pelo menos duas rodadas. Comunicação por correspondência sem anonimato corresponde, por exemplo, à comunicação pela Internet. Todas as opções de exame por correspondência são boas porque não há necessidade de reunir especialistas, portanto, para encontrar horário e local convenientes para isso.

Durante os exames presenciais, os especialistas falam em vez de escrever, como acontece nos exames ausentes, e, portanto, conseguem dizer significativamente mais ao mesmo tempo. Exame presencial com restrições muito comum. Esta é uma reunião que segue um cronograma fixo. Um exemplo é o conselho militar do exército imperial russo, quando especialistas (oficiais e generais) falavam em ordem, do júnior (por posto e posição) ao sênior. Finalmente, exame presencial sem restrições- esta é uma discussão livre. Todos os exames presenciais apresentam desvantagens associadas à possibilidade de influência negativa na sua conduta pelas propriedades sócio-psicológicas e predileções de clã (partido) dos participantes, bem como à desigualdade do seu estatuto profissional, oficial e científico. . Imagine que 5 tenentes e 3 generais se reúnem. Independentemente das informações que um ou outro participante da reunião possua, seu curso não é difícil de prever: os generais falarão e os tenentes permanecerão em silêncio. Ao mesmo tempo, é bastante óbvio que os tenentes receberam a sua educação mais tarde do que os generais e, portanto, possuem informações úteis que os generais não possuem.

COMBINAÇÃO DE DIFERENTES TIPOS DE EXAME. Os exames reais são frequentemente combinações dos vários tipos de exames descritos acima. Como exemplo, considere a defesa de um projeto de diploma por um aluno. Primeiramente, há uma prova presencial multi-rodada realizada pelo orientador e consultores, como resultado o aluno prepara o projeto para defesa. Em seguida, dois especialistas trabalham à revelia - o autor da revisão de uma organização terceirizada e o chefe do departamento que permite a defesa do trabalho. Preste atenção na diferença de atribuições desses especialistas e na quantidade de trabalho que realizam - um faz uma resenha detalhada, o segundo autoriza sua defesa assinando na página de rosto do projeto. Por fim - exame presencial sem restrições (para membros da Comissão Estadual de Certificação - Comissão Estadual de Certificação). O projeto de diploma é avaliado colegiadamente, por maioria de votos, sendo que um dos especialistas (orientador científico) conhece detalhadamente o trabalho, e os demais - principalmente apenas a partir do relatório. Note-se que as opiniões dos peritos são tidas em conta com pesos, nomeadamente, as opiniões dos membros do SAC - com peso 1, as opiniões de todos os restantes - com peso 0 (voto consultivo). Assim, temos uma combinação de exames multi-round e single-round, por correspondência e presenciais. Essas combinações são típicas de muitos exames reais.

A ideia principal da previsão baseada em avaliações de especialistas é construir procedimento racional para o pensamento lógico-intuitivo humano em combinação com métodos quantitativos para avaliar e processar os resultados obtidos.

A essência dos métodos de avaliação especializada é que a previsão é baseada em opinião especialista ou equipe de especialistas, com base em experiência profissional, científica e prática.

Avaliações de especialistas individuais- baseiam-se na utilização de opiniões de especialistas especializados no perfil relevante.

1. Método de entrevista envolve uma conversa entre um previsor e um especialista por meio de um esquema de perguntas e respostas, durante o qual o previsor, de acordo com um programa pré-desenvolvido, faz perguntas ao especialista sobre as perspectivas de desenvolvimento do objeto previsto. O sucesso de tal avaliação depende, em grande medida, da capacidade do perito em emitir opiniões improvisadas sobre uma ampla variedade de questões.

2. Método de questionário consiste no fato de o especialista ser solicitado a preencher um questionário (questionário) contendo uma lista de questões, cada uma delas logicamente relacionada à tarefa de pesquisa.

Os seguintes tipos de perguntas podem ser usados no questionário:

aberto – as respostas a estas questões podem ser formuladas de qualquer forma;

tipo fechado – são oferecidas opções de resposta, sendo que uma delas deve ser escolhida pelo especialista.

A utilização de perguntas fechadas no questionário é preferível, pois simplifica o processamento estatístico dos resultados das respostas e facilita o trabalho do especialista no preenchimento do questionário. Por outro lado, a lista de respostas à questão pode não conter a opinião do especialista. Portanto, ao criar uma lista de opções de resposta para algumas questões, deve ser possível ao especialista apresentar sua própria opção de resposta ou evitar responder.

3. Método analítico (notas analíticas) prevê um trabalho cuidadoso e independente por parte do especialista para analisar tendências, avaliar o estado e os caminhos de desenvolvimento do objeto previsto. O especialista pode usar todas as informações que precisar sobre o objeto de previsão. Ele expõe suas conclusões na forma de um memorando. A principal vantagem deste método é a capacidade de aproveitar ao máximo as habilidades individuais do especialista. No entanto, é de pouca utilidade para prever sistemas complexos e desenvolver estratégias devido ao conhecimento limitado de um especialista em áreas de conhecimento relacionadas.

A principal vantagem dos métodos de avaliação individual de especialistas é a possibilidade de maximizar o uso das habilidades individuais dos especialistas. No entanto, estes métodos são de pouca utilidade para prever as estratégias mais gerais devido ao conhecimento limitado de um especialista sobre o desenvolvimento de áreas afins da ciência e da prática.

Um exemplo da utilização de avaliações especializadas no planeamento do desenvolvimento de sistemas socioeconómicos é a tarefa multicritério de escolha de uma opção de solução, atualmente relevante em muitas áreas da atividade humana.

O procedimento de seleção multicritério inclui as seguintes etapas:

Identificação dos indicadores (critérios) mais significativos que caracterizam o objeto em estudo;

Determinação de um método de avaliação quantitativa de indicadores;

Determinação de limites aceitáveis para alterações de indicadores;

Escolher um método para encontrar a melhor opção;

Resolvendo o problema e analisando os resultados.

Como função objetivo para avaliar opções de solução, a convolução aditiva de critérios é mais frequentemente usada:

ou
, (2.18)

Onde - coeficientes de ponderação que caracterizam a significância do critério . Valores numéricos determinado por especialistas, sendo desejável o cumprimento das seguintes condições:

. (2.19)

Se os critérios
têm unidades de medida diferentes, devem ser trazidos para uma única escala adimensional para que as seguintes desigualdades sejam satisfeitas:

(2.20)

(2.21)

Exemplo . Segundo especialistas, os principais indicadores de desenvolvimento económico e social da região são:

produto interno bruto (regional);

nível de emprego;

salário médio mensal.

Uma avaliação especializada da importância dos critérios em uma escala de dez pontos é apresentada na Tabela. 2.2.

A liderança regional propôs quatro programas de desenvolvimento regional direcionados destinados ao financiamento prioritário:

Complexo agroindustrial;

Empresas da indústria alimentar;

Ramos da esfera sociocultural;

Construção de moradias.

Os valores esperados dos principais indicadores obtidos durante a implementação dos programas-alvo em consideração são apresentados na Tabela. 2.3.

Tabela 2.2

Resultados da avaliação de especialistas

Tabela 2.3

Valores esperados dos principais fatores socioeconômicos

indicadores de desenvolvimento regional

É necessário determinar o programa de desenvolvimento mais adequado para a região.

Solução:

Vamos determinar os valores dos coeficientes de ponderação:

;
;
.

Assim, como resultado do processamento das avaliações periciais, a função objetivo tem a seguinte forma:

Considerando que o programa alvo nº 3 é obviamente ineficaz em comparação com o programa nº 2 (1500<2000; 80=80; 1000<2000), удалим её из матрицы возможных решений:

Como os valores dos indicadores possuem dimensões diferentes, eles devem ser trazidos para uma única escala adimensional. Isto é conseguido dividindo os elementos de cada coluna pelo valor máximo da coluna:

Na fase final, determinamos o valor da função objetivo para os programas propostos:

O valor máximo da função objetivo corresponde ao programa nº 1. Portanto, a implementação deste programa é mais apropriada.

Os mais confiáveis são avaliações periciais coletivas - envolvem a determinação do grau de consistência das opiniões de especialistas sobre áreas promissoras de desenvolvimento do objeto de previsão, formuladas por especialistas individuais.

Para organizar as avaliações periciais, são criados grupos de trabalho cujas funções incluem a realização de uma pesquisa, o processamento de materiais e a análise dos resultados de uma avaliação pericial coletiva. O grupo de trabalho nomeia especialistas que respondem às questões levantadas sobre as perspectivas de desenvolvimento desta instalação.

1. A essência método de geração coletiva de ideias (brainstorming) consiste em utilizar o potencial criativo de especialistas no brainstorming de uma situação problema, que envolve primeiro a geração de ideias, e depois a sua estruturação, análise e crítica, apresentando contra-ideias e desenvolvendo um ponto de vista coerente.

O método de geração coletiva de ideias envolve a implementação das seguintes etapas:

1. formar um grupo de participantes de brainstorming para resolver um problema específico. O tamanho ideal do grupo é encontrado empiricamente. Grupos compostos por 10 a 15 pessoas são considerados os mais produtivos.

2. O grupo de análise elabora uma nota problemática, que formula a situação problema e contém uma descrição do método e da situação problema.

3. Etapa de geração de ideias. Cada participante tem o direito de se apresentar várias vezes. Críticas a performances anteriores e comentários céticos não são permitidos. O facilitador ajusta o processo, aceita melhorias ou combinações de ideias e fornece apoio, libertando os participantes de restrições. A duração da sessão de brainstorming não é inferior a 20 minutos e não superior a 1 hora, dependendo da atividade dos participantes.

4. Sistematização das ideias expressas na fase de geração. Uma lista de ideias é formada, são identificadas as características pelas quais as ideias podem ser combinadas, as ideias são combinadas em grupos de acordo com as características identificadas.

5. Na quinta etapa é realizada a desestruturação (destruição) das ideias sistematizadas. Cada ideia está sujeita a críticas abrangentes por parte de um grupo de especialistas altamente qualificados, composto por 20 a 25 pessoas.

6. Na sexta etapa, são avaliados comentários críticos e compilada uma lista de ideias implementáveis na prática.

Método "635" - uma das variedades de “brainstorming”. Os números b, 3, 5 indicam 6 participantes, cada um dos quais deve anotar 3 ideias em 5 minutos. A folha gira em círculo. Assim, em meia hora, todos anotarão 18 ideias, e todos juntos - 108. A estrutura das ideias está claramente definida. Modificações de método são possíveis. Este método é amplamente utilizado em países estrangeiros (especialmente no Japão) para selecionar, entre uma variedade de ideias, as soluções mais originais e progressivas para determinados problemas.

2. Método Delphi. O objetivo do método é desenvolver um programa de pesquisas individuais sequenciais e multi-rondas. As pesquisas individuais de especialistas são geralmente realizadas na forma de questionários. Em seguida, eles são processados estatisticamente em um computador e uma opinião coletiva do grupo é formada, os argumentos a favor de vários julgamentos são identificados e resumidos. A informação informatizada é comunicada aos peritos, que podem ajustar as avaliações, explicando as razões do seu desacordo com o julgamento colectivo. Este procedimento pode ser repetido até 3-4 vezes. Como resultado, o leque de avaliações é reduzido e um julgamento consistente é desenvolvido sobre as perspectivas de desenvolvimento do objeto.

Recursos do método Delphi:

a) anonimato dos especialistas - é totalmente excluída a interação entre os membros do grupo no preenchimento dos questionários;

b) a possibilidade de utilização dos resultados da rodada anterior da pesquisa;

c) características estatísticas da opinião do grupo.

3. Método de "comissão" - com base no trabalho de comissões especiais. Grupos de especialistas numa mesa redonda discutem um problema específico, a fim de harmonizar pontos de vista e desenvolver uma opinião comum. A desvantagem deste método é que o grupo de especialistas nos seus julgamentos é guiado principalmente pela lógica do compromisso.

O método das comissões de especialistas pode ser organizado em uma das seguintes formas:

Como a prática tem mostrado, o método de “comissão” tem desvantagens significativas:

a grande influência de um fator psicológico como a opinião de especialistas de renome, à qual aderem outros especialistas sem expressar o seu ponto de vista;

a relutância dos especialistas em renunciar publicamente às suas opiniões anteriormente expressas;

Durante o trabalho das comissões, ocorre mais frequentemente uma disputa entre dois ou três dos especialistas mais autorizados, em resultado da qual outros especialistas não participam na discussão ou as suas opiniões não são tidas em consideração.

4. Método de ensaio – baseia-se na organização do trabalho de uma equipe de especialistas na forma de realização de um ensaio. A utilização deste método é aconselhável quando existem vários grupos de especialistas, cada um defendendo o seu ponto de vista. Nesse caso, o objeto da previsão atua como “réu”. Os líderes de grupos que expressam pontos de vista alternativos atuam como acusação e defesa (procurador, advogado). Os peritos individuais desempenham o papel de testemunhas, fornecendo ao tribunal as informações necessárias para tomar uma decisão. O papel do juiz é desempenhado por uma pessoa interessada (grupo de pessoas). Por exemplo, no programa televisivo “O Julgamento”, baseado na utilização do método judicial para analisar e prever o desenvolvimento de diversos processos socioeconómicos, o papel do juiz era desempenhado pelo público, votando durante o programa por telefone. exige o ponto de vista que eles apoiaram.

Método de análise morfológica envolve escolher a solução mais aceitável para um problema dentre as possíveis. É aconselhável usá-lo na previsão de pesquisas fundamentais. O método inclui uma série de técnicas que envolvem uma consideração sistemática das características de um objeto. O estudo é realizado pelo método da “caixa morfológica”, que se constrói na forma de uma árvore de objetivos ou de uma matriz na qual os parâmetros correspondentes são inseridos nas células. Conectar um parâmetro do primeiro nível em série com um dos parâmetros dos níveis subsequentes é uma possível solução para o problema. O número total de soluções possíveis é igual ao produto do número de todos os parâmetros apresentados na “caixa”, tomado por linha. Através de permutações e combinações diversas, é possível desenvolver características probabilísticas dos objetos.

Método de escrita de script- baseia-se na determinação da lógica de um processo ou fenômeno ao longo do tempo sob diversas condições. Envolve estabelecer uma sequência de eventos que se desenvolvem durante a transição da situação existente para o estado futuro do objeto. O cenário de previsão determina a estratégia de desenvolvimento do objeto previsto. Deve refletir o objetivo geral de desenvolvimento do objeto, os critérios de avaliação dos níveis superiores da “árvore de objetivos”, as prioridades dos problemas e recursos para atingir os objetivos principais. O cenário apresenta uma solução sequencial para o problema e possíveis obstáculos. Neste caso, são utilizados os materiais necessários ao desenvolvimento do objeto de previsão.

Um gráfico de previsão é uma figura que consiste em pontos de vértice conectados por segmentos de aresta. Uma “árvore de metas” é um gráfico de árvore que expressa a relação entre vértices-estágios ou problemas para atingir uma meta. Cada vértice representa um alvo para todos os ramos que dele emanam. A “árvore de objetivos” envolve a identificação de vários níveis estruturais ou hierárquicos.

Construir uma “árvore de metas” exige a solução de muitos problemas: prever o desenvolvimento do objeto como um todo; formulação de cenário para a meta prevista, determinação dos níveis e vértices da “árvore”, critérios e seus pesos na classificação dos vértices. Estas tarefas podem ser resolvidas, se necessário, utilizando métodos de avaliação especializada. Deve-se notar que este objetivo como objeto de previsão pode corresponder a diversos cenários diferentes.

O cenário costuma ser de natureza multivariada e destaca três linhas de comportamento: otimista - o desenvolvimento do sistema na situação mais favorável; pessimista - desenvolvimento do sistema na situação menos favorável; funcionando - desenvolvimento do sistema levando em consideração a reação aos fatores negativos, cuja ocorrência é mais provável. Como parte do cenário de previsão, é aconselhável desenvolver uma estratégia de backup em caso de situações imprevistas.

O roteiro finalizado deve ser analisado. Com base na análise das informações consideradas adequadas para a previsão futura, são formuladas metas, determinados critérios e consideradas soluções alternativas.