<<
>>

4.3. Тестирование в исследовании систем управления

Особым методом исследования систем управления, наибо­лее популярным в современных условиях и, пожалуй, достаточ­но эффективным, является метод тестирования.

В управлении при помощи тестирования можно исследо­вать проблемы использования ресурсов (в частности, важней­шего из них — времени), уровень квалификации персонала, рас­пределение функций управления, сочетание формального и не­формального управления, стиль управления и многие другие.

Тестирование является достоверным индикатором будущих успехов при исследовании систем управления и признается уни­версальным методом в исследования, оно экономически эффек­тивно и способно приносить материальную выгоду предприятию.

Существует множество определений теста. В наиболее об­щем виде тест можно определить как удовлетворяющую кри­териям исследования эмпирико-аналитическую процедуру. Существуют и другие, более конкретные определения данного емкого понятия. Например, тест — это система высказываний, позволяющая получить объективное отражение реально суще­ствующих отношений между людьми, их свойств, признаков и количественных параметров.

Обобщая мнения различных авторов можно сформулиро­вать более точное определение теста относительно проблем ис­следования управления. Тест — это метод изучения глубинных процессов деятельности человека, посредством его высказыва­ний или оценок функционирования системы управления. Сфе­ра применения тестирования не ограничивается только психо­логической проблематикой1.

Большую роль в исследовании систем управления при по­мощи тестирования играет конструкция теста.

Тест включает набор высказываний и оценок по определен­ной проблеме или ситуации. Оценки могут быть упрощенные (типа "согласен" — "не согласен") или шкалированные (типа "совершенно верно", "верно", "скорее верно, чем неверно", "трудно сказать" и т.

д. ). Шкала может иметь цифровые оценки в виде рейтинговых коэффициентов или выбора степени сог­ласия.

Конструкция теста должна предполагать возможность об­работки его результатов по определенным статистическим про­граммам. Каждый тест имеет ключ, позволяющий обработать полученную информацию в соответствии с целями тестирования.

В исследовании систем управления при любом психологи­ческом диагностировании на основе выявления психологичес­ких свойств личности принимается квалифицированное реше­ние о наличии у испытуемого (клиента) определенного психо­логического состояния. При психологическом консультировании в исследовании систем управления, прежде чем давать какие- либо советы клиенту, квалифицированный психодиагност дол­жен правильно поставить диагноз, оценить суть проблемы, вол­нующей клиента.

Состояние клиента тоже определяется как в начале, так и в конце психокоррекционной работы. В эффективности прини­маемых коррекционных мер должен убедиться не только экс­периментатор, но и сам клиент. Ведь вера в успех является од­ним из важнейших факторов эффективности любого терапев­тического воздействия.

В обоих случаях основными психодиагностическими сред­ствами выступают наблюдение, беседы и тестирование. Тести­рование является основным инструментарием практического психолога, специалиста по психодиагностике и находит широ­кое применение в исследовании систем управления1.

Тестирование развивалось и продолжает развиваться на­растающими темпами, оказывая эффективное содействие в ре­шении широкого круга вопросов в различных сферах повсед­невной жизни[26].

История тестирования насчитывает несколько сотен лет. Первые публикации Френсиса Гальтона (1884) и Джеймса Мак- Кина Кеттела (1890) о тестовом методе имели своих сторонников и противников. Многие восторженно приветствовали новый ме­тод. Увидели в нем возможность увязать научные притязания психологии с запросами практики. В целом же статус метода ос­тавался неопределенным.

Между тем в начале 30-х гг. ХХ в. тес­ты в образовании, в сфере профессионального отбора и профес­сиональной ориентации начинают широко использоваться, не­смотря на то, что они не были обеспечены серьезным психологи­ческим инструментарием. Прошли долгие годы, прежде чем уда­лось преодолеть методологический тупик в психологии, согласо­вать теории, концепции, интуитивные догадки с эмпирическими результатами. Особенно важным оказался вывод, что всякий ме­тод несет в себе неизбежность погрешности измерений.

Современный тест — это теоретически и эмпирически обо­снованная система заданий, позволяющая получать измерения соответствующих психологических свойств. Теоретическое обо­снование предполагает всесторонний анализ теста и результа­тов его применения в свете достижения современной науки. Эмпирическое обоснование теста связано с обращением к опы­ту, измерениям, эксперименту[27].

Тестирование выступает в качестве одного из основных методов психологической диагностики в исследовании систем управления, позволяющих получать сопоставимые количе­ственные и качественные показатели степени развитости изу­чаемых психологических свойств или состояний работника на предприятии. Тесты (от англ. test — опыт, проба) — это стан­дартизированные методики психодиагностики, представляю­щие собой серию относительно коротких испытаний (задач, воп­росов, ситуаций и т. п. ). С помощью таких испытаний с извест­ной вероятностью определяется уровень развития у индивида психологических свойств, необходимых теоретических знаний, практических умений, навыков и других личностных характе­ристик. С помощью тестов можно изучать и сравнивать между собой характерологические свойства различных людей, выстав­лять дифференцированные и сопоставимые оценки. Тестирова­ние предполагает четкую процедуру сбора и обработки первич­ных данных, последующий качественный анализ их и интерпре­тацию. Здесь "первичными" называются данные, полученные в ходе тестирования до их обработки методами математической статистики1.

По форме представления тесты можно разделить на два основных типа: стандартизированные и проективные. В стан­дартизированные входят два подтипа: тест-опросники и тест- задания.

Стандартизированными называются тесты, прошедшие этап стандартизации (проверку на валидность и надежность, соответствие другим требованиям, предъявляемым к тестам). Такие тесты ориентированы на оценку и могут служить надеж­ным средством психодиагностики.

Тест-опросник содержит серию вопросов, по ответам на которые судят о психологических качествах испытуемого. В тест-задании испытуемому предлагается серия соответствую­щих заданий, по итогам выполнения которых определяют на­личие или отсутствие и степень развития у него характероло­гических черт (свойств личности).

Достоинством стандартизированных тестов является воз­можность дифференцированного их применения (серии стан­дартизированных тестов разрабатываются применительно к различным возрастным группам людей, уровню образования, жизненному опыту и профессии). С помощью стандартизиро­ванных тестов получают количественные оценки, по которым можно сравнивать выраженность психологических свойств ис­пытуемого с их выраженностью в популяции.

Недостатком стандартизированных тестов является опре­деленная возможность влияния испытуемого на результаты тестирования в соответствии с одобряемыми характерологичес­кими чертами личности. Эти возможности увеличиваются, если обучаемые знают содержание теста, а также методику оценки поведения и изучаемых психологических качеств личности.

Другим недостатком стандартизированных тестов являет­ся определенная трудность обеспечения индивидуального под­хода к испытуемым в процессе тестирования. У людей с пони­женной стрессоустойчивостью возникают определенные нару­шения саморегуляции, они начинают волноваться, ошибаться в элементарных для них вопросах. Вовремя заметить такую ре­акцию на тест — задача, которая по силам лишь квалифициро­ванному и добросовестному экспериментатору1.

В определенных условиях применение стандартизирован­ных тестов (тест-опросников и тест-заданий) становится про­сто нецелесообразным. Это относится к тем случаям, когда ис­пытуемые не желают признавать у себя отрицательные лично­стные качества и мотивы поведения либо просто не в состоянии осознать их наличие. В этих ситуациях прибегают к использо­ванию проективных тестов.

Проективные тесты предназначены для изучения психо­логических особенностей людей и их поведения, особенностей, которые вызывают негативное отношение со стороны самих ис­пытуемых. В основе проективных тестов лежит механизм про­екции, согласно которому неосознаваемые психологические свойства личности и недостатки поведения индивид склонен приписывать другим людям. О психологических особенностях испытуемого судят на основании того, как он воспринимает и оценивает соответствующие ситуации, поведение людей, какие личностные качества и мотивы он им приписывает.

Проективные методики обладают определенными достоин­ствами. Человек в своем восприятии жизненных ситуаций (ото­бражение которых представлено в проективных тестах) преоб­разует их сообразно своей индивидуальности, своего видения жизненных коллизий. Проективные методики как бы "портре­тируют" свою индивидуальность человека, не прямо, а косвен­ным путем позволяют изучать его эмоциональные особенности и невротические реакции1.

Единой классификации проективных тестов не существу­ет. Наиболее распространенной является следующая классифи­кация в разработке Л. Ф. Бурлачука и С. М. Морозова.

1. Конститутивные тесты. Содержание работы испытуемо­го является придание смысла материалу, его структурирова­ние. Наиболее популярным конститутивным тестом является тест Роршаха (тест "чернильных пятен").

2. Конструктивные тесты, предполагающие создание (кон­струирование) целого из отдельных частей. Среди конструктив­ных проективных тестов известен так называемый тест мира.

3. Интерпретативные тесты, предполагающие толкование, интерпретацию событий, предлагаемых ситуаций, изображений. Из интерпретативных наиболее популярен "тест тематической апперцепции" (ТАТ), созданный в 1935 г. Г. Мюрреем и К. Мор­ганом (США).

4. Катартические тесты, предполагающие творческую дея­тельность в особо организованных условиях. Ярким примером таких тестов является психодрама, чаще рассматриваемая как метод психотерапии, но выступающая и как психодиагностичес­кое средство. (предложена Дж. Морено в 1946 г. ).

5. Экспрессивные тесты, предполагающие рисование или аналогичную деятельность на свободную или заданную тему. Из экспрессивных методов широко распространены так называе­мые рисуночные тесты ("Нарисуй человека", предложенный К. Маховер в 1948 г.; "Дом-дерево-человек", разработанный Дж. Буком в 1948 г., и др. ).

6. Импрессивные тесты, требующие выбора, предпочтения одних стимулов другим. Среди импрессивных проективных те­стов наибольшую популярность приобрел так называемый тест Люшера, или тест цветовых предпочтений (предложен М. Лю- шером в 1948 г. ).

7. Аддитивные тесты, предполагающие завершение фра­зы, рассказа и др. Среди этих тестов широко известен тест "Не­законченные предложения"1.

Единой системы классификации тестов в исследовании сис­тем управлении к настоящему времени еще не выработано. Наи­более распространенной является система разделения тестов по предмету диагностирования, т. е. по тому качеству, которое оце­нивается с помощью предъявляемого теста. Данный подход по­зволяет выделить проективные, психологические и интеллекту­альные тесты, а также тесты достижений и способностей.

Проективные тесты входят в состав личностных тестов, а тесты креативности — в состав тестов способностей.

Тесты достижений конструируются в основном на учебном материале и предназначены для оценки уровней овладения зна­ниями, умениями и навыками, а также для определения общей и профессиональной подготовки применительно к конкретным предметам и курсам обучения. Как правило, тесты достижений рассчитаны на групповую работу в классе, аудитории, коллед­же, вузе. К тестам достижений относятся также и тесты, исполь­зуемые для целей профессионального отбора (подбора). Целе­сообразно применение тестов достижения в целях профориен­тации молодежи.

Психологические тесты — это инструменты, или, употреб­ляя широкий термин, орудия. Психологические тесты классифи­цируются по разным основаниям. Наиболее распространенной является подразделение психологических тестов на виды, при котором в качестве основания взят предмет диагностики. Так, по предмету диагностики психологические тесты бывают интеллек­туальные (тесты интеллекта), тесты способностей, социально- психологические тесты и личностные (тесты личности)1.

Интеллектуальные тесты предназначены для исследо­вания и качественной оценки (измерения) уровня интеллекту­ального развития индивида. К группе наиболее известных и широко применяемых тестов интеллекта относятся тесты Д. Векслера (предназначены для измерения уровней развития мышления и отдельных когнитивных процессов — восприятия, внимания, воображения, памяти и др. ), батареи тестов Стан- форд—Бине диапазона способностей — от простого манипули­рования до абстрактных рассуждений, дифференцированных по возрастному критерию. Применение этих тестов интеллекта позволяет выявить личностные качества испытуемых: уровни их активности и мотивированности, уверенности, настойчивос­ти, сосредоточенности и др. Среди интеллектуальных тестов они занимают ведущее место в зарубежной психологической диаг­ностике. На основе применения батарей тестов Станфорд—Бине и аналогичных им шкал умственного развития Бине—Симона рассчитываются количественные показатели уровней интеллек­туального развития испытуемых (IQ, англ. — Intelligence Quotient). Этот коэффициент (IQ) адекватен понятию "интел­лект" и рассчитывается по формуле

IQ = (Умственный возраст / Хронологический возраст) • 100. (4.1)

Тесты способностей — это методики, диагностирующие уровень развития общих и специальных способностей, опреде­ляющих успех обучения, профессиональной деятельности и творчества. Тесты способностей включают задания не только на интеллект, но и на память, восприятие, ручную и пальцевую моторику. Они широко используются в США для профессио­нальной ориентации и расстановки кадров в армии, на флоте, в государственных учреждениях.

Разновидностью тестов способностей являются тесты кре­ативности.

Тесты креативности — совокупность методик для изуче­ния и оценки творческих способностей личности.

Социально-психологические тесты подразделяются на личностные и социометрические тесты.

Личностные тесты — это психодиагностические методики, направленные на оценку эмоционально-волевых компонентов психической деятельности индивида (отношений, мотивации, интересов, эмоций, особенностей поведения) в определенных социальных ситуациях. С помощью таких тестов выявляются устойчивые индивидуальные особенности человека, определя­ющие его поступки. Условно личностные тесты по предмету и цели можно разделить на три большие группы. К первой из них относятся многофакторные личностные опросники, дающие разнообразную комплексную оценку степени развитости пси­хологических свойств личности (16-факторный личностный оп­росник Р. Кэттелла (16PF), Миннесотский многофакторный оп­росник (ММР1). Ко второй группе относятся проективные тес­товые методики, разрабатываемые на основе неопределенных стимулов. Испытуемым предлагается интерпретировать, допол­нять, развивать эти стимулы. Третью группу составляют тес­товые методики, выявляющие отдельные устойчивые особен­ности личности (темперамент, отдельные характерологичес­кие черты личности, мотивационные и эмоциональные прояв­ления и др. ).

Социометрические тесты представляют собой своеобразные стандартизированные методики измерения межличностных отношений в малых группах. При ответах на косвенные вопро­сы испытуемые делают последовательный выбор членов груп­пы, людей, предпочитаемых или отвергаемых в определенных конкретных ситуациях. Такие методики применяют для изуче­ния динамики внутренних межличностных отношений в различ­ных возрастных группах, выявления замкнутых группировок, степени внутригрупповой сплоченности, мотивационной струк­туры группы и ее конфликтных зон.

Традиционно назначение психологических тестов состоя­ло в том, чтобы измерять различия между людьми или между реакциями одного человека в разных условиях. Одной из ран­них проблем, побудивших к разработке психологических тес­тов, было выявление умственно отсталых. Помимо этого мощ­ный импульс первоначальному развитию тестов был задан стремлением удовлетворить нужды образования. Имеются в виду знаменитые тесты Бине, с которых и началось интеллек­туальное тестирование. В настоящее время школы входят в чис­ло основных пользователей тестов. Распределение детей по спо­собностям, чтобы максимально использовать возможности раз­ных типов школьного обучения, выявление умственно отсталых, с одной стороны, и одаренных учеников — с другой стороны, образовательное и профессиональное консультирование уча­щихся средних школ и студентов колледжей, отбор в профес­сиональные и другие специальные школы — вот лишь некото­рые примеры использования тестов в образовании1.

Отбор и распределение персонала на промышленных пред­приятиях — еще одна важная область применения психологи­ческого тестирования. От оператора на линии сборки или делоп­роизводителя до управленцев высшего звена вряд ли найдется работа, для которой тестирование не оказалось бы полезным при решении вопроса о найме, распределении обязанностей, пере­воде на новое место, повышении по службе или увольнении. Эффективное применение тестов в большинстве таких ситуа­ций, особенно касающихся высококвалифицированной работы, возможно лишь тогда, когда тесты используют в качестве до­полнения к специальному собеседованию с кандидатами, созда­ющему условия (в виде биографического контекста) для пра­вильной интерпретации тестовых показателей конкретного кан­дидата. Тем не менее тестирование составляет важную часть полной программы управления трудовыми ресурсами.

Тесты обычно используются в качестве вспомогательных средств при принятии решений, связанных с профессиональ­ной деятельностью, включая индивидуальное профконсульти- рование и решения руководителей организаций, касающиеся подбора и расстановки кадров. Соответствующие структуры торгово-промышленного сектора, правительственных учрежде­ний всех уровней, от федерального до местного, и различных родов войск используют практически все доступные виды тес­тов для принятия кадровых решений. Нередко комплексные батареи способностей и тесты специальных способностей раз­рабатывались именно для подобного применения, как и ситуа­ционные тесты. Все большее применение в этой сфере находят личностные и биографические опросники.

Весьма близкое по целям применение психологического те­стирования имеет место в вооруженных силах при отборе и рас­пределении военнослужащих.

Использование — тестов в индивидуальном консультиро­вании постепенно расширилось от узконаправленных советов относительно учебных и профессиональных планов до рассмот­рения всех аспектов жизни человека. Усиливается использова­ние тестов для улучшения самопонимания и личностного роста. Совершенно очевидно, что тесты применяют при решении ши­рокого круга практических проблем. Однако не следует забы­вать и о том, что такие тесты — важное средство фундаменталь­ных исследований. Психологические тесты служат стандарти­зированными инструментами исследования разнообразных про­блем при исследовании систем управления.

К тестам предъявляются определенные требования. Основ­ными из них являются валидность, надежность, наличие тесто­вых норм, социальная адаптация тестовых методик.

Определяя одинаковые для всех психологических методов диагностики пригодности критерии, Г. Шанц, например, не вы­деляет особо тестирование, считая, что оно по показателям ка­чества должно вписываться в сравнимый пятиэлементный ряд других инструментов отбора:

1) надежность;

2) валидность;

3) объективность;

4) экономичность;

5) полезность1.

Надежность — один из важных критериев качества, отно­сящегося к точности психологических измерений. Чем выше надежность теста, тем относительно свободнее он от погрешно­стей измерений. Надежность теста рассматривается как устой­чивость (стабильность) результатов при повторном тестирова­нии на той же выборке испытуемых. Повторное тестирование обычно проводится через две недели после первого. Считается, что при коэффициенте корреляции более 0,75 уровень надеж­ности теста вполне приемлем.

Каждый тест следует сопровождать сведениями о его на­дежности. Сообщаемая мера надежности характеризует тест только в случае его проведения в стандартных условиях и с людьми, имеющими сходство с теми, кто входил в состав нор­мативной выборки. Следовательно, при описании теста нужно точно указывать и характеристики этой выборки вместе с ти­пом измеренной на ней надежности.

Теоретически разновидностей тестовой надежности может быть много, однако практическое применение находят лишь не­сколько типов надежности. Поскольку все типы надежности касаются степени согласованности или соответствия между дву­мя независимо полученными множествами показателей, их все можно выразить в виде коэффициента корреляции, который способствует измерению надежности теста.

Существуют приемы проверки надежности тестов. Они включают повторное тестирование, параллельное тестирование, прием раздельного коррелирования (внутренняя корреляция высказываний), использование дисперсионного анализа, фак­торный анализ1.

Выделяют следующие типы надежности:

• ретестовая надежность (самый очевидный и понятный ме­тод определения надежности результатов теста — его повтор­ное проведение;

• надежность взаимозаменяемых форм (один из способов избежать трудностей, с которыми приходится сталкиваться при определении ретестовой надежности, — использование взаимо­заменяемых форм теста);

• надежность эквивалентных половин теста (меру надеж­ности можно определить и на основании однократного приме­нения единственной формы теста, пользуясь для этого различ­ными процедурами расщепления теста на две равноценные по­ловины) и др.

Надежность (достоверность) тестирования формально вы­водится из аксиом классической теории тестов. Исходным пун­ктом является предположение, что дисперсия наблюдаемых значений Бх суммарно составлена из дисперсии истинных зна­чений и дисперсии ошибок Бе:

=5,4 (4.2)

Путем ряда преобразований далее показывают, что досто­верность теста определяется формулой

„2

г,! '■.. (4.3)

2

Достоверность, соответственно, равна доли истинной дис­персии от общей дисперсии. Если общая дисперсия безошибоч­на, достоверность достигает максимального значения 1. При практическом нахождении достоверности появляется пробле­ма невозможности эмпирически обнаружить оценки, которые встречаются в вышеприведенных равенствах. Для возможнос­ти определения величины ошибки и, следовательно, величины истинной оценки как вспомогательная конструкция вводится понятие параллельного, или эквивалентного, измерения. Два измерения называются параллельными, если их истинное зна­чение и дисперсия значений ошибок одинаковы. Отсюда также следует, что при параллельных измерениях ожидаемые оцен­ки (среднее значение) и дисперсия наблюдаемых оценок одина­ковы. С помощью этого предположения можно показать, что со­отношение между двумя параллельными измерениями (rx у) как раз соответствует определению достоверности, а именно равно отношению истинной дисперсии к наблюдаемой:

S'2 /

/ . /V/. (4.4)

Таким образом, достоверность инструмента теста можно определить в обход двух параллельных измерений.

Формулу (4.4) можно преобразовать:

S,2=Sx2-rxy (4.5)

Используя формулу (4.2), получаем:

s;=sx2-(l-r^y (4.6)

Или

S.=SXJ(4.7)

Значение, выведенное из равенства достоверности, назы­вается стандартной ошибкой текста. Она выявляет среднее от­клонение ошибки от истинного значения1.

Валидность (англ. valid — действительный, пригодный, име­ющий силу) — один из важнейших критериев качества теста, означающий пригодность теста для измерения того, что он по за­мыслу должен измерять; или иначе: соответствие тестовой ме­тодики измеряемому концепту. Если, например, проводится те­стирование испытуемых на определение их интеллектуальных способностей, то вряд ли целесообразно с помощью одного и того же теста оценивать еще и типы их темперамента. Проверка тес­та на валидность включает ряд процедур, главными из которых являются процедуры валидизации (валидации). Определяется валидация посредством корреляции результатов тестирования с успешностью выполнения соответствующей деятельности. К примеру, если с группой испытуемых проведено тестирование на определение общих способностей, то процесс валидации можно представить как установление корреляционных связей получен­ных данных тестирования с результатами обследования этих же испытуемых на предмет выявления общих способностей по дру­гим проверенным и надежным методикам. Валидность считается достаточно высокой, если коэффициент корреляции будет более 0,6. При значении коэффициента корреляции 0,45-0,65 валид- ность считается вполне удовлетворительной.

Проблемы валидности и надежности тесно взаимосвязаны. Однако валидность рассчитывается относительно объекта ис­следования (применительно к испытуемым), надежность же — относительно предмета психодиагностического исследования (психологических свойств или черт личности).

Надежность не обязательно предполагает валидность. Она является необходимым, но недостаточным условием валиднос- ти. Справедливо следующее неравенство:

ВАЛИДНОСТЬ < НАДЕЖНОСТЬ.

Это означает, что валидность теста не может превышать его надежность.

Под объективностью понимается степень, в которой ре­зультаты тестирования не зависят от проверяющего. Объектив­ность налицо, если разные исследователи одного проверяемого пришли к идентичным результатам.

Норма теста определяется в результате тестирования боль­шой выборки испытуемых определенного возраста и пола с пос­ледующим усреднением полученных оценок и дифференциа­цией по ряду релевантных показателей. Норма теста — это сред­ний уровень развития большой совокупности людей, похожих на данного испытуемого по ряду социально-демографических характеристик.

Понятие "норма теста" связано с понятием "репрезентатив­ность". Репрезентативность (франц. гергеБе^аШ — показатель­ный) — свойство выборочной совокупности представлять харак­теристики генеральной совокупности. Репрезентативность оз­начает, что с некоторой наперед заданной или определенной статистической погрешностью можно считать, что представля­емое в выборочной совокупности распределение изучаемых при­знаков соответствует их реальному распределению.

Для установления нормы теста и стандартизации тестовой методики требуется предварительно определить обоснованность выборки и провести статистические расчеты по определению их репрезентативности. Операции по анализу и расчету тесто­вых норм (а следовательно, и проверке их на репрезентатив­ность) проводятся с использованием математических методов (в основном на компьютере). В случае негативных результатов (отсутствия устойчивых тестовых норм) прибегают к обследо­ванию более широкой выборки или отказываются от плана ис­пользования данного теста.

Всякие нормы со временем, как правило, изменяются в со­ответствии с изменяющимися условиями социально-культур­ной жизнедеятельности людей. В соответствии с установленным среди психологов правилом один раз в пять лет нормы теста, особенно интеллектуального, должны пересматриваться.

Валидность, надежность, соответствие тестовым нормам (репрезентативность) являются основными требованиями пси­хометрии. Их объективный характер, возможность перепровер­ки результатов тестирования являются гарантией достоверной психологической информации.

Социальная адаптация тестовых методик — данное требо­вание выдвинуто сравнительно недавно. И связано это с необ­ходимостью адаптации тестовых методик, заимствованных из других стран, к новым региональным и социальным условиям. Известный специалист по проблемам социальной психологии и психологии личности Р. С. Немов по этому поводу пишет: "Если, например, созданный в Европе тест интеллекта впервые при­меняется в стране, где доминирующим в структуре интеллекта является не словесно-логическое, а образное или практическое мышление, то он обязательно должен быть социокультурно адаптирован. В противном случае, применяя его в первоначаль­ном, неадаптированном варианте, мы, скорее всего, получим низкие результаты, которые не будут соответствовать уровню развития мышления жителей данной страны"1.

Работа по переоценке тестовых методик по своему объему фактически соответствует конструированию оригинальной ме­тодики. С этой точки зрения заимствование зарубежных обще­диагностических тестов способностей, черт характера, интере­сов и т. п. вовсе не оказывается кратчайшим путем к психодиаг­ностике. Этот путь кажется короче только тем, кто сознательно или по неведению пренебрегает принципами психометрики.

Таким образом, применение тестирования в исследовании систем управления является достаточно важным моментом.

Тестирование — исследование высказываний, позволяю­щих получить объективное отражение свойств и количествен­ных параметров деятельности людей. Тест — система выска­зываний или оценок по комплексу вопросов, в которых закоди­рована какая-либо проблема.

В управлении при помощи тестирования можно исследо­вать проблемы использования ресурсов (в частности, важней­шего из них — времени), уровень квалификации персонала, рас­пределение функций управления, сочетание формального и не­формального управления, стиль управления и проч. Тестиро­вание составляет важную часть полной программы управления трудовыми ресурсами. Наиболее полно сущность тестов раскры­вается в их классификации. Большую роль в исследовании при помощи тестирования играет конструкция теста. Тест включа­ет набор высказываний и оценок по определенной проблеме или ситуации. При составлении теста необходимо учитывать его ос­новные характеристики: валидность, надежность, соответствие тестовым нормам.

К побочным критериям качества тестов относятся:

— нормируемость;

— сравнимость;

— целесообразность (полезность);

— экономичность.

При проведении тестирования следует руководствоваться следующими методологическими принципами:

1) принцип проблемы;

2) принцип оценки;

3) принцип распознавания.

Рассмотрим их содержание более подробно.

Принцип проблемы исходит из того, что проблема — это противоречие, которое предстает нам иногда в качестве абсур­да (неожиданно, непривычно, необъяснимо, нелогично, абстрак­тно). Методология работы с проблемой обеспечивает качествен­ное планирование исследования и его организацию.

Принцип оценки предполагает, что любые события, явле­ния, противоречия мы оцениваем по критериям важности, объективности, актуальности, связи с другими явлениями, сложности.

Принцип распознавания утверждает, что всегда возника­ет необходимость отождествления, сравнения, определения класса явления, принадлежности к определенной типологичес­кой группе. Это позволяет глубже понять новое явление, опре­делить его свойства и характер, сделать оценку более суще­ственной.

Методологические принципы исследования помогают най­ти эффективный вариант его проведения, целенаправленного осуществления. Принципы — это правила деятельности, кото­рые ее, с одной стороны, ограничивают, а с другой- поддержи­вают, потому что они отражают концентрированный опыт ус­пешного исследования.

Организация проведения тестирования во многом зависит от верного подбора и соблюдения принципов тестирования. К основным принципам тестирования, которые находят свое при­менение в исследовании систем управления, относятся принци­пы действенности и достоверности.

Действенность теста — точность, с которой тест, интер­вью и т. п. оценивает то, для чего он был разработан, или выпол­няет предопределенную ему функцию. Действенность отвечает на вопрос: "Оценивает ли этот тест то, для оценки чего он был предназначен?". Действенность теста всегда определяется по тому, что он оценивает. При найме на работу термин "действен­ность" означает, что тест относится к выполнению данной рабо­ты, другими словами, что результаты теста должны дать пред­ставление о способности человека выполнять определенную работу. Если это не подтверждается, то дальнейшая проверка не имеет никакого смысла. Тестирование характеризуется дву­мя основными параметрами, показывающими его действен­ность: эффективностью критериев и действенностью содержа-

ния1.

Эффективность критериев — эффективность, основанная на том, что баллы теста (прогноз) связаны с уровнем исполне­ния (критерий). Эффективность критериев указывает на то, что тест ("прогноз") находится в соответствии с требованиями, предъявляемыми к данному виду деятельности ("критерий"). Демонстрация действенности критериев предполагает доказа­тельство того, что те, кто успешно проходят испытания, хорошо работают, и наоборот. То есть тест действенен, если люди, на­бравшие большее количество очков при тестировании, наилуч­шим образом соответствуют данной деятельности. С точки зре­ния психики прогноз — это оценка, которую вы стараетесь свя­зать с критерием — выполнение реальной работы.

Действенность содержания — тест, содержание которого эффективно, содержит ряд задач и навыков, действительно не­обходимых для выполнения рассматриваемой работы.

Действенность содержания — набор задач и навыков, вклю­ченных в тест, необходимых для выполнения рассматриваемой работы.

Основная задача — определить содержание работы в виде поведенческих стереотипов, затем случайным образом осуще­ствить набор этих задач и образцов поведения и включить их в тесты. Примером служит тест на скорость печатания при найме машинистки. Если этот тест — достоверный образец работы машинистки, то он, возможно, содержательно действенен.

Доказательство содержательной действенности теста на практике сложнее, чем в теории. Доказать, что задания, пред­лагаемые испытуемым при тестировании, на самом деле явля­ются образцом задач, выполняемых в процессе реальной рабо­ты, и что условия тестирования адекватны реальным рабочим условиям, не всегда легко1.

Помимо действенности имеется другая важная характери­стика теста — достоверность.

Достоверность — постоянство баллов, набранных одним и тем же человеком при повторном тестировании с теми же эк­вивалентными тестами.

Достоверность теста оценивает его устойчивость, т. е. посто­янство результатов, полученных одним и тем же испытуемым при повторном прохождении подобного или похожего теста.

Существует несколько способов оценки стабильности или достоверности теста. Например, человеку задается один и тот же тест в два различных момента времени, и результаты срав­ниваются. Это называется оценкой повторного тестирования и означает, что во второй раз предоставляется эквивалентный тест. Это называется эквивалентной оценкой. Другой способ оп­ределения достоверности теста — определение его внутренней устойчивости1.

Выделяют также следующие принципы тестирования.

1. Принцип научной обоснованности предполагает высокий научный потенциал тестирующего, его профессиональную прак­тическую подготовку на основе профессионально-этических стандартов в области тестирования. Соблюдение этого принци­па способствует устранению ошибок диагноста и артефактов (искусственных, ложных фактов, полученных в результате не­правильного применения тестовых методик).

2. Принцип обеспечения суверенных прав личности испы­туемых означает исключение обманного пути в тестовом иссле­довании систем управления. Это принцип охраняет право ин­дивида отказываться от участия в тестировании, защищает тай­ну его личности.

3. Принцип объективности выводов предусматривает бес­пристрастный подход к результатам тестирования со стороны пользователя. На него не должны оказывать влияние общее впе­чатление о личности обследуемого, симпатии и антипатии, субъективное состояние и настроение.

4. Принцип эффективности предлагаемых рекомендаций обеспечивает соблюдение соответствующих мер предосторож­ности, направленных против неправильного использования и неверной интерпретации полученной информации, передавае­мой испытуемому.

5. Принцип конфиденциальности предполагает предостав­ление информации только тем, кому она предназначается.

6. Принцип профессиональной тайны обеспечивает неразг­лашение содержания тестовых методик и результатов их при­менения без персонального согласия того лица, которое было обследовано[28].

В обще виде морально-этические нормы могут быть пред­ставлены в виде правил, которые должны соблюдать любые пользователи тестирования.

1. Тестирование должно проводиться при участии профес­сионального психолога — специалиста по психодиагностике или при последующем его участии в качестве консультанта.

2. Человека нельзя подвергать обследованию против его воли или обманным путем. Испытуемый, если это не оговорено законом, имеет право знать результаты своего тестирования и должен быть информирован о целях тестирования и способах использования его результатов.

3. Тестирующий должен обеспечить конфиденциальность информации, полученной от испытуемого на основе "личного доверия".

В настоящее время практика тестирования насчитывает множество методических приемов и подходов, использование которых позволяет решать множество проблем в сфере управ­ления предприятием.

Более изощренные в методологическом отношении иссле­дования последних двух десятилетий оказали существенную поддержку применению тщательно сконструированных лично­стных тестов при принятии кадровых решений в разнообраз­ных контекстах. Важный и еще недостаточно исследованный вопрос касается определения наиболее релевантных измерений личности по отношению к конкретным специальностям или се­мействам специальностей. Например, в то время как одни виды работы могут требовать высокой степени общительности, дру­гие требуют от работника прямо противоположного качества[29].

Пытаясь добиться систематической классификации черт личности, некоторые специалисты обратились к факторному анализу. Этот метод идеально подходит для сокращения числа категорий, необходимых для объяснения поведенческих фено­менов путем поиска устойчивых паттернов в их появлении. Существует множество способов применения факторного ана­лиза в исследовании черт личности. Один из этих способов со­средоточен на использовании данных личностных вопросников, иллюстрируется серией исследований Гилфорда и его сотруд­ников1. Вместо того чтобы коррелировать суммарные показате­ли по существующим опросникам, эти исследователи вычисля­ли интеркорреляции между отдельными пунктами из многих личностных опросников. В качестве промежуточного продукта данного исследования были разработаны три личностных опрос­ника, объединенные со временем в один инструмент (Гилфор- да-Циммермана)2 — обследования темперамента. Этот опрос­ник дает отдельные показатели для 10 черт, а каждый показа­тель основывается на 30 разных пунктах. Примеры этих черт включают сдержанность, доминирование, эмоциональную ус­тойчивость и дружелюбность.

Значительная часть текущих исследований сосредоточена на выяснении полезности "Пятифакторной модели" структуры личности (в ее различных формах) для предсказания критери­ев выполнения работы.

"Пятифакторная модель" (Fife-Factor Model или сокращен­но, FFM) символизирует необычайный уровень согласия среди исследователей личности, принадлежащих к самым разным школам факторно-аналитических исследований. Конкретный вид, в котором эта модель представлялась, послужил причиной серьезной ее критики. По существу, FFM — это попытка исполь­зовать иерархическую модель анализа с целью упростить став­шую необозримой коллекцию данных об эмоциональном пове­дении индивидуумов. Следовательно, она предоставляет инфор­мацию, с которой легче работать при оценивании конкретных людей и прогнозировании их поведения в отдельных ситуаци­ях. Факторы этой модели являются описательными, а не объяс­нительными, и они не относятся к разряду тех, что лежат в ос­нове отдельных заданий или специфических тестов, из которых они извлечены.

Хотя некоторые исследователи на протяжении последних лет сходились во мнении, что пять факторов — как раз то чис­ло, которое необходимо для объяснения большинства корреля­ций между огромным количеством дескрипторов личности, наи­более подходящее для конкретных целей число факторов было бы лучше охарактеризовать как 5 ±2.

Согласно данной модели выделяют пять главных областей исследования: нейротизм, экстраверсия, открытость опыту, уживчивость, сознательность.

Популярность рассматриваемой модели в исследованиях отбора персонала не случайна. В конце концов эти пять ( 2) фак­торов были извлечены в результате обработки обширных масси­вов данных описания личности и представляют собой модель для характеристики нормальных личностей, в отношении которой существует довольно высокая степень согласия среди специали­стов. Каждая из областей, охватываемых данной моделью, ши­роко применима ко всем видам повседневного поведения, вклю­чая выполнение профессиональных обязанностей. Например, измерение "эмоциональная устойчивость" является существен­ным в работе, связанной с быстрым принятием решений в усло­виях психического напряжения, такой как охрана правопоряд­ка, скорая медицинская помощь и т. д. С другой стороны, "ужив­чивость" является совершенно необходимым качеством для лю­бой работы, которая предполагает широкие контакты с людьми. Впрочем, неудивительно, что именно фактор "сознательность" выявился в целом ряде метааналитических исследований как наиболее универсальный и существенный личностный предик­тор выполнения работы. Тем не менее пока еще далеко до полно­го согласия как по поводу определения конструкта "сознатель­ность", так и в отношении признания его первенства.

На современном этапе развития практика тестирования обладает достаточно большим количеством разнообразных про­ективных методик. Главную отличительную особенность про­ективных методик нужно искать в относительно неструктури­рованной задаче для испытуемого, т. е. задаче, допускающей почти неограниченное разнообразие возможных ответов. Одна из самых популярных проективных методик связана с исполь­зованием чернильных пятен Роршаха1, который был первым, кто применил чернильные пятна для диагностического иссле­дования личности в целом. Еще одной методикой подобного типа является комплексная система Экснера, который разработал комплексную систему, объединившую элементы, отобранные из пяти основных подходов к оценке результатов соответствую­щего теста. В этой комплексной системе Экснер предлагает стан­дартизированные процедуры проведения, подсчета показате­лей и интерпретации, отобранные на основе эмпирических срав­нений разнообразных способов. Главное значение здесь прида­ется не содержанию, а структурным переменным. Согласно Эк- снеру, цель обработки ответов — получение структурной свод­ки, которая образует ядро его системы и служит основой для большинства интерпретационных постулатов.

Серьезная попытка придать методике чернильных пятен психометрическую направленность была предпринята Уэйном Хольцманом.

Хотя все обсуждавшиеся до сих пор проективные методи­ки требуют вербальных ответов, среди методик этой группы есть и полностью вербальные, т. е. использующие слова и в качестве стимульного материала, и в ответах. Часть таких вербальных методик может применяться как в устной, так и в письменной форме, но все они пригодны для письменного предъявления при групповом тестировании.

Методикой, опередившей волну проективных тестов, явля­ется тест словесных ассоциаций, эта методика впервые была описана Гальтоном. Процедура проведения теста состоит в предъявлении испытуемому серии не связанных между собой слов, на каждое из которых его просят отвечать первым при­шедшим на ум словом. Первые психологи-экспериментаторы, так же как и первые тестологи, работавшие с умственными тес­тами, видели в таких ассоциативных тестах средство для изу­чения процессов мышления.

Другая вербальная проективная методика — завершение предложений — широко используется как в научных исследо­ваниях, так и в клинической практике. Примером такой широко используемой формы является Бланк незаконченных предло­жений Роттера, состоящий из 40 основ предложений. Множе­ство других тестов завершения предложений разработано для оценки различных изучаемых популяций и для применения в разнообразных областях научных исследований и психодиаг­ностики. Некоторые интересные современные разработки в этой области включают инструменты, предназначенные для обнару­жения симуляции при освидетельствовании на предмет нетру­доспособности, предсказания эффективности управления и оце­нивания таких конструкторов, как защитные механизмы; эти инструменты могут быть полезными и при оценке личности.

Методики действия являются достаточно широкой и амор­фной категорией проективных методик, которая включает до­вольно много форм относительно свободного самовыражения. Отличительной особенностью всех этих методик является то, что они использовались и как терапевтические, и как диагностичес­кие процедуры. Считается, что благодаря предоставляемым ими возможностям выразить себя, человек не только обнаруживает свои эмоциональные затруднения, но и облегчает свои страда­ния. К наиболее часто используемым методам из этой катего­рии относятся методики рисования и игровые методики.

Оценочной процедурой, особенно полезной при сборе мне­ний равных по положению людей, является методика выдви­жения кандидатур. Когда эта методика используется для инди­видуальной оценки, количество выборов, полученных любым отдельным человеком, может распознать потенциальных лиде­ров (получивших много выборов), равно как и членов группы, оказавшихся в изоляции (редко или совсем не упоминавшихся).

Достаточно распространенной является методика вынужден­ного выбора, которая в своей сущности требует от респондентов сделать выбор между двумя описательными терминами или фра­зами, которые выглядят одинаково приемлемыми, но различают­ся валидностью. Задания, построенные по типу вынужденного выбора, могут состоять из трех, четырех или даже пяти пунктов. В таких случаях респонденты должны указать, какая из фраз яв­ляется для них наиболее, а какая наименее характерной. В еще одном варианте требуется выбрать между двумя контрастирую­щими ответами в рамках одной и той же черты, оцениваемыми по единой шкале. Преимущество данной методики заключается в том, что она обеспечивает получение нормативных, а не ипсативных показателей и потому не накладывает искусственных ограниче­ний на взаимосвязи между разными шкалами. В качестве приме­ра можно назвать индикатор типов Майерс-Бриггс.

Применение тестов в исследовании систем управления все­гда связано с выполнением исследовательских или практичес­ких задач, с совместной деятельностью тестирующего и тести­руемого. При этом важно соблюдение техники психологическо­го тестирования. Процесс тестирования может быть разделен на три этапа: выбор тестовой методики, непосредственное тес­тирование, интерпретация результатов тестового исследования.

Выбор тестовой методики зависит от ряда взаимодей­ствующих факторов, основными из которых являются области применения тестов, цели и задачи исследования. К областям применения тестовых методик относятся: система образования; профессиональная подготовка, профессиональный отбор (под­бор), определение профессиональной пригодности; психологи­ческое консультирование; психологическая коррекция; психо­терапевтическая работа; судебная практика.

Выбор тестовой методики зависит также от целей и задач исследования, которые ставит перед собой тестирующий. Так, при индивидуальной работе с клиентами такими задачами мо­гут быть:

- составление плана необходимой профилактической или консультационной работы с испытуемым;

- составление рекомендаций по изменению соответствую­щих психологических факторов, затрудняющих нормальную трудовую деятельность на предприятии, снижающих мотива­цию к труду и т. п.

Однако существует и ряд социально-психологических про­светительских задач (передавать психологические знания, уме­ния и навыки; проводить индивидуальное и групповое консуль­тирование по вопросам взаимоотношений с другими людьми, про­блемам самоуправления, самовоспитании и саморазвитии и др. ).

На начальном этапе тестирования составляется раппорт. В контексте проведения тестирования термин "раппорт" от­носится к попыткам проводящего тест специалиста вызвать у испытуемых интерес к тесту, добиться от них сотрудничества и содействовать тому, чтобы их реакции соответствовали це­лям теста.

Практическая подготовка специалистов по тестированию помимо овладения методиками проведения различных тестов предусматривает и обучение приемам установления рапорта. При установлении рапорта, так же как и при других процеду­рах тестирования, единообразие условий — существенный фак­тор получения сравнимых результатов.

Следующим этапом является непосредственное тестиро­вание. Существуют определенные строгие правила, которые следует соблюдать при проведении тестирования. Эти правила сводятся к следующему:

1. Прежде чем использовать выбранную тестовую методику по прямому назначению, специалист подробно знакомится с нею, убеждается, что тесты отвечают предъявляемым к ним требо­ваниям, после чего пробует тест на самом себе (в крайнем случае — на другом человеке). Профессионализм психолога предполагает умение ставить опыты на себе, в том числе опыты по примене­нию к самому себе соответствующих тестовых методик.

2. Перед началом выполнения теста проводится тщатель­ный инструктаж испытуемых, им разъясняются цели и задачи тестирования, порядок и правила выполнения тестовых зада­ний, основные положения сопровождающей тест инструкции.

3. Во время проведения тестирования психолог следит за работой испытуемых. Последние должны работать самостоя­тельно, независимо друг от друга, без посторонней помощи, спо­собной изменить результаты тестирования. Отдельные уточня­ющие вопросы в процессе тестирования испытуемый задает, обращаясь непосредственно к психологу, проводящему тести­рование.

Завершающим этапом тестирования является интерпре­тация результатов исследования.

Каждая тестовая методика должна сопровождаться обосно­ванной и выверенной программой обработки и интерпретации результатов тестирования. Такая программа включает в себя и применение статистико-математической обработки первичных данных (к примеру, установление корреляционных связей меж­ду различными показателями психологических свойств лично­сти испытуемых, порядок и способы расчетов социометрических индексов и т. п. ).

Интерпретация результатов исследования во многом зави­сит от продуктивного взаимодействия клиента с психологом- диагностом. На это справедливо указывает Г. С. Абрамова1. Ее рассуждения на этот счет сводятся к следующему.

Анализ и интерпретация данных исследования проводят­ся с целью точной оценки свойств, состояний или уровня психи­ческого развития, достигнутого индивидуумом или группой. Полученная в результате этого психологическая информация позволяет решать следующие задачи:

- выявлять состояния развитости соответствующего психо­логического свойства у индивидуума и определять динамику развития этого свойства в течение определенного времени;

- устанавливать реальные изменения в поведении индиви­да (группы) под влиянием учебно-воспитательных воздействий;

- разделять обследуемых на подгруппы для последующей дифференцированной работы с ними с учетом достигнутого ре­зультата их развития;

- определять профессиональную пригодность индивида или группы для выполнения своих служебных обязанностей;

- разрабатывать рекомендации для последующего прове­дения психокоррекционной работы;

- составлять прогнозные оценки развития качеств личнос­ти испытуемых;

- разрабатывать предложения и рекомендации для инди­вида по выбору его жизненного пути (режим работы и отдыха, проведение досуга, образ жизни, выбор профессии, брачного партнера и т. п. ), а также по проблемам самообразования, само­развития, самоорганизации, самовоспитания.

Таким образом, методология тестовых исследований сис­тем управления имеет достаточно сложное содержание. Эффек­тивное проведение тестирования во многом определяется соблю­дением принципов тестирования (действенности и достоверно­сти) и верным выбором основных методов тестирования (метод факторного анализа, проективные методы и др. ). Процесс про­ведения тестирования включает в себя три основных этапа: выбор тестовой методики непосредственное тестирование, ин­терпретация результатов исследования.

Важные рекомендации по проведению тестирования вклю­чают в себя:

1. Тестирование эффективнее применять в комбинации с другими методами исследования систем управления.

2. Необходимо оценить действенность теста в конкретной организации, недостаточно удостоверится в том, что этот тест оказался действенным в похожих организациях.

3. Необходимо вести подробные записи результатов тести­рования.

4. Важно использовать услуги специалиста психолога.

5. Очень важны условия тестирования.

6. Необходимо периодически проверять тесты на действен­ность.

Точное соблюдение техники тестирования позволяет решить ряд важных задач в области управления предприятием (подбор сотрудников с необходимыми личностно-профессиональными качествами, повышение мотивации работников и т. д.).

<< | >>
Источник: Фомичев А. Н.. Исследование систем управления: Учебник / А. Н. Фо­мичев. — М.: Издательско-торговая корпорация «Дашков и К°», — 348 с.. 2013

Еще по теме 4.3. Тестирование в исследовании систем управления:

  1. Глущенко В.В., Глущенко И.И.. Исследование систем управления: социологические, экономические, прогнозные, плановые, экспериментальные исследования: Учеб. Пособие для вузов. - г. Железнодорожный, Моск. обл.: ООО НПЦ «Крылья», - 416 с., 2004
  2. Мишин В.М.. Исследование систем управления: Учебник для вузов. - М.: ЮНИТИ-ДАНА, - 527 с., 2003
  3. Макашева З.М.. Исследование систем управления : учебное пособие / З.М. Макаше­ва. - М.: КНОРУС, - 176 с., 2008
  4. Игнатьева А.В., Максимцов М.М.. Исследование систем управления: Учеб. пособие для вузов. - М.: ЮНИТИ-ДАНА, – 157 с., 2000
  5. Социологические исследования систем управления
  6. Мухин В.И.. Исследование систем управления: Учебник для вузов / В.И. Мухин — М.: Издательство «Экзамен»,— 384 с., 2003
  7. Фомичев А. Н.. Исследование систем управления: Учебник / А. Н. Фо­мичев. — М.: Издательско-торговая корпорация «Дашков и К°», — 348 с., 2013
  8. Социологические исследования власти и влияния в системе социального управления
  9. Алексеев С.И.. ИССЛЕДОВАНИЕ СИСТЕМ УПРАВЛЕНИЯ:— М.: Изд. центр ЕАОИ. — 195 с., 2008
  10. Мыльник В.В., Титаренко Б.П., Волочиенко В.А.. Исследование систем управления: Учебное пособие для вузов. – 2-е изд., перераб. и доп. – М: Академический Проект; Екатеринбург: Деловая книга –– 352 с., 2003
  11. МУЛЬТИРЫНОЧНОЕ ТЕСТИРОВАНИЕ СИСТЕМЫ
  12. 2.4. Методический инструментарий исследования и оценки трудового потенциала работников. Направления рационализации системы управления персоналом предприятий
  13. ЭТАПЫ ПОСТРОЕНИЯ И ТЕСТИРОВАНИЯ ТОРГОВОЙ СИСТЕМЫ
  14. 20. Тестирование и оптимизация торговых систем
  15. A.B. Игнатьева, М.М. Максимцов. Исследование систем управления: учеб. пособие для сту­дентов вузов, обучающихся по специальностям «Государ­ственное и муниципальное управление» и «Менеджмент». — 2-е изд., перераб. и доп. — М.: ЮНИТИ-ДАНА: Закон и право, — 167 с., 2012
  16. Современная система управления финансами. Управление финансами: понятие, объекты и субъекты управления, функции
  17. Система понятий социологического исследования
  18. 3.5. ИНФОРМАЦИОННОЕ И ТЕХНИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМЫ УПРАВЛЕНИЯ ПЕРСОНАЛОМ3.5.1. Информационное обеспечение системы управления персоналом организации
  19. 1.3. Управление маркетингом в системе управления предприятием
  20. 8. ТЕСТИРОВАНИЕ КАК МЕТОД ПЕДАГОГИЧЕСКОЙ ПСИХОЛОГИИ