Главная Экономика Книги Моделювання економіки - Вітлінський В.В.

Моделювання економіки - Вітлінський В.В.

6.6. Моделювання рейтингового оцінювання вищого навчального закладу

{Вітлінський В. В., Оболенська Т. Є., Жигоцька Н. В. Моделювання рейтингової оцінки вищого навчального закладу // Економічна кібернетика. — 2000. — № 3, 4. — С. 64—73.}

Розгляньмо проблему визначення рейтингу вищих навчальних закладів (ВНЗ) серед їх вибірки стосовно до якості та умов надання освітніх послуг. Про актуальність даної тематики свідчить низка публікацій, де подаються результати рейтингової оцінки ВНЗ. У деяких працях методика визначення рейтингу подається лише на концептуальному (вербальному) рівні, в інших — в основу покладено метод анкетування експертів. ЮНЕСКО визначає залежність якості отримуваної освіти від якості складових частин даної системи: кваліфікації професорсько-викладацького персоналу, рівня розробленості навчальних програм, якості довузівської підготовки студентів, стану інфраструктури ВНЗ, а також його внутрішнього та зовнішнього середовища тощо*4.

*4: {Матеріали Всесвітньої конференції ЮНЕСКО з вищої освіти // АМ. — 1998. — № 11, 12; 1999. — № 1.}

Аналіз та систематизація якісних і кількісних даних про рівень пропонованих ВНЗ освітніх послуг та умов їх надання має неабияке значення, адже система освіти є одним із наймасовіших соціальних інститутів. Визначення рейтингу ВНЗ дає можливість з’ясувати певні наявні тенденції, прагнення, сподівання в системі вищої освіти, на тлі яких більш виразними стають досягнення та недоліки конкретних ВНЗ, а це може слугувати, зокрема, правильному та своєчасному визначенню ними пріоритетних напрямів розвитку власної освітньої політики. Зауважимо також, що визначення рейтингу ВНЗ можна розглядати і як порівняльну оцінку ризиків можливого користувача освітніх послуг щодо отримання ним якісних знань або потенційного роботодавця щодо залучення добре підготовленого фахівця.

Визначимо рейтинг ВНЗ як кількісну експертну оцінку позиції об’єкта дослідження, який аналізується серед групи однотипних об’єктів за системою якісних та кількісних показників (критеріїв) з урахуванням їхніх вагових коефіцієнтів.

Відносно точна та якнайоб’єктивніша оцінка якості освітньої діяльності ВНЗ не може ґрунтуватися на довільному наборі показників. Сучасна соціально-економічна теорія сформувала підхід до оцінки якості діяльності різних об’єктів соціально-економічної сфери не лише як певну якісну характеристику, але і як кількісно вимірюване явище. Це дозволяє сформулювати загальні принципи побудови науково обґрунтованої методики визначення рейтингу однорідних груп об’єктів, зокрема ВНЗ. Як науковий метод порівняння групи ВНЗ з метою їх упорядкування за якістю й умовами надання освітніх послуг передбачає виокремлення адекватних критеріїв якісної та кількісної оцінки об’єкта дослідження, які фіксують органічні, суттєві характеристики і зв’язки між різними складовими, що забезпечують надання якісних освітніх послуг певним ВНЗ; характеристику взаємозалежностей, вагомості та підпорядкування критеріїв оцінювання.

Важливим є визначення, аналіз та структуризація різних груп показників оцінювання, вибір та обґрунтування яких мають здійснюватися з урахуванням цілей порівняння відповідно до теорії менеджменту. У процесі порівняння, на наш погляд, доцільно порівнювати також блоки показників, які оцінюють споріднені риси (характеристики) об’єктів дослідження. Зазначимо, що малопродуктивним є порівняння об’єктів (систем) за показниками, які не структуровані та не мають між собою нічого спільного. Звідси — необхідність звернення, скажімо, до кількісних показників. Відомо, що кількісні показники та якісні характеристики переплітаються та взаємодоповнюються.

Останнім часом особливий інтерес викликають системи для підтримки процесів прийняття рішень, ранжирування об’єктів усередині вибірки, наприклад, дорадчі та експертні системи. Назви цих систем повністю відповідають їхньому призначенню: давати на запит користувачів поради щодо їхнього поводження у ситуаціях невизначеності та ризику, спираючись на науково обґрунтовані методи та експертні оцінки досвідчених фахівців.

Задачу визначення рейтингу окремого ВНЗ серед їхньої вибіркової множини можна віднести до класу слабоструктурованих проблем, оскільки вона вирішується в умовах невизначеності, наявності багатьох критеріїв і зумовленого цим ризику.

Питанням упорядкування об’єктів певної вибірки та прийняття рішень в умовах невизначеності й багатокритеріальності присвячено низку наукових праць.

Визначення рейтингу включає такі основні етапи:

• збір, систематизація та аналітичне опрацювання інформації (статистичної, експертної) за обраний для аналізу період;
• вибір та обґрунтування системи показників, що використовуються для обчислення рейтингової оцінки, їх структуризація;
• розроблення методології, методики та інструментарію щодо обчислення інтегрованого показника рейтингової оцінки;
• ранжирування об’єктів (елементів вибірки) згідно з кількісним значенням інтегрованого показника рейтингової оцінки для кожного з них.

У низці праць пропонується підхід, згідно з яким потрібно сформувати матрицю з елементів aij (i = 1, …, n; j = 1, …, m), рядки якої (i = 1, …, n) означають номери відповідних деталізованих показників якості освітніх послуг ВНЗ, а стовпчики (j = 1, …, m) — номери об’єктів (ВНЗ) рейтингового оцінювання. Іншими словами, вибірка складається з m ВНЗ, де aij — деталізовані показники рейтингової оцінки j-го об’єкта.

Зазначимо, що рейтингове оцінювання може здійснюватися з урахуванням вагомості (пріоритетності) окремих показників чи їх підмножини і має кілька модифікацій.

Перша модифікація полягає у визначенні рейтингу згідно з максимальним значенням кількісної оцінки інтегрованого показника. Тобто найвищий рейтинг матиме той ВНЗ, котрий отримує найбільший сумарний результат. Інтегрований показник визначається за формулою:

(6.1)

де — інтегрований кількісний показник якості освітніх послуг j-го ВНЗ, j = 1, …, m.

Згідно з цією модифікацією рейтингову оцінку формуватимуть переважно ті деталізовані показники, значення кількісних оцінок яких домінує незалежно від їх важливості (вагомості) та характеризує лише окремі аспекти успішної діяльності об’єкта дослідження. Тут випускаються нюанси, які пов’язані з тим, що збільшення значень деяких показників буде позитивним лише до певного рівня, а подальше їх зростання характеризується неоднозначно. У даному випадку також неможливо врахувати показники, зниження значень яких слід розглядати як позитивне явище, тощо.

Друга модифікація рейтингового оцінювання ґрунтується на врахуванні вагомості кожного деталізованого показника, i = 1, …, n:

(6.2)

де — інтегрований кількісний показник якості освітніх послуг j-го ВНЗ, j = 1, …, m; ki — ваговий коефіцієнт відповідного деталізованого показника, i = 1, …, n.

Ця модифікація дозволяє врахувати чинник переваг (вагомості) окремого деталізованого показника, оскільки вагові коефіці- єнти, які визначаються також експертним способом, беруть до уваги відносну вагомість кожного з обраних показників.

Але недоліком цієї модифікації є те, що деталізовані показники якості дещо нівелюються, бо внесок великих кількісних значень одних деталізованих показників до загальної оцінки рейтингу компенсує низькі значення інших (функція (2) адитивна).

Третя модифікація реалізує важливий принцип співвимірності деталізованих показників шляхом зіставлення їх із показниками того ВНЗ, для якого відповідний деталізований показник має найкраще (максимальне) значення у вибірці. Так, для кожного показника можна відшукати у вибірці максимальне значення, після чого показники aijнормалізуються, зокрема, діленням їх на відшукане максимальне кількісне значення і-го показника у вибірці:

(6.3)

де xij — стандартизовані (нормалізовані) деталізовані показники якості.

Далі рейтингова оцінка може обчислюватися, наприклад, за формулою:

(6.4)

де — інтегрований кількісний показник якості освітніх послуг j-го ВНЗ, j = 1, …, m.

Найвищий рейтинг у вибірці у цьому разі має об’єкт з мінімальним значенням R(3).

Четверта модифікація рейтингового оцінювання має на меті врахування вагомості кожного деталізованого показника відповідно до встановлених експертами пріоритетів:

(6.5)

де — інтегрований кількісний показник якості освітніх послуг j-го ВНЗ, j = 1, …, m; ki — вагові коефіцієнти.

П’ята модифікація рейтингового оцінювання ґрунтується на використанні як кількісної міри ризику середньоквадратичного відхилення від деякої бази, за яку, зокрема, можна обрати математичне сподівання (середнє) кожного з показників об’єктів оцінювання:

(6.6)

де mi — математичне сподівання (середнє) і-го показника у вибірці.

Можна навести ще низку модифікацій обчислення інтегрованого показника визначення рейтингової оцінки, кожна з яких має недоліки, що знижують об’єктивність та адекватність оцінювання.

Очевидно, має сенс впровадити як адекватну міру інтегрованого показника рейтингової оцінки модифіковане зважене середньогеометричне (мультиплікативний підхід) і визначати рейтингову оцінку за формулою:

(6.7)

де — інтегрований кількісний показник якості освітніх послуг j-го ВНЗ, j = 1, …, m.

Якщо i-й показник має додатний інгредієнт (якщо прагнуть досягти його максимально можливого значення), то:

(6.8)

де І1 — підмножина показників, які мають додатний інгредієнт; — мінімальне кількісне значення і-го показника у вибірці ВНЗ, ; — максимальне кількісне значення і-го показника у вибірці ВНЗ,

Якщо ж і-й показник має від’ємний інгредієнт, тобто коли прагнуть досягти його мінімально можливого значення, то:

(6.9)

де І2 — підмножина показників, які мають від’ємний інгредієнт.

Наголосимо також на необхідності того, щоб вагові коефіцієнти ki, (ki ? 0), i = 1, …, n, які містяться у формулі (6.7), також були нормалізованими, тобто щоб виконувалась умова:

(6.10)

У даному разі у формулі (6.7) як високі нормалізовані кількісні значення окремих деталізованих показників, так і низькі значення інших менше нівелюються, ніж за адитивного підходу, який використовується в (6.1), (6.2), (6.4), (6.5) у визначенні інтегрованого показника рейтингового оцінювання. У даному випадку ВНЗ (об’єкти дослідження) будуть упорядковані згідно зі зниженням значень інтегрованого показника Rj, j = 1, …, m. Найкращим виявиться об’єкт j0 з даної вибірки, для якого набуде максимального значення:

(6.11)

Зазначимо, що проблема багатоцільового (багатокритеріального) рейтингового оцінювання та впорядкування елементів (об’єктів) певної вибіркової множини характеризується трьома чинниками: {n, k, w}, де n — метод нормалізації, k — співвідношення пріоритету (вагомість), w — критерій згортки.

Нормалізація застосовується для переходу до порівняльних шкал у значеннях показників якості освітніх послуг і, як результат, рейтингового оцінювання ВНЗ. Під співвідношенням пріоритету (k) матимемо на увазі вектор вагових коефіцієнтів (k1, …, kn) на компонентах відповідних деталізованих показників. Виникає також проблема щодо знаходження вагових коефіцієнтів (ki, i = 1, …, n), деталізованих показників оцінювання якості освітніх послуг та умов їх надання, що визначають рейтинг конкретного ВНЗ у вибірці.

Під критерієм згортки матимемо на увазі інтегрований (синтезований) показник, згідно з яким визначається рейтинг ВНЗ серед вибірки. За цим показником здійснюється впорядкування множини елементів заданої вибірки. Як правило, критерій згортки є функцією, що відображає Rn в R1.

Існують різні підходи та методи нормалізації, принципи урахування пріоритету та критерії згортки*5. Для наших цілей може бути корисним метод аналізу ієрархій, який знайшов уже багато практичних застосувань. Цей метод передбачає декомпозицію проблеми на окремі складові, забезпечуючи її структурування і спрощення з виділенням (побудовою) ієрархії, що містить різні критерії.

*5: {Вітлінський В. В. Аналіз, оцінка і моделювання економічного ризику. — К.: ДЕМІУР, 1996.}

Відносна перевага (вагомість) різних кількісних та якісних деталізованих критеріїв (показників) визначається окремо для кожного показника (елементу) ієрархічної структури з погля- ду елементу, який міститься на безпосередньо вищому рівні ієрархії.

Узагальнений алгоритм методу аналізу ієрархій складається з таких кроків:

Крок 1. Формування багаторівневої ієрархічної структури, котра містить на верхньому рівні інтегрований показник визначення рейтингу, нижче — часткові критерії (блоки показників) і т. д. На найнижчому рівні ієрархії розташовані деталізовані показники, для яких не має сенсу подальша їх деталізація.

Крок 2. Побудова матриць попарних порівнянь елементів ієрархічної структури, що містяться на певному рівні ієрархії (окрім інтегрованого) з погляду критерію безпосередньо вищого рівня, який деталізують порівнювані елементи.

Крок 3. Обчислення значень вагових коефіцієнтів (векторів) кожного з елементів ієрархічної структури (окрім інтегрованого) з погляду елементу, який розташований на безпосередньо вищому рівні ієрархії. Треба наголосити, що після реалізації третього кроку є сенс здійснити перевірку органічності та адекватності кількісної оцінки пріоритетів.

Крок 4. Обчислення вектора вагових коефіцієнтів деталізованих показників якості освітніх послуг, які розташовані на найнижчому рівні ієрархічної структури з погляду інтегрованого показника, що міститься на вершині ієрархічної структури. Іншими словами, обчислюються кількісні значення вагових коефіцієнтів деталізованих показників та проводиться нормалізація їх. Отримані показники ki, i = 1, …, n повинні задовольняти умову (6.10).

Крок 5. Обчислення інтегрованого показника рейтингового оцінювання конкретного ВНЗ, тобто значень j = 1, …, m, згідно з якими здійснюється впорядкування об’єктів досліджуваної множини.

Під час формування ієрархічної структури проводиться декомпозиція показників якості (рейтингового оцінювання) з використанням інтегрованого показника рейтингової оцінки, груп показників, підгруп, різних критеріальних функцій. Зазначимо, що елементи однакових рівнів ієрархії повинні бути зіставлюваними один з одним і мати властивості повноти (враховувати основні суттєві сторони якості об’єктів, що досліджуються) та однопорядковий ступінь їхньої значущості.

У результаті проведеного аналізу, систематизації та групування показників, які впливають на якість або свідчать про умови надання освітніх послуг, розроблена та подана на рис. 6.5—6.9 ієрархічна структура критеріїв оцінювання. Найнижчий рівень наведеної ієрархії містить деталізовані показники, що прямо чи опосередковано впливають на якість та умови надання освітніх послуг ВНЗ або свідчать про результати його освітньої діяльності (рис. 6.6—6.9). Ієрархію завершує інтегрований показник рейтингу ВНЗ (рис. 6.5).

Рис. 6.5.Три верхніх рівні ієрархії показників визначення рейтингу ВНЗ

Рис. 6.6. Деталізація блоку чинників безпосереднього впливу на якість навчального процесу

Рис. 6.7. Деталізація чинників опосередкованого впливу на якість навчального процесу

Рис 6.8.Деталізація блоку критеріїв, що свідчать про умови надання ВНЗ освітніх послуг

Рис. 6.9. Ієрархія чинників, що характеризують стан ринку праці

Зазначимо, що всі наведені на рисунках деталізовані показники можна поділити на групи. Показники першої групи визначають на основі статистичної (кількісної) інформації, джерелом якої є офіційні матеріали Міністерства освіти та науки України, звітність ВНЗ, матеріали ліцензування, акредитації тощо. Другу групу становлять показники, по яких відсутні статистичні (звітні) дані, а також ті, які можна визначити лише на якісному (вербальному) рівні тощо. Джерелом такої інформації можуть бути опитування безпосередніх користувачів освітніх послуг — студентів, а також їхніх родин та потенційних роботодавців — щодо визначення важливості тих чи інших окремих критеріїв або їх груп. У зв’язку з відсутністю для другої групи показників достовірної статистичної інформації є сенс використовувати методи, що ґрунтуються на досвіді та інтуїції, тобто евристичні методи чи методи експертних оцінок.

Особливістю евристичних методів і моделей є відсутність строгих математичних доведень однозначності (категоричності) отриманих оцінок. Прикладами традиційних евристичних про- цедур є різноманітні експертизи, наради тощо, результатом котрих є експертні оцінки стану об’єкта дослідження або наслідків його діяльності. На практиці застосовуються як індивідуальні, так і групові експертні оцінки (опитування)*6.

*6: {Андрейчиков А. В., Андрейчикова О. Н. Анализ, синтез, планирование решений в экономике. — М.: Финансы и статистика, 2000. — 368 с.}

Перевагою індивідуальної експертизи є оперативність оцінювання та відносно невеликі витрати. Як недолік необхідно відзначити високий ступінь суб’єктивності і — як наслідок — відсутність впевненості у достовірності отриманих оцінок. Цей недолік покликані знизити (зменшити) групові експертні оцінки.

Наголосимо, що у визначенні оцінок експертним способом, окрім похибки, яка вноситься браком інформації щодо досліджуваного об’єкта і недостатньою компетентністю експертів, можливою є похибка іншого роду, яка зумовлена зацікавленістю експертів у результатах, що неминуче відіб’ється на достовірності оцінювання.

Характерними особливостями методів експертних оцінок і моделей їх реалізації як інструментарію наукового розв’язання складних слабоформалізованих проблем є, по-перше, науково обґрунтована організація всіх етапів експертизи, що забезпечує ефективність роботи на кожному з них, і, по-друге, використання кількісних методів як в організації експертизи, так і в оцінюванні висновків експертів на основі формалізованого опрацювання результатів їхніх суджень. Ці особливості відрізняють методи експертних оцінок від звичайної, давно відомої експертизи, що використовується у різних сферах людської діяльності.

Загальна схема експертного оцінювання включає такі основні етапи*7:

• *7: {Литвак Б. Г. Экспертная информация. — М.: Сов. радио, 1982.}
• добір експертів і формування експертних груп;
• формування запитань і складання анкет;
• формування правил визначення сумарних оцінок на основі висновків окремих експертів;
• аналіз і опрацювання експертних оцінок.

Запропонований підхід припускає низку модифікацій. Ясно, що коли вибірку становлять ВНЗ конкретного напряму підготовки фахівців та певного освітньо-кваліфікаційного рівня, то забезпечується більша об’єктивність результату.