МИНИСТЕРСТВО ЗДРАВООХРАНЕНИЯ ХАБАРОВСКОГО КРАЯ
ПРИКАЗ
от 31 октября 2002 г. N 291
О ВВЕДЕНИИ В ДЕЙСТВИЕ ОТРАСЛЕВОГО СТАНДАРТА "КЛИНИКО -
ЭКОНОМИЧЕСКИЕ ИССЛЕДОВАНИЯ. ОБЩИЕ ПОЛОЖЕНИЯ"
В целях развития системы стандартизации в здравоохранении
Российской Федерации и унификации подходов к проведению и
использованию результатов клинико - экономических исследований
объявляю:
1. Приказ Министра здравоохранения Российской Федерации от
27.05.2002 N 163 "О введении в действие отраслевого стандарта
"Клинико - экономические исследования. Общие положения"
(ОСТ 91500.14.0001-2002) (прилагается). Приказываю:
1. Руководителям структурных подразделений министерства
здравоохранения Хабаровского края руководствоваться в работе при
проведении и использовании результатов клинико - экономических
исследований требованиями ОСТ 91500.14.0001-2002
"Клинико - экономические исследования. Общие положения".
2. Руководителям органов управления здравоохранением
муниципальных образований и учреждений здравоохранения края
привести деятельность подведомственных лечебно - профилактических
учреждений в соответствие с требованиями ОСТ 91500.14.0001-2002
"Клинико - экономические исследования. Общие положения".
3. Ректору государственного учреждения дополнительного
профессионального образования "Институт повышения квалификации
специалистов здравоохранения" министерства здравоохранения
Хабаровского края Сулейманову С.Ш. организовать обучение
специалистов на цикле "Стандартизация в здравоохранении" с учетом
требований ОСТ 91500.14.0001-2002 "Клинико - экономические
исследования. Общие положения".
4. Контроль за выполнением настоящего приказа возложить на
первого заместителя министра здравоохранения Хабаровского края
Тропникову В.Е.
Министр здравоохранения
В.М.Савкова
МИНИСТЕРСТВО ЗДРАВООХРАНЕНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
ПРИКАЗ
от 27 мая 2002 г. N 163
ОБ УТВЕРЖДЕНИИ ОТРАСЛЕВОГО СТАНДАРТА "КЛИНИКО -
ЭКОНОМИЧЕСКИЕ ИССЛЕДОВАНИЯ. ОБЩИЕ ПОЛОЖЕНИЯ"
В целях развития системы стандартизации в здравоохранении
Российской Федерации и унификации подходов к проведению и
использованию результатов клинико - экономических исследований
приказываю:
1. Утвердить отраслевой стандарт "Клинико - экономические
исследования. Общие положения" (ОСТ 91500.14.0001-2002)
(приложение).
2. Контроль за выполнением настоящего приказа возложить на
Первого заместителя Министра здравоохранения Российской Федерации
Вялкова А.И.
Министр
Ю.Л.Шевченко
Отраслевой стандарт ОСТ 91500.14.0001-2002 "Клинико -
экономические исследования. Общие положения" разработан под
руководством первого заместителя Министра здравоохранения
Российской Федерации А.И.Вялкова и заместителя Министра
здравоохранения Российской Федерации А.В.Катлинского Московской
медицинской академией им. И.М.Сеченова Министерства
здравоохранения Российской Федерации (П.А.Воробьев,
М.В.Авксентьева, В.Б.Герасимов, С.Г.Горохова, Е.В.Вольская).
Приложение
к Приказу
Министерства здравоохранения
Российской Федерации
от 27 мая 2002 г. N 163
ОТРАСЛЕВОЙ СТАНДАРТ
СИСТЕМА СТАНДАРТИЗАЦИИ В ЗДРАВООХРАНЕНИИ
РОССИЙСКОЙ ФЕДЕРАЦИИ
КЛИНИКО - ЭКОНОМИЧЕСКИЕ ИССЛЕДОВАНИЯ.
ОБЩИЕ ПОЛОЖЕНИЯ
91500.14.0001.2002
I. ОБЛАСТЬ ПРИМЕНЕНИЯ
Отраслевой стандарт "Клинико - экономические исследования.
Общие положения" предназначен для применения в системе
здравоохранения Российской Федерации.
ОСТ 91500.14.0001-2002 является открытой системой, элементы
которой поддаются корректировке и дополнению в условиях быстро
развивающихся и совершенствующихся методических подходов к
проведению клинико - экономического исследования.
Требования данного стандарта должны соблюдаться при проведении
клинико - экономических исследований, результаты которых
планируется представить в разрешительные инстанции, а также могут
быть распространены на другие клинико - экономические
исследования.
II. ОБЩИЕ ПОЛОЖЕНИЯ
ОСТ 91500.14.0001-2002 представляет собой свод правил по
проведению и использованию результатов клинико - экономических
исследований, а также документального оформления и представления
их результатов. Соблюдение этих правил служит гарантией
достоверности результатов клинико - экономических исследований, а
также безопасности, охраны прав и здоровья испытуемых и охраны
прав исследователей.
ОСТ 91500.14.0001-2002 создан с целью нормативного обеспечения
реализации Основ законодательства Российской Федерации об охране
здоровья граждан (Ведомости Съезда народных депутатов и Верховного
Совета Российской Федерации, 1993, N 33, ст. 1318); Закона
Российской Федерации "О лекарственных средствах" от 22.06.98
N 86-ФЗ (Собрание Законодательства Российской Федерации, 1998,
N 26, ст. 3006); Закона Российской Федерации "О медицинском
страховании граждан в Российской Федерации" от 28.06.1991 N 1499-1
(Ведомости Съезда народных депутатов и Верховного Совета
Российской Советской Федеративной Социалистической Республики,
1991, N 27, ст. 920); а также Постановления Правительства
Российской Федерации от 05.11.97 N 1387 "О мерах по стабилизации и
развитию здравоохранения и медицинской науки в Российской
Федерации" (Собрание Законодательства Российской Федерации, 1997,
N 46, ст. 5312) и Постановления Правительства Российской Федерации
от 11.09.98 N 1096 "О Программе государственных гарантий
обеспечения граждан Российской Федерации бесплатной медицинской
помощью" (Собрание Законодательства Российской Федерации, 1999,
N 44, ст. 5322).
ОСТ 91500.14.0001-2002 разработан для решения следующих задач:
- унификации подходов к проведению и использованию результатов
клинико - экономических исследований;
- обеспечения безопасности, охраны прав и здоровья испытуемых
при проведении клинико - экономических исследований;
- охраны прав исследователей;
- обоснования выбора лекарственных средств и медицинских
технологий для разработки нормативных документов, обеспечивающих
их рациональное применение;
- унификации разработок базовых программ обязательного
медицинского страхования;
- формирования взаимосвязанных клинических и экономических
требований к эффективности, безопасности, совместимости и
взаимозаменяемости медицинских вмешательств и критериев их оценки;
- научного обоснования разработки единой системы
взаимосвязанных оценок клинических и экономических показателей
эффективности медицинских услуг, установление научно -
обоснованных требований к их номенклатуре и объему;
- экономического обоснования актуализации нормативных
документов системы стандартизации в субъектах Федерации,
учреждениях здравоохранения, медицинских организациях.
III. ВЕДЕНИЕ НОРМАТИВНОГО ДОКУМЕНТА
Ведение настоящего отраслевого стандарта осуществляется
Московской медицинской академией им. И.М.Сеченова Министерства
здравоохранения Российской Федерации. Система ведения
предусматривает взаимодействие Московской медицинской академии
им. И.М.Сеченова Минздрава России со всеми заинтересованными
организациями и лицами, сбор информации о результатах внедрения,
координацию работ по разработке предложений для уточнения,
изменения и актуализации данного отраслевого стандарта.
IV. КЛИНИКО - ЭКОНОМИЧЕСКИЙ АНАЛИЗ
4.1. Типы клинико - экономического анализа
Клинико - экономический анализ - методология сравнительной
оценки качества двух и более методов профилактики, диагностики,
лекарственного и нелекарственного лечения на основе комплексного
взаимосвязанного учета результатов медицинского вмешательства и
затрат на его выполнение. Методология клинико - экономического
анализа применима к любым медицинским вмешательствам -
лекарственным (фармакоэкономика) и нелекарственным способам
лечения, методам диагностики, профилактики и реабилитации, - для
определения экономической целесообразности их использования.
Выделяют основные методы собственно клинико - экономического
анализа и вспомогательные методы, способствующие получению
достоверных и практически значимых результатов.
Основными методами клинико - экономического анализа являются:
Анализ "затраты - эффективность" - тип клинико -
экономического анализа, при котором проводят сравнительную оценку
результатов и затрат при двух и более вмешательствах,
эффективность которых различна, а результаты измеряются в одних и
тех же единицах (миллиметры ртутного столба, концентрация
гемоглобина, число предотвращенных осложнений, годы сохраненной
жизни и т.п.).
Анализ "минимизации затрат" - частный случай анализа
"затраты - эффективность", при котором проводят сравнительную
оценку двух и более вмешательств, характеризующихся идентичной
эффективностью и безопасностью, но разной стоимостью.
Рекомендуется применять анализ минимизации затрат при
сравнительном исследовании разных форм или разных условий
применения одного лекарственного средства или одной медицинской
технологии.
Анализ "затраты - полезность (утилитарность)" - вариант
анализа "затраты - эффективность", при котором результаты
вмешательства оцениваются в единицах "полезности" с точки зрения
потребителя медицинской помощи (например, качество жизни); при
этом наиболее часто используется интегральный показатель
"сохраненные годы качественной жизни" (QALY).
Анализ "затраты - выгода" - тип клинико - экономического
анализа, при котором как затраты, так и результаты представлены в
денежном выражении. Это дает возможность сравнивать экономическую
эффективность различных вмешательств с результатами, выраженными в
различных единицах (например, программу вакцинации против гриппа с
организацией системы интенсивной неонатальной помощи для
выхаживания детей, рожденных с низкой массой тела).
К вспомогательным видам клинико - экономического анализа
относятся:
Анализ "стоимость болезни" - метод изучения всех затрат,
связанных с ведением больных с определенным заболеванием как на
определенном этапе (отрезке времени), так и на всех этапах
оказания медицинской помощи, а также с нетрудоспособностью и
преждевременной смертностью. Данный анализ не предполагает
сравнения эффективности медицинских вмешательств, может
применяться для изучения типичной практики ведения больных с
конкретным заболеванием и используется для достижения определенных
задач, таких как планирование затрат, определение тарифов для
взаиморасчетов между субъектами системы здравоохранения и
медицинского страхования и т.д.
Моделирование - способ изучения различных объектов, процессов
и явлений, основанный на использовании математических (логических)
моделей, представляющих собой упрощенное формализованное описание
изучаемого объекта (пациента, заболевания, эпидемиологической
ситуации) и его динамику при использовании медицинских
вмешательств.
Клинико - экономическое исследование - изучение применения в
клинической практике методов диагностики, профилактики,
лекарственного и нелекарственного лечения, реабилитации,
выполняемое с целью оценки соотношения результатов и связанных с
ними затрат.
Анализ чувствительности - анализ, направленный на определение
того, в какой степени будут меняться результаты исследования при
изменении исходных параметров (колебаниях цен на лекарственные
препараты, изменении показателей эффективности, частоты побочных
эффектов и т.п.).
Дисконтирование - введение поправочного коэффициента при
расчете затрат с учетом влияния временного фактора: затраты,
которые предстоит понести в будущем, менее значимы, чем понесенные
сегодня, и, напротив, выгода, приобретенная сегодня, более ценна,
чем предстоящая в будущем.
Результаты анализа "затраты - эффективность" и "затраты -
полезность" представляются о форме соответствующих показателей
соотношения затрат и достигнутого эффекта и / или коэффициента
приращения затрат (дополнительные затраты, приходящиеся на
достижение дополнительного эффекта. Результаты анализа
"минимизации затрат" представляются в форме абсолютной разницы в
затратах при применении исследуемого вмешательства по сравнению с
альтернативным. Результаты анализа "затраты - выгода"
представляются в форме абсолютной разницы между затратами и
выгодой в денежном выражении, либо в форме коэффициента
соотношения затрат и достигнутого эффекта в денежном выражении.
Рекомендуется дополнительно при представлении отчета об
исследовании указывать отдельно затраты и результаты применения
всех исследуемых вмешательств.
4.2. Структура и методология клинико - экономического анализа
Клинико - экономический анализ состоит из следующих этапов:
а) Разработка плана и программы анализа, включающих:
- формулировку целей и задач анализа;
- выбор альтернативного вмешательства для сравнения;
- выбор критериев оценки эффективности и безопасности
исследуемых медицинских вмешательств;
- разработку (при необходимости) карты дополнительного
клинико - экономического исследования и формы информированного
согласия.
б) Исследование доказательств эффективности и безопасности
медицинского вмешательства.
в) Выбор метода собственно клинико - экономического анализа.
г) Учет затрат при проведении анализа.
д) Экономические расчеты.
е) Исследование чувствительности.
ж) Выводы и предложения с учетом слабых сторон анализа,
ограничивающих применение его результатов.
4.2.1. Формулировка целей и задач анализа
Цели и задачи формулируются исследователем или спонсором
исследования. При определении целей и задач необходимо четко
сформулировать экономическую позицию исследования, а именном: чей
экономический интерес будет приниматься во внимание при
планировании и проведении исследования.
Клинико - экономический анализ может проводиться с позиции:
- экономических интересов общества в целом (включая не только
систему здравоохранения, но и социальные службы, и другие
задействованные сферы);
- экономических интересов системы здравоохранения на
федеральном уровне;
- экономических интересов системы здравоохранения субъекта
Российской Федерации;
- экономических интересов отдельного учреждения, оказывающего
медицинскую помощь или ответственного за ее организацию и
финансирование (лечебного учреждения, страховой медицинской
организации и др.) или частнопрактикующего медицинского работника;
- экономических интересов отдельного пациента или его семьи;
- экономических интересов страховых медицинских организаций,
фондов обязательного медицинского страхования и других учреждений
или лиц (с указанием, каких именно).
4.2.2. Выбор альтернативы для сравнения
При проведении клинико - экономического анализа сравнение
исследуемого вмешательства можно производить:
- с вмешательством, чаще всего использующимся по аналогичным
показаниям (с "типичной практикой" ведения больных с данным
заболеванием; при этом для анализа типичной практики применяется
исследование медицинских (амбулаторных и стационарных) карт
пациентов, опрос экспертов - специалистов в исследуемой области
медицины или опрос пациентов);
- с вмешательством, являющимся на современном уровне развития
медицины оптимальным (наиболее эффективным) среди использующихся
по аналогичным показаниям; при этом для определения оптимальных,
наиболее эффективных вмешательств применяются результаты научных
исследований, выполненных в соответствии с современными принципами
клинической эпидемиологии;
- с наиболее дешевым вмешательством среди использующихся по
аналогичным показаниям;
- с вмешательством, рекомендуемым стандартом, иным нормативным
документом;
- с отсутствием вмешательства (лечения) в тех случаях, когда
оно может иметь место в клинической практике.
Выбор вмешательства для сравнения зависит от позиции
исследования, целей и задач исследования и должен быть обоснован
исследователем.
4.2.3. Оценка эффективности и безопасности медицинских
вмешательств. Критерии
В качестве критериев эффективности медицинских вмешательств
используются:
а) Изменение показателей здоровья в группе, на которую
направлено действие лекарственного средства или нелекарственной
медицинской технологии (смертность, выживаемость,
продолжительность жизни, инвалидизация, число сохраненных лет без
инвалидности и т.п.).
б) Изменение качества жизни, обусловленного здоровьем
(например, число сохраненных лет качественной жизни (QALY).
в) Опосредованные клинические эффекты (снижение частоты
осложнений, сокращение числа повторных госпитализаций и т.п.).
г) Прямые клинические эффекты (например, сдвиг физиологических
и биохимических параметров, на изменение которых направлено
действие лекарственного средства или нелекарственного метода
лечения - снижение артериального давления, прирост гемоглобина,
изменение симптомов заболевания: потеря или восстановление
функций).
Предпочтительным является оценка с использованием критериев а)
и б) групп (окончательные, "жесткие" критерии), однако при
отсутствии подобных данных допускается использование критериев в)
и г) групп (промежуточные, "суррогатные" критерии).
4.2.4. Оценка эффективности и безопасности медицинских
вмешательств. Доказательства
Важнейшим условием проведения клинико - экономического анализа
является изучение данных об эффективности и безопасности
медицинского вмешательства, в т.ч. лекарственного средства.
Значимость оценок эффективности и безопасности зависит от типа
проведенных исследовании и последовательно снижается в ряду:
- доказательства, полученные при проведении систематического
обзора;
- доказательства, полученные в проспективных рандомизированных
исследованиях;
- доказательства, полученные в больших проспективных,
сравнительных, но не рандомизированных исследованиях;
- доказательства, полученные в ретроспективных сравнительных
исследованиях на большой группе;
- доказательства, полученные в несравнительных исследованиях
или исследованиях на ограниченном числе больных;
- доказательства, полученные на отдельных больных;
- формализованное мнение экспертов (например, полученное
дельфийским методом).
Клинико - экономическое исследование может базироваться на
ниже стоящих в ряду доказательствах только при отсутствии более
ценных вышестоящих доказательств.
При проведении собственного клинико - экономического
исследования полученные данные об эффективности и безопасности
медицинской технологии авторам следует сопоставить с результатами
других исследований. При существенных различиях необходимо
проводить анализ чувствительности на вариабельность критериев
эффективности.
4.2.5. Выбор методики экономического исследования
Конкретный выбор основного метода клинико - экономического
анализа зависит от цели исследования; экономической позиции
исследования, заказчика, для которого выполняется данное
исследование; исследуемой медицинской технологии, и от конечного
клинического результата ее применения.
Выбор основного метода клинико - экономического анализа должен
быть обоснован исследователем.
4.2.6. Оценка затрат
При проведении клинико - экономического анализа следует
стремиться к максимально полному учету всех затрат за
фиксированный период времени. Необходимо принимать во внимание,
что в тех случаях, когда эффект медицинского вмешательства
растягивается во времени, период учета затрат может в несколько
раз превышать продолжительность непосредственного лечения. Выбор
временного периода для анализа затрат обосновывается в отчете.
Для оценки структуры затрат на лекарства и услуги используются
АВС анализ (группа А - 80% затрат; группа В - 15%; группа С - 5%);
VEN анализ (V - важные, Е - необходимые, N - второстепенные для
изучаемой патологии); анализ частоты применения медицинских
вмешательств.
4.2.7. Виды затрат
Затраты на медицинские вмешательства состоят из следующих
групп:
а) Прямые медицинские затраты (включают в свой состав все
издержки, понесенные системой здравоохранения), например:
- затраты на диагностические, лечебные, реабилитационные и
профилактические медицинские услуги, манипуляции и процедуры, в
том числе оказываемые на дому (включая оплату рабочего времени
медицинских работников);
- затраты на лекарственные препараты;
- затраты на содержание пациента в лечебном учреждении;
- затраты на транспортировку больного санитарным транспортом;
- плата за использование медицинского оборудования, площадей и
средств (распределение фиксированных затрат из статей бюджета), и
др.
б) Прямые не медицинские затраты:
- наличные ("карманные") расходы пациентов (например - оплата
сервисных услуг в медицинском учреждении);
- затраты на не медицинские услуги, оказываемые пациентам на
дому (например, услуги социальных служб);
- затраты на перемещение пациентов (личным транспортом,
общественным - не санитарным) и т.п.
в) Косвенные (альтернативные) затраты (издержки упущенных
возможностей):
- затраты за период отсутствия пациента на его рабочем месте
из-за болезни или выхода на инвалидность, включая затраты на
оплату листков нетрудоспособности, пособия по инвалидности и иные
социальные выплаты, предусмотренные действующим законодательством;
- "стоимость" времени отсутствия на работе членов его семьи
или друзей, связанные с его болезнью;
- экономические потери от снижения производительности на месте
работы;
- экономические потери от преждевременного наступления смерти.
г) Нематериальные (неосязаемые) затраты - затраты, связанные с
болью, страданиями, дискомфортом, которые испытывает пациент
вследствие проходимого им курса лечения, - из-за трудностей с
точным количественным измерением в денежном выражении на
сегодняшний день обычно остаются за рамками выполняемого анализа.
4.2.8. Источники информации о денежном выражении прямых затрат
При определении размера прямых затрат на медицинские услуги в
денежном выражении используют:
- тарифы на медицинские услуги, действующие в регионе в рамках
системы обязательного медицинского страхования (далее ОМС);
- бюджетные расценки на медицинские услуги, действующие в
конкретном учреждении;
- цены на платные медицинские услуги, в том числе в рамках
добровольного медицинского страхования или иной коммерческой
деятельности;
- усредненные тарифы нескольких медицинских учреждений (не
менее 3 - 5 с обоснованием их выбора);
- результаты собственных экономических расчетов цен на
медицинские услуги (с описанием методики расчета).
При определении размера прямых затрат на лекарственные
средства в денежном выражении используют:
- розничные цены на лекарственные средства в аптечной сети
(при анализе расходов на амбулаторное лечение, а также в случаях,
когда лекарственные средства приобретаются непосредственно
пациентом);
- оптовые цены фирм - дистрибьюторов при анализе расходов на
лечение в стационаре (не менее 3 - 5 дистрибьюторов с обоснованием
выбора).
Предпочтительно использовать усредненные показатели цен.
Источники информации о ценах на лекарственные средства и
медицинские услуги должны быть представлены в отчете.
4.2.9. Расчет затрат
Расчет затрат (определение размера расходов) в процессе
экономического анализа включает в свой состав четыре этапа:
- идентификация и описание использованных ресурсов (перечень
методов диагностики и лечения, лекарственных средств, времени
затраченного медицинским, административным и вспомогательным
персоналом, койко - дни в отделении определенного профиля и др.).
- количественная оценка указанных ресурсов в физических
единицах (число койко - дней, сделанных хирургических операций,
число посещений врачом больного и число дополнительных
консультаций специалистов, инструментальных и лабораторных тестов,
сестринских манипуляций и т.д.).
- оценка каждого из использованных ресурсов в денежном
выражении (затраты на 1 день содержания койки, штатов, проведение
лабораторного или инструментального теста).
- внесение поправок на неопределенность и время
(дисконтирование). Рекомендуемый уровень дисконтирования без учета
инфляции - 5% в год. Полный перечень видов затрат, учтенных при
проведении исследования приводится в отчете наряду с указанием
источников информации о ценах. Рекомендуется также приводить в
приложении цены на услуги и лекарственные средства, использованные
исследователями при проведении анализа.
4.3. Клинико - экономическое исследование
Клинико - экономическое исследование необходимо для получения
информации об эффективности и безопасности медицинских
вмешательств в практике и определения затрат на их использование.
Клинико - экономическое исследование может проводиться:
а) В рамках клинических исследований лекарственных средств или
нелекарственных медицинских вмешательств одновременно с изучением
их эффективности и безопасности.
б) Как самостоятельное исследование:
- ретроспективное наблюдение - изучение медицинской
документации, связанной с применением медицинского вмешательства;
- проспективное наблюдение - изучение эффективности и
безопасности применения медицинских технологий без влияния на
тактику ведения больного лечащим врачом со стороны исследователя;
- проспективное исследование - проведение исследования
эффективности и безопасности медицинского вмешательства с
одновременным экономическим анализом.
в) Клинико - экономический анализ с применением моделирования.
Все клинико - экономические исследования должны проводиться
специалистами, имеющими образование, профессиональную подготовку и
квалификацию, позволяющие им принять ответственность за
надлежащее проведение исследования. Рекомендуется одновременное
привлечение к проведению исследования врачей, экономистов,
клинических фармакологов, программистов, специалистов по обработке
данных.
4.3.1. Руководитель исследования
Исследование возглавляет руководитель - специалист в области
клинической медицины (клинической фармакологии, клинической
эпидемиологии), знающий и соблюдающий требования нормативных
документов, составляющих правила проведения качественных
клинических испытаний.
Осуществляет исследование совместно с достаточным числом
квалифицированных сотрудников, имеющих профессиональное
образование и опыт, соответствующий поставленным задачам.
Персонал проводит исследование в помещениях, обеспечивающих
проведение его в течение всего срока надлежащим и безопасным для
испытуемых образом.
Персонал, принимающий участие в проведении исследования,
знакомится с протоколом, информацией об исследуемом лекарственном
средстве или медицинской технологии, а также со своими функциями и
обязанностями в исследовании.
4.3.2. Информация, полученная в ходе исследования
Сбор, обработка и хранение информации, полученной в ходе
исследования, должны обеспечивать точное и правильное
представление, объяснение и подтверждение данных и проводиться в
соответствии с требованиями настоящего отраслевого стандарта.
4.4. Проведение клинико - экономического исследования в
процессе клинических исследований
Клинико - экономическое исследование, проводящееся в процессе
клинических исследований, должно осуществляться в соответствии с
основополагающими этическими принципами Хельсинкской Декларации,
нормами и правилами качественной клинической практики, настоящим
отраслевым стандартом и иными действующими в этой области
нормативными документами.
Данные о планируемом проведении клинико - экономического
исследования одновременно с клиническим исследованием включаются в
Протокол исследования и представляются Комитету по вопросам
этики в области охраны здоровья граждан (далее Комитет по этике)
вместе с формой информированного согласия и другими документами,
предусмотренными действующей нормативно - правовой документацией.
Данные, сбор и регистрация которых проводится в целях
клинико - экономического исследования, могут вноситься как в
основную расширенную карту испытуемого, так и в отдельную карту,
разработанную специально с учетом целей и задач данного
исследования. Форма расширенной или дополнительной карты
испытуемого согласуется в соответствии с требованиями действующей
нормативно - правовой базы.
4.4.1. Участие испытуемого в исследовании
Испытуемый - участник клинико - экономического исследования,
которому назначается исследуемый препарат или препарат сравнения,
изучаемое или альтернативное медицинское вмешательство, может быть
включен в исследование только на основании добровольного
информированного согласия, полученного после детального
ознакомления с материалами исследования. Данные о проведении
клинико - экономического исследования одновременно с клиническими
исследованиями включаются в форму информированного согласия. При
получении и документальном оформлении информированного согласия
исследователь должен соблюдать действующие нормативные требования,
придерживаться основополагающих этических принципов Хельсинкской
Декларации, сохранять анонимность испытуемого.
4.4.2. Результаты клинико - экономического исследования
Результаты клинико - экономического исследования, проходящего
одновременно с клиническими исследованиями, должны представляться
в виде отдельного отчета одновременно с отчетом по результатам
клинических исследований, включая подробное описание методологии
исследования (в том числе наличие или отсутствие рандомизации,
плацебо контроля и слепого метода, критерии включения и исключения
пациентов из исследования, число единиц наблюдения по группам и
характеристику групп), оценку эффективности исследуемого препарата
или медицинской технологии, данные о частоте зарегистрированных
побочных эффектов, исключении пациентов из исследования, нарушении
протокола, прекращении или приостановке исследования.
Рекомендуемая форма отчета о результатах клинико - экономического
исследования приведена в Приложении 1.
4.5. Клинико - экономическое наблюдение (ретроспективное или
проспективное)
Клинико - экономическое наблюдение (ретроспективное или
проспективное) не подразумевает дополнительного активного
вмешательства на человеке. Назначение методов лечения проводится
лечащим врачом независимо от исследователей; информация собирается
путем выкопировки данных из медицинской документации или опроса
(анкетирования, интервьюирования) пациентов, родственников
пациентов, медицинских работников, иных субъектов в зависимости от
поставленных задач.
С целью гарантии прав лиц, информация о которых будет
подвергаться анализу, Протокол исследования до его начала должен
быть одобрен Экспертным советом / комитетом по этике учреждения,
на базе которого будет проходить исследование. При отсутствии
Экспертного совета по этике непосредственно в учреждении или при
проведении исследования в нескольких учреждениях одновременно,
Протокол исследования одобряется Комитетом по этике.
Доступ к медицинской документации предоставляется лицам с
медицинским образованием. Протокол исследования должен
гарантировать, что вся информация, полученная из медицинской
документации, не подлежит разглашению, распространению или
передаче посторонним лицам. Посторонними в данном случае считаются
лица, не имеющие непосредственного отношения к оказанию
медицинской помощи пациенту. Ответственность за соблюдение
Протокола лежит на руководителе исследования. Для анализа и
отчетности предоставляется обезличенная информация (без указания
имени включенного в исследование). Исследователь не обязан
оповещать пациентов о выкопировке данных из медицинской
документации, касающейся их состояния здоровья.
4.5.1. Получение информации методом опроса
При проведении опроса (анкетирования, интервьюирования)
участник вправе отказаться от участия в исследовании на любом из
этапов. Информация о числе лиц, отказавшихся от участия в ходе
исследования, приводится в отчете без их идентификации.
Отказ от участия в исследовании не может влиять на процесс
оказания медицинской помощи пациенту.
Исследователь должен ознакомить анкетируемых с целями и
задачами исследования, представив им информацию в доступной форме,
по возможности избегая специальных терминов. Протокол исследования
должен гарантировать, что информация, полученная при опросе, не
подлежит разглашению, распространению или передаче посторонним
лицам. Для анализа и отчетности предоставляется обезличенная
информация (без указания имени включенного в исследование).
Кодировка протоколов не может носить персонифицированного
характера.
4.6. Проспективное клинико - экономическое исследование
Клинико - экономическое исследование подразумевает активное
вмешательство исследователя в лечебно - диагностический процесс
(внесение изменений и дополнений в обычную традиционную схему
лечения, в том числе соответствующую Протоколу ведения больных).
Под это определение подходят все исследования, в программу которых
входит планирование медицинского вмешательства исследователем.
При проведении клинико - экономического исследования лечение
проводится строго в соответствии с протоколом исследования.
Отклонение от протокола, обусловленное состоянием здоровья и
интересами пациента, влечет за собой исключение из исследования.
Клинико - экономическое исследование должно соответствовать
основополагающим этическим принципами Хельсинкской Декларации и
действующим нормативным актам Российской Федерации, регулирующим
проведение экспериментов с участием человека в роли испытуемого.
Клинико - экономическое исследование может проводиться с
использованием лекарственных препаратов, зарегистрированных в
Российской Федерации в установленном порядке и по
зарегистрированным показаниям. В случае проведения клинико -
экономического исследования с использованием препаратов, не
зарегистрированных в Российской Федерации или по
незарегистрированным показаниям, исследование рассматривается как
клиническое исследование и должно проводиться в соответствии с
требованиями действующего законодательства в данной области.
При проведении клинико - экономического исследования
необходимо выполнение двух процессов, которые играют важную роль
как для защиты прав и обеспечения безопасности испытуемых,
участвующих в исследовании, так и обеспечения профессиональных
интересов и защиты прав исследователей:
- одобрение Комитета по этике;
- информированное согласие пациентов, участвующих в
исследовании.
На рассмотрение Комитету по этике представляются документы в
соответствии со стандартными операционными процедурами (далее
СОПами).
Процедура получения рецензии Комитета по этике определяется
утвержденными правилами, СОПами или уставом (положением) об
Комитете по этике. Руководитель исследования должен выяснить все
подробности процедуры рецензирования Комитета по этике, его
графика работы, а также документации, подлежащей проверке, и несет
ответственность за взаимодействие с Комитетом по этике и за
предоставление ему информации об исследовании, а также за
получение документального подтверждения соответствующего
одобрения.
Критерии включения пациентов в исследование и исключения из
исследования должны быть определены таким образом, чтобы риск
возможного вреда был сведен к минимуму.
В течение и после окончания участия испытуемого в исследовании
исследователь / медицинское учреждение должны обеспечить оказание
испытуемому необходимой медицинской помощи в случае любых
проявившихся в ходе исследования негативных проявлений, включая
клинически значимые изменения лабораторных показателей.
Вся информация, полученная в ходе исследования, не подлежит
разглашению, распространению или передаче посторонним лицам
(непосредственно не связанным с оказанием медицинской помощи
пациентам). Для исследования и отчетности предоставляется
обезличенная информация (без указания имени испытуемого).
4.6.1. Информированное добровольное согласие
Информированное добровольное согласие представляет собой
документально оформленное согласие испытуемого на участие в
клинико - экономическом исследовании после ознакомления со всеми
его особенностями.
Проспективное клинико - экономическое исследование может
проводиться только с письменного информированного добровольного
согласия пациента или его законных представителей.
При получении и документальном оформлении информированного
добровольного согласия исследователь должен соблюдать действующие
нормативные требования и основополагающие этические принципы
Хельсинкской Декларации.
Информация для потенциального участника исследования состоит
из двух составляющих:
- информация о планируемом исследовании (включая сведения об
исследуемом препарате);
- информации о правах пациента.
Основную информацию потенциальный участник получает на этапе
включения в исследование. Эта информация представляется в виде
документа, который на практике состоит из двух частей: собственно
информационной и формы информированного согласия, которую должен
подписать доброволец - потенциальный участник исследования.
Независимые комитеты по этике должны оценить адекватность
этого документа существующим требованиям.
В ходе исследования участник должен в обязательном порядке
получать информацию, касающуюся дополнений в протокол
исследования, его изменений, вновь полученных данных о действии
препарата в той мере, в которой эта информация может повлиять на
решение пациента продолжать свое участие в исследовании.
Способствовать текущему информированию участника, одобрять новые
версии информированного согласия или дополнения к нему входит в
функции Экспертного совета / комитета по этике.
К информированию участника исследования предъявляются
следующие требования:
- потенциальному участнику исследования должна предоставляться
письменная информация и форма информированного согласия только
после одобрения этих документов Экспертным советом / комитетом по
этике;
- потенциальный участник или его законные представители должны
иметь достаточно времени для обдумывания и принятия решения;
- информация, предоставляемая участнику, должна быть
достоверной и актуальной; в ней следует избегать непонятных
участнику научных терминов, либо эти термины должны быть
объяснены;
- при появлении новой информации об исследуемом препарате,
ходе исследования и пр., такая информация также должна доводиться
до сведения испытуемого в письменном виде (в виде новой
дополненной версии информированного согласия или дополнения к
нему) также после одобрения Экспертным советом / комитетом по
этике;
- врач - исследователь или его коллеги не должны оказывать
давления на потенциального участника исследования с целью добиться
его согласия;
- врач - исследователь должен предоставить участнику
исследования на любом его этапе всю информацию по запросам
участника;
- информация для участника исследования и информированное
добровольное согласие должны составлять единый документ,
желательно с единой нумерацией страниц с указанием на каждой
странице ее текущего номера и общего их числа (1 из 5; 2 из 5
и т.д.), испытуемый должен расписаться в получении одного
экземпляра этого документа, подписанного врачом - исследователем.
Информационный документ, предоставляемый потенциальному
участнику исследования, должен содержать следующие сведения:
- название исследования (номер протокола);
- компания - спонсор (если она есть);
- цели и задачи исследования, обоснование его необходимости;
- вид исследования, его продолжительность для каждого
участника (желательно указать, сколько человек участвует в
исследовании в России и других странах); вероятность попадания
участника в одну из групп;
- характеристика исследуемого препарата и препарата (схемы
лечения) для сравнения;
- процедуры исследования, включая инвазивные методы;
- возможная польза для участника, риск и неудобства; если
исследование не имеет терапевтических целей, необходимо сообщить
об этом участнику;
- действия участника в случае непредвиденных воздействий на
состояние здоровья - к кому он должен обратиться и в какие сроки;
- альтернативные методы лечения;
- расходы участника, если таковые ожидаются в связи с его
участием в исследовании; порядок и размер выплат по компенсации
расходов, если таковая предусмотрена;
- обязанности участника исследования;
- компенсация, на которую участник может рассчитывать в случае
нанесения вреда его здоровью в ходе исследования;
- информация об анонимности участия в исследовании и о
возможности и пределах раскрытия информации об участнике
определенным лицам (аудиторам, мониторам и т.д.);
- обязательства врача - исследователя довести до участника
новые сведения об исследовании, которые могут повлиять на желание
участника продолжить исследование;
- сведения об одобрении протокола исследования Экспертным
советом / комитетом по этике;
- куда может обратиться участник для получения дополнительной
информации;
- возможные обстоятельства и / или причины, по которым участие
в исследовании может быть прекращено.
Информация для участника исследования должна обладать
следующими свойствами:
- быть полной, правдивой (объективной) и достоверной;
- быть актуальной, что достигается за счет текущего
оперативного информирования;
- быть доступной, т.е. понятной для читателя - неспециалиста;
- текст должен быть составлен грамотно, перевод - хорошо
отредактирован и адаптирован (ошибки и плохой стиль создают
впечатление о малограмотности и недостаточно уважительном
отношении к потенциальным участникам);
- информация должна подаваться с деликатностью и чувством
такта.
Качество содержания документа контролируют Комитеты по этике.
При рассмотрении информационных документов для участников
исследования Комитеты по этике обращают особое внимание на
соблюдение принципов объективности и конфиденциальности.
Объективность должна выражаться в соблюдении баланса прав и
интересов, как пациентов - участников исследования, так и врачей -
исследователей. Конфиденциальность в отношении участников
исследования обеспечивается сохранением врачебной тайны, нормами
ведения документации и ограничением доступа к медицинской
врачебной документации.
Таким образом, информированное добровольное согласие
пациента - участника исследования имеет следующее значение:
- доказывает факт информирования и подтверждает факт согласия
пациента;
- формализует содержание сообщенной пациенту информации;
- формализует согласие между исследователем и пациентом -
участником;
- позволяет осознать риск нанесения ущерба здоровью пациента и
риск профессиональной ответственности со стороны врача -
исследователя и минимизировать зависящие от врача и пациента
обстоятельства, способствующие нежелательным событиям;
- служит защите прав испытуемых и защищает врача от
необоснованных претензий.
Если испытуемый способен, он подписывает и датирует форму
письменного согласия собственноручно. Когда в исследовании
участвуют испытуемые, которые могут быть включены только на
основании согласия их законных представителей (например,
несовершеннолетние или пациенты с выраженным слабоумием), то они
(законные представители) подписывают документ.
Если испытуемый нуждается в неотложной помощи и у него
невозможно получить согласие до включения в исследование, оно
должно быть получено у его близких, если последний при этом
присутствует.
Испытуемый или его законные представители должны быть
поставлены в известность об исследовании в кратчайшие сроки, и у
них должно быть получено согласие на продолжение испытания в
соответствии с представленными выше положениями.
4.7. Клинико - экономическое моделирование
Моделирование проводится при невозможности получить реальные
данные, необходимые для проведения клинико - экономических
расчетов в исследовании или наблюдении.
Моделирование может использоваться:
- в случае, когда в клинических исследованиях не изучались
опосредованные и отдаленные результаты лечения - результаты
клинических исследований дополняются данными из других источников
(нерандомизированные исследования, исследования - наблюдения,
экспертное мнение и др.);
- при использовании результатов исследований, проведенных в
других странах, для принятия клинических и управленческих решений
в России;
- при необходимости сделать заключение о целесообразности
применения лекарственных средств, схем и методов лечения у групп
пациентов, не включавшихся ранее в исследования (например,
пациенты с осложненным течением заболевания);
- при необходимости учесть различия в потреблении ресурсов в
исследовании и на практике.
Наиболее часто используются следующие виды моделирования:
- построение древа решений;
- модель Маркова.
При использовании других видов моделирования в отчете должно
представляться подробное описание методики и способов
математической обработки данных.
При представлении результатов клинико - экономических
расчетов, основанных на моделировании, исследователи должны
обосновать необходимость выбора этого типа анализа, сформулировать
все условия построения модели (допуски, гипотезы), описать и
обосновать выбор литературных источников, данные которых были
положены в основу анализа.
Результаты экономического анализа, основанного на
моделировании, рассматриваются как предварительные, однако они
могут использоваться для обоснования экономической
целесообразности применения лекарственных средств, схем и методов
лечения при отсутствии исследований или наблюдений.
V. ИСПОЛЬЗОВАНИЕ НОРМАТИВНОГО ДОКУМЕНТА
ОСТ 91500.14.0001-2002 предназначен для использования в
качестве основы для проведения клинико - экономических
исследований исследователями во всех организациях и учреждениях
системы здравоохранения.
5.1. Интерпретация результатов клинико - экономических
исследований с целью решения вопроса о целесообразности включения
тех или иных лекарственных препаратов или нелекарственных методов
лечения в соответствующие нормативные документы системы
стандартизации в здравоохранении
Клинико - экономические обоснования целесообразности
применения лекарственных препаратов или нелекарственных методов
лечения следует принимать во внимание при разработке:
- протоколов ведения больных;
- перечня жизненно необходимых и важнейших лекарственных
средств;
- формулярных перечней и списков;
- других нормативных документов, регламентирующих объемы и
структуры медицинской помощи населению.
Рекомендуется также приводить клинико - экономические
обоснования целесообразности применения тех или иных медицинских
вмешательств при разработке методических рекомендаций, руководств,
справочных изданий, учебников, описывающих подходы к диагностике,
лечению, профилактике и реабилитации заболеваний.
Оценку достоверности и практической значимости результатов
клинико - экономических исследований проводят эксперты,
участвующие в разработке соответствующих нормативных документов.
При оценке результатов клинико - экономического анализа
следует обращать внимание на следующие позиции:
- ясное определение цели и задач исследования;
- формулировка экономической позиции исследования - ее
соответствие целям лиц, принимающих решение о целесообразности
использования исследуемого вмешательства;
- обоснование выбора медицинского вмешательства, используемого
для сравнения с исследуемым вмешательством; соответствие выбранной
альтернативы для сравнения целям лиц, принимающих решение о
целесообразности использования исследуемого вмешательства;
- однозначность выбранных критериев эффективности и
безопасности и их оценки (клиническая и социальная значимость
критерия, уровень "доказательности" данных о наличии и размере
эффекта);
- наличие необходимых сведений о методологии учета затрат
(перечень учтенных ресурсов; источники информации о ценах);
- обоснованность выбранного метода клинико - экономического
анализа;
- использование дополнительных методов анализа -
моделирование, дисконтирование, анализа чувствительности, -
повышающих практическую значимость результатов исследования;
- степень соответствия выводов использованной методологии.
Минимальный перечень вопросов, на которые должны быть даны
положительные ответы при критическом анализе результатов клинико -
экономических исследований, представлен в Приложении 2.
Приложение 1
к отраслевому стандарту
"Клинико - экономические исследования.
Общие положения"
91500.14.0001-2002
РЕКОМЕНДУЕМАЯ СТРУКТУРА ОТЧЕТА О ПРОВЕДЕНИИ
КЛИНИКО - ЭКОНОМИЧЕСКОГО ИССЛЕДОВАНИЯ
1. Руководитель исследования: фамилия, имя, отчество, место
работы, должность, ученая степень и звание.
2. Координаты исследователей: фамилии, имена, отчества; место
работы с указанием должности; адрес места работы с указанием
индекса, рабочий телефон, факс, электронная почта.
3. Цель и задачи исследования.
4. База исследования.
5. Исследуемое вмешательство с кратким описанием (для
лекарственных препаратов - международное непатентованное
наименование; торговое наименование; фирма - производитель;
фармацевтические свойства; фармакологическая группа; показания к
применению; дозы и способ введения; сведения об эффективности при
показаниях, аналогичным исследуемой ситуации; сведения о
безопасности (побочных эффектах); ссылки на результаты клинических
исследований; сведения о регистрации в Российской Федерации; для
немедикаментозных вмешательств - название методики, механизм
действия, показания к применению; способ применения и кратность;
сведения об эффективности при показаниях, аналогичным исследуемой
ситуации; сведения о безопасности (побочных эффектах); ссылки на
результаты клинических исследований; сведения о разрешении к
применению в Российской Федерации).
6. Вмешательство, с которым проводилось сравнение
эффективности и экономической целесообразности исследуемого
лекарственного средства с обоснованием выбора (кроме тех случаев,
когда проводился анализ стоимости болезни):
6.1. с лекарственным препаратом, чаще всего использующимся по
аналогичным показаниям ("типичная практика");
6.2. с лекарственным препаратом, являющимся на современном
уровне развития медицины оптимальным среди использующихся по
аналогичным показаниям;
6.3. с наиболее дешевым лекарственным препаратом,
использующимся по аналогичным показаниям;
6.4. с плацебо;
6.5. с отсутствием лечения;
6.6. другое (что именно);
6.7. обоснование выбора;
6.8. описание препарата или иного лечебного вмешательства, с
которым проводилось сравнение (см. п. 4).
7. Позиция исследования (исследовалась экономическая
целесообразность с точки зрения: общества в целом, системы
здравоохранения субъекта Российской Федерации; отдельного
учреждения здравоохранения; пациента).
8. Метод экономического анализа с обоснованием выбора:
8.1. анализ минимизации затрат;
8.2. анализ "затраты - эффективность";
8.3. анализ "затраты - полезность";
8.4. анализ "затраты - выгода".
9. Каким образом оценивалась эффективность исследуемого
вмешательства:
9.1. по данным литературы (отметить тип исследования и указать
название, авторов и выходные данные работы):
9.1.1. результаты систематического обзора;
9.1.2. рандомизированное контролируемое исследование;
9.1.3. проспективное сравнительное исследование;
9.1.4. ретроспективные сравнительные исследования;
9.1.5. проспективное несравнительное исследование;
9.1.6. другой тип исследования (указать, какой именно);
9.2. по результатам собственного исследования (отметить,
какого типа исследование проводилось):
9.2.1. систематический обзор;
9.2.2. рандомизированное контролируемое исследование;
9.2.3. проспективное сравнительное исследование;
9.2.4. ретроспективные сравнительные исследования;
9.2.5. проспективное несравнительное исследование;
9.2.6. другой тип исследования (указать, какой именно).
10. Краткое описание исследования (число наблюдений,
характеристики пациентов, описание исследованных вмешательств,
сроки наблюдения, результаты, статистическая достоверность
полученных результатов, применение методов, снижающих вероятность
ошибки - слепой метод, плацебо - контроль и др.).
11. Если эффективность оценивалась по результатам собственного
исследования, то совпадают ли его результаты с результатами других
аналогичных исследований.
12. Каковы были критерии оценки эффективности исследуемого
лекарственного средства:
12.1. медико - биологические критерии (например, биохимические
параметры крови, уровень артериального давления и т.п.) - указать,
какие именно;
12.2. медико - социальные критерии (например, число
предотвращенных осложнений, продолжительность жизни, число лет
сохраненной жизни) - указать, какие именно;
12.3. качество жизни - указать метод оценки;
12.4. другие (указать, какие именно).
13. Какие типы затрат учитывались в исследовании:
13.1. прямые медицинские затраты:
13.1.1. затраты на лекарственное лечение;
13.1.2. затраты на медицинские услуги;
13.1.3. другие (указать, какие);
13.2. непрямые медицинские затраты (указать, какие);
13.3. не медицинские затраты (указать, какие).
14. Источники информации о ценах, используемых при расчетах
затрат:
14.1. цены на лекарственные препараты;
14.2. цены на медицинские услуги;
14.3. другие цены.
15. Проводилось ли дисконтирование, и какая методика
дисконтирования использовалась.
16. Полученные результаты (соотношение "затраты -
эффективность", "затраты - полезность" или "затраты - выгода",
коэффициент приращения затрат; способы расчета).
17. Проводился ли анализ чувствительности, и если да, то
указать методику и полученные результаты.
18. Выводы.
Приложение 2
к отраслевому стандарту
"Клинико - экономические исследования.
Общие положения"
91500.14.0001-2002
РЕКОМЕНДУЕМЫЕ ВОПРОСЫ ДЛЯ ОЦЕНКИ ДОСТОВЕРНОСТИ
И ПРАКТИЧЕСКОЙ ЗНАЧИМОСТИ РЕЗУЛЬТАТОВ
КЛИНИКО - ЭКОНОМИЧЕСКОГО ИССЛЕДОВАНИЯ
1. Ясно ли сформулированы цель и задачи исследования?
2. Указана ли позиция исследования? Соответствует ли она
задаче, для решения которой предполагается использовать
результаты?
3. Является ли данное исследование сравнительным?
4. Достаточно ли полно представлена информация об исследуемом
вмешательстве и вмешательстве, использованном в качестве
альтернативы для сравнения?
5. Есть ли обоснование выбора вмешательства, с которым
проводилось сравнение эффективности и экономической
целесообразности исследуемого лекарственного средства (кроме тех
случаев, когда проводился анализ стоимости болезни)? Соответствует
ли выбранное для сравнения вмешательство задаче, для решения
которой предполагается использовать результаты исследования?
6. Представлено ли подробное и понятное описание методики
поведения клинико - экономического исследования?
7. Представлены ли данные об эффективности каждого из
исследуемых вмешательств? Достаточно ли они надежны?
8. Если эффективность оценивалась по результатам собственного
исследования, то совпадают ли его результаты с результатами других
аналогичных исследований?
9. Соответствуют ли выбранные критерии оценки эффективности
исследуемого вмешательства задаче, для решения которой
предполагается использовать результаты?
10. Представлена ли информация об окончательных ("жестких")
показателях эффективности исследуемых вмешательств
(продолжительности и качестве жизни пациентов)?
11. Учтены ли все существенные затраты, связанные с
применением исследуемых вмешательств (с учетом выбранной позиции
исследования)?
12. Указаны ли источники информации о ценах, используемых при
расчетах затрат?
13. Если период наблюдения составлял год и более, проводилось
ли дисконтирование затрат?
14. Проводился ли анализ чувствительности?
15. Соответствуют ли выводы использованной методологии?
|
