Что такое верификация?
Верификация [verification] – подтверждение лабораторией способности получать достоверные результаты (пригодные для решения конкретной задачи) по готовой валидированной методике
Отличие верификации от валидации
|
Валидация |
Верификация |
Из таблицы сразу видно, что лаборатория, которая проводила валидацию "автоматически" доказала достоверность результатов, получаемых в своей лаборатории (естественно, при успешной валидации)
Зачем делать верификацию?
Коротко - чтобы быть уверенным, что лаборатория способна выдать достоверные результаты аналиа по этой методике.
Проведение верификации методик предусмотрено ISO 17025, ведущими фармакопеями и правилами GMP:
|
Лаборатория должна подтвердить, что она может правильно использовать стандартные методики, прежде чем приступить к испытаниям |
п. 5.4.2 ГОСТ ИСО/МЭК 17025-2009 |
|
Лаборатория, которая использует методику испытаний и которая не выполняла ее первоначальную валидацию, должна верифицировать пригодность методики |
п. 6.15 Правил надлежащей производственной практики (GMP) Евразийского экономического союза |
Литература по верификации
- Раздел 4 "Валидация или верификация?" The Fitness for Purpose of Analytical Methods: A Laboratory Guide to Method Validation and Related Topics: Second edition (2014) (Eurachem Guide)
- Валидация аналитических методик: пер. с англ. Яз. 2-го изд. Под ред. Г.Р. Нежиховского. Количественное описание неопределенности в аналитических измерений: пер. с англ. Яз. 3-го изд. Под. ред. Р.Л. Кадиса. Руководства для лабораторий. – СПб.: ЦОП «Профессия», 2016. – 312 с. (сайт издательства)
- Г.Р. Нежиховский Валидация, верификация и аттестация методик, Контроль качества продукции, № 9, 2016
- Правила надлежащей производственной практики (GMP) Евразийского экономического союза
- Верификация (verification) и трансфер методик: система контроля качества лекарственных средств в свете изменений GMP, Аптека.ua, № 8 (979), 2015
- ГОСТ ИСО/МЭК 17025-2009 Общие требования к компетентности испытательных и калибровочных лабораторий
- USP <1226> Verification of Compendial Procedures
- Глава 2 «Внедрение и использование методики анализа в лаборатории»
Терещенко А.Г., Пикула Н.П. Внутрилабораторный контроль качества результатов химического анализа, Томск: STT, 2017 - Р 50.2.060-2008 Внедрение стандартизованных методик количественного химического анализа в лаборатории. Подтверждение соответствия установленным требованиям
- Приложения А и Б, РМГ 76-2014 ГСИ. Внутренний контроль качества результатов количественного химического анализа
Видео про верификацию (примеры)
Шаблон протокола верификации для химической лаборатории
Вопрос-ответ
Кто несет ответственность за верификацию? Ваш шаблон гарантирует что этого эксперимента достаточно?
Ответственность за достоверность выдаваемых результатов в полном объеме несет лаборатория - ее руководитель и специалисты лично. А верификация (наряду с валидацией и контролем качества) - важный элемент обеспечения достоверности анализа (QA).
В шаблоне приведен минимальный, с нашей точки зрения объем эксперимента. Уверенно можем сказать - что лучше верификация в малом объеме, чем никакой верификации.
Мы не аккредитованная лаборатория. Нам все равно надо делать верификацию?
Любая лаборатория, даже не аккредитованная, несет полную ответственность за выдаваемые результаты. Верификация позволяет убедиться самим, и подтвердить документально, что по данной методике лаборатория может выдавать достоверные результаты.
Верификация - это лишние затраты!
Верификация выгодна любому предприятию, т.к. существенно снижает риски получения недостоверных результатов, и позволяет выявить проблему на старте, а не через год работы.
Потери от недостоверных результатов анализа (выпуск некачественной и опасной продукции, работа технологов "впустую" и др.) обычно на порядки более существенны, чем затраты на организацию нормальной работы лаборатории.
Верификация гарантирует, что теперь у нас всегда будут достоверные результаты?
Нет. Верификация - лишь один из элементов обеспечения достоверности анализа (QA).
Чтобы быть уверенным что и дальше результаты выдаются достоверные, проводят контроль качества и множество других процедур.
Хорошая книга - Причард Э., Барвик В. Контроль качества в аналитической химии, пер. с англ. (2007 г., Quality Assurance in Analytical Chemistry) под ред. Болдырева И.В, 2014
В СССР никаких верификаций не делали, и нормально работали!
Делали. Только называлась это по другому: "внедрение методики", "постановка методики", "отработка методики". Эту процедуру, в соответствии современными международными рекомендациями, мы называем верификацией.
Вы гарантируйте, что к шаблону не будет вопросов?
Нет. Это просто пример-шаблон, чтобы доработать его под себя. Ответственность лежит на конкретной лаборатории.
По какому ГОСТу, нормативному документу составлен этот шаблон?
Шаблон составлен на основе нашего опыта внедрения методик, здравого смысла, с опорой на международные рекомендации Eurachem "A Laboratory Guide to Method Validation and Related Topics" и некоторые Российские документы из рекомендованного списка литературы.
А вот в ГОСТе, РМГ написано не так!
Любой ГОСТ в России доброволен к применению:
добровольность применения заинтересованным лицом документов в области стандартизации и обязательность соблюдения указанным лицом требований, содержащихся в этих документах, в случае объявления об их использовании, а также в случае определения обязательности исполнения требований стандартов в рамках контрактных (договорных) обязательств
Если лаборатория приняла на себя обязательства использовать какой-то конкретный ГОСТ или РМГ (в договоре, руководстве по качеству, стандарте организации, обязательствах в рамках аккредитации, регуляторных требований, попадания в область гос. регулирования обеспечения единства измерений по ФЗ 102) - то значит надо ориентироваться на них.
Если лаборатория не обременена обязательствами, разумно опереться на Р 50.2.060, РМГ 76, РМГ 61, Eurachem "Laboratory guide to method validation" как на справочные документы, доработав шаблон под себя.
А почему не оценивается погрешность / неопределенность?
Шаблон содержит минимальный, наш взгляд, объем эксперимента, чтобы можно было убедиться в нормальной работе методики, и начать работать. Делать расчет неопределенности / погрешности на основе только 3 серий измерений на наш взгляд не совсем корректно.
Можно расширить объем эксперимента (количество серий), и рассчитать погрешность / неопределенность на основе оценок правильности и прецизионности (по ГОСТ Р ИСО 21748-2012, РМГ 61-2010, Р 50.2.060-2008, приложениям А и Б, РМГ 76-2014).
Наша рекомендация - делать все поэтапно. Если, например, сейчас вообще не делается верификация, то лучше начать делать "по простому", не усложнять расчеты.
Кто утверждает критерии верификации? Где их брать?
Критерии приемлемости утверждает тот, кто несет ответственность за достоверность результатов анализа и верификацию - лаборатория. Правильный, обоснованный выбор критериев - ключевой вопрос, "сердце" верификации.
Т.к верификации подвергаются только валидированные методики (для которых уже доказано, что методика позволяет получать результаты, пригодных для достоверного принятия управленческих решений по результатам анализа), разумно проверить выполнение базовых валидционных критериев (пусть в меньшем объеме): повторяемости, промежуточной прецзионности, правильности.
Для обоснования требований к верификационным критериям есть несколько подходов:
- Если в методике приведены значения показателей (повторяемости, промежуточной прецизионности, правильности) - проверяют в сокращенном объеме, выполняются ли они;
- Если в методики значения показателей не приведены — запрашивают валидационный отчет, и проверяют выполнение базовых валидционных критериев (повторяемости, промежуточной прецзионности, правильности) в сокращенном объеме
- Устанавливают требования к показателям, исходя из требований к неопределенности (погрешности). Неопределенность (погрешность) может быть прописана в методике, или определяться аналитической задачей.
- Устанавливают требования к показателям "экспертно", исходя из опыта. Например, у продукта норма "от 9,5% до 10,5%". Чтобы делать достоверную отбраковку в этом случае, разумно потребовать СКО промежуточной прецзионности < 5%, а лучше < 2-3%.
Часто верификацию делают поэтапно. Сначала устанавливают требования "экспертно", а по мере накопления статистических данных, могут ужесточить, или наоборот смягчить требования.
Можно ли делать верификацию для не-валидированной методики?
Нет. Если методика не прошла валидацию - то нет доказательств, что методика пригодна для решения конкретной аналитической задачи. Применение валидированных методик - ключевой элемент обеспечения достоверности анализа (QA).
Если нет сведений о валидации методики - значит надо проводить полноценную валидацию.
Если мы сделали валидацию, нужно ли дополнительно делать верификацию?
Нет. Если методика прошла валидацию на базе вашей лаборатория - этим автоматически подтверждается что она способна получать по ней достоверные результаты, т.е. что методика "внедрена".
Что делать если методика аттестована, но сведений о ее валидации нет?
Аттестация говорит о том, что у методики посчитаны метрологические характеристики, и что аттестованная государством организация это подтверждает. В ходе аттестации не решается вопроса, пригодна ли методика с такими метрологическими характеристиками для решения конкретной задачи, стоящей перед предприятием. Еще, в ходе "метрологической аттестации" нередко уделяется мало внимания таким показателям методик как селективность и устойчивость (робастность).
Необходимо провести "последний шаг валидации" — решить, пригодна ли методика с такими метрологическими характеристиками для решения вашей аналитической задачи (возможно ли принятие обоснованных управленческих решений по результатам анализа). Эксперимент проводить при этом не потребуется - т.к. показатели методик уже оценены в ходе аттестации.
А после этого делать верификацию — подтвердить экспериментально, что лаборатория достигает заложенные в методике метрологические характеристики (правильность, прецизионность, правильность).
У нас продукт сложного/переменного состава (смола, отход), для которого не получиться сделать модельные растворы и оценить правильность. Как нам быть?
Исходим из того что методика уже прошла валидацию, и мы знаем, что она пригодна для решения задачи. Мы можем только оценить СКО повторяемости и промежуточной прецизионности на реальных пробах. Разумно найти реальные пробы со значениями из начала, середины и конца диапазона измерений.
Можно услышать мнение, что без подтверждения правильности валидация и верификация получается "не полноценная". Но мы придерживаемся "теории малых дел" - лучше сделать то что можно в имеющихся условиях, чем вообще ничего не делать.
Нет ГСО - нет верификации!
Если лаборатория не входит в сферу "государственного регулирования обеспечения единства измерений" по 102 ФЗ, то она сама может решать, какие стандартные образцы использовать в своей работе.
А самое главное - для большинства методик ни ГСО, ни стандартных образцов просто не существует. И что теперь, не делать верификацию?
При отсутствии СО готовят модельные растворы с известным содержанием определяемого компонента (в российских метрологических документах из называют "аттестованные смеси"). Модельные растворы стараются делать максимально близкими по составу к реальным пробам.
Верификация не получается. Что делать?
В первую очередь - не впадать в панику. Отрицательный результат верификации - не катастрофа, а рабочий момент, причем позитивный: проблема с методикой "отловлена" на старте, лаборатория не успела выдать недостоверные результаты.
Вторым шагом - запротоколировать результат: оформить протокол верификация с отрицательным результатом.
Третий этап - спокойно искать причину.
Потенциальные источники ошибок:
- проблемы с прибором, хроматографческой колонкой, реактивами, стандартами
- ошибки при выполнении методики
- проблемы с весами ("плавает" масса)
- бракованная мерная колба
- ошибки на стадии пробоподготовки
- неоднородность образцов (особенно если они твердые)
- нестабильность образцов
При поиске проблемы, часто проверяют эти же образцы по другой методике, на другом приборе, в другой лаборатории.
Преступная практика - вместо оформления "отрицательно протокола" пойти на пойти на подлог и поделку данных, что якобы "все в порядке". Это признак полной проф. непригодности руководства лаборатории и компании в целом. Такая практика создает чудовищные риски для бизнеса. Как можно дальше быть уверенными в качестве продукции, если лаборатория подделывает данные по своему усмотрению?
Шаблон подходит для аккредитованных лабораторий? У экспертов не будет к нему вопросов?
Нет. Необходимо ориентироваться на требования системы аккредитации. К сожалению, не сможем проконсультировать по внедрению аттестованных методик в аккредитованных лабораториях - рекомендуем обратиться к профильными экспертам.
