근 몇 년간 AI/ML(인공지능/머신러닝)의 사용량은 해당 시스템에 대한 접근이 쉬워지고 이를 도입하는 비용도 감소한 것이 주 이유가 되어 기하급수적으로 증가하였으며, 그에 따라 해당 개념이 언젠가는 천천히 GXP 영역에 들어오기 시작할 것을 예상하는 것은 매우 자연스러운 일이다. GXP의 사용자들은 일반적으로 새롭고 혁신적인 기술들을 받아들이는 속도가 느린데, 그 이유는 바로 엄격히 규제된 해당 산업 절차와 위험/불확실성을 잘 수용하지 않는 특성으로 인한 것이다. AI/ML은 몇 년간 약물 발견, 그리고 어느정도는 GLP/GCP 환경에서 사용되었으나, 아직 GMP 업계에는 적용되지 않았다.

최근, FDA는 ‘의약품 제조의 AI/ML’에 대한 토론 논문을 발간하였고, 업계에 관련 피드백을 요청하였다. 업계의 피드백을 통해 알 수 있는 사실은 AI/ML의 도입을 막는 주요 요소로 모델에 치우침의 최소화, 데이터 보호, 그리고 모델 학습의 품질과 같이 기존 컴퓨터 시스템 밸리데이션에서 다루지 않는 AI/ML의 특수한 면에 대한 규제 가이드라인이 없다는 것이다. 적어도 2022년 7월에 발행된 ISPE GAMP 5, second edition에서는 제한된 업계 가이드라인이 제안되고 그 요약되어 정리되었다.

올해 초, FDA는 두개의 토론 논문을 발행하여 AI/ML의 추가 사용사례, 도입을 방해하는 요소, 도입을 위해 필요한 데이터 관리 활동에 대한 업계 내 견해와 기타 FDA에서 더 제대로 된 가이드문서를 만드는데 도움이 될만한 comment들을 수집하고자 하였다. 또 2021년에는, FDA의 의료기기 부서(CDRH)에서 AL/ML 가이드문서를 발행하였는데, 기존의 제약 데이터 완전성과 주관성, 공식성, 그리고 의사결정의 위험관리 framework와 상당히 일치하는 것으로 보인다. 그 예로 Good Machine Learning Practice for Medical Device Development을 구성하는 10개의 가이드라인 원칙과 2011년에 발행된 CDER의 three-stage process validation에 대한 가이드라인 내용과 일치한다. 이에 따라 의약품에 대한 가이드라인 역시 추후 가이드라인에서 기존 cGMP framework의 위험 관리를 모방하는 식으로 위의 경우와 비슷한 길을 따라갈 것으로 예상된다.

해당 기사를 통해 차후 들어올 GMP AL/ML 혁신의 훌륭한 기반이 되어줄 기존 가이드라인에 대해 논의함으로써, 추후 해당 개념 도입될때 수반될 성장통을 최소화하면서 제약산업에서 이를 받아들일 수 있도록 준비하고자 한다.

본문을 시작하기 전, 우선은 qualification(적격성평가) 과 validation(밸리데이션)의 차이에 대해 기억하여야 한다. AI/ML의 경우, 본문에서 말하는 적격성평가는 모델 혹은 platform 그 자체를 의미하고, 밸리데이션은 전체적인 비즈니스 절차(공정, 환경, 그리고 작업자도 포함됨)의 맥락에서의 사용 사례에 해당된다. 적격성평가는 해당 모델이 GMP framework 내에서 적절하게 기능한다는 과학적인 증거를 제시하고, 밸리데이션은 GXP 환경 내에서 해당 모델을 사용함으로써 나타나는 risk가 ‘사용 의도’에 맞게 관리되고 있다는 것을 보여주는 것이다.

Step 1: QRM And Intended Use

AI/ML의 의도된 성능 요건은 patient proximity(환자 근접성)에 따라 upstream 공정관리(일반적으로 위험이 낮음)에서 downstream QA 의사결정(높은 위험)에 이르기까지 크게 달라지기 때문에 네트워크 내 견고한 품질 위험 관리(QRM) framework는 필수적이다. 구형의 일상 GMP 작업 중 비공식/반공식 및 질적 도구처럼 현재 새로 개정된 ICH Q9에서 밀어주고 있는 신규 도구들을 사용한 경험들은, 미래에 득이 되어 돌아오게 될 수 있는데, 이를 통해 규제기관 감사 중 SME로 하여금 해당 모델의 의도된 성능을 확실하게 설명할 수 있도록 하여, 혼동 및 오해의 가능성을 현저히 줄일 수 있기 때문이다. 이와 같은 맥락으로, 위험 분류화를 늘리는 것에만 의존하는 질적이고 공식적인 도구들은 비판적 사고를 방해하고, 궁극적으로는 의도된 사용목적의 부담을 충족시키기에 충분한 근거자료를 만들어내는데 실패할 수도 있다.

Step 2: Data Governance And Acknowledging Bias

AI/ML을 도입하는 업계라면 어디가 되었든, 견고한 데이터 거버넌스 프로그램을 전제조건으로서 가지고 있어야 한다. 아무리 뛰어난 머신 러닝 방법을 사용한다고 하더라도 적격성평가 및 모든 추후 의사결정에 사용되는 데이터 set 중 미확인된 자료의 치우침(bias)을 다루는 것은 불가능하다. 다행히도, 성공적인 거버넌스를 위한 로드맵은 이미 PIC/s의 데이터 관리 및 완전성 가이드라인에 명시되어 있다.

State of MLOps Industry Report 2023에 따르면, ML를 도입하여 사용하는 사람의 27% 이상이 AI가 적용된 제품에 자료의 치우침을 없애는 것은 불가능하다고 생각한다. 따라서, 목표로 삼아야 할 것은 자료의 치우침으로부터 완전히 벗어나는 것이 아닌, 그 원인을 식별하고 모델의 output이 가진 한계를 인정해야 한다는 것인데, 이는 우연히도 PIC/s의 데이터 거버넌스 가이드라인에 묘사된 목표와 동일하다.

미래에 AI/ML을 도입하는 것을 고려하자면, 현재 거버넌스 프로그램을 GMP 최소 요건보다 더 높은 수준으로 강화하는데 자원을 투자할 것을 추천한다. 조직 내 chief data officer와 같이 데이터 사용 전략을 제안하는 역할의 신규 직책을 만들거나, data set에 대한 책임 소재를 지정하고, 전체적인 데이터 문화에 대한 경영진의 홍보를 통해 향후 AI/ML 사용으로부터 이득을 보는데 필요한 거버넌스 기반을 제공할 수 있다.

Step 3: Development Of Internal AI/ML Standards And Quality Oversight

최근 경험에 따르면, 수많은 기업들이 이미 AI/ML 모델에 대한 적격성평가를 활발하게 수행하고 있는 것을 발견하였는데, 이는 이전에 발행된 자연어 처리부터 QC 데이터 경향분석, 그리고 데이터 트윈까지 이르는 사용 사례와 일치한다. 그러나, 업체와의 대화를 통해 대부분의 제조소에서 현재 AI/ML을 각자 품질 시스템 내에 framework(토대)만 다지는 절차를 막 시작했을 뿐이고 이후에는 사용하면서 발전시킬 예정이라는 사실을 발견하였다. 이들은 사전에 기준을 설립하지 않아, 미래에 해당 모델을 의도대로 사용하기 어렵게 만들고 있는데, 이는 과학적 증거를 사용하여 적격성평가 활동을 재현하는 것에 한계가 있기 때문이다. 초기 단계에서부터 품질 부서가 관여되고, 따라야 할 기본 요구사항들을 적용하지 않는다면 이후 여정은 매우 어려워 질 것으로 해당 저자는 예상하고 있다.

해당 기사에서 추천하는 바는 AI/ML을 개발하기 전에 우선 제대로 된 기준을 적용하여 초기 개발 단계에서 수집된 모델에 대한 지식이 일부 품질부서의 감독 하에 위험 관리 프로그램 내에 참조될 수 있도록 해야 한다. 해당 기사에서 추천하는 바는 AI/ML을 개발하기 전에 우선 제대로 된 기준을 적용하여 초기 개발 단계에서 수집된 모델에 대한 지식이 일부 품질부서의 감독 하에 위험 관리 프로그램 내에 참조될 수 있도록 해야 한다. AI/ML 커뮤니티 내에서 잘 알려져 있듯이 가장 큰 risk 중 하나로 모델의 치우침(bias)가 있으며, 이는 모델의 개발 중 다른 포인트에서 각기 다른 형태로 나타날 수 있다. 모델 개발 중 치우침 방지에 관한 문서를 생성할 수 없다는 사실이 규제 문제에 있어서 상당한 원인이 될 것으로 예상되는데, AI/ML은 모델이 훈련 데이터를 통해 “학습”한 것을 바탕으로 한 사건에 대한 미래 의사결정을 유도하도록 설계되었기 때문에, 우리는 훈련 데이터가 수집되고 선택된 방식이 치우쳐지지(biased) 않았다는 것을 입증해야 한다. 그 의미는 즉, 모델이 더 이상 근본적인 과학적 기준에 부합하지 못하게 될 수 있는 영향을 받지 않아야 한다는 것이다. 사람의 행동으로 한번 유추해보자: 알다시피, 어떤 특정 행동에 대한 직원 교육이든, 교육자가 표출하는 모든 편견에 해당 교육은 크게 영향을 받는데, 예를 들어, SOP에 명시된 특정 행동에 대한 불호가 있다. 모델에 편견이 없다는 것을 검증하는 것은 AI/ML 내 편견으로 인해 심각한 피해를 입은 수많은 사건 사례들이 이를 증명하듯 매우 까다롭고 risk가 높을 수 있다. 밝은 면으로 보자면, 우선 QRM 완숙도를 형성하고, 훌륭한 위험 기반 거버넌스를 도입하고, 그리고 품질 감독을 통해 표준 framework를 도입한다면, AI/ML은 실현이 가능한 수준으로 변하고, 개인적인 의견을 덧붙이자면, 아직 발견되지 않은 방법을 통해 의약품의 품질을 크게 개선시킬 것으로 보인다.

Conclusion

의약품 제조에 예정된 AI/ML의 도입은 매우 의미가 깊으며, 일탈, 제품회수, 의약품 부족 현상이 줄어드는 결과로 이어질 것으로 예상된다. 저자는 AI/ML을 단순히 멋진 신규 기술이 아닌 현재 인명이 위험한 상황을 극복하기 위해 필요한 도구로 보고 있다. FDA의 2022년 의약품 부족현상 보고서를 보면 필수 의약품에 접근성과 관련하여 2021년과 비교하여 부족현상이 30%가 증가하였고, 이러한 부족현상의 원인 중 62%가 품질 및 제조 문제인 것으로 나타나는 등 현재 처참한 상황을 묘사하고 있다. 물론, 새로운 cGMP의 해결방안은 필요하고 기대도 되지만, 환자에게 있어서도 마찬가지인 이야기이다. 해당 기사를 위해 여러 업체와 나눈 대화를 통해 가능성을 보았으며, 변화가 이미 이루어지고 있을 것으로 보인다. 현재 품질 시스템에 조금의 간단한 사항들을 추가하고 기존 규정 가이드라인에 연결한다면, 우리에게 주어진 미래는 밝을 것으로 보인다.

Bioprocess Online에서 원문 확인