Regulasi Perangkat AI FDA: Analisis Pengawasan Seperti Dokter

Perangkat medis dulu merupakan sesuatu yang dapat dinilai oleh regulator, diberi izin, lalu diawasi sebagian besar sebagai produk jadi. AI generatif tidak semudah itu. Jika sebuah sistem menghasilkan keluaran yang bervariasi dan berkembang setelah dirilis, pertanyaan regulasi yang berguna bukan hanya apakah sistem itu bekerja dengan baik pada hari pengajuan. Pertanyaannya adalah apakah sistem itu tetap kompeten secara klinis ketika pasien nyata, masukan yang berantakan, dan pembaruan perangkat lunak mulai masuk.

Apa yang sebenarnya sedang dipertimbangkan FDA

Axios melaporkan bahwa Food and Drug Administration sedang mempertimbangkan untuk mengevaluasi perangkat medis yang didukung AI generatif melalui pendekatan berbasis kompetensi yang mirip dengan cara dokter dievaluasi. Gagasan ini muncul dalam makalah diskusi FDA yang pertama kali dibagikan kepada Axios, yang mengangkat isu untuk regulasi prapersetujuan maupun pascapemasaran dan meminta masukan dari para pemangku kepentingan.

Terjemahannya: ini bukan aturan yang dapat ditegakkan, bukan dokumen panduan final, dan bukan daftar denda yang menunggu di catatan kaki. Ini adalah cara lembaga tersebut bertanya apakah model perangkat medis tradisional dapat cukup diperluas untuk sistem yang keluarannya bervariasi dan perilakunya dapat berkembang seiring waktu.

Axios juga melaporkan bahwa alat layanan kesehatan yang didukung AI semakin banyak terlibat dalam perawatan klinis, sementara struktur regulasi saat ini belum mengikuti perkembangan tersebut. Itu tidak berarti setiap bot penjadwalan yang memakai ikon stetoskop kini termasuk dalam cakupan. Artinya, pembuat alat AI generatif yang bermakna secara klinis sebaiknya berhenti memperlakukan izin regulasi sebagai satu upacara kepatuhan tunggal.

Status praktisnya sederhana: makalah diskusi, ya; kewajiban yang sudah diberlakukan, tidak terlihat dalam catatan; aturan baru yang dapat ditegakkan, tidak terlihat dalam catatan.

Mengapa ini mengarah pada pemantauan, bukan teater dokumen

The Pew Charitable Trusts menjelaskan dalam ringkasan isu 5 Agustus 2021 bahwa organisasi layanan kesehatan menggunakan AI untuk tujuan klinis, administratif, dan penelitian, termasuk diagnosis penyakit, pemantauan pasien, dan penjadwalan. Pew juga mencatat bahwa produk yang didukung AI dapat menghasilkan keluaran yang tidak akurat.

Pengamatan yang lebih lama itu berguna di sini. Pertanyaan FDA yang dijelaskan oleh Axios bukan hanya apakah paket pengajuan dapat dibuat lebih tebal; pertanyaannya adalah apakah produk dapat dievaluasi saat terus beroperasi dalam lingkungan klinis.

Axios melaporkan bahwa para ahli regulasi, dan kini FDA, melihat perangkat AI generatif sebagai berbeda dari perangkat medis teregulasi lainnya karena keluarannya bervariasi dan karena perangkat tersebut berkembang seiring waktu. Itulah masalah kepatuhan yang tersembunyi di balik frasa sopan berbasis kompetensi. Berkas persetujuan perangkat statis menjelaskan seperti apa produk itu saat ditinjau. Sistem AI klinis yang adaptif mungkin memerlukan bukti tentang seperti apa sistem itu terus berjalan.

Apa yang sebaiknya dibaca oleh pembuat produk di antara baris-barisnya

Axios mengatakan makalah diskusi tersebut mencakup regulasi prapersetujuan dan pascapemasaran. Bagi tim produk, dua kata itu seharusnya mengubah percakapan arsitektur. Bukti prapersetujuan mungkin perlu menunjukkan bukan hanya performa tolok ukur, tetapi juga peran klinis yang dimaksudkan, batas penggunaan, metode evaluasi, dan keadaan ketika manusia tetap bertanggung jawab.

Bukti pascapemasaran mungkin perlu menunjukkan bagaimana pengembang mendeteksi drift, meninjau kualitas keluaran, mendokumentasikan pembaruan, dan menaikkan risiko klinis ke tingkat penanganan yang sesuai. Tidak satu pun dari itu merupakan daftar periksa baru yang mengikat berdasarkan bukti yang tersedia. Namun, ini adalah arah perjalanan yang berguna.

Jika produk AI Anda menghasilkan rekomendasi yang bermakna secara klinis, peta jalan Anda sebaiknya mencakup log audit, riwayat versi, pemantauan performa, peninjauan insiden, dan cara untuk membuktikan bahwa perubahan model tidak diam-diam mengubah penggunaan yang dimaksudkan. Jika kontrak vendor Anda tidak membagi tanggung jawab untuk pemantauan, peninjauan pembaruan, eskalasi klinis, dan akses data, pengacara Anda tidak sedang menyambut apa pun; mereka sedang membuka spreadsheet.

Di mana catatan saat ini berhenti

Pew menggambarkan pengawasan FDA terhadap AI dalam produk medis sebagai area di mana pengawasan perlu mengikuti perkembangan teknologi. Axios kini melaporkan bahwa lembaga tersebut secara aktif bertanya apakah model kompetensi bergaya dokter perlu masuk ke perangkat regulasi untuk perangkat yang didukung AI generatif.

Dua fakta itu cukup penting, tetapi belum cukup untuk menciptakan kewajiban baru. Tidak ada bukti dalam catatan yang diberikan tentang aturan final, tenggat kepatuhan, atau tindakan penegakan berdasarkan pendekatan ini. Dokumen berikutnya yang perlu diperhatikan adalah apa pun yang dilakukan FDA setelah masukan pemangku kepentingan atas makalah diskusi tersebut.

Pembuat produk sebaiknya menggunakan masa sementara ini untuk memetakan klaim produk mana yang bersifat klinis, keluaran mana yang dapat bervariasi, pembaruan mana yang dapat mengubah performa, dan bukti apa yang akan menunjukkan kompetensi yang berkelanjutan. Pelajaran diam-diamnya sederhana: untuk AI medis yang adaptif, persetujuan dapat menjadi awal dari akuntabilitas klinis, bukan akhir dari pekerjaan regulasi.