شكرا لكم لزيارة Nature.com.أنت تستخدم إصدار متصفح مع دعم محدود لـ CSS.للحصول على أفضل تجربة، نوصي باستخدام متصفح محدث (أو تعطيل وضع التوافق في Internet Explorer).بالإضافة إلى ذلك، ولضمان استمرار الدعم، نعرض الموقع بدون أنماط وجافا سكريبت.
أشرطة التمرير تعرض ثلاث مقالات لكل شريحة.استخدم زري الرجوع والتالي للتنقل عبر الشرائح، أو أزرار التحكم في الشرائح الموجودة في النهاية للتنقل خلال كل شريحة.
تصوير الأوعية المقطعية بالتماس البصري (OCTA) هو طريقة جديدة للتصور غير الجراحي لأوعية الشبكية.على الرغم من أن OCTA لديه العديد من التطبيقات السريرية الواعدة، إلا أن تحديد جودة الصورة يظل تحديًا.لقد قمنا بتطوير نظام قائم على التعلم العميق باستخدام مصنف الشبكة العصبية ResNet152 الذي تم تدريبه مسبقًا باستخدام ImageNet لتصنيف صور الضفيرة الشعرية السطحية من 347 عملية مسح لـ 134 مريضًا.تم أيضًا تقييم الصور يدويًا على أنها حقيقة حقيقية بواسطة مقيمين مستقلين لنموذج التعلم الخاضع للإشراف.نظرًا لأن متطلبات جودة الصورة قد تختلف وفقًا للإعدادات السريرية أو البحثية، فقد تم تدريب نموذجين، أحدهما للتعرف على الصور عالية الجودة والآخر للتعرف على الصور منخفضة الجودة.يُظهر نموذج شبكتنا العصبية منطقة ممتازة أسفل المنحنى (AUC)، 95% CI 0.96-0.99، \(\kappa\) = 0.81)، وهو أفضل بكثير من مستوى الإشارة الذي أبلغ عنه الجهاز (AUC = 0.82، 95 % سي).0.77–0.86، \(\kappa\) = 0.52 وAUC = 0.78، 95% CI 0.73–0.83، \(\kappa\) = 0.27، على التوالي).توضح دراستنا أنه يمكن استخدام أساليب التعلم الآلي لتطوير طرق مرنة وقوية لمراقبة الجودة لصور OCTA.
تصوير الأوعية المقطعية بالتماس البصري (OCTA) هو تقنية جديدة نسبيًا تعتمد على التصوير المقطعي بالتماس البصري (OCT) والتي يمكن استخدامها للتصور غير الجراحي للأوعية الدموية الدقيقة في شبكية العين.يقيس OCTA الفرق في أنماط الانعكاس من نبضات الضوء المتكررة في نفس المنطقة من شبكية العين، ويمكن بعد ذلك حساب عمليات إعادة البناء للكشف عن الأوعية الدموية دون الاستخدام الغزوي للأصباغ أو عوامل التباين الأخرى.يتيح OCTA أيضًا تصوير الأوعية الدموية بعمق الدقة، مما يسمح للأطباء بفحص طبقات الأوعية الدموية السطحية والعميقة بشكل منفصل، مما يساعد على التمييز بين أمراض المشيمية والشبكية.
في حين أن هذه التقنية واعدة، فإن اختلاف جودة الصورة يظل تحديًا كبيرًا لتحليل الصور الموثوق به، مما يجعل تفسير الصور صعبًا ويمنع الاعتماد السريري على نطاق واسع.نظرًا لأن OCTA يستخدم عدة عمليات مسح OCT متتالية، فهو أكثر حساسية لعناصر الصورة من OCT القياسي.توفر معظم منصات OCTA التجارية مقياس جودة الصورة الخاص بها والذي يسمى قوة الإشارة (SS) أو في بعض الأحيان مؤشر قوة الإشارة (SSI).ومع ذلك، فإن الصور ذات قيمة SS أو SSI العالية لا تضمن عدم وجود آثار الصورة، والتي يمكن أن تؤثر على أي تحليل لاحق للصور وتؤدي إلى قرارات سريرية غير صحيحة.تشتمل عناصر الصورة الشائعة التي يمكن أن تحدث في تصوير OCTA على عناصر الحركة، وعناصر التجزئة، وعناصر عتامة الوسائط، وعناصر العرض.
مع تزايد استخدام التدابير المشتقة من OCTA مثل كثافة الأوعية الدموية في البحوث الترجمية والتجارب السريرية والممارسات السريرية، هناك حاجة ملحة لتطوير عمليات قوية وموثوقة لمراقبة جودة الصورة للقضاء على المصنوعات اليدوية للصور.تخطي الاتصالات، والمعروف أيضًا باسم الاتصالات المتبقية، عبارة عن إسقاطات في بنية الشبكة العصبية، تسمح للمعلومات بتجاوز الطبقات التلافيفية أثناء تخزين المعلومات بمقاييس أو دقة مختلفة 5 .ونظرًا لأن عناصر الصورة يمكن أن تؤثر على أداء الصور على نطاق صغير، وعلى نطاق واسع بشكل عام، فإن الشبكات العصبية ذات الاتصال التخطيي مناسبة تمامًا لأتمتة مهمة مراقبة الجودة هذه.أظهرت الأعمال المنشورة مؤخرًا بعض الأمل فيما يتعلق بالشبكات العصبية التلافيفية العميقة التي تم تدريبها باستخدام بيانات عالية الجودة من المقدرين البشريين 6 .
في هذه الدراسة، قمنا بتدريب شبكة عصبية تلافيفية لتخطي الاتصال لتحديد جودة صور OCTA تلقائيًا.نحن نبني على العمل السابق من خلال تطوير نماذج منفصلة لتحديد الصور عالية الجودة والصور منخفضة الجودة، حيث قد تختلف متطلبات جودة الصورة لسيناريوهات سريرية أو بحثية محددة.نقوم بمقارنة نتائج هذه الشبكات مع الشبكات العصبية التلافيفية دون فقدان الاتصالات لتقييم قيمة تضمين الميزات على مستويات متعددة من التفصيل في التعلم العميق.قمنا بعد ذلك بمقارنة نتائجنا بقوة الإشارة، وهو مقياس مقبول بشكل عام لجودة الصورة الذي توفره الشركات المصنعة.
شملت دراستنا مرضى السكري الذين حضروا مركز ييل للعيون في الفترة ما بين 11 أغسطس 2017 و11 أبريل 2019. وتم استبعاد المرضى الذين يعانون من أي مرض مشيمي شبكي غير مصاب بالسكري.لم تكن هناك معايير إدراج أو استبعاد على أساس العمر أو الجنس أو العرق أو جودة الصورة أو أي عامل آخر.
تم الحصول على صور OCTA باستخدام منصة AngioPlex على Cirrus HD-OCT 5000 (Carl Zeiss Meditec Inc، Dublin، CA) تحت بروتوكولات التصوير 8 \ (\ مرات \) 8 مم و 6 \ (\ مرات \) 6 مم.تم الحصول على موافقة مستنيرة للمشاركة في الدراسة من كل مشارك في الدراسة، ووافق مجلس المراجعة المؤسسية بجامعة ييل (IRB) على استخدام الموافقة المستنيرة مع التصوير الفوتوغرافي العالمي لجميع هؤلاء المرضى.اتباع مبادئ إعلان هلسنكي.تمت الموافقة على الدراسة من قبل جامعة ييل IRB.
تم تقييم صور اللوحة السطحية بناءً على درجة القطع الأثرية الموصوفة مسبقًا (MAS)، ودرجة القطع الأثرية الموصوفة مسبقًا (SAS)، ومركز النقرة، ووجود عتامة الوسائط، والتصور الجيد للشعيرات الدموية الصغيرة على النحو الذي يحدده مقيم الصورة.تم تحليل الصور من قبل اثنين من المقيمين المستقلين (RD وJW).تحصل الصورة على درجة متدرجة 2 (مؤهلة) إذا تم استيفاء جميع المعايير التالية: يتم توسيط الصورة عند النقرة (أقل من 100 بكسل من مركز الصورة)، وMAS هو 1 أو 2، وSAS هو 1، و عتامة الوسائط أقل من 1. تظهر في الصور بحجم / 16، والشعيرات الدموية الصغيرة تظهر في الصور الأكبر من 15/16.يتم تصنيف الصورة بـ 0 (بدون تصنيف) إذا تم استيفاء أي من المعايير التالية: أن تكون الصورة خارج المركز، أو إذا كانت MAS 4، أو إذا كان SAS 2، أو كان متوسط ​​العتامة أكبر من 1/4 الصورة، و الشعيرات الدموية الصغيرة لا يمكن ضبطها أكثر من صورة واحدة/4 لتمييزها.يتم تسجيل جميع الصور الأخرى التي لا تستوفي معايير التسجيل 0 أو 2 كـ 1 (لقطة).
على الشكل.يعرض الشكل 1 نماذج صور لكل من التقديرات المقاسة وعناصر الصورة.تم تقييم الموثوقية بين الدرجات الفردية من خلال ترجيح كابا كوهين.يتم جمع الدرجات الفردية لكل مقيم للحصول على درجة إجمالية لكل صورة، تتراوح من 0 إلى 4. الصور ذات مجموع النقاط 4 تعتبر جيدة.الصور ذات مجموع النقاط 0 أو 1 تعتبر منخفضة الجودة.
تم إنشاء شبكة عصبية تلافيفية ذات بنية ResNet152 (الشكل 3A.i) تم تدريبها مسبقًا على الصور من قاعدة بيانات ImageNet باستخدام fast.ai وإطار عمل PyTorch5، 9، 10، 11. الشبكة العصبية التلافيفية هي شبكة تستخدم التعلم المستفادة مرشحات لمسح أجزاء الصورة لدراسة الميزات المكانية والمحلية.شبكة ResNet المدربة لدينا عبارة عن شبكة عصبية مكونة من 152 طبقة تتميز بفجوات أو "اتصالات متبقية" تنقل المعلومات بدقة متعددة في وقت واحد.ومن خلال عرض المعلومات بدقة مختلفة عبر الشبكة، يمكن للمنصة التعرف على ميزات الصور منخفضة الجودة على مستويات متعددة من التفاصيل.بالإضافة إلى نموذج ResNet الخاص بنا، قمنا أيضًا بتدريب AlexNet، وهي بنية شبكة عصبية مدروسة جيدًا، دون فقدان الاتصالات للمقارنة (الشكل 3A.ii)12.بدون الاتصالات المفقودة، لن تتمكن هذه الشبكة من التقاط الميزات بدقة أعلى.
تم تحسين مجموعة الصور الأصلية مقاس 8\(\times\)8 مم OCTA13 باستخدام تقنيات الانعكاس الأفقي والرأسي.تم بعد ذلك تقسيم مجموعة البيانات الكاملة بشكل عشوائي على مستوى الصورة إلى مجموعات بيانات التدريب (51.2%)، والاختبار (12.8%)، وضبط المعلمات الفائقة (16%)، والتحقق من الصحة (20%) باستخدام مجموعة أدوات scikit-Learn python14.تم النظر في حالتين، واحدة تعتمد على اكتشاف الصور ذات الجودة الأعلى فقط (النتيجة الإجمالية 4) والأخرى تعتمد على اكتشاف الصور ذات الجودة الأقل فقط (النتيجة الإجمالية 0 أو 1).لكل حالة استخدام عالية الجودة ومنخفضة الجودة، يتم إعادة تدريب الشبكة العصبية مرة واحدة على بيانات الصور الخاصة بنا.في كل حالة استخدام، تم تدريب الشبكة العصبية لمدة 10 حقب، وتم تجميد جميع أوزان الطبقة باستثناء الطبقات العليا، وتم تعلم أوزان جميع المعلمات الداخلية لمدة 40 حقبة باستخدام طريقة معدل التعلم التمييزي مع دالة فقدان الإنتروبيا المتقاطعة 15، 16..تعد وظيفة فقدان الإنتروبيا المتقاطعة مقياسًا للمقياس اللوغاريتمي للتناقض بين تسميات الشبكة المتوقعة والبيانات الحقيقية.أثناء التدريب، يتم إجراء نزول متدرج على المعلمات الداخلية للشبكة العصبية لتقليل الخسائر.تم ضبط معدل التعلم، ومعدل التسرب، والمعلمات الفائقة لتخفيض الوزن باستخدام التحسين الافتراضي مع نقطتي بداية عشوائيتين و10 تكرارات، وتم ضبط AUC في مجموعة البيانات باستخدام المعلمات الفائقة كهدف قدره 17.
أمثلة تمثيلية لصور OCTA مقاس 8 × 8 مم للضفائر الشعرية السطحية سجلت 2 (A، B)، 1 (C، D)، و0 (E، F).تتضمن عناصر الصورة المعروضة خطوطًا وامضة (أسهم)، وعناصر تجزئة (العلامات النجمية)، وعتامة الوسائط (أسهم).الصورة (E) بعيدة أيضًا عن المركز.
يتم بعد ذلك إنشاء منحنيات خصائص تشغيل جهاز الاستقبال (ROC) لجميع نماذج الشبكات العصبية، ويتم إنشاء تقارير قوة إشارة المحرك لكل حالة استخدام منخفضة الجودة وعالية الجودة.تم حساب المساحة تحت المنحنى (AUC) باستخدام حزمة pROC R، وتم حساب فواصل الثقة والقيم p بنسبة 95% باستخدام طريقة DeLong.يتم استخدام الدرجات التراكمية للمقيمين البشريين كخط أساس لجميع حسابات ROC.بالنسبة لقوة الإشارة التي أبلغ عنها الجهاز، تم حساب AUC مرتين: مرة واحدة لقطع نقاط قابلية التوسع عالي الجودة ومرة ​​لقطع نقاط قابلية التوسع منخفضة الجودة.تتم مقارنة الشبكة العصبية بقوة إشارة AUC مما يعكس ظروف التدريب والتقييم الخاصة بها.
لمزيد من اختبار نموذج التعلم العميق المدرب على مجموعة بيانات منفصلة، ​​تم تطبيق نماذج عالية الجودة ومنخفضة الجودة مباشرة على تقييم أداء 32 صورة لألواح السطح كاملة الوجه 6\(\times\) 6 مم تم جمعها من جامعة ييل.يتم توسيط كتلة العين في نفس الوقت الذي تظهر فيه الصورة 8 \(\مرات \) 8 ملم.تم تقييم الصور مقاس 6\(\×\) 6 مم يدويًا بواسطة نفس المُقيّمين (RD وJW) بنفس طريقة الصور مقاس 8\(\×\) 8 مم، وتم حساب AUC بالإضافة إلى الدقة وكابا كوهين .على قدم المساواة.
نسبة اختلال الفئة هي 158:189 (\(\rho = 1.19\)) للنموذج منخفض الجودة و80:267 (\(\rho = 3.3\)) للنموذج عالي الجودة.نظرًا لأن نسبة اختلال الطبقة أقل من 1:4، لم يتم إجراء أي تغييرات معمارية محددة لتصحيح اختلال الطبقة.
لتصور عملية التعلم بشكل أفضل، تم إنشاء خرائط تنشيط الفصل لجميع نماذج التعلم العميق الأربعة المدربة: نموذج ResNet152 عالي الجودة، ونموذج ResNet152 منخفض الجودة، ونموذج AlexNet عالي الجودة، ونموذج AlexNet منخفض الجودة.يتم إنشاء خرائط تنشيط الفئة من الطبقات التلافيفية المدخلة لهذه النماذج الأربعة، ويتم إنشاء خرائط الحرارة عن طريق تراكب خرائط التنشيط مع الصور المصدر من مجموعات التحقق 8 × 8 مم و6 × 6 مم.
تم استخدام الإصدار 4.0.3 من R لجميع الحسابات الإحصائية، وتم إنشاء تصورات باستخدام مكتبة أدوات الرسومات ggplot2.
قمنا بجمع 347 صورة أمامية للضفيرة الشعرية السطحية بقياس 8 \(\مرات\)8 ملم من 134 شخصًا.أبلغ الجهاز عن قوة الإشارة على مقياس من 0 إلى 10 لجميع الصور (المتوسط ​​= 6.99 ± 2.29).من بين 347 صورة تم الحصول عليها، كان متوسط ​​العمر عند الفحص 58.7 ± 14.6 سنة، و39.2% كانت من المرضى الذكور.من بين جميع الصور، كان 30.8% من القوقازيين، و32.6% من السود، و30.8% من ذوي الأصول الأسبانية، و4% من الآسيويين، و1.7% من الأجناس الأخرى (الجدول 1).).اختلف التوزيع العمري للمرضى الذين يعانون من OCTA بشكل كبير اعتمادًا على جودة الصورة (P <0.001).كانت النسبة المئوية للصور عالية الجودة لدى المرضى الأصغر سنًا الذين تتراوح أعمارهم بين 18-45 عامًا 33.8% مقارنة بـ 12.2% للصور منخفضة الجودة (الجدول 1).كما تباين توزيع حالة اعتلال الشبكية السكري بشكل كبير في جودة الصورة (P <0.017).من بين جميع الصور عالية الجودة، كانت النسبة المئوية للمرضى الذين يعانون من PDR 18.8٪ مقارنة بـ 38.8٪ من جميع الصور منخفضة الجودة (الجدول 1).
أظهرت التقييمات الفردية لجميع الصور موثوقية متوسطة إلى قوية في التصنيف بين الأشخاص الذين يقرؤون الصور (كابا كوهين المرجح = 0.79، 95٪ CI: 0.76-0.82)، ولم تكن هناك نقاط صورة حيث اختلف المقيمون بأكثر من 1 (الشكل 1 أ). 2 أ)..ارتبطت شدة الإشارة بشكل كبير بالتسجيل اليدوي (ارتباط لحظة منتج بيرسون = 0.58، 95٪ CI 0.51-0.65، p <0.001)، ولكن تم تحديد العديد من الصور على أنها ذات كثافة إشارة عالية ولكن تسجيل يدوي منخفض (الشكل .2ب).
أثناء التدريب على معماريتي ResNet152 وAlexNet، تنخفض خسارة الإنتروبيا المتقاطعة عند التحقق من الصحة والتدريب إلى أكثر من 50 حقبة (الشكل 3B،C).تزيد دقة التحقق من الصحة في فترة التدريب النهائية عن 90% لكل من حالات الاستخدام عالية الجودة ومنخفضة الجودة.
تُظهر منحنيات أداء جهاز الاستقبال أن نموذج ResNet152 يتفوق بشكل كبير على قوة الإشارة التي أبلغ عنها الجهاز في كل من حالات الاستخدام المنخفضة والعالية الجودة (p <0.001).يتفوق نموذج ResNet152 أيضًا بشكل كبير على بنية AlexNet (p = 0.005 وp = 0.014 للحالات ذات الجودة المنخفضة والعالية الجودة، على التوالي).تمكنت النماذج الناتجة لكل من هذه المهام من تحقيق قيم AUC تبلغ 0.99 و0.97 على التوالي، وهو أفضل بكثير من قيم AUC المقابلة البالغة 0.82 و0.78 لمؤشر قوة إشارة الماكينة أو 0.97 و0.94 لـ AlexNet ..(تين. 3).يكون الفرق بين ResNet وAUC في قوة الإشارة أعلى عند التعرف على الصور عالية الجودة، مما يشير إلى فوائد إضافية لاستخدام ResNet لهذه المهمة.
تُظهر الرسوم البيانية قدرة كل مقيم مستقل على التسجيل والمقارنة مع قوة الإشارة التي أبلغ عنها الجهاز.(أ) يتم استخدام مجموع النقاط التي سيتم تقييمها لإنشاء العدد الإجمالي للنقاط التي سيتم تقييمها.يتم تعيين جودة عالية للصور ذات درجة قابلية التوسع الإجمالية 4، بينما يتم تعيين جودة منخفضة للصور ذات درجة قابلية التوسع الإجمالية 1 أو أقل.(ب) ترتبط شدة الإشارة بالتقديرات اليدوية، ولكن الصور ذات كثافة الإشارة العالية قد تكون ذات جودة أقل.يشير الخط الأحمر المنقط إلى حد الجودة الموصى به من قبل الشركة المصنعة بناءً على قوة الإشارة (قوة الإشارة \(\ge\)6).
يوفر تعلم نقل ResNet تحسينًا كبيرًا في تحديد جودة الصورة لكل من حالات الاستخدام منخفضة الجودة وعالية الجودة مقارنة بمستويات الإشارة المبلغ عنها آليًا.(أ) مخططات معمارية مبسطة لبنيتي (i) ResNet152 و(ii) AlexNet المدربتين مسبقًا.(ب) منحنيات تاريخ التدريب وأداء جهاز الاستقبال لـ ResNet152 مقارنة بقوة الإشارة المُبلغ عنها آليًا ومعايير الجودة المنخفضة AlexNet.(C) تاريخ تدريب جهاز الاستقبال ResNet152 ومنحنيات الأداء مقارنة بقوة الإشارة المُبلغ عنها بواسطة الماكينة ومعايير الجودة العالية AlexNet.
بعد ضبط عتبة حدود القرار، تبلغ الحد الأقصى لدقة التنبؤ لنموذج ResNet152 95.3% لحالة الجودة المنخفضة و93.5% لحالة الجودة العالية (الجدول 2).الحد الأقصى لدقة التنبؤ لنموذج AlexNet هو 91.0% لحالة الجودة المنخفضة و90.1% لحالة الجودة العالية (الجدول 2).الحد الأقصى لدقة التنبؤ بقوة الإشارة هو 76.1% لحالة الاستخدام منخفضة الجودة و77.8% لحالة الاستخدام عالية الجودة.وفقًا لكابا كوهين (\(\kappa\))، فإن الاتفاق بين نموذج ResNet152 والمقدرين هو 0.90 لحالة الجودة المنخفضة و0.81 لحالة الجودة العالية.AlexNet kappa من Cohen هو 0.82 و0.71 لحالات الاستخدام ذات الجودة المنخفضة والعالية الجودة، على التوالي.تبلغ قوة إشارة كوهين kappa 0.52 و0.27 لحالات الاستخدام المنخفضة والعالية الجودة، على التوالي.
يوضح التحقق من صحة نماذج التعرف على الجودة العالية والمنخفضة على صور 6\(\x\) للوحة مسطحة مقاس 6 مم قدرة النموذج المدرب على تحديد جودة الصورة عبر معلمات التصوير المختلفة.عند استخدام ألواح ضحلة مقاس 6\(\x\) 6 مم لجودة التصوير، كان للنموذج منخفض الجودة مساحة AUC تبلغ 0.83 (فاصل الثقة 95%: 0.69–0.98) وكان النموذج عالي الجودة يحتوي على مساحة AUC تبلغ 0.85.(95٪ CI: 0.55-1.00) (الجدول 2).
أظهر الفحص البصري لخرائط تنشيط فئة طبقة الإدخال أن جميع الشبكات العصبية المدربة تستخدم ميزات الصورة أثناء تصنيف الصور (الشكل 4A، B).بالنسبة إلى 8 \(\times \) 8 مم و6 \(\times \) صور 6 مم، تتبع صور تنشيط ResNet عن كثب الأوعية الدموية في شبكية العين.تتبع خرائط تنشيط AlexNet أيضًا أوعية الشبكية، ولكن بدقة أقل.
تسلط خرائط تنشيط الفئة لطرازي ResNet152 وAlexNet الضوء على الميزات المتعلقة بجودة الصورة.(أ) خريطة تنشيط الفئة توضح التنشيط المتماسك بعد الأوعية الدموية الشبكية السطحية في 8 \(\مرات \) صور التحقق من الصحة مقاس 8 مم و(ب) المدى على صور التحقق الأصغر مقاس 6 \(\مرات \) 6 مم.نموذج LQ تم تدريبه على معايير جودة منخفضة، ونموذج HQ تم تدريبه على معايير جودة عالية.
لقد سبق أن تبين أن جودة الصورة يمكن أن تؤثر بشكل كبير على أي تقدير كمي لصور OCTA.بالإضافة إلى ذلك، فإن وجود اعتلال الشبكية يزيد من حدوث آثار الصورة.في الواقع، في بياناتنا، بما يتوافق مع الدراسات السابقة، وجدنا ارتباطًا كبيرًا بين زيادة العمر وشدة مرض الشبكية وتدهور جودة الصورة (P <0.001، P = 0.017 للعمر وحالة DR، على التوالي؛ الجدول 1) 27 ولذلك، من الأهمية بمكان تقييم جودة الصورة قبل إجراء أي تحليل كمي لصور OCTA.تستخدم معظم الدراسات التي تحلل صور OCTA عتبات شدة الإشارة المُبلغ عنها آليًا لاستبعاد الصور منخفضة الجودة.على الرغم من أن كثافة الإشارة قد أظهرت أنها تؤثر على القياس الكمي لمعلمات OCTA، إلا أن كثافة الإشارة العالية وحدها قد لا تكون كافية لاستبعاد الصور التي تحتوي على عناصر الصورة.ولذلك، فمن الضروري تطوير طريقة أكثر موثوقية لمراقبة جودة الصورة.ولتحقيق هذه الغاية، نقوم بتقييم أداء أساليب التعلم العميق الخاضعة للإشراف مقابل قوة الإشارة التي أبلغ عنها الجهاز.
لقد قمنا بتطوير عدة نماذج لتقييم جودة الصورة لأن حالات استخدام OCTA المختلفة قد يكون لها متطلبات مختلفة لجودة الصورة.على سبيل المثال، يجب أن تكون الصور ذات جودة أعلى.وبالإضافة إلى ذلك، فإن المعلمات الكمية المحددة ذات الاهتمام مهمة أيضًا.على سبيل المثال، مساحة المنطقة اللاوعائية النقرية لا تعتمد على تعكر الوسط غير المركزي، ولكنها تؤثر على كثافة الأوعية.بينما يستمر بحثنا في التركيز على نهج عام لجودة الصورة، غير مرتبط بمتطلبات أي اختبار معين، ولكنه يهدف إلى استبدال قوة الإشارة التي أبلغ عنها الجهاز بشكل مباشر، فإننا نأمل أن نمنح المستخدمين درجة أكبر من التحكم حتى يتمكنوا من يمكن تحديد المقياس المحدد الذي يهم المستخدم.اختر نموذجًا يتوافق مع الحد الأقصى من عناصر الصورة التي تعتبر مقبولة.
بالنسبة للمشاهد منخفضة الجودة وعالية الجودة، نعرض أداءً ممتازًا للشبكات العصبية التلافيفية العميقة المفقودة للاتصال، مع AUCs تبلغ 0.97 و0.99 ونماذج منخفضة الجودة، على التوالي.نعرض أيضًا الأداء المتفوق لنهج التعلم العميق لدينا عند مقارنته بمستويات الإشارة التي أبلغت عنها الأجهزة فقط.يسمح تخطي الاتصالات للشبكات العصبية بتعلم الميزات على مستويات متعددة من التفاصيل، والتقاط الجوانب الدقيقة من الصور (مثل التباين) بالإضافة إلى الميزات العامة (مثل توسيط الصورة 30،31).نظرًا لأنه من الأفضل تحديد عناصر الصورة التي تؤثر على جودة الصورة على نطاق واسع، فقد تظهر بنيات الشبكات العصبية ذات الاتصالات المفقودة أداءً أفضل من تلك التي لا تحتوي على مهام تحديد جودة الصورة.
عند اختبار نموذجنا على صور 6\(\×6mm) OCTA، لاحظنا انخفاضًا في أداء التصنيف لكل من النماذج عالية الجودة ومنخفضة الجودة (الشكل 2)، على عكس حجم النموذج الذي تم تدريبه للتصنيف.بالمقارنة مع نموذج ResNet، فإن نموذج AlexNet لديه تراجع أكبر.قد يرجع الأداء الأفضل نسبيًا لـ ResNet إلى قدرة الاتصالات المتبقية على نقل المعلومات على مستويات متعددة، مما يجعل النموذج أكثر قوة لتصنيف الصور الملتقطة بمقاييس و/أو تكبيرات مختلفة.
يمكن أن تؤدي بعض الاختلافات بين صور مقاس 8 \(\×\) 8 مم و6 صور مقاس \(\×\) 6 مم إلى سوء التصنيف، بما في ذلك نسبة عالية نسبيًا من الصور التي تحتوي على مناطق نقرية غير وعائية، وتغيرات في الرؤية، وأروقة وعائية، و لا يوجد عصب بصري على الصورة 6×6 مم.على الرغم من ذلك، تمكن نموذج ResNet عالي الجودة الخاص بنا من تحقيق AUC بنسبة 85% لصور مقاس 6 \(\x\) 6 مم، وهو تكوين لم يتم تدريب النموذج عليه، مما يشير إلى أن معلومات جودة الصورة مشفرة في الشبكة العصبية مناسب.لحجم صورة واحد أو تكوين الجهاز خارج نطاق التدريب (الجدول 2).مما يبعث على الاطمئنان أن خرائط التنشيط المشابهة لـ ResNet وAlexNet المكونة من 8 \(\times \) 8 ملم و6 \(\times \) 6 ملم كانت قادرة على تسليط الضوء على أوعية الشبكية في كلتا الحالتين، مما يشير إلى أن النموذج يحتوي على معلومات مهمة.قابلة للتطبيق لتصنيف كلا النوعين من صور OCTA (الشكل 4).
لويرمان وآخرون.تم إجراء تقييم جودة الصورة على صور OCTA بالمثل باستخدام بنية Inception، وهي شبكة عصبية تلافيفية أخرى ذات اتصال تخطي باستخدام تقنيات التعلم العميق.كما قاموا بقصر الدراسة على صور الضفيرة الشعرية السطحية، ولكن فقط باستخدام الصور الأصغر مقاس 3 × 3 مم من Optovue AngioVue، على الرغم من تضمين المرضى الذين يعانون من أمراض المشيمية والشبكية المختلفة أيضًا.يعتمد عملنا على أسسها، بما في ذلك نماذج متعددة لمعالجة الحدود المختلفة لجودة الصورة والتحقق من صحة النتائج للصور ذات الأحجام المختلفة.نقوم أيضًا بالإبلاغ عن مقياس الجامعة الأمريكية بالقاهرة لنماذج التعلم الآلي ونزيد من دقتها المذهلة بالفعل (90%)6 لكل من النماذج منخفضة الجودة (96%) وعالية الجودة (95.7%)6.
هذا التدريب له عدة قيود.أولاً، تم الحصول على الصور باستخدام جهاز OCTA واحد فقط، بما في ذلك صور الضفيرة الشعرية السطحية فقط عند 8\(\times\)8 ملم و6\(\times\)6 ملم.السبب وراء استبعاد الصور من الطبقات الأعمق هو أن عناصر الإسقاط يمكن أن تجعل التقييم اليدوي للصور أكثر صعوبة وربما أقل اتساقًا.علاوة على ذلك، لم يتم الحصول على الصور إلا في مرضى السكري، الذين ظهر لهم OCTA كأداة تشخيصية وإنذارية مهمة.على الرغم من أننا تمكنا من اختبار نموذجنا على صور ذات أحجام مختلفة للتأكد من أن النتائج كانت قوية، إلا أننا لم نتمكن من تحديد مجموعات البيانات المناسبة من مراكز مختلفة، مما حد من تقييمنا لقابلية تعميم النموذج.على الرغم من أنه تم الحصول على الصور من مركز واحد فقط، إلا أنه تم الحصول عليها من مرضى من خلفيات عرقية وعنصرية مختلفة، وهي نقطة قوة فريدة في دراستنا.ومن خلال تضمين التنوع في عملية التدريب لدينا، نأمل أن يتم تعميم نتائجنا بمعنى أوسع، وأن نتجنب ترميز التحيز العنصري في النماذج التي ندربها.
توضح دراستنا أنه يمكن تدريب الشبكات العصبية التي تتخطى الاتصال لتحقيق أداء عالٍ في تحديد جودة صورة OCTA.نحن نقدم هذه النماذج كأدوات لمزيد من البحث.ونظرًا لأن المقاييس المختلفة قد يكون لها متطلبات مختلفة لجودة الصورة، فيمكن تطوير نموذج فردي لمراقبة الجودة لكل مقياس باستخدام الهيكل الموضح هنا.
يجب أن تتضمن الأبحاث المستقبلية صورًا بأحجام مختلفة من أعماق مختلفة وأجهزة OCTA مختلفة للحصول على عملية تقييم جودة الصورة للتعلم العميق والتي يمكن تعميمها على منصات OCTA وبروتوكولات التصوير.ويعتمد البحث الحالي أيضًا على أساليب التعلم العميق الخاضعة للإشراف والتي تتطلب تقييمًا بشريًا وتقييمًا للصور، الأمر الذي قد يتطلب عمالة كثيفة ويستغرق وقتًا طويلاً بالنسبة لمجموعات البيانات الكبيرة.يبقى أن نرى ما إذا كانت أساليب التعلم العميق غير الخاضعة للرقابة يمكنها التمييز بشكل مناسب بين الصور منخفضة الجودة والصور عالية الجودة.
مع استمرار تطور تقنية OCTA وزيادة سرعات المسح الضوئي، قد ينخفض ​​معدل حدوث عيوب الصورة والصور ذات الجودة الرديئة.يمكن أيضًا للتحسينات في البرنامج، مثل ميزة إزالة عناصر الإسقاط التي تم تقديمها مؤخرًا، أن تخفف من هذه القيود.ومع ذلك، لا تزال هناك العديد من المشاكل حيث أن تصوير المرضى الذين يعانون من ضعف التثبيت أو تعكر الوسائط الكبير يؤدي دائمًا إلى نتائج فنية في الصورة.نظرًا لأن OCTA أصبح يستخدم على نطاق أوسع في التجارب السريرية، هناك حاجة إلى دراسة متأنية لوضع مبادئ توجيهية واضحة لمستويات القطع الأثرية المقبولة للصور لتحليل الصور.إن تطبيق أساليب التعلم العميق على صور OCTA يحمل وعدًا كبيرًا وهناك حاجة إلى مزيد من البحث في هذا المجال لتطوير نهج قوي للتحكم في جودة الصورة.
الكود المستخدم في البحث الحالي متاح في مستودع octa-qc، https://github.com/rahuldhodapkar/octa-qc.مجموعات البيانات التي تم إنشاؤها و/أو تحليلها خلال الدراسة الحالية متاحة من المؤلفين المعنيين بناء على طلب معقول.
سبايد، RF، فوجيموتو، JG ووحيد، NK التحف الصورة في تصوير الأوعية التماسك البصري.شبكية العين 35، 2163-2180 (2015).
فينر، BJ وآخرون.تحديد ميزات التصوير التي تحدد جودة واستنساخ قياسات كثافة الضفيرة الشعرية في شبكية العين في تصوير الأوعية OCT.ر.J. العيون.102، 509-514 (2018).
لويرمان، JL وآخرون.تأثير تقنية تتبع العين على جودة صورة تصوير الأوعية OCT في الضمور البقعي المرتبط بالعمر.قوس القبر.مرضي.إكسب.طب العيون.255، 1535–1542 (2017).
بيبيوتش AS وآخرون.تُستخدم قياسات كثافة التروية الشعرية OCTA للكشف عن نقص تروية البقعة الصفراء وتقييمها.جراحة العيون.تصوير الشبكية بالليزر 51، S30 – S36 (2020).
He، K.، Zhang، X.، Ren، S.، and Sun، J. Deep Residual Learning for Image Recognition.في عام 2016 في مؤتمر IEEE حول الرؤية الحاسوبية والتعرف على الأنماط (2016).
لويرمان، JL وآخرون.تقييم جودة الصورة الوعائية OCT الآلي باستخدام خوارزميات التعلم العميق.قوس القبر.مرضي.إكسب.طب العيون.257، 1641–1648 (2019).
لورمان، J. وآخرون.يعتمد مدى انتشار أخطاء التجزئة والتحف الحركية في تصوير الأوعية OCT على مرض الشبكية.قوس القبر.مرضي.إكسب.طب العيون.256، 1807–1816 (2018).
باسك، آدم وآخرون.Pytorch: مكتبة تعلم عميق حتمية وعالية الأداء.المعالجة المتقدمة للمعلومات العصبية.نظام.32، 8026–8037 (2019).
دينغ، J. وآخرون.ImageNet: قاعدة بيانات صور هرمية واسعة النطاق.مؤتمر IEEE لعام 2009 حول الرؤية الحاسوبية والتعرف على الأنماط.248-255.(2009).
تصنيف Krizhevsky A. و Sutzkever I. و Hinton GE Imagenet باستخدام الشبكات العصبية التلافيفية العميقة.المعالجة المتقدمة للمعلومات العصبية.نظام.25، 1 (2012).