IMAGECAS: BİLGİSAYARLI TOMOGRAFİ ANJİYOGRAFİ GÖRÜNTÜLERİNE DAYALI KORONER ARTER SEGMENTASYONU İÇİN GENİŞ ÖLÇEKLİ BİR VERİ SETİ VE REFERANS NOKTASI ÇALIŞMASI
Not : Bilgisayarlı Tıbbi Görüntüleme Ve Grafik üzerine yapılan, Imagecas: Bilgisayarlı Tomografi Anjiyografi Görüntülerine Dayalı Koroner Arter Segmentasyonu İçin Geniş Ölçekli Bir Veri Seti Ve Referans Noktası adlı çalışma, bilimsel çalışmalara katkı sağlamak ve Türk literatürüne girmesi adına Xiaowei Xu’nun vermiş olduğu izinle, tarafımızca Türkçe’ye çevrilmiş ve yayınlanmıştır.
İçindekiler
ÖZET
Kardiyovasküler hastalıklar (KVH), bulaşıcı olmayan hastalıkların yaklaşık yarısını oluşturur. Koroner arterdeki damar stenozu, KVH’nın en büyük riski olarak kabul edilmektedir. Bilgisayarlı tomografi anjiyografi (BTA), üstün görüntü çözünürlüğü nedeniyle koroner arter tanısında yaygın olarak kullanılan noninvaziv görüntüleme yöntemlerinden biridir. Klinik olarak koroner arter hastalığının tanısı ve miktarının belirlenmesi için koroner arterlerin segmentasyonu önemlidir. Son zamanlarda bu soruna çözüm bulmak için çeşitli çalışmalar önerilmiştir.
Bununla birlikte, bir yandan çoğu çalışma şirket içi veri kümelerine dayanıyor ve yalnızca birkaç çalışma, yalnızca onlarca görüntü içeren veri kümelerini kamuya yayınlıyor. Öte yandan, kaynak kodları yayınlanmamıştır ve takip çalışmalarının çoğu mevcut çalışmalarla karşılaştırma yapmamıştır, bu da yöntemlerin etkililiğini değerlendirmeyi zorlaştırmakta ve bu zorlu ama kritik sorunun daha fazla araştırılmasını engellemektedir.
Bu yazıda, CTA görüntülerinde koroner arter segmentasyonu için geniş ölçekli bir veri seti öneriyoruz. Ek olarak, mevcut birkaç tipik yöntemi uygulamak için elimizden gelenin en iyisini yapmaya çalıştığımız bir kıyaslama uyguladık. Ayrıca, damarların ayrıntılarını çıkarmak için çok ölçekli yama füzyonunu ve iki aşamalı işlemeyi birleştiren güçlü bir temel yöntem öneriyoruz. Kapsamlı deneyler, önerilen yöntemin, önerilen büyük ölçekli veri seti üzerinde mevcut çalışmalardan daha iyi performans elde ettiğini göstermektedir.
Giriş
Kardiyovasküler hastalık (KVH) günümüzde dünyanın önde gelen sağlık sorunlarından biridir. Dünya Sağlık Örgütü’ne (WHO) göre, 2019 yılında KVH’ye bağlı 17,9 milyon ölüm meydana geldi ve bu, tüm küresel ölümlerin %32’sini oluşturdu (Organizasyon ve ark., 2009). Avustralya Sağlık ve Refah Enstitüsü (AIHW), KVH’nin Avustralya’daki ölümlerin önde gelen nedeni olduğunu ve 2018’deki tüm ölümlerin %42’sini temsil ettiğini bildirdi (Zhang, 2010). Tüm CVD’ler arasında koroner kalp hastalığı, patofizyolojisinin temel olarak anormal koroner arter stenozu ile ilişkilendirildiği en yaygın tiptir (Cooper ve ark., 2000).
Bu tür stenoz sıklıkla miyokardiyal perfüzyonun azalmasına ve miyokardiyal hücrelerin hipoksi hasarına neden olur ve sonunda miyokard enfarktüsüne yol açar. Klinik pratikte bilgisayarlı tomografi anjiyografi (BTA), noninvaziv olması ve yüksek çözünürlüklü 3 boyutlu görüntüleme sağlayabilmesi nedeniyle koroner arter hastalıklarının tanı ve tedavi planlamasında yaygın olarak kullanılmaktadır (Collet ve ark., 2018). BTA görüntüleri alındıktan sonra radyologlar öncelikle koroner arterlerin yerini tespit eder ve sınırlarını izole eder. Daha sonra nihai teşhis ve tedavi planlaması için daralan kısım çıkartılarak miktarı belirlenir.
Bununla birlikte, manüel işlemlere dayanan bu tür bir prosesin, olumsuz bir şekilde zaman alıcı ve hataya açık olduğu yaygın olarak kabul edilmektedir. Daha da kötüsü, tıbbi görüntülerin sürekli artan miktarı ve çeşitliliği (Li ve diğerleri, 2018c), maliyet ve tekrarlanabilirlik açısından manuel segmentasyonu tamamen uygulanamaz hale getirebilir.
Bu nedenle otomatik koroner arter segmentasyonu oldukça arzu edilir. Ancak bu görev birçok nedenden dolayı oldukça zordur.
Birincisi, koroner arterin anatomik yapısı popülasyondan popülasyona önemli ölçüde değişmektedir. Örneğin, koroner arterler genellikle bir yağ tabakasıyla çevrilidir ancak bazı insanlarda arterler kalp kasının içindedir.
İkincisi, bazı CTA görüntüleri, segmentasyon sonuçlarında düşük kaliteye neden olacak artefaktlar nedeniyle gürültülüdür.
Üçüncüsü, koroner arterlerin tübüler yapısı son derece karmaşıktır. Örneğin, arterler boyunca çok sayıda çatallanma vardır ve enine düzlemlerde az miktarda koroner arter alanı vardır (Zhu ve ark., 2021).
Yukarıdaki konuları ele almak için son on yılda toplulukta onlarca çalışma önerilmiştir. Bu çalışmalarda kullanılan yaklaşımlar iki ana kategoriye ayrılabilir: geleneksel makine öğrenimi (ML) tabanlı yöntem ve derin öğrenme (DL) tabanlı yöntem. Geleneksel ML tabanlı yöntem ayrıca piksel tabanlı yöntem ve yapı tabanlı yöntem olarak alt sınıflara ayrılabilir (Doyle et al., 2006; Nguyen et al., 2012; Tabesh et al.,2007; Sirinukunwattana et al., 2015a).
Bu yöntemler, el yapımı özellikleri ve koroner arter yapılarına ilişkin ön bilgileri kullanarak umut verici sonuçlar elde etmektedir (Zheng ve diğerleri, 2011; Mohr ve diğerleri, 2012; Broersen ve diğerleri, 2012; Shahzad ve diğerleri, 2013; Chi ve diğerleri). Ancak ciddi deformasyona sahip koronerlere uygulandığında önemli ölçüde bozulmaya uğrarlar. ML tabanlı yöntemden farklı olarak, yakın zamanda önerilen DL tabanlı yöntemler, çok az el yapımı özellik veya ön bilgi gerektirir.
Böyle bir yaklaşımı kullanan çalışmalar, ilk yaklaşıma göre önemli bir gelişme elde etmiş ve koroner arter segmentasyonu için yüksek etkinliğini kanıtlamıştır (Huang et al., 2018; Shen et al., 2019; Chen et al., 2019; Wolterink et al., 2019; Kong et al., 2020; Gu and Cai, 2021; Zhu et al., 2021; Tian et al., 2021).
Mevcut çalışmaların Tablo 1 ve Tablo 2’de gösterildiği gibi ayrıntılı bir analizini yapıyoruz ve çoğu çalışmanın diğerleriyle adil ve kapsamlı bir karşılaştırma yapamadığını görüyoruz. Örneğin Kong ve ark. (2020) daha önceki ilgili çalışmalarla karşılaştırma yapmamış, yalnızca bazı popüler derin sinir ağları (DNN’ler) ile karşılaştırma yapmıştır. Shen ve ark. (2019), karşılaştırma için ilgili çalışmaların Zar puanını listeledi; bu, iki yöntem aynı veri seti kullanılarak değerlendirilmediğinden yeterince adil değil. Hatta bazı çalışmalarda (Chi et al., 2015; Han et al., 2016) belirli klinik ihtiyaçlara göre uyarlanmış farklı değerlendirme metrikleri setleri kullanılırken, diğerleri (Shen et al., 2019) başlangıçtaki aortun dahil edildiği farklı açıklamalar bile kullanmış ve bu da çok daha yüksek bir Zar puanına yol açmıştır.
Bu değerlendirme önyargıları temel olarak kamuya açık geniş ölçekli bir kıyaslama veri setinin bulunmamasından kaynaklanmaktadır. Koroner arter segmentasyonuna yönelik yalnızca iki genel veri kümesi (Schaap et al., 2009a; Kirişli et al., 2013) (also shown in Table 2), eğitim için sırasıyla yalnızca 8 ve 18 görüntü içerir. Bunun yanı sıra, mevcut yöntemlerin hepsinin kaynak kodu yayınlanmaması, adil bir karşılaştırma için daha fazla zorluk ortaya çıkarmıştır.
Bu yazıda, otomatik koroner arter segmentasyon yöntemlerinin etkinliğini adil bir şekilde araştırmak için geniş bir veri seti öneriyoruz. Bu veri kümesi, mevcut genel veri kümelerinden oldukça büyük olan 1000 3D CTA görüntüsü içerir. Ek olarak, bu veri setine dayalı olarak, yalnızca birkaç mevcut tipik yöntemi uygulamakla kalmayıp aynı zamanda güçlü bir temel yöntem de önerdiğimiz bir kıyaslama noktası da öneriyoruz. Deneysel sonuçlar, temel yöntemimizin mevcut tüm yöntemlerden daha iyi performansa ulaştığını göstermektedir. Ve bu arada iyileştirme için iyi bir potansiyel gösteriyor. Bu çalışmanın katkıları şu şekilde özetlenebilir:
• Koroner arter segmentasyonu için 1000 hastayı içeren geniş ölçekli, kamuya açık bir veri seti topladık. Veri kümesinin resmi bir veri bölümü de sağlanmaktadır. Bu veri kümesinin toplulukta ilgili araştırmaların desteklenmesine yardımcı olabileceğini umuyoruz;
• Koroner arter segmentasyonu için mevcut çeşitli yöntemleri uyguladığımız bir kıyaslama önerdik. Karşılaştırmalı değerlendirmeyi de yayınladık ve bunun daha sonraki çalışmalarda adil karşılaştırmalar yapılmasına yardımcı olabileceğini umuyoruz;
• Damarların ayrıntılarını çıkarmak için çok ölçekli yama füzyonunu ve iki aşamalı işlemeyi birleştiren güçlü bir temel yöntem önerdik ve deneysel sonuçlar, yöntemimizin mevcut en gelişmiş yöntemlerden daha iyi performans gösterdiğini gösteriyor.
Makalenin geri kalanı şu şekilde organize edilmiştir. Bölüm 2 ilgili çalışmalara genel bir bakış sunmaktadır. Bölüm 3’te önerilen veri setinin detayları sunulmaktadır. Daha sonra, Bölüm 4’te mevcut birkaç tipik yöntemi ve temel yöntemimizi içeren önerilen kıyaslama sunulmaktadır. Deney sonuçları Bölüm 5’te sunulmakta ve tartışılmaktadır ve Bölüm 6’da makale sonuçlanmaktadır.
İlgili Çalışma
Bu bölümde koroner arter segmentasyonu ile ilgili mevcut literatürü gözden geçireceğiz. İlgili çalışmaları öncelikle kullanılan yaklaşım türlerine göre (geleneksel ML tabanlı yaklaşım ve DL tabanlı yaklaşım) inceliyoruz ve ardından bu çalışmalarda yaygın olarak benimsenen veri kümelerini ve kriterleri tartışıyoruz.
Geleneksel ML Tabanlı Yaklaşım
El yapımı özellikler ve koroner arter yapılarına ilişkin ön bilgiler, Table 1. Zheng et al. (2011) Zheng’in, uzman açıklamalı bir veri kümesine yerleştirilmiş zengin alana özgü bilgiden (özellikle bir dizi geometrik ve görüntü özelliğinden) yararlanmak için bir ML yöntemi önerdiği gibi, bu yaklaşımda yaygın olarak kullanılmaktadır. Mohr ve ark. (2012), verimli işleme için seviye setine dayalı bir yaklaşım önerdi. Wang ve ark. (2012), doğru segmentasyon için seviye kümelerini damarların örtülü 3 boyutlu modeliyle birleştiriyor. Broersen ve ark. (2012) birbirini takip eden üç adımdan oluşan bir boru hattını benimsedi. Shahzad ve ark. (2013), çıkarılan merkez çizgilerinin yardımıyla segmentasyonu gerçekleştirdi.
Lugauer ve ark. (2014a), yoğun ışın dökümü yoluyla sağlam bir lümen kontur algılamasını mümkün kılmak için öğrenmeye dayalı bir sınır dedektörü kullandı. Lugauer, dışbükey önceliklere sahip Markov rastgele alan formülasyonuna dayanan model kılavuzlu bir bölümleme yaklaşımı önerdi. Chi ve ark. (2015), Yoğunluk, yerel şekil ve küresel yapının koroner arter özelliklerini bir öğrenme çerçevesine entegre etti. Lesage ve ark. (2016), damar bölümlendirmesini yinelemeli bir izleme süreci olarak değerlendirdi ve koroner arterlerin tanımlanması için parçacık filtrelerine dayalı yeni bir Bayesian izleme algoritması önerdi.
Han ve ark. (2016), dalları ve görünüşte bağlantısız ama aslında bağlantılı damar bölümlerini bulmak için aktif bir arama yöntemi kullandı. Freiman, koroner ağaçlarda (Nickisch ve ark., 2015) kısmi hacim etkilerini hesaba katan bir akış simülasyon yöntemi kullandı (Glover ve Pelc, 1980). Gao ve ark. (2019), dairesel Hough dönüşümü kullanarak aortu çıkararak koroner kökün yerini tespit etti. Du ve ark (2021), gürültü azaltma, aday bölge tespiti, geometrik özellik çıkarma ve koroner arter izleme tekniklerini içeren yeni bir segmentasyon çerçevesi önerdi.
Tablo 1
Mevcut geleneksel makine öğrenimi tabanlı çalışmalar ve son on yıldaki koroner arter segmentasyonunun Zar puanları (% olarak). 𝑎(𝑏)’da 𝑎 genel miktardır ve 𝑏 eğitim miktarıdır. Genel, yöntemin çeşitli uygulamalar için tasarlandığını belirtirken, özel, yöntemin koroner damar segmentasyonu için tasarlandığını ve optimize edildiğini belirtir.
a Yalnızca test verileri söz konusudur (eğitim verileri geçerli değildir).
b Segmentasyon sonucu aortun başlangıç kısmını içerir.
DL-Tabanlı Yaklaşım
Derin öğrenmenin yükselişinden bu yana ilgili topluluklarda büyük ilgi gördü. Şu anda, Tablo 2’de gösterildiği gibi, piksel bazlı segmentasyon (Moeskops et al., 2016; Kjerland, 2017), doğrudan segmentasyon (Shen et al., 2019; Lee et al., 2019; Yang et al., 2019; Fu et al., 2020; Lei et al., 2020; Gu et al., 2020; Gu and Cai, 2021; Zhu et al., 2021; Liang et al., 2021;
Tian et al., 2021; Cheung et al., 2021; Li et al., 2018a,b; Lin et al., 2022), yama bazlı segmentasyon (Duan et al., 2018; Chen et al., 2018b; Huang et al., 2018; Chen et al., 2019; Mirunalini et al., 2019; Wang et al., 2021; Pan et al., 2021), ağaç veri bazlı segmentasyon (Kong et al., 2020) ve grafik veri bazlı segmentasyon (Wolterink et al., 2019) dahil olmak üzere temel olarak beş teknik eğilim bulunmaktadır.
Koroner arterlerin detaylı anatomik etiketlenmesi gibi diğer çalışmalar da bu makalenin kapsamı dışındadır.
Piksel tabanlı segmentasyon, evrişimli sinir ağlarını (CNN’ler) koroner arter segmentasyonuna uyarlamanın öncüsüdür. Moeskops ve ark. (2016), koroner damar segmentasyonu için derin öğrenmenin uygulanabilirliğini göstermek amacıyla tek bir evrişimli sinir ağı kullanmıştır. Kjerland (2017), sırasıyla aort segmentasyonu ve koroner segmentasyonu konusunda eğitilmiş ve koroner arter ağacının tamamını segmentlere ayırabilen iki sinir ağı kullanmıştır.
Daha sonra U net’in yükselişi nedeniyle doğrudan segmentasyon popüler hale geldi (Ronneberger ve diğerleri, 2015). Shen ve ark. (2019), derin öğrenmeye ve geleneksel seviye belirleme yöntemine dayalı ortak bir çerçeve çalışması önermektedir. Lee ve ark. (2019), uçtan uca eğitilmiş bir uzamsal transformatör ağı aracılığıyla bir şekil şablonunun ilgilenilen temel yapıya uyacak şekilde deforme edildiği şablon transformatör ağlarını benimsemiştir.
Yang ve diğerleri. (2019), iki bölümden oluşan ayırt edici bir koroner arter izleme yöntemini benimsemiştir: bir izleyici ve bir ayırıcı. Fu ve ark. (2020), pulmoner damarlardan kaynaklanan müdahaleleri önlemek için akciğer bölgesinin önceden maskelendiği koroner arter segmentasyonu için Mask R-CNN’yi kullandı. Lei ve diğerleri. (2020), CCTA görüntülerinden çıkarılan bilgilendirici anlamsal özellikleri vurgulamak için derin dikkat stratejisini tam evrişimli ağ (FCN) modeline (Long ve diğerleri, 2015) entegre etti.
Gu ve ark. (2020), daha iyi koroner arter segmentasyonu için küresel özellikli bir gömülü ağ önerdi. Gu ve Cai (2021), hem 2D hem de 3D CNN’lerin avantajlarını koruyan iki aşamalı bir strateji önerdi. Zhu ve diğerleri. (2021), daha kesin sınırlar elde etmek için çoklu seviyelerin ve farklı alıcı alanların özelliklerini ayrı ayrı birleştiren uzay-zamansal özellik füzyon yapısına dayalı U şeklinde bir ağ önermiştir.
Liang ve diğerleri. (2021), kafa karıştırıcı kategorileri ve benzer görünüm özelliklerine sahip hedefleri ayırt etmek için kanal dikkatini ve mekânsal dikkati entegre eden gelişmiş bir U-net önerdi. Tian ve diğerleri. (2021), sınırlı GPU belleği sorununu çözmek için derin öğrenme ve dijital görüntü işleme algoritmalarını birleştirdi. Cheung ve diğerleri. (2021), aort ve koroner arterleri segmentlere ayırmak için tam otomatik iki boyutlu bir U-net modeli önerdi.
Tablo 2
• Mevcut derin öğrenmeye dayalı çalışmalar ve son on yılda koroner arter segmentasyonunun Zar skorları (% olarak). 𝑎(𝑏)’da 𝑎 genel miktardır ve 𝑏 eğitim miktarıdır.
• Genel, yöntemin çeşitli uygulamalar için tasarlandığını belirtirken, özel yöntemin koroner damar segmentasyonu için tasarlandığını ve optimize edildiğini belirtir.
Doğrudan bölümleme, girişin yerel ayrıntıları iyi bir şekilde elde edememesi nedeniyle genellikle alt örneklenmiş bir görüntü gerektirdiğinden, yama tabanlı bölümleme popüler hale gelir. Temel olarak bu yöntemde, ilk önce alt örneklenmiş görüntü üzerinde kaba bir bölümleme gerçekleştirilir ve ardından yerel ayrıntıların çıkarılması için yama tarzında bir iyileştirme uygulanır. Duan ve diğerleri (2018), damar geliştirme ve segmentasyon için geleneksel Hessian damar temelli yaklaşımdan daha iyi performans gösteren bağlama duyarlı bir 3D FCN önerdi (Frangi ve diğerleri, 1998). Chen ve diğerleri (2018b), hangi voksellerin damar lümenine ait olduğunu belirlemek için eşleştirilmiş çok ölçekli 3D CNN’yi benimsedi.
Huang ve diğerleri (2018), CTA görüntülerini küçük parçalara dönüştürdü ve ardından bunları işlenmek üzere 3 boyutlu bir U-net’e (Çiçek vd., 2016) gönderdi. Chen, koroner arterlerin boru şeklindeki yapısını vurgulamak için damar haritalarını 3D U-Net’in girdisine dahil ediyor (Çiçek ve ark., 2016). Mirunalini ve ark. (2019), 2 boyutlu dilimlerde koroner arterlerin varlığını belirlemek için CNN ve tekrarlayan sinir ağlarını birleştirdi. Wang ve diğerleri. (2021), voksel ve nokta bulutu tabanlı segmentasyon yöntemlerini kabadan inceye bir çerçeveye dahil etti. Pan ve ark. (2021), dengesizlik sorununun üstesinden gelmek için odak kaybıyla daha da optimize edilen 3D Yoğun-U-Net’i önerdi.
Son zamanlarda görüntü verilerinin ağaç yapıları ve grafik yapıları gibi özel veri yapılarına dönüştürülerek segmentasyona dahil edilmesi için bazı yöntemler önerilmiştir. Koroner arterlerin morfolojik yapısının ağaca benzediğine ve genellikle sol koroner arter ve sağ koroner ağaca bölündüğüne ve kanın aorttan koroner arterlere ve daha sonra bireysel dallara aktığına dikkat edin. Wolterink ve ark. (2019), koroner arteri bölümlere ayıran boru şeklindeki bir yüzey ağındaki köşelerin uzaysal konumunu tahmin etmek için grafik evrişimli ağları (GCN’ler) kullandı. Kong ve ark. (2020), koroner arterin anatomik yapısını öğrenmek için yeni bir ağaç yapılı evrişimli kapılı tekrarlayan birim (ConvGRU) modeli önermiştir.
Karşılaştırma ve Veri Kümeleri
Tablo 1 ve Tablo 2’de bu konunun dünya çapındaki yaygın ilgisini rahatlıkla görebiliyoruz. Çoğu eserin daha önceki eserlerle adil ve kapsamlı bir karşılaştırma yapmadığını da görebiliriz. Geleneksel makine öğrenimi tabanlı yaklaşım için birçok çalışma, yalnızca 42 CTA görüntüsüne sahip halka açık bir veri kümesine (Kirişli ve diğerleri, 2013) dayalı algoritmik geliştirmeye odaklanmıştır. Karşılaştırmalar da bu veri setine dayalı olarak yapıldı ve her çalışma (Mohr ve diğerleri, 2012; Wang ve diğerleri, 2012) yeniden uygulamaya gerek kalmadan diğer makalelerin performansını elde etti.
Bu arada, diğer çalışmalar (Han et al., 2016) değerlendirmeleri için başka bir halka açık veri kümesini (Schaap et al., 2009a) kullanıyordu. Öte yandan, diğer çalışmalarla karşılaştırılamayan veya yalnızca genel yöntemlerle karşılaştırılamayan, değerlendirme için şirket içi veri setleri hazırlanan çok daha fazla çalışma var (Lugauer vd., 2014b; Chi vd., 2015; Han vd., 2016; Freiman ve diğerleri, 2017; Gao ve diğerleri, 2019; Du ve diğerleri, 2021).
Burada genel yöntemleri genellikle çeşitli uygulamalar için genel algoritmaları hedef alan yöntemler olarak tanımladığımızı, buna karşılık spesifik yöntemleri ise örneğin koroner damar segmentasyonu gibi belirli uygulamalar için tasarlanmış ve optimize edilmiş yöntemler olarak tanımladığımızı unutmayın. Tescilli veri setinin kullanımı ve dolayısıyla eksik veya kısmi karşılaştırma sorunu, DL Tabanlı yaklaşımın hâkim olmaya başlamasıyla daha da yaygın hale geldi. Örneğin Kong et al. (2020), modelini daha önceki ilgili çalışmalarla karşılaştırmadı, yalnızca 3D U-net gibi bazı popüler DNN’lerle karşılaştırdı (Huang ve ark, 2019).
Shen ve diğerleri. (2019), kendi çalışmalarının değerlendirilmesi için farklı veri setlerindeki diğer çalışmaların elde ettiği Zar puanlarını listeledi. Veri kümesi tutarsızlığına ek olarak diğer kıyaslama bileşenlerindeki sorunlar da yaygındır. Bazı çalışmalar (Chi ve ark, 2015; Han ve ark, 2016), spesifik klinik ihtiyaçlarına göre farklı değerlendirme metrikleri setleri kullanırken, diğerleri (Shen ve ark., 2019) başlangıçtaki aortun dahil edildiği farklı bir açıklama stratejisi kullandı ve bu da çok daha yüksek bir Zar puanına yol açtı.
Şekil 1: Önerilen ImageCAS veri kümesindeki CT görüntüleri, etiketleri, CT dilimleri ve CT dilimlerindeki etiketlerin dahil olduğu örnekler. Koroner arterlerin alt sınıflarının ayrı ayrı etiketlenmediğini unutmayın.
Yukarıdaki analizle, bu konunun daha da geliştirilmesi için bir kıyaslama ve veri setine ihtiyaç duyulduğunu fark edebiliriz. Bir yandan, yöntemlerin çoğu değerlendirme için yalnızca şirket içi veri kümelerini kullanıyor ancak görüntü elde etme parametreleri, yeniden yapılandırma teknikleri ve etiketleme yöntemleri önemli ölçüde farklılık gösteriyor. Öte yandan, yöntemlerin çoğu genel yöntemlerle karşılaştırmalar yapıyordu ancak ilgili çalışmalar yoktu. Derin öğrenmeye dayalı yöntemlerde ise durum daha da kötüleşti.
Derin öğrenmenin başarısının büyük ölçüde yüksek kaliteli açıklamalara sahip büyük bir veri kümesine bağlı olduğunu ancak yaygın olarak kullanılan iki veri kümesinin oldukça küçük olduğunu (eğitim için sırasıyla yalnızca 8 ve 18 görüntü içerir) unutmayın. Ayrıca hemen hemen tüm eserlerin kaynak kodlarının verilmemesi, adil bir karşılaştırma yapılması açısından da birçok zorluğu beraberinde getirmektedir.
Her ne kadar bazı çalışmaların karşılaştırma amacıyla uygulanması nispeten kolay olsa da, diğerlerinin çoğu, ağ yapısı, ön işleme, hiper parametreler ve son işleme gibi spesifikasyonlarında çok fazla ayrıntı içeren yoğun şekilde karmaşıktır. Yukarıdaki sorun diğer bazı çalışmalarda da tespit edilmiştir. Örneğin, çalışma (Tian ve diğerleri, 2021) “koroner arter segmentasyon yöntemlerinin çoğu özel veri seti kullandığından, test etmemiz için uygun bir genel koroner veri seti bulunmadığını” belirtmiştir.
Örneğin, (Tian et al., 2021) çalışmasında “koroner arter segmentasyon yöntemlerinin çoğu özel veri seti kullandığından, test etmemiz için uygun bir genel koroner veri seti bulunmadığını” belirtti. Hem Huang ve ark. (2018) hem de Yang ve ark. (2019), veri seti üzerinde ilgili çalışmalarla bir karşılaştırma yapmış (Schaap vd., 2009b), ancak mevcut yöntemleri uygulamanın kolay olmaması nedeniyle özel bir veri seti üzerinde karşılaştırma yapmadan denemeler yapmıştır.
Çalışma (Huang ve diğerleri, 2018) “eğitim verilerinin nispeten küçük göründüğünü” belirtti. Bazı çalışmalar (Yang ve diğerleri, 2019) da küçük veri seti sorununu çözmeye çalıştı. Çalışmada (Moeskops ve diğerleri, 2016) “gelecekteki çalışmalarda, mevcut mimarinin kapasitesini daha fazla veri ve segmentasyon görevleriyle daha fazla araştıracağız” ifadesine yer verildi.
Her yöntemin etkinliğini aynı şekilde araştırmak için büyük bir veri seti topladık ve bunu kamuya açıkladık. Bu veri seti, mevcut genel veri setlerinden oldukça büyük olan 1000 3D CTA görüntüsü içermektedir. Ayrıca, mevcut tipik yöntemleri uygulamak için elimizden gelenin en iyisini yapmaya çalıştığımız bir kıyaslama önerdik. Mevcut yöntemlerin kodları kamuya açıklanmamasına ve bazı deneysel detayların eksik olmasına rağmen, onların temel fikirlerine dayanarak benzer uygulamaları gerçekleştirdik. Ayrıca, her yöntemin performansını birden fazla konfigürasyon seti ile önerilen veri seti üzerinde değerlendirdik. Ayrıca mevcut çalışmalardan daha iyi performans elde eden bir temel segmentasyon çerçevesi de önerdik. Önerilen veri kümesinin ve kıyaslama noktasının ayrıntıları Bölüm 3 ve 4’te tartışılacaktır.
ImageCAD Veriseti
Önerilen veri seti, Siemens 128 kesitli çift kaynaklı tarayıcı tarafından 1000 hastadan alınan 3D CTA görüntülerinden oluşmaktadır. Daha önce koroner arter hastalığı tanısı konmuş hastalar için erken revaskülarizasyon (sonraki 90 gün içinde) dahildir. Yüksek doz BTA yapılır ve rekonstrüksiyon sırasında en iyi koroner arter görüntülerini elde etmek için %30-40 veya %60-70 fazı seçilir. Görüntüler 512 × 512 × (206− 275) voksel boyutlarına, 0,29–0,43 mm2 düzlemsel çözünürlüğe ve 0,25–0,45 mm aralığa sahiptir. Veriler, Nisan 2012’den Aralık 2018’e kadar Guangdong Eyalet Halk Hastanesindeki gerçekçi klinik vakalardan toplandı.
Yalnızca 18 yaşından büyük ve iskemik inme, geçici iskemik atak ve/veya periferik arter hastalığı ile ilgili tıbbi geçmişi belgelenmiş olan hastalar dahil edilmeye uygundur. İndeks kardiyak BTA veya CCTA’nın düşük görüntüleme kalitesi (seviye III radyolog tarafından değerlendirilen) de koroner arter fonksiyonu üzerindeki olası etkisi nedeniyle hariç tutuldu. Son olarak toplam 414 kadın ve 586 erkek bulunmaktadır; ortalama yaşları sırasıyla 59,98 ve 57,68’dir. Her görüntüdeki sol ve sağ koroner arterler iki radyolog tarafından bağımsız olarak etiketlenir ve sonuçları çapraz olarak doğrulanır. Tutarsızlık durumunda üçüncü bir radyolog açıklamayı yapacak ve nihai sonuç fikir birliği ile belirlenecektir.
Etiketli koroner arter, sol ana koroner arteri içerir, sol ön inen koroner arter, sol sirkumfleks koroner arter, sağ koroner arter, diyagonal 1, diyagonal 2, çapraz 3, geniş marjinal dal 1, geniş marjinal dal 2, geniş marjinal dal 3, ramus intermedius, arka inen arterler, AHA adlandırma kuralına göre akut marjinal 1 ve diğer kan damarları (17 paragraf). Veri kümesinin iki örneği Şekil 1’de gösterilmektedir.
Karşılaştırma
Son zamanlardaki neredeyse tüm çalışmalarda derin öğrenme tabanlı yöntemlerin koroner arter segmentasyonunda umut verici performans sergilediği göz önüne alındığında, doğrudan segmentasyon, yama tabanlı segmentasyon, ağaç veri tabanlı segmentasyon ve grafik veri tabanlı segmentasyon da dahil olmak üzere birkaç tipik derin öğrenme tabanlı yöntemi uyguladık. Ayrıca önerilen büyük ölçekli veri seti üzerinde mevcut çalışmalardan daha iyi performans elde eden bir temel yöntem de öneriyoruz. Her yöntemin ayrıntılarını aşağıdaki bölümlerde açıklayacağız ve uygulamaları hakkında daha fazla bilgiyi
adresinde bulabilirsiniz.
Şekil 2: Önerilen kıyaslamadaki yöntemlere genel bakış: (a) doğrudan segmentasyon (Shen ve diğerleri, 2019), (b) yama bazlı segmentasyon (Huang ve diğerleri, 2018; Chen ve diğerleri, 2019), (c) ağaç verilerine dayalı segmentasyon (Kong ve diğerleri, 2020) ve (d) grafik verilerine dayalı segmentasyon (Wolterink ve diğerleri, 2019).
Doğrudan Segmentasyon
Doğrudan segmentasyon, yalnızca tek bir sinir ağını benimser; bu, koroner arter segmentasyonu için basit ama etkili bir yöntemdir. Özellikle görüntü, karmaşık işlemler olmadan olasılık haritasının çıktısını veren ağa beslenir. Görüntüler genellikle büyük olduğundan ve dolayısıyla GPU’lar tarafından sığdırılması zor olduğundan, pratikte bunların daha küçük bir çözünürlüğe küçültülmesi gerekir. Temsilci olarak FCN-AG’yi (Shen ve diğerleri, 2019) seçiyoruz. Yöntemin ayrıntıları Şekil 2(A)’da gösterilmektedir ve genel yapı, dikkat kapısı modüllerine sahip bir FCN omurgasıdır. Süreç aşağıdaki üç adıma ayrılabilir:
(1) Enterpolasyon kullanarak yüksek çözünürlüklü CTA görüntülerini düşük çözünürlüklü görüntülere yeniden boyutlandırın;
(2) Düşük çözünürlüklü görüntüyü FCN-AG ağına besleyin ve ardından koroner arter tahminini elde edin.
(3) Enterpolasyon kullanarak düşük çözünürlüklü tahmin etiketlerini yüksek çözünürlüklü etiketlere yeniden boyutlandırın.
Yöntemin daha fazla ayrıntısı için lütfen orijinal çalışmaya bakın (Shen ve diğerleri, 2019).
Yama Tabanlı Segmentasyon
Alt örneklemeden kaynaklanan hesaplamalı kaynak kısıtlamalarının ve eksik ayrıntıların üstesinden gelmek için yama tabanlı bölümleme (Huang ve diğerleri, 2018; Chen ve diğerleri, 2019) önerilmiştir. Bu yöntem sınıfını değerlendirmek için ikili CNN tabanlı çerçeveyi (Huang ve diğerleri, 2018; Chen ve diğerleri, 2019) örnek olarak görüyoruz (Şekil 2(b)). İlk olarak, ilgilenilen bölgeyi (RoI) çıkarmak ve ilgisiz alanları kaldırmak için bir 3D U-net kullanılır.
Ardından, kesme görüntüsü 512 × 512 × 𝑍’den 𝑊 × 𝐻 × 𝑍𝑐 (𝑊 ≤ 512,𝐻 ≤ 512,𝑍 ≤ 𝑍𝑐 ) olarak yeniden boyutlandırılır. (Chen ve ark., 2019)’a göre, boru şeklindeki yapıları geliştirmek için Frangi filtrelemesi kullanıyoruz ve elde edilen vasküler iyileştirme haritası, çok kanallı bir giriş oluşturmak için giriş görüntüsüyle birleştiriliyor. Daha sonra çok kanallı giriş, işlenmek üzere başka bir CNN’ye beslenen küçük parçalara ayrıştırılır. Son olarak, nihai segmentasyon sonucunu elde etmek için yamaların segmentasyonu birleştirilir.
Ağaç Verilerine Dayalı Segmentasyon
Ağaç verilerine dayalı segmentasyon yöntemi, koroner arterlerin morfolojik yapısını dikkate aldığından umut vericidir. Ağaç evrişimli tekrarlayan sinir ağını uygulamak için Kong ve ark (2020)’da sunulan çalışmayı seçiyoruz ve ayrıntılar Şekil 2(c)’de gösterilmektedir. İlk olarak, önceden bölümlere ayrılmış etiketlerin iskeletleştirilmesiyle yaklaşık merkez çizgisi elde edilir.
Ağacı oluşturma adımlarını basitleştirmek için 𝑍 eksenindeki en büyük koordinata sahip nokta kök düğüm olarak alınır ve geri kalanlar yaprak düğümler olarak kabul edilir. Daha sonra, her merkez çizgisi noktası, daha sonra düğüm özelliklerini çıkarmak için kullanılan yamayı elde etmek için merkez olarak alınır. Daha sonra ağaçtaki bağlantılar merkez çizgisi noktaları arasındaki komşuluk ilişkisine göre oluşturulur. Son olarak ağaç yapısı verileri TreeConvGRU’ya girdi olarak kullanılır (Kong ve diğerleri, 2020) ve tahmin edilen etiketler çıktı olarak elde edilir.
Grafik Tabanlı Segmentasyon
Grafik tabanlı segmentasyon, ağaç veri tabanlı segmentasyona benzer şekilde çalışır. Wolterink ve ark (2019)’teki fikirden yola çıkarak Şekil 2(d)’de gösterilene benzer bir şema tasarladık. İlk olarak merkez çizgisi, ağaç veri tabanlı segmentasyondakiyle aynı işlem hattıyla elde edilir. Daha sonra grafik yapılı veriler üretilir. Özellikle, her merkez çizgisi noktasının teğetine dik olan birkaç ışın yayınlanırken, bitişik ışınlar arasındaki iki teğet tarafından oluşturulan açı aynı kalır.
Işının içinden geçtiği voksel bloğuna bağlı olarak, ışının başlangıç noktasından teğet çizgisi yönünde belirli bir adım boyutunda d boyutlu bir özellik oluşturulur. Her ışın damarın kenarıyla kesişir ve kesişme noktası ile merkez çizgisi noktası arasındaki Öklid mesafesi yarıçap olarak elde edilir. Tüm merkez hattı noktalarının yarıçapları tahmin edildikten sonra koroner arterler yeniden yapılandırılır ve son segmentasyonu elde edebiliriz.
Temel Yöntem
Önerilen temel yöntem, Şekil 3’te gösterildiği gibi yama bölümleme ve kaba bölümlendirmenin bir kombinasyonudur. Böyle bir kombinasyon, performans ve uygulama fizibilitesi arasında bir dengedir. Bir yandan, tüm 3D görüntünün orijinal çözünürlükte doğrudan bölümlenmesi, büyük bellek tüketimi nedeniyle mümkün değildir; yeniden boyutlandırılan görüntünün bölümlenmesi (kaba bölümleme olarak tanımlanır) mümkündür ancak sınırlı bir performansa yol açar. Öte yandan, yama tabanlı bölümlendirme daha fazla ayrıntı sağlayabilir ancak bazen küresel bağlamsal bilgilerin kaybı nedeniyle bariz hatalara da neden olabilir.
Temel yöntemimizin iki ana modülü vardır: yama bölümleme ve kaba bölümleme. İki modül tarafından işlenmeden önce, her giriş görüntüsü doğrusal enterpolasyon kullanılarak 512 × 512 × (206−275)’ten 128 × 128 × 64’e yeniden boyutlandırılır. Kaba segmentasyonda, genellikle global yapıyı yakalayabilen koroner arterin kaba bir segmentasyonunu elde etmek için 3 boyutlu bir U-net (Çiçek ve ark., 2016) kullanılır; örneğin ilgili tüm damarlar hatalı sınırlarla dahil edilmiştir. Tartışma kolaylığı için, 𝜃 (𝑋)’yi segmentasyon ağı olarak belirtiyoruz; burada 𝑋 giriş görüntüsü ve 𝑌̂𝑐 ise çıktıdır. Daha sonra ağ aşağıdaki benzerlik katsayısı kaybıyla eğitilir:
Burada 𝑌 temel gerçektir ve 𝑠 yumuşatma faktörüdür. Yama segmentasyonunda asıl sorun, koroner arterleri içeren ilgili yamaların tam olarak nasıl elde edileceğidir. Yamalar oluşturmak için basitçe kayan bir pencere kullanırsak, diğer küçük damarları veya damar benzeri anatomileri içerenler de dahil olmak üzere tüm yamalar işlenecektir. Bu şekilde, segmentasyon ağının hem hedef bölgeleri hem de hedef olmayan bölgeleri dikkate alması gerekir, bu da segmentasyon görevinde büyük zorluk yaratır. Bu sorunu çözmek için, genel hedef bölgeyi kabaca elde etmek amacıyla başka bir ağ benimsiyoruz.
Kaba bölümleme adımındaki sonucun bu amaç için benimsenebileceğini unutmayın. Ancak önceki deneylerde bunun damarların kesilmesi gibi çeşitli sorunlara yol açabileceğini bulduk. Bu nedenle, 3D U-net kullanarak koroner arterin kaba bir maskesini çıkarmak için başka bir alt adım olan dilate damar segmentasyonunu sunuyoruz. Daha sonra çıkış genişler ve damarlar çok daha kalın hale gelir ve kesintiye uğrama olasılığı azalır. Damarları daha da kalın hale getirmek için aşağıdaki ağırlıklı benzerlik katsayısı kayıp fonksiyonu kullanılır (Sudre vd., 2017):
Burada 𝜙(𝑋) segmentasyon ağı, 𝑌̂𝑑 çıktı, 𝑠 yumuşatma faktörü ve 𝛼 sınıf ağırlığıdır (𝛼 ∈ (0, 1)). Segmentasyon sonuçlarının hedef bölgelerin çoğunu kapsamasını sağlamak için 𝛼 0,01 olarak ayarlanmıştır. Bu nedenle ağ, çıktıda büyük boyutlu kaplar elde etmeye eğilimlidir.
Ağ eğitiminde temel olarak koroner arterin genişletilmesiyle 𝑌̂𝑑 elde edilir 𝑌. Kesin konumu elde etmek için 𝑌̂𝑑, enterpolasyon kullanılarak giriş görüntüsünün orijinal boyutuna yeniden boyutlandırılır. Test aşamasında genişlemiş damar segmentasyon ağından elde edilen sonuçların daha iyi bağlantı sağlamak için daha da genişletildiğini unutmayın. Damarların iskeleti, bir yüzey inceltme algoritması kullanılarak çıkarılır (Lee ve diğerleri, 1994).
Yeniden boyutlandırılan iskelet ve giriş görüntüsüyle aşağıdaki gibi bir yama segmentasyonu gerçekleştiriyoruz:
(1) Bağlantılı bileşen analizi yoluyla en büyük iki bağlantılı bileşenin çıkarılması ve diğerlerinin atılması. Bunun nedeni genellikle iki damarın (sol ve sağ koroner arterler) bulunduğuna dair alan bilgisinden kaynaklanmaktadır;
(2) Merkezinde iskelet noktası ve kenar uzunluğu 𝑟 olan 𝑛𝑐 kübik parça setlerinin çıkarılması (Şekil 3’te 𝑛𝑐 = 3 ve 𝑟 = 16, 32, 64);
(3) 3D U-net++ (Zhou ve diğerleri,2018), ayrıntıları 3D U-net’ten daha doğru bir şekilde işlediğinden 𝑛𝑐 yama setlerini işlemek için benimsenmiştir;
(4) Daha sonra bölümlere ayrılmış yamalar, orijinal girdi görüntüsüyle aynı boyutta bir bölümleme görüntüsü elde etmek üzere birleştirilir;
(5) Son olarak, 𝑛𝑐 segmentasyon görüntüleri, son çıktıyı elde etmek için topluluk adımına beslenir. Burada topluluk için çoğunluk oylamasının benimsendiğini unutmayın.
Deneyler ve Tartışma
Bu bölümde öncelikle tüm deneylerin genel kurulumunu tartışıyoruz. Daha sonra her bir yöntemin kendine özgü konfigürasyonları ve performansları tartışılmıştır. Son olarak, optimal konfigürasyonlara sahip tüm yöntemler karşılaştırılır ve analiz edilir.
Şekil 3: Önerilen temel yöntemin çerçevesi.
Deneme Kurulumu
Tüm deneyler PyTorch (Paszke ve diğerleri, 2019) ve DGL (Wang ve diğerleri, 2019) kullanılarak gerçekleştirildi ve 24G belleğe sahip bir Nvidia RTX 3090 GPU üzerinde gerçekleştirildi. Doğrudan segmentasyon, yama segmentasyonu ve ağaç yapısı segmentasyonunda eğitim sırasında Zar kaybını kullandık. Grafik tabanlı segmentasyonda, Wolterink’teki gibi kayıp fonksiyonunda mesafe değerleri küp olarak alınır ve eğitim için Denklem (1) ve Denklem (2)’de gösterilen kayıp fonksiyonlarını benimsedik.
Yama tabanlı segmentasyonda 16,32,64’lü yamalar tartışılır ve eğitim için Zar kaybı kullanılır. Baseline yönteminde damarları genişletmek için yarıçapı 𝑟=5 olan küresel bir yapı kullanılır. Uygulamamızdaki tüm ağlar 30 dönem (yaklaşık 21.000 yineleme) için eğitilmiştir ve Adam optimizasyonu 0,002 öğrenme oranıyla benimsenmiştir. Sınırlı GPU belleği nedeniyle, farklı giriş boyutları için toplu iş boyutu farklılık gösterir.
Ön bölümleme veya kaba bölümleme adımlarında 128 × 128 × 128, 256 × 256 × 128 ve 512 × 512 × 256 giriş boyutu için toplu iş boyutu sırasıyla 8, 2 ve 1’dir. Yama segmentasyon adımında bu, 163, 323 ve 643 giriş boyutu için sırasıyla 512, 64, 8’dir. Deneyler, 750 vakadan oluşan bir eğitim seti (doğrulama için 50 vaka kullanılır) ve 250 vakadan oluşan bir test seti ile 4 katlı çapraz doğrulama yaklaşımı kullanılarak değerlendirildi. Değerlendirme için, Tablo 1 ve Tablo 2’de belirtildiği gibi toplumda yaygın olarak kullanılan Zar puanı kullanılmaktadır.
Yapılandırma Tartışması
Doğrudan Segmentasyon
Giriş boyutu, dikkat mekanizmasının kullanımı ve kanal sayısı gibi segmentasyon performansını etkileyebilecek bazı faktörleri tartıştık. Orijinal görüntünün en yakın komşu enterpolasyonuyla elde edilen 128 × 128 × 128, 256 × 256 × 128 ve 512 × 512 × 256’yı içeren girdi boyutları tartışılmaktadır. 4 ve 12 olmak üzere kanal sayısı tartışılmaktadır.
Sonuçlar Şekil 4’te gösterilmektedir. 512 × 512 × 256 giriş boyutunun, sırasıyla 256 × 256 × 128 ve 128 × 128 × 128’e göre Zar skorunu önemli ölçüde %7.38 (𝑝 <0.0001) ve %12.32 (𝑝 <0.0001) artırdığını gözlemleyebiliriz. Dikkat kapı modülünün eklenmesi, performansı önemli ölçüde %1.34 (𝑝 <0.0001) artırır; bu durum aynı zamanda Shen ve ark. (2019) çalışmasında da gözlemlenmiştir. 5.24M parametre sayısına sahip olan 12 kanal, 0.59M parametre sayısına sahip olan 4 kanala göre %2.13 (𝑝 < 0.0001) daha yüksek bir Zar skoru elde eder.
Görsel tartışma Şekil 5’te gösterilmektedir. BTA görüntülerinde koroner bölge etrafındaki kontrastın düşük olması nedeniyle doğrudan segmentasyonda yerel detaylar göz ardı edilerek her zaman koroner arterin tamamına odaklanılır. Vasküler kısım ile bitişik dokunun geri kalanı arasında voksel yoğunluğu açısından çok az fark olduğunu ve doğrudan segmentasyon yönteminin koroner arterin bu bölümünü doğru şekilde tanımlayamadığı ve bunun sonucunda segmentasyon hatalarına yol açtığını fark edebiliriz. Ayrıca, yüksek çözünürlüklü bir girdiyle doğrudan bölümleme daha fazla hesaplama kaynağı gerektirir ve ağ boyutunu ve model kapasitesini sınırlar.
Yama Tabanlı Segmentasyon
Uygulamada, Chen’in kullandığı biçimde, eğitim setinde gerçek etiketlerin iskeletleştirilmesi için gerçek etiketlerin kullanıldığı bir kırpma yöntemi benimsendi. Karşılık gelen yamalar iskelet noktalarının ortasından kırpılır ve kırpılan bölgeler, etiketli bölgelerin olmayanlara oranı 1:1 olacak şekilde rastgele seçilir. Performansı etkileyebilecek yama boyutu, frangi kanalı ve veri artırma dahil üç faktörü araştırdık. Veri büyütme için dönme olasılığı (rastgele 0, 90, 180, 270 derece) ve yatay çevirme tartışılmaktadır. Tartışma kolaylığı açısından iki olasılık aynı değere ayarlanmıştır ve 0, 0,2 ve 0,5 dahil üç değer tartışılmıştır.
Niceliksel performans Şekil 6’da gösterilmektedir. Frangi kanallı ağ ile olmayan ağ arasında Dice skorunda sadece %0,01 (p>0,05) farkla anlamlı bir fark yoktur. Yama boyutu açısından, daha büyük bir yama boyutunun, daha küçük bir yama boyutuna göre önemli ölçüde daha yüksek bir Zar puanı elde ettiğini fark edebiliriz; bu, daha büyük bir yama boyutunun daha büyük bir alıcı alana sahip olması ve dolayısıyla daha iyi bağlam bilgisi yakalayabilmesi nedeniyle beklenen bir durumdur.
Veri artırma için, 0/0 (döndürme ve yansıtma olmaksızın) flip ve rotasyon olasılıklarının, sırasıyla 0.2/0.2 ve 0.5/0.5’e göre Dice skorlarında %2.63 (𝑝 < 0.0001) ve %2.73 (𝑝 < 0.0001) artış elde ettiğini gözlemliyoruz. Bu ilginç fenomen, koroner arterlerin çevredeki anatomilere karşılık gelen yönlere sahip olması ve rotasyon ve ters çevirme operasyonlarının, eğitim sürecine zarar verebilecek gerçekçi olmayan artırılmış örnekler üretebilmesi olabilir.
Yama bazlı segmentasyonda başarısız kırpılmış ilgi bölgelerinin (RoI) görsel tartışması Şekil 7’de gösterilmektedir. Görünümlerinin koroner arterlere oldukça benzemesinden kaynaklanabilecek birçok benzer damarın koroner arter olarak tanındığını görebiliriz. Bu sorunun üstesinden gelmek için, işlem sonrası adımda bir bağlantı alanı analizini benimseyebiliriz ve tahmin edilen görüntülerin çoğu için bu iyileştirmenin, benzer bölgelerin çıkarılmasında etkili olduğunu bulduk. Ancak, bu bazı görüntülerde iyi çalışmaz; Figür 8’de gösterildiği gibi, birçok küçük damarın oluşturulmasına ve koroner arterlerin kısmi olarak kaldırılmasına neden olur. Figür 8(a)’da sınır, kalp çevresindeki dokudan başarılı bir şekilde kaldırılırken, Figür 8(b)’de ön-segmentasyon, çıkışta kemik dokusu gibi diğer yapıları tutar.
Şekil 4: (a) giriş boyutu, (b) dikkat kapısı modülü ve (c) kanal sayısı dahil olmak üzere çeşitli konfigürasyonlarla doğrudan segmentasyonun performans tartışması. ns anlamlı değil (𝑝>0,05) ve ** 𝑝 0,01’den küçük, *** 𝑝 0,001’den küçük ve **** 𝑝 0,0001’den küçük anlamına gelir.
Şekil 5: Arıza durumlarıyla doğrudan segmentasyon sonuçlarının görsel tartışması
Şekil 6: (a) Frangi kanalı, (b) yama boyutu ve (c) veri artırma dahil olmak üzere çeşitli konfigürasyonlarla yama bazlı segmentasyonun performans tartışması. ns anlamlı değil (𝑝>0,05) ve ** 𝑝 0,01’den küçük, *** 𝑝 0,001’den küçük ve **** 𝑝 0,0001’den küçük anlamına gelir.
Şekil 7: Giriş görüntüleri, tahmin edilen etiketler, temel gerçekler ve önceden bölümlenmiş oluşturulmuş sınırlayıcı kutular üzerinde kesitsel bir görünüm de dahil olmak üzere yama tabanlı bölümlemede başarısız kırpılmış yatırım getirisinin görsel tartışması.
Şekil 8: Yama tabanlı segmentasyonda en büyük bağlantılı bileşen (LCC) son işlemesinin (a) başarılı ve (b) başarısız durumlarının görsel tartışması.
Şekil 9: Ağaç veri tabanlı segmentasyon ve grafik tabanlı segmentasyonun performans tartışması, çeşitli konfigürasyonları içeren (a) ağaç modelleri, (b) ağaç düğümü oluştururken yama boyutu, (c) ağaç veri tabanlı segmentasyon için giriş boyutu ve (d) grafik tabanlı segmentasyonu içerir. ns, anlamlı değil anlamına gelir (𝑝>0.05), ve ** 𝑝’nin 0.01’den küçük olduğunu, *** 𝑝’nin 0.001’den küçük olduğunu, ve **** 𝑝’nin 0.0001’den küçük olduğunu ifade eder.
Ancak bu, bazı görüntülerde pek işe yaramaz; çok sayıda küçük damar oluşturur ve Şekil 8’de gösterildiği gibi koroner arterlerin kısmen çıkarılmasıyla sonuçlanır. Şekil 8(a)’da, sınır kalbin etrafındaki dokudan iyice uzaklaştırılmışken, Şekil 8(b)’de ön segmentasyon, çıktıda kemik dokusu gibi diğer yapıları tutar.
Ağaç Verisine Dayalı Segmentasyon ve Grafik Tabanlı Segmentasyon
Ağaç veri tabanlı segmentasyon ve grafik tabanlı segmentasyon benzer olduğundan ve aynı ön segmentasyon modülünü paylaştıklarından, tartışma kolaylığı için ikisini bir araya getirdik. Her iki yöntemde de 128 × 128 × 128 ve 512 × 512 × 256’yı içeren giriş boyutu tartışılmaktadır. Ağaç yapısı segmentasyonunda, TreeConv3FGRU ve TreeConv3DLSTM dahil olmak üzere iki modeli ve ağaç düğümü inşası sırasında tartışma için 16 × 16 × 4 ve 16 × 16 × 8 içeren yama boyutunu benimsedik. Segmentasyon performansı Şekil 9’da gösterilmektedir. TreeConvGRU ve TreeConvLSTM adlı iki ağaç modelinin Zar skorunda yalnızca %0,06 (p>0,05) farka sahip olduğunu, dolayısıyla önemli bir fark olmadığını keşfedebiliriz.
Ağaç verilerine dayalı segmentasyonda, 16 × 16 × 4’lük yama boyutu, 16 × 16 × 8’den %1,38’lik (𝑝 < 0,005) daha yüksek bir Zar puanı elde eder; bu, daha büyük yama boyutunun her zaman nihai performansa fayda sağlayamayabileceğini gösterir. Şekil 9(c) ve (d) ile karşılaştırıldığında, girdi boyutunun performans üzerinde çok farklı bir etkiye sahip olduğu ilginç bir olguyu bulabiliriz. Ağaç veri tabanlı segmentasyon için, yüksek çözünürlüklü ve düşük çözünürlüklü girdili uygulamanın performansı arasındaki fark sadece %0,12’dir (p>0,05). Grafik tabanlı segmentasyon için yüksek çözünürlüklü girdiyle yapılan uygulama, Zar puanında düşük çözünürlüklü girdilerle yapılan uygulamadan %2,95 (𝑝 < 0,0001) daha iyi performans gösteriyor.
Şekil 10: Ağaç ve grafik tabanlı segmentasyonda başarısız vakaların görsel tartışması.
Şekil 11: Temel yöntemdeki (a) iyi ve (b) zayıf bölümleme durumlarının görsel tartışması.
Tablo 3: Temel yöntemin zar puanı (% olarak). Kaba bölümleme adımından ve yama bölümlemesinin dallarından elde edilenleri içeren ara sonuçlar da dahil edilmiştir.
Ayrıca, Şekil 10’da gösterildiği gibi hem ağaç veri tabanlı bölümleme hem de grafik tabanlı bölümleme için kritik bir adım olan ön bölümlemedeki başarısız durumları da tartışıyoruz. Her iki yöntemin de merkez hattı tabanlı çözümler olduğunu ve verileri oluşturmak ve damarları segmentlere ayırmak için merkez hattına dayandığını unutmayın.
Pratik anlamda, bir merkez çizgisi modelinin eğitimini destekleyecek gerçek merkez çizgisi etiketlerinden yoksunuz. Burada, her iki yöntemi de uygulamak için yaklaşık bir merkez çizgisi oluşturmak üzere daha sonra etiketlenen ve iskeletleştirilen ağın bölümlendirilmesini benimsiyoruz. Bu nedenle, ön bölümlemenin kalitesi sonraki bölümlemenin doğruluğunda önemli bir faktör haline gelir.
Şekil 10’da gösterildiği gibi ön segmentasyonda bazı koroner arterler eksiktir ve bunun sonucunda eksik damarlar bir ağaç yapısı veya grafik yapısı şeklinde oluşturulmayacaktır. Son olarak, işlemin geri kalanında bu koroner arterler eksiktir ve bu da son segmentasyonda hatalara neden olur.
Temel Yöntem
Modüller (yama bölümlemesi ve kaba bölümleme), topluluk, genişleme (w/o) ve yama boyutu (163, 323 ve 643) dahil olmak üzere çeşitli faktörleri tartıştık. Performans Tablo 3’te gösterilmektedir. Yama segmentasyon modülü için, sırasıyla 163, 323 ve 643 boyutlarındaki yamalar için dilatasyon olmadan elde edilen Zar skorları %79,56, %81,22 ve %82.34’tür. İkili karşılaştırmaları (163 ile 323 (𝑝 <0.0001), 163 ile 643 (𝑝 < 0.0001) ve 323 ile 643 (𝑝 < 0.001)), istatistiksel olarak anlamlı farklar göstermektedir. Daha büyük yama boyutlarının daha büyük alıcı alanı gösterdiğini ve bunun da segmentasyona fayda sağladığını fark edebiliriz.
Genişleme sırasında, daha büyük yama boyutları hala daha yüksek Zar puanları elde ediyor. Ancak 323 yama boyutu ile 643 yama boyutu arasında istatistiksel bir anlamlılık (p>0,05) yoktur. Bunun temel nedeni genişlemenin bağlam bilgisinin çıkarılmasında da etkili olmasıdır. 323 yama boyutu ve genişletme kombinasyonu, bağlam bilgisini çıkarmaya yetecek kadar güçlüdür ve daha büyük yama boyutu ve genişlemeye sahip daha büyük alıcı alan, daha fazla bağlam bilgisi çıkaramaz. Ayrıca genişletmenin, 643 ve 323 yama boyutuyla performansı artırabildiğini, ancak 163 için bu durumun geçerli olmadığını da not edebiliriz; bunun nedeni, genişletmenin, girişte küçük bir yama boyutuna sahip küçük miktardaki bazı pikselleri göz ardı etmesi olabilir.
Topluluk açısından, kaba bölümleme modülünü yama bölümleme modülüyle birlikte kullanan topluluk (%82,96), Zar puanı açısından her bir temel sınıflandırıcıdan (%77,80, %82,27, %82,70) daha iyi performans göstermektedir. İyi ve kötü segmentasyon durumlarının görsel gösterimi Şekil 11’de gösterilmektedir. Şekil 11(a)’da gösterildiği gibi, segmentasyon sonucu iyidir ve hem 2D CT kesitlerinde hem de 3D görünümde temel gerçekle eşleşebilir.
Genişleme çıktısının temel gerçeğin tüm alanlarını kapsadığını da görebiliriz. Şekil 11(b), zayıf segmentasyonun bir örneğini göstermektedir. Şekil 11(b), zayıf segmentasyonun bir örneğini göstermektedir. Kalın bir damarın ve uzun ince bir damarın eksik olduğunu fark edebiliriz, bunun nedeni bunların dilate damar segmentasyon modülü tarafından tanınmamasıdır. Özellikle 2D CT diliminde gösterilen kalın damar sağ atriyuma yakındır ve sağ atriyuma benzer gri tonlama değerine sahiptir. Sonuç olarak damarın doğru şekilde tanınması nispeten zordur.
Şekil 12: Karşılaştırmadaki beş yöntemin sonuçlarının dört vakayla görsel olarak karşılaştırılması
Ölçüt Karşılaştırması
Karşılaştırmadaki tüm yöntemlerin performans karşılaştırması Tablo 4’te gösterilmektedir. Önerilen temel yöntemin tüm ölçümlerde optimum performansa ulaştığını fark edebiliriz. Ayrıca yama bölümlemenin, ağaç veri tabanlı bölümlemenin ve grafik tabanlı bölümlendirmenin doğrudan bölümlendirmeden çok daha düşük bir performansa sahip olduğunu da keşfedebiliriz. Burada kaba bir tartışma yapabiliriz.
Bu tür bir olgu, doğrudan segmentasyonun (89 in Cheung et al. (2021)) yama segmentasyonu (94 in Pan et al. (2021)), ağaç veri tabanlı segmentasyon (85 in Kong et al. (2020)) ve Grafik tabanlı segmentasyondan daha yüksek Zar puanına sahip olduğu mevcut çalışmalarda da aynı eğilimi kısmen göstermektedir (73–75 in Wolterink et al. (2019)).
Ancak mevcut çalışmalarda yama segmentasyonunun doğrudan segmentasyona göre daha yüksek bir performansa sahip olması konusunda bazı tutarsızlıklar olduğunu hala fark edebiliyoruz. Esas olarak iki sebep var.
Birincisi, değerlendirmeye yönelik veri seti aynı değildir ve veri setlerinin kalitesi de farklılık göstermektedir. Veri kümemizin şu anda en büyüğü olduğunu ve mevcut yöntemlerin kullandığı çoğu veri kümesinden kat kat daha büyük olduğunu unutmayın.
İkincisi, mevcut çalışmalarda hiper parametreler, ön işleme ve son işleme gibi uygulaması nispeten zor olan birçok detay bulunmaktadır.
Mevcut çalışmaları hayata geçirmek için elimizden gelenin en iyisini yapmaya çalışsak da anlaşılma eksikliği ve ilgili makalelerin uzunluğunun sınırlı olması nedeniyle kaçınılmaz olarak gözden kaçırılan bazı ayrıntılar (bazen kritik ayrıntılar) vardır. Bu nedenle, uygulamaları geliştirmek için topluluktaki ilgili araştırmacıları aramıza katılmaya davet ediyoruz.
Önerilen kıyaslamadaki yöntemlerin görsel karşılaştırması Şekil 12’de gösterilmektedir. Doğrudan segmentasyon için Durum A ve Durum C’nin performansı iyidir. Ancak görüntü kalitesi düşük olduğunda ve durum B ve D’de gösterildiği gibi koroner arterlerin yapısı önemli ölçüde değiştiğinde düşük kontrastlı alanlar doğru şekilde tespit edilemeyebilir.
Yama segmentasyonu için sonuçlar doğrudan segmentasyona oldukça benzer. Tek fark, yama bölütlemenin Durum D’deki bazı ince damarları tanıyabilmesi ancak Durum A’da tanıyamaması, doğrudan bölütlemenin ise iki durumda damarlar üzerinde zıt bir performansa sahip olmasıdır. Ayrıca yama bölümlendirmesi Durum B’de doğrudan bölümlemeye göre biraz daha iyi bir performansa sahiptir.
Görünüşe göre yama bölümlendirmesi, yerel özellikleri doğrudan bölümlendirme yamasından daha iyi işleyebilir; yama bölümlemenin yerel özellik işlemeye daha fazla dikkat etmesi bekleniyor. Ağaç veri tabanlı bölümleme ve grafik tabanlı bölümleme oldukça benzerdir ancak Durum B ve Durum D’de düşük kontrastlı damarları iyi bir şekilde keşfedemezler.
Bunun temel nedeni, ağaç veri tabanlı ve grafik tabanlı segmentasyon yöntemlerinin, ağaç ve grafik yapısındaki düğüm sayısını belirleyen ön segmentasyon kullanılarak çıkarılan merkez çizgisine büyük ölçüde dayanmasıdır. Önerilen temel yöntem için sonuçlar, özellikle damarların çoğunluğunun doğru şekilde tanındığı Durum B’de çok daha iyi performans göstermektedir. Bunun temel nedeni, temel yöntemin hem kaba bölümleme hem de yama bölümlemesinden gelen özellikleri çeşitli yama boyutlarıyla birleştirmesi ve böylece bağlam bilgisini daha iyi çıkarabilmesidir.
Tablo 4: Benchmarktaki yöntemlerin Zar skorunda (%) performans karşılaştırması. Her yöntem, çeşitli konfigürasyonlara sahip uygulamalar arasından seçilen en uygun sonuca sahiptir.
Tartışma
Doğrudan segmentasyon (Shen et al., 2019), yama tabanlı segmentasyon (Huang et al., 2018; Chen et al., 2019), ağaç verisine dayalı segmentasyon (Kong et al., 2020), grafik verisine dayalı segmentasyon (Wolterink et al., 2019) ve temel yöntemimiz dahil olmak üzere birçok tipik derin öğrenme tabanlı yöntem uyguladık.
Önerilen temel yöntem, Dice skoru, HD (Hausdorff uzaklığı) ve AHD (ortalama Hausdorff uzaklığı) üzerinde en iyi performansı elde eder. Öte yandan Kong et al. (2020).’un sonuçlarının aksine ağaç veri tabanlı segmentasyon yönteminin doğrudan segmentasyona göre daha iyi bir performans elde ettiğini de görebiliriz. Bunun nedeni kısmen Kong et al. (2020).’daki eğitim ve optimizasyonda birçok teknik detayın bulunması olabilir. Adil bir karşılaştırma için veri setimizi ve kodumuzu yayınlamamızın nedeni de budur.
Veri setimiz mevcut çalışmalarla karşılaştırıldığında oldukça büyük olmasına ve iki ila üç deneyimli radyolog tarafından iyi bir şekilde etiketlenmesine rağmen sınırlamaları vardır.
Öncelikle veri setimiz tek merkezde toplanmış ve dolayısıyla yanlı dağılımlara sahip olmuştur. İkincisi, BT görüntülerini elde etmek için yalnızca bir tür CT makinesi, yani Siemens 128 kesitli çift kaynaklı tarayıcı kullanıldı, bu da önyargı sorununu daha da kötüleştiriyor. Üçüncüsü, ayrıntılı etiketler sağlanmamıştır.
Örneğin, sol ana koroner arter, sol ön inen koroner arter vb. dahil olmak üzere koroner arterin alt sınıfları ayrılmamıştır. Başkalarının da yukarıdaki sınırlamaları hafifletmek ve aynı zamanda ilgili araştırmayı kolaylaştırmak için veri kümelerini yayınlayabileceklerini umuyoruz.
Karşılaştırma ölçütümüzün gelecekteki yönleri çeşitli olabilir ve burada yalnızca birkaç tanesini isimlendireceğiz.
İlk olarak, performansı artırmak için nnU-net (Isensee ve diğerleri, 2021), CoTr (Xie ve diğerleri, 2021) ve UNETR (Hatamizadeh ve diğerleri, 2022) gibi daha gelişmiş segmentasyon ağları mevcut çerçevelerde kullanılabilir.
İkincisi, daha ileri analiz ve tanıda kritik bir rol oynayan koroner damarların topolojisini (Shit et al., 2021; Hu et al., 2019, 2021; Saeki et al., 2021) veya bağlantısını korumak için daha gelişmiş ağlar ve değerlendirme ölçümleri araştırılabilir.
Üçüncüsü, veri setimize ve mevcut olanlara dayanarak (Schaap et al., 2009a; Kirişli et al., 2013), federal öğrenme (Rajasree et al., 2022) ve etki alanı uyarlaması (Guan and Liu, 2021) dahil olmak üzere çok merkezli konular daha fazla araştırılabilir.
Çözüm
Koroner arterlerin segmentasyonu, koroner arter hastalığının tanısı ve miktarının belirlenmesi için kritik bir görevdir. Bu yazıda, CTA görüntülerinde koroner arter segmentasyonu için bir kıyaslama veri seti öneriyoruz. Ek olarak, yalnızca mevcut birkaç tipik yöntemi uygulamak için elimizden gelenin en iyisini yapmaya çalışmadığımız, aynı zamanda güçlü bir temel yöntem önerdiğimiz bir kıyaslama da uyguladık.
Karşılaştırmalı değerlendirmedeki yöntemlerin kapsamlı bir değerlendirmesini yaptık ve sonuçlar, önerilen temel yöntemin %82,96’lık bir Zar puanıyla optimum performansa ulaştığını gösteriyor.
Bununla birlikte, klinik uygulamalarda doğru teşhis ve stenoz miktarının belirlenmesi için performansın hala geliştirilmeye ihtiyacı vardır. Karşılaştırma ve veri kümesi aşağıdaki adreste yayınlanmaktadır.
Önerilen veri kümesinin ve karşılaştırmalı değerlendirmenin toplulukta daha fazla araştırmayı teşvik edebileceğini umuyoruz.
Yazar Katkı Beyanı
An Zeng: Kavramsallaştırma, Metodoloji, Yazılım.
Chunbiao Wu: Veri toplama, Yazma – orijinal taslak.
Guisen Lin: Kavramsallaştırma, Yazma – inceleme ve düzenleme.
Wen Xie: Yazma – gözden geçirme & düzenleme.
Jin Hong: Yazma – inceleme ve düzenleme.
Meiping Huang: Veri toplama, Araştırma.
Jian Zhuang: Veri toplama.
Shanshan Bi: Veri toplama, Doğrulama.
Dan Pan: Veri toplama, Yazma – inceleme ve düzenleme.
Najeeb Ullah: Yazma – inceleme ve düzenleme.
Kaleem Nawaz Khan: Yazma – inceleme ve düzenleme.
Tianchen Wang: Veri toplama, Yazma – inceleme ve düzenleme.
Yiyu Shi: Yazma – inceleme ve düzenleme.
Xiaomeng Li: Kavramsallaştırma, Yazma – inceleme ve düzenleme.
Xiaowei Xu: Kavramsallaştırma, Yazma – inceleme ve düzenleme, Denetim.
Rekabetçi Menfaat Beyanı
Yazarlar, bu makalede rapor edilen çalışmayı etkileyecek gibi görünen, birbiriyle rekabet halinde olan herhangi bir finansal çıkar veya kişisel ilişkinin bulunmadığını beyan etmektedir.
Veri Kullanılabilirliği
Veri kümesini bir bağlantıyla yayınladık.
Teşekkürler
Bu çalışma Guangdong Eyaleti Bilim ve Teknoloji Planlama Projesi tarafından desteklenmiştir. Çin (No. 2019B020230003), Guangdong Zirve Projesi (No. DFJH201802), Çin Ulusal Doğa Bilimleri Vakfı (No. 62006050, No. 62276071), Guangzhou’daki Bilim ve Teknoloji Projeleri, Çin (No. 202206010049, No. 2019A050510041), Guangdong Temel ve Uygulamalı Temel Araştırma Vakfı (No. 2022A1515010157, 2022A1515011650), ve Guangzhou Bilim ve Teknoloji Planlama Projesi (No. 202102080188) ve Shenzhen’deki Sanming Tıp Projesi, Çin (No. SZSM202011005) ve Sağlık Projesi, Guangdong Yüksek Düzey Hastane İnşaatı Fonu.
Etik ve Bilgi Yönetimi Onayları
Bu çalışma ve zımni rızaya ilişkin geriye dönük verilerin toplanması, 2019324H Protokolü kapsamında Guangdong İl Halk Hastanesi, Guangdong Tıp Bilimleri Akademisi’nden Araştırma Etik Komitesi (REC) onayı aldı. İlgili tüm etik düzenlemelere uygundur. Kimlik tespiti, tüm CT dosyalarının NIfTI formatına dönüştürüldüğü ve hastaların adı, doğum günü, kabul yılı, kabul numarası ve CT numarası gibi hassas bilgilerinin kaldırıldığı bir süreçte gerçekleştirildi.
Referanslar
Altunbay, D., Cigir, C., Sokmensuer, C., Gunduz-Demir, C., 2010. Color graphs for
automated cancer diagnosis and grading. IEEE Trans. Biomed. Eng. 57 (3),
665–674.
Aylward, S.R., Bullitt, E., 2002. Initialization, noise, singularities, and scale in height
ridge traversal for tubular object centerline extraction. IEEE Trans. Med. Imaging
21 (2), 61–75.
Badrinarayanan, V., Kendall, A., Cipolla, R., 2017. Segnet: A deep convolutional
encoder-decoder architecture for image segmentation. IEEE Trans. Pattern Anal.
Mach. Intell. 39 (12), 2481–2495.
Broersen, A., Kitslaar, P., Frenay, M., Dijkstra, J., 2012. FrenchCoast: fast, robust
extraction for the nice challenge on coronary artery segmentation of the tree. In:
Proc. of MICCAI Workshop’’ 3D Cardiovascular Imaging: A MICCAI Segmentation
Challenge.
Cetin, S., Unal, G., 2015. A higher-order tensor vessel tractography for segmentation
of vascular structures. IEEE Trans. Med. Imaging 34 (10), 2172–2185.
Chen, H., Dou, Q., Yu, L., Qin, J., Heng, P.-A., 2018a. VoxResNet: Deep voxelwise
residual networks for brain segmentation from 3D MR images. NeuroImage 170,
446–455.
Chen, F., Li, Y., Tian, T., Cao, F., Liang, J., 2018b. Automatic coronary artery lumen
segmentation in computed tomography angiography using paired multi-scale 3D
CNN. In: Medical Imaging 2018: Biomedical Applications in Molecular, Structural,
and Functional Imaging, Vol. 10578. International Society for Optics and Photonics,
p. 105782R.
Chen, Y.-C., Lin, Y.-C., Wang, C.-P., Lee, C.-Y., Lee, W.-J., Wang, T.-D., Chen, C.-
M., 2019. Coronary artery segmentation in cardiac CT angiography using 3D
multi-channel U-net. In: Medical Imaging with Deep Learning 2019.
Cheung, W.K., Bell, R., Nair, A., Menezes, L.J., Patel, R., Wan, S., Chou, K., Chen, J.,
Torii, R., Davies, R.H., et al., 2021. A computationally efficient approach to
segmentation of the aorta and coronary arteries using deep learning. IEEE Access
9, 108873–108888.
Chi, Y., Huang, W., Zhou, J., Zhong, L., Tan, S.Y., Felix, K.Y.J., Sheon, L.C.S.,
San Tan, R., 2015. A composite of features for learning-based coronary artery
segmentation on cardiac CT angiography. In: International Workshop on Machine
Learning in Medical Imaging. Springer, pp. 271–279.
Çiçek, Ö., Abdulkadir, A., Lienkamp, S.S., Brox, T., Ronneberger, O., 2016. 3D U-Net:
learning dense volumetric segmentation from sparse annotation. In: International
Conference on Medical Image Computing and Computer-Assisted Intervention.
Springer, pp. 424–432.
Collet, C., Onuma, Y., Andreini, D., Sonck, J., Pompilio, G., Mushtaq, S., La Meir, M.,
Miyazaki, Y., de Mey, J., Gaemperli, O., et al., 2018. Coronary computed tomography
angiography for heart team decision-making in multivessel coronary artery
disease. Eur. Heart J. 39 (41), 3689–3698.
Cooper, R., Cutler, J., Desvigne-Nickens, P., Fortmann, S.P., Friedman, L., Havlik, R.,
Hogelin, G., Marler, J., McGovern, P., Morosco, G., et al., 2000. Trends and
disparities in coronary heart disease, stroke, and other cardiovascular diseases in
the United States: findings of the national conference on cardiovascular disease
prevention. Circulation 102 (25), 3137–3147.
Diakogiannis, F.I., Waldner, F., Caccetta, P., Wu, C., 2020. ResUNet-a: A deep
learning framework for semantic segmentation of remotely sensed data. ISPRS J.
Photogramm. Remote Sens. 162, 94–114.
Douc, R., Moulines, E., Olsson, J., 2009. Optimality of the auxiliary particle filter.
Probab. Math. Statist. 29 (1), 1–28.
Doyle, S., Madabhushi, A., Feldman, M., Tomaszeweski, J., 2006. A boosting cascade for
automated detection of prostate cancer from digitized histology. MICCAI 504–511.
Du, H., Shao, K., Bao, F., Zhang, Y., Gao, C., Wu, W., Zhang, C., 2021. Automated
coronary artery tree segmentation in coronary CTA using a multiobjective clustering
and toroidal model-guided tracking method. Comput. Methods Programs Biomed.
199, 105908.
Duan, J., Bello, G., Schlemper, J., Bai, W., Dawes, T.J., Biffi, C., de Marvao, A.,
Doumoud, G., O’Regan, D.P., Rueckert, D., 2019. Automatic 3D bi-ventricular
segmentation of cardiac images by a shape-refined multi-task deep learning
approach. IEEE Trans. Med. Imaging 38 (9), 2151–2164.
Duan, Y., Feng, J., Lu, J., Zhou, J., 2018. Context aware 3D fully convolutional networks
for coronary artery segmentation. In: International Workshop on Statistical Atlases
and Computational Models of the Heart. Springer, pp. 85–93.
Frangi, A.F., Niessen, W.J., Vincken, K.L., Viergever, M.A., 1998. Multiscale vessel
enhancement filtering. In: International Conference on Medical Image Computing
and Computer-Assisted Intervention. Springer, pp. 130–137.
Freiman, M., Nickisch, H., Prevrhal, S., Schmitt, H., Vembar, M., Maurovich-Horvat, P.,
Donnelly, P., Goshen, L., 2017. Improving CCTA-based lesions’ hemodynamic
significance assessment by accounting for partial volume modeling in automatic
coronary lumen segmentation. Med. Phys. 44 (3), 1040–1049.
Friman, O., Hindennach, M., Kühnel, C., Peitgen, H.-O., 2010. Multiple hypothesis
template tracking of small 3D vessel structures. Med. Image Anal. 14 (2), 160–171.
Fu, Y., Guo, B., Lei, Y., Wang, T., Liu, T., Curran, W., Zhang, L., Yang, X., 2020. Mask
R-CNN based coronary artery segmentation in coronary computed tomography
angiography. In: Medical Imaging 2020: Computer-Aided Diagnosis, Vol. 11314.
International Society for Optics and Photonics, p. 113144F.
Fu, H., Qiu, G., Shu, J., Ilyas, M., 2014. A novel polar space random field model for
the detection of glandular structures. IEEE Trans. Med. Imaging 33 (3), 764–776.
Gao, Z., Liu, X., Qi, S., Wu, W., Hau, W.K., Zhang, H., 2019. Automatic segmentation of
coronary tree in CT angiography images. Internat. J. Adapt. Control Signal Process.
33 (8), 1239–1247.
Glover, G., Pelc, N., 1980. Nonlinear partial volume artifacts in x-ray computed
tomography. Med. Phys. 7 (3), 238–248.
Gu, L., Cai, X.-C., 2021. Fusing 2D and 3D convolutional neural networks for the
segmentation of aorta and coronary arteries from CT images. Artif. Intell. Med.
121, 102189.
Gu, J., Fang, Z., Gao, Y., Tian, F., 2020. Segmentation of coronary arteries images using
global feature embedded network with active contour loss. Comput. Med. Imaging
Graph. 86, 101799.
Guan, H., Liu, M., 2021. Domain adaptation for medical image analysis: a survey. IEEE
Trans. Biomed. Eng. 69 (3), 1173–1185.
Gunduz-Demir, C., Kandemir, M., Tosun, A.B., Sokmensuer, C., 2010. Automatic
segmentation of colon glands using object-graphs. Med. Image Anal. 14 (1), 1–12.
Han, D., Doan, N.-T., Shim, H., Jeon, B., Lee, H., Hong, Y., Chang, H.-J., 2014. A fast
seed detection using local geometrical feature for automatic tracking of coronary
arteries in CTA. Comput. Methods Programs Biomed. 117 (2), 179–188.
Han, D., Shim, H., Jeon, B., Jang, Y., Hong, Y., Jung, S., Ha, S., Chang, H.-J., 2016.
Automatic coronary artery segmentation using active search for branches and
seemingly disconnected vessel segments from coronary CT angiography. PLoS One
11 (8), e0156837.
Hatamizadeh, A., Tang, Y., Nath, V., Yang, D., Myronenko, A., Landman, B., Roth, H.R.,
Xu, D., 2022. Unetr: Transformers for 3d medical image segmentation. In: Proceedings
of the IEEE/CVF Winter Conference on Applications of Computer Vision. pp.
574–584.
Hu, X., Li, F., Samaras, D., Chen, C., 2019. Topology-preserving deep image
segmentation. Adv. Neural Inf. Process. Syst. 32.
Hu, X., Wang, Y., Fuxin, L., Samaras, D., Chen, C., 2021. Topology-aware segmentation
using discrete morse theory. arXiv preprint arXiv:2103.09992.
Huang, C., Han, H., Yao, Q., Zhu, S., Zhou, S.K., 2019. 3D U2-Net: A 3D universal
U-Net for multi-domain medical image segmentation. In: International Conference
on Medical Image Computing and Computer-Assisted Intervention. Springer, pp.
291–299.
Huang, W., Huang, L., Lin, Z., Huang, S., Chi, Y., Zhou, J., Zhang, J., Tan, R.-S.,
Zhong, L., 2018. Coronary artery segmentation by deep learning neural networks
on computed tomographic coronary angiographic images. In: 2018 40th Annual
International Conference of the IEEE Engineering in Medicine and Biology Society.
EMBC, IEEE, pp. 608–611.
Isensee, F., Jaeger, P.F., Kohl, S.A., Petersen, J., Maier-Hein, K.H., 2021. nnU-Net: a
self-configuring method for deep learning-based biomedical image segmentation.
Nat. Methods 18 (2), 203–211.
Kirişli, H., Schaap, M., Metz, C., Dharampal, A., Meijboom, W.B., Papadopoulou, S.-
L., Dedic, A., Nieman, K., de Graaf, M.A., Meijs, M., et al., 2013. Standardized
evaluation framework for evaluating coronary artery stenosis detection, stenosis
quantification and lumen segmentation algorithms in computed tomography
angiography. Med. Image Anal. 17 (8), 859–876.
Kjerland, Ø., 2017. Segmentation of Coronary Arteries from CT-Scans of the Heart using
Deep Learning (Master’s thesis). NTNU.
Kong, B., Wang, X., Bai, J., Lu, Y., Gao, F., Cao, K., Xia, J., Song, Q., Yin, Y., 2020. Learning tree-structured representation for 3D coronary artery segmentation. Comput. Med. Imaging Graph. 80, 101688.
Kroon, D.-J., 2009. Hessian Based Frangi Vesselness Filter. MATLAB Central File Exchange, https://www.mathworks.com/matlabcentral/fileexchange/24409-hessianbased- frangi-vesselness-filter.
Lee, T.-C., Kashyap, R.L., Chu, C.-N., 1994. Building skeleton models via 3-D medial surface axis thinning algorithms. CVGIP: Graph. Models Image Process. 56 (6), 462–478.
Lee, M.C.H., Petersen, K., Pawlowski, N., Glocker, B., Schaap, M., 2019. Template transformer networks for image segmentation. In: International Conference on Medical Imaging with Deep Learning–Extended Abstract Track.
Lei, Y., Guo, B., Fu, Y., Wang, T., Liu, T., Curran, W., Zhang, L., Yang, X., 2020. Automated coronary artery segmentation in coronary computed tomography angiography (CCTA) using deep learning neural networks. In: Medical Imaging 2020: Imaging Informatics for Healthcare, Research, and Applications, Vol. 11318. International Society for Optics and Photonics, 1131812.
Lesage, D., Angelini, E.D., Funka-Lea, G., Bloch, I., 2016. Adaptive particle filtering for coronary artery segmentation from 3D CT angiograms. Comput. Vis. Image Underst. 151, 29–46.
Li, X., Chen, H., Qi, X., Dou, Q., Fu, C.-W., Heng, P.-A., 2018a. H-DenseUNet: hybrid densely connected UNet for liver and tumor segmentation from CT volumes. IEEE Trans. Med. Imaging 37 (12), 2663–2674.
Li, X., Dou, Q., Chen, H., Fu, C.-W., Qi, X., Belav`y, D.L., Armbrecht, G., Felsenberg, D., Zheng, G., Heng, P.-A., 2018b. 3D multi-scale FCN with random modality voxel dropout learning for intervertebral disc localization and segmentation from multi-modality MR images. Med. Image Anal. 45, 41–54.
Li, Z., Zhang, X., Müller, H., Zhang, S., 2018c. Large-scale retrieval for medical image analytics: A comprehensive review. Med. Image Anal. 43, 66–84.
Liang, R., Ma, J., Ma, G., Wang, K., et al., 2021. 3D U-Net with attention and focal loss for coronary tree segmentation.
Lin, Y., Yao, H., Li, Z., Zheng, G., Li, X., 2022. Calibrating label distribution for class-imbalanced barely-supervised knee segmentation. arXiv preprint arXiv:2205. 03644.
Long, J., Shelhamer, E., Darrell, T., 2015. Fully convolutional networks for semantic segmentation. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. pp. 3431–3440.
Lugauer, F., Zhang, J., Zheng, Y., Hornegger, J., Kelm, B.M., 2014a. Improving accuracy in coronary lumen segmentation via explicit calcium exclusion, learning-based ray detection and surface optimization. In: Medical Imaging 2014: Image Processing, Vol. 9034. International Society for Optics and Photonics, p. 90343U.
Lugauer, F., Zheng, Y., Hornegger, J., Kelm, B.M., 2014b. Precise lumen segmentation in coronary computed tomography angiography. In: International MICCAI Workshop on Medical Computer Vision. Springer, pp. 137–147.
Milletari, F., Navab, N., Ahmadi, S.-A., 2016. V-net: Fully convolutional neural networks for volumetric medical image segmentation. In: 2016 Fourth International Conference on 3D Vision (3DV). IEEE, pp. 565–571. Mirunalini, P., Aravindan, C., Nambi, A.T., Poorvaja, S., Priya, V.P., 2019. Segmentation of coronary arteries from CTA axial slices using deep learning techniques. In: TENCON 2019-2019 IEEE Region 10 Conference. TENCON, IEEE, pp. 2074–2080.
Moeskops, P., Wolterink, J.M., van der Velden, B.H., Gilhuijs, K.G., Leiner, T., Viergever, M.A., Išgum, I., 2016. Deep learning for multi-task medical image segmentation in multiple modalities. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, pp. 478–486.
Mohr, B., Masood, S., Plakas, C., 2012. Accurate lumen segmentation and stenosis detection and quantification in coronary CTA. In: Proceedings of 3D Cardiovascular Imaging: A MICCAI Segmentation Challenge Workshop.
Mortazi, A., Karim, R., Rhode, K., Burt, J., Bagci, U., 2017. CardiacNET: Segmentation of left atrium and proximal pulmonary veins from MRI using multi-view CNN. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, pp. 377–385.
Nguyen, K., Sarkar, A., Jain, A.K., 2012. Structure and context in prostatic gland segmentation and classification. In: MICCAI. Springer, pp. 115–123.
Nickisch, H., Lamash, Y., Prevrhal, S., Freiman, M., Vembar, M., Goshen, L., Schmitt, H., 2015. Learning patient-specific lumped models for interactive coronary blood flow simulations. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, pp. 433–441.
Oktay, O., Schlemper, J., Folgoc, L.L., Lee, M., Heinrich, M., Misawa, K., Mori, K., McDonagh, S., Hammerla, N.Y., Kainz, B., et al., 2018. Attention u-net: Learning where to look for the pancreas. arXiv preprint arXiv:1804.03999.
Organization, W.H., et al., 2009. Cardiovascular diseases (cvds). http://www.who.int/ mediacentre/factsheets/fs317/en/index.html.
Pan, L.-S., Li, C.-W., Su, S.-F., Tay, S.-Y., Tran, Q.-V., Chan, W.P., 2021. Coronary artery segmentation under class imbalance using a U-Net based architecture on computed tomography angiography images. Sci. Rep. 11 (1), 1–7.
Paszke, A., Gross, S., Massa, F., Lerer, A., Bradbury, J., Chanan, G., Killeen, T., Lin, Z., Gimelshein, N., Antiga, L., et al., 2019. Pytorch: An imperative style, high-performance deep learning library. Adv. Neural Inf. Process. Syst. 32.
Patravali, J., Jain, S., Chilamkurthy, S., 2017. 2D-3D fully convolutional neural networks for cardiac MR segmentation. In: International Workshop on Statistical Atlases and Computational Models of the Heart. Springer, pp. 130–139.
Rajasree, R., Gopika, G., Romero, C.A.T., et al., 2022. The role and impact of federal learning in digital healthcare: A useful survey. In: Handbook of Research on Technical, Privacy, and Security Challenges in a Modern World. IGI Global, pp. 127–147.
Ronneberger, O., Fischer, P., Brox, T., 2015. U-net: Convolutional networks for biomedical image segmentation. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, pp. 234–241.
Saeki, Y., Saito, A., Cousty, J., Kenmochi, Y., Shimizu, A., 2021. Statistical modeling of pulmonary vasculatures with topological priors in CT volumes. In: Interpretability of Machine Intelligence in Medical Image Computing, and Topological Data Analysis and its Applications for Medical Data: 4th International Workshop, iMIMIC 2021, and 1st International Workshop, TDA4MedicalData 2021, Held in Conjunction with MICCAI 2021, Strasbourg, France, September 27, 2021, Proceedings 4. Springer, pp. 108–118.
Schaap, M., Metz, C.T., van Walsum, T., van der Giessen, A.G., Weustink, A.C., Mollet, N.R., Bauer, C., Bogunović, H., Castro, C., Deng, X., et al., 2009a. Standardized evaluation methodology and reference database for evaluating coronary artery centerline extraction algorithms. Med. Image Anal. 13 (5), 701–714.
Schaap, M., Metz, C., van Walsum, T., Niessen, W., 2009b. Rotterdam coronary artery algorithm evaluation framework.
Shahzad, R., Kirişli, H., Metz, C., Tang, H., Schaap, M., van Vliet, L., Niessen, W., van Walsum, T., 2013. Automatic segmentation, detection and quantification of coronary artery stenoses on CTA. Int. J. Cardiovasc. Imaging 29 (8), 1847–1859.
Shen, Y., Fang, Z., Gao, Y., Xiong, N., Zhong, C., Tang, X., 2019. Coronary arteries segmentation based on 3D FCN with attention gate and level set function. IEEE Access 7, 42826–42835.
Shit, S., Paetzold, J.C., Sekuboyina, A., Ezhov, I., Unger, A., Zhylka, A., Pluim, J.P., Bauer, U., Menze, B.H., 2021. clDice-a novel topology-preserving loss function for tubular structure segmentation. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. pp. 16560–16569.
Sirinukunwattana, K., Snead, D.R., Rajpoot, N.M., 2015a. A novel texture descriptor for detection of glandular structures in colon histology images. In: SPIE Medical Imaging. International Society for Optics and Photonics, p. 94200S.
Sirinukunwattana, K., Snead, D.R., Rajpoot, N.M., 2015b. A stochastic polygons model for glandular structures in colon histology images. IEEE Trans. Med. Imaging 34 (11), 2366–2378.
Skare, Ø., Bølviken, E., Holden, L., 2003. Improved sampling-importance resampling and reduced bias importance sampling. Scand. J. Stat. 30 (4), 719–737.
Sudre, C.H., Li, W., Vercauteren, T., Ourselin, S., Cardoso, M.J., 2017. Generalised dice overlap as a deep learning loss function for highly unbalanced segmentations. In: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer, pp. 240–248.
Tabesh, A., Teverovskiy, M., Pang, H.-Y., Kumar, V.P., Verbel, D., Kotsianti, A., Saidi, O., 2007. Multifeature prostate cancer diagnosis and Gleason grading of histological images. IEEE Trans. Med. Imaging 26 (10), 1366–1378.
Tian, F., Gao, Y., Fang, Z., Gu, J., 2021. Automatic coronary artery segmentation algorithm based on deep learning and digital image processing. Appl. Intell. 51 (12), 8881–8895.
Wang, C., Moreno, R., Smedby, Ö., 2012. Vessel segmentation using implicit modelguided level sets. In: MICCAI Workshop” 3D Cardiovascular Imaging: A MICCAI Segmentation Challenge”, Nice France, 1st of October 2012.
Wang, M., Yu, L., Zheng, D., Gan, Q., Gai, Y., Ye, Z., Li, M., Zhou, J., Huang, Q., Ma, C., et al., 2019. Deep graph library: Towards efficient and scalable deep learning on graphs.
Wang, Q., Zhao, W., Yan, X., Che, H., Ye, K., Lu, Y., Li, Z., Cui, S., 2021. Geometric morphology based irrelevant vessels removal for accurate coronary artery segmentation. In: 2021 IEEE 18th International Symposium on Biomedical Imaging. ISBI, IEEE, pp. 757–760.
Wolterink, J.M., Leiner, T., Išgum, I., 2019. Graph convolutional networks for coronary artery segmentation in cardiac CT angiography. In: International Workshop on Graph Learning in Medical Imaging. Springer, pp. 62–69.
Wu, D., Wang, X., Bai, J., Xu, X., Ouyang, B., Li, Y., Zhang, H., Song, Q., Cao, K.,
Yin, Y., 2019. Automated anatomical labeling of coronary arteries via bidirectional
tree LSTMs. Int. J. Comput. Assist. Radiol. Surg. 14 (2), 271–280.
Xie, Y., Zhang, J., Shen, C., Xia, Y., 2021. Cotr: Efficiently bridging cnn and transformer
for 3d medical image segmentation. In: Medical Image Computing and Computer
Assisted Intervention–MICCAI 2021: 24th International Conference, Strasbourg,
France, September 27–October 1, 2021, Proceedings, Part III 24. Springer, pp.
171–180.
Yang, H., Chen, J., Chi, Y., Xie, X., Hua, X., 2019. Discriminative coronary artery
tracking via 3d cnn in cardiac ct angiography. In: International Conference
on Medical Image Computing and Computer-Assisted Intervention. Springer, pp.
468–476.
Yu, L., Cheng, J.-Z., Dou, Q., Yang, X., Chen, H., Qin, J., Heng, P.-A., 2017. Automatic
3D cardiovascular MR segmentation with densely-connected volumetric convnets.
In: International Conference on Medical Image Computing and Computer-Assisted
Intervention. Springer, pp. 287–295.
Yu, L., Yang, X., Qin, J., Heng, P.-A., 2016. 3D FractalNet: dense volumetric segmentation for cardiovascular MRI volumes. In: Reconstruction, Segmentation, and Analysis of Medical Images. Springer, pp. 103–110.
Zhang, D.P., 2010. Coronary artery segmentation and motion modelling.
Zhang, S., Fu, H., Yan, Y., Zhang, Y., Wu, Q., Yang, M., Tan, M., Xu, Y., 2019. Attention guided network for retinal image segmentation. In: International Conference on Medical Image Computing and Computer-Assisted Intervention. Springer, pp. 797–805.
Zheng, Y., Loziczonek, M., Georgescu, B., Zhou, S.K., Vega-Higuera, F., Comaniciu, D., 2011. Machine learning based vesselness measurement for coronary artery segmentation in cardiac CT volumes. In: Medical Imaging 2011: Image Processing, Vol. 7962. International Society for Optics and Photonics, p. 79621K.
Zhou, Z., Siddiquee, M.M.R., Tajbakhsh, N., Liang, J., 2018. Unet++: A nested u-net architecture for medical image segmentation. In: Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support. Springer, pp. 3–11.
Zhu, H., Song, S., Xu, L., Song, A., Yang, B., 2021. Segmentation of coronary arteries images using spatio-temporal feature fusion network with combo loss. Cardiovasc. Eng. Technol. 1–12.
Makalenin orijial halini aşağıda sizlerle paylaşıyoruz.