Materialschwellungen wurden durch automatisierte semantische Segmentierung von Hohlräumen in elektronenmikroskopischen Bildern sichtbar

Scientific Reports Band 13, Artikelnummer: 5178 (2023) Diesen Artikel zitieren

786 Zugriffe

1 Zitate

Details zu den Metriken

Die genaue Quantifizierung des Quellens von bestrahlten Legierungen ist für das Verständnis der Legierungsleistung in einem Kernreaktor von entscheidender Bedeutung und entscheidend für den sicheren und zuverlässigen Betrieb von Reaktoranlagen. In der Regel werden jedoch strahlungsinduzierte Defekte in elektronenmikroskopischen Bildern von Legierungen manuell von Fachforschern quantifiziert. Hier verwenden wir einen End-to-End-Deep-Learning-Ansatz unter Verwendung des Mask Regional Convolutional Neural Network (Mask R-CNN)-Modells, um nanoskalige Hohlräume in bestrahlten Legierungen zu erkennen und zu quantifizieren. Wir haben eine Datenbank mit beschrifteten Hohlraumbildern zusammengestellt, die 400 Bilder, > 34.000 einzelne Hohlräume sowie zahlreiche Legierungszusammensetzungen und Bestrahlungsbedingungen umfasst. Wir haben sowohl statistische (Präzision, Erinnerung und F1-Scores) als auch materialeigenschaftenorientierte (Hohlraumgröße, Dichte und Quellung) Metriken der Modellleistung ausgewertet und eine gezielte Analyse der Materialquellungsbewertungen durchgeführt. Wir stellen fest, dass unser Modell Bewertungen der Materialquellung mit einem durchschnittlichen (Standardabweichung) mittleren absoluten Quellungsfehler basierend auf einer zufälligen Auslassungs-Kreuzvalidierung von 0,30 (0,03) Prozent Quellung liefert. Dieses Ergebnis zeigt, dass unser Ansatz präzise Quellmetriken pro Bild und pro Zustand liefern kann, die hilfreiche Einblicke in das Materialdesign (z. B. Legierungsverfeinerung) und den Einfluss von Betriebsbedingungen (z. B. Temperatur, Bestrahlungsdosis) auf die Schwellung liefern können . Schließlich stellen wir fest, dass es Fälle von Testbildern mit schlechten statistischen Metriken, aber kleinen Schwellungsfehlern gibt, was auf die Notwendigkeit hinweist, über herkömmliche klassifizierungsbasierte Metriken hinauszugehen, um Objekterkennungsmodelle im Kontext von Materialdomänenanwendungen zu bewerten.

Metalllegierungen, die in Kernreaktorkernen und umgebenden Strukturen verwendet werden, werden bestrahlt, was zu Materialschäden führt, die zur Entstehung ausgedehnter Defekte wie Versetzungsschleifen, Ausscheidungen und Hohlräume (manchmal auch Hohlräume genannt, wenn sie kein Gas enthalten, oder Blasen, wenn sie kein Gas enthalten) führen können enthalten Gas), die wiederum durch Verhärtung, Versprödung und Quellung einen schädlichen Einfluss auf die mechanischen Eigenschaften haben1,2,3,4,5. Das durch Voreingenommenheit bedingte Wachstum von Hohlräumen, das unter Neutronenbestrahlung zu einer uneingeschränkten Schwellung führt, erfolgt im Allgemeinen durch die Anwesenheit von Helium (hergestellt durch Kerntransmutation), das die Hohlräume stabilisiert3,6. Eine erhebliche Schwellung kann zu Materialverschlechterung und -versagen führen. Daher ist es wichtig, das Zusammenspiel von Legierungszusammensetzung, Mikrostruktur und Reaktorbedingungen wie Betriebstemperatur und Bestrahlungsdosis zu verstehen, um einen sicheren und zuverlässigen Reaktorbetrieb zu gewährleisten7. Methoden zur Massenmessung von Reaktorkomponenten, wie beispielsweise die Archimedes-Methode, sind in der Regel am einfachsten durchzuführen, um Informationen über die gesamte volumetrische Quellreaktion eines Materials zu erhalten8. Methoden der Transmissions- und Rastertransmissionselektronenmikroskopie (S/TEM) werden jedoch auch häufig in Materialforschungs- und Entwicklungsbewertungen zur Ex-situ-Charakterisierung der Legierungsmikrostruktur und Quellquantifizierung eingesetzt. TEM-Methoden haben gegenüber Massenmessmethoden einen Vorteil, da sie es ermöglichen, eine genaue Quellreaktion aus dem Vorhandensein von Hohlräumen zu erhalten und Quellbeiträge durch andere Faktoren wie Kriechen, Sekundärphasenbildung und Phasenverdichtung bei hoher Temperatur zu eliminieren.

Die TEM-Analyse kann auch verwendet werden, um Schwellungsreaktionen lokal zu identifizieren, wie sie z. B. bei Ionenbestrahlung oder in komplexen Mikrostrukturen aufgrund lokaler mikrostruktureller Effekte auf die Helium- und Defektbildungsenergetik und -kinetik beobachtet werden. Schließlich kann die TEM-Analyse dazu verwendet werden, die Bestrahlungsreaktion im Frühstadium zu verstehen, z. B. den Keimbildungs- und Wachstumsprozess von Hohlräumen, der einsetzt, bevor eine signifikante makroskopische Schwellung aufgetreten ist. Eine solche Charakterisierung im Mikromaßstab ermöglicht somit ein detailliertes mechanistisches Verständnis, das für das Design quellbeständiger Legierungen wichtig ist, und ermöglicht es Forschern, Zusammenhänge zwischen Materialmikrostruktur, Zusammensetzung und Quellreaktion als Funktion wichtiger Betriebsvariablen wie Temperatur, Bestrahlungsart (z. B. Neutron vs . Ion), Dosisleistung und Gesamtdosis9. Diese Informationen sind wiederum nützlich für die Materialmodellierung der Quellung in verschiedenen Regimen (d. h. Inkubation, vorübergehende Quellung und Quellung im stationären Zustand) und können dabei helfen, die Betriebsgrenzen eines Materials in einem Kernreaktor zu bestimmen5.

Es ist wichtig zu beachten, dass die Quantifizierung der Quellung anhand der S/TEM-Analyse die wahrgenommene Quellung des Materials aufzeigt, die von der tatsächlichen Quellung abweichen kann, z. B. aufgrund von Effekten, die sich aus den TEM-Bildgebungsbedingungen und der Probe selbst ergeben10,11. Ergebnisse von Mehrschichtsimulationen haben beispielsweise eine dramatische Veränderung der wahrgenommenen Größe eines Hohlraums mit zunehmender Unterfokussierung unter Verwendung der Fresnel-Kontrastbildgebung und des als Größenreferenz verwendeten Bildstreifens gezeigt11. Dies geschieht aufgrund der Phasenverschiebung, die durch die Differenz des mittleren inneren Potentials zwischen dem Hohlraum und dem einkapselnden Kristall verursacht wird12. Änderungen in der Mikroskopkonfiguration wie der Beschleunigungsspannung und dem Fokus der Objektivlinse sowie Materialfaktoren wie die Zusammensetzung verändern den Grad der Phasenverschiebung und damit den lokalen Kontrast an und in der Nähe eines Hohlraums, wie er durch die Mehrschichtsimulationen erfasst wird.

Der aktuelle Ansatz zur Bestimmung der Schwellung mittels TEM-Analyse besteht darin, die Physik der Kontrastbildung mittels Fresnel-Kontrastbildgebung bei kleinen Fokusbedingungen (< − 1 μm) auszunutzen. Durch Kenntnis der Fokussierungsbedingungen kann ein Rückschluss auf die wahre Größe und Größe gezogen werden also tatsächliches Anschwellen von Hohlraummerkmalen in Materialien. Durch die Beschränkung auf relativ kleine Unterfokussierungen kann der charakteristische weiße Schwerpunkt und der dunkle Streifenkontrast von Hohlräumen aufgrund der Phasenverschiebung beobachtet werden, während der Grad der Verschiebung des schwarzen Streifens ausreichend niedrig gehalten wird, sodass eine robuste Messung der Hohlraumgröße entwickelt werden kann . Vor diesem Hintergrund ist ein kleiner Versatz bekannt, der für Hohlräume mit Durchmessern unter 10 nm von größerer Bedeutung ist10. Zu den Fehlern, die durch komplexe Bildgebungsfaktoren aufgrund der Fresnel-Kontrast-Bildgebung entstehen, kommen dann noch andere Faktoren wie die Bildauflösung und die menschliche Genauigkeit bei der Platzierung des physischen oder digitalen Messgeräts hinzu. Dies wird durch andere Faktoren wie die Probenneigung noch verstärkt, wobei der Hintergrundkontrast je nach verwendeter Neigung und verwendeter Vergrößerung(en) variieren kann. Das Ergebnis ist, dass eine qualitativ hochwertige Quantifizierung der im TEM wahrgenommenen Schwellung eine detaillierte Berücksichtigung der Bildgebungs- und Materialfaktoren erfordert und die Korrelationen zur tatsächlichen Schwellung stark korrelieren, wobei die Varianzen mit zunehmender Kavitätsgröße (z. B. Schwellung im Material) abnehmen, aber die Dekonvolution der Korrelation erfordert Wissen der Varianzen und Bildgebungsbedingungen, die die wahrgenommene Quellungsquantifizierung bilden, und ist für das Verständnis der tatsächlichen Quellungsreaktion eines Materials von wesentlicher Bedeutung.

Derzeit erfolgt die Quantifizierung der Schwellung anhand von TEM-Proben typischerweise durch die Betrachtung einer Handvoll TEM-Bilder und das manuelle Zählen und Messen einzelner Hohlräume in jedem Bild, beispielsweise mithilfe von Bildanalyseprogrammen wie ImageJ13. Dieser Ansatz behandelt typischerweise relativ kleine Probengrößen aufgrund (1) der zeit- und ressourcenintensiven Natur der TEM-Probenvorbereitung und (2) der Hohlraummarkierung und Zählanalyse. Was den ersten Punkt anbelangt, können jüngste Fortschritte in der TEM-Probenvorbereitung, einschließlich Hochdurchsatz-Methoden mit fokussiertem Ionenstrahl (FIB) (z. B. Plasma-FIB) und Flash-Polieren, zur Erstellung einer umfangreichen Bibliothek von TEM-Proben genutzt werden14,15. Daher werden die Einschränkungen bei der Probenvorbereitung schnell überwunden. Wir stellen außerdem fest, dass die Datenerfassungsraten moderner TEM-Instrumente mit der Entwicklung neuer Detektortechnologien exponentiell gestiegen sind, was zu Bildern mit höherer Auflösung und größeren Gesamtdatengrößen geführt hat16,17,18,19. Daher ist klar, dass die manuelle Beschriftung und Messung von Hohlräumen nicht mit der Skalierung der TEM-Datensatzgrößen Schritt halten kann. Daher wird das zweite oben genannte Problem schnell zum Engpass bei der Erweiterung der bildbasierten Analysefunktionen. Eine automatisierte Methode, die große TEM-Datensätze schnell analysieren, Hohlräume automatisch erkennen und quantifizieren und dann die Materialquellung bewerten kann, würde es Forschern ermöglichen, viel mehr Interessenbereiche an einer bestimmten Probe zu bewerten und so robustere Statistiken, die Quantifizierung von Auswirkungen der Heterogenität usw. bereitzustellen -Tiefenbewertungen der Hohlraumeigenschaften und der Materialquellung.

Im letzten Jahrzehnt haben Deep-Learning-Methoden erhebliche Fortschritte gemacht. Sie haben zu revolutionären Veränderungen im Bereich der Computer Vision geführt. Insbesondere im Zusammenhang mit der Objekterkennung werden Deep Convolutional Neural Networks (CNNs) wie ResNet50, ResNet101 und VGG16 verwendet, um detaillierte zugrunde liegende Merkmalssätze aus Zehntausenden Bildern in kanonischen Datenbanken wie ImageNet20 und Common Objects in Context (CoCo) zu extrahieren )21. Diese sogenannten „Backbone“-Netzwerke werden in CNN-basierten Objekterkennungs-Frameworks wie dem Faster Regional Convolutional Neural Network22 (R-CNN) und den Mask R-CNN-Modellen23 implementiert, die zusätzliche neuronale Netzwerke enthalten, die interessierende Regionen im Bild vorschlagen und klassifizieren und segmentieren Sie einzelne Objekte innerhalb jedes interessierenden Bereichs24,25. Es gibt eine wachsende Zahl von Arbeiten zur Anwendung von Objekterkennungsmethoden auf elektronenmikroskopische Bilder in der Materialwissenschaft26, wobei die Anwendungen von der Erkennung verschiedener Defekte (z. B. Versetzungen, Ausscheidungen, Schwarzpunktdefekte) in bestrahlten Metalllegierungen27,28,29 bis hin zur Quantifizierung von Mikro- und Mikrofehlern reichen Nanopartikel30,31 und das Auffinden einzelner Atome in hochauflösenden STEM-Bildern32,33. Am relevantesten für die vorliegende Arbeit sind Anderson et al. verwendeten das Faster R-CNN-Modell, um Hohlräume in Ni-basierten X-750-Legierungen zu erkennen34. Ihr Faster R-CNN-Modell fand effektiv Hohlräume mit gemeldeten F1-Werten im Bereich von 0,7–0,8. Da das Faster R-CNN-Modell keine Segmentierungsinformationen auf Pixelebene bereitstellt, wurden zusätzliche vom Deep-Learning-Modell getrennte Nachverarbeitungsmethoden verwendet, um die Hohlraumgrößeninformationen aus den vorhergesagten Begrenzungsrahmen zu extrahieren. Die vorliegende Arbeit verwendet das Mask R-CNN-Modell, um einen vollständigen End-to-End-Deep-Learning-Hohlraumdetektor zu realisieren. Wir beziehen die öffentlich zugänglichen Daten ein, die in der Arbeit von Anderson et al. verwendet wurden. vom Canadian Nuclear Laboratory (CNL), den wir in dieser Arbeit als CNL-Datensatz bezeichnen, und erweitern die bisher verfügbare Hohlraumbilddatenbank erheblich, um Bilder mit einem größeren Spektrum an Legierungszusammensetzungen und Bestrahlungsbedingungen einzubeziehen, indem neue Bilder aus dem Nuklearlabor einbezogen werden Oriented Materials & Examination (NOME) Laboratory an der University of Michigan, das wir in dieser Arbeit als NOME-Datensatz bezeichnen (weitere Informationen finden Sie im Abschnitt „Daten und Methoden“). Die Einbeziehung der NOME-Datenbank, die die Trainingsdaten erheblich erweitert, um ein breites Spektrum an Materialien und Bildgebungsbedingungen einzubeziehen, ermöglicht dann die Auswertung von CNNs, um eine Bildquantifizierungsautomatisierung über einen breiten Merkmalsbereich innerhalb einer einzelnen Merkmalsklasse (Hohlräume) im Vergleich zu durchzuführen Frühere Arbeiten, die Bewertungen für eine einzelne Feature-Domäne durchführten. Zwei Beispiele für Bilder aus jedem der CNL- und NOME-Datensätze sind in Abb. 1 dargestellt. Diese besonderen Bilder wurden ausgewählt, da sie qualitativ die großen Unterschiede in den Hohlraumgrößen, -dichten und dem physischen Erscheinungsbild zwischen unterfokussierten und überfokussierten Bildern in diesen Datenbanken zeigen. In Abb. 1 bezeichnet „Ground Truth“ die Hohlraumanmerkungen der Domänenexperten, die zum Trainieren und Bewerten der Leistung unseres Modells verwendet werden. Weitere Informationen zu den Bilddatenbanken und deren Kennzeichnung finden Sie im Abschnitt „Daten und Methoden“. Beachten Sie, dass es sich bei den Bildern in Abb. 1 um Bilder handelt, die im Rahmen einzelner Experimente zur Abbildung von Hohlräumen aufgenommen wurden. Zusätzliche Bildgebungsbedingungen wie zunehmende/verringernde Vergrößerung und Bildfokus könnten die Gesamtfähigkeit zur Visualisierung von Hohlräumen während dieser Experimente verbessern, werden hier jedoch nicht vorgestellt oder berücksichtigt. ”

Beispielhafte Rohbilder (linke Spalte) mit beschrifteten Ground-Truth-Hohlräumen (mittlere Spalte) und entsprechenden Mask R-CNN-Modellvorhersagen (rechte Spalte). (A) CNL-überfokussiertes Bild mit F1 = 0,82. (B) CNL-unterfokussiertes Bild mit F1 = 0,63. (C) NOME überfokussiertes Bild mit F1 = 0,81. (D) NOME unterfokussiertes Bild mit F1 = 0,83. Die Breite der in (A), (B), (C) und (D) gezeigten Bilder beträgt ungefähr 195 nm, 768 nm, 315 nm bzw. 168 nm.

Es gibt viele Möglichkeiten, ein Segmentierungsmodell für maschinelles Lernen auf Fehler zu überprüfen. Eine Ebene besteht darin, wie das Modell als Klassifizierungsalgorithmus fungiert. Dies kann für jedes vom Modell klassifizierte Objekt durchgeführt werden. Ein typisches Modell bietet eine Klassifizierung für Pixel (innerhalb oder außerhalb des Fehlers), Fehler (gefunden oder nicht gefunden) und Fehlertypen (für Fälle mit mehreren Fehlertypen). Eine solche Klassifizierungsleistung wird im Allgemeinen durch Metriken wie Präzision (P), Rückruf (R), Genauigkeit und F1-Werte (harmonisches Mittel aus Präzision und Rückruf) charakterisiert. Eine zweite Bewertungsebene ist die Leistung des Modells bei Defekteigenschaften, zu denen grundlegende Eigenschaften (z. B. Größenverteilung, mittlere Größe, Dichte, Form, Position usw.) und mit diesen grundlegenden Eigenschaften verbundene Entwicklungen oder Korrelationen (z. B. Wachstum) gehören können Geschwindigkeit, Diffusionsfähigkeit, Paarverteilungsfunktion usw.). Eine dritte Bewertungsebene sind Materialeigenschaften, bei denen es sich bei bestrahlten Legierungen im Allgemeinen um Quell- oder Verfestigungsvorhersagen handelt, die auf physikalischen Modellen und Eigenschaften der beobachteten Defekte basieren. Bewertungen wie die gerade aufgeführten können im Allgemeinen mit unterschiedlichen Gruppierungen der Daten durchgeführt werden, z. B. für einen festen Bereich, pro Bild oder für einen bestimmten Satz von Bildern. Da Bewertungen im Allgemeinen anhand weggelassener Testdaten durchgeführt werden, können diese Testdatensätze außerdem mit unterschiedlichen Methoden generiert werden. Die gebräuchlichste Methode besteht darin, sie nach dem Zufallsprinzip auszuwählen (z. B. k-fache Kreuzvalidierung) oder bestimmte Datengruppen zu entfernen Wählen Sie Eigenschaften aus, um wahrscheinliche Anwendungsfälle für das Modell darzustellen. In dieser Arbeit konzentrieren wir uns bei der Bewertung auf Klassifizierungswerte zum Auffinden von Fehlern, Fehlergrößenverteilung und -dichte sowie Materialquellung. Wir tun dies sowohl pro Bild als auch im Durchschnitt über mehrere Bilder. Zusammen untersuchen diese Bewertungen die Genauigkeit des Modells für die Informationen, die typischerweise von der Gemeinschaft zu Strahlungseffekten verwendet werden.

Während dieser Arbeit konzentrieren wir uns bei der Modellbewertung auf die Fähigkeit, Materialquellungen zu beurteilen und die primären Fehlerquellen bei Materialquellungen zu untersuchen. Hier vergleichen wir zunächst die Leistung von Mask R-CNN-Modellen, die auf verschiedenen zufälligen Teilmengen unserer vollständigen CNL + NOME-Hohlraumdatenbank trainiert und getestet wurden (siehe Abschnitt „Daten und Methoden“). Die Auswertung mit zufälliger Kreuzvalidierung bildet eine Grundlage dafür, wie gut das Modell voraussichtlich bei Testbildern funktionieren wird, die zumindest qualitativ aus derselben Domäne wie der Trainingssatz stammen. Abbildung 2 enthält ein Paritätsdiagramm, das die vom Modell vorhergesagten mit den tatsächlichen Werten der durchschnittlichen Materialschwellung pro Bild für fünf verschiedene Zug-/Testaufteilungen der CNL + NOME-Datenbank vergleicht. Wichtige Anpassungsstatistiken des Bestimmtheitsmaßes (R2), des mittleren absoluten Fehlers (MAE), des mittleren absoluten prozentualen Fehlers (MAPE), des quadratischen Mittelwerts (RMSE) und des RMSE dividiert durch die wahre Standardabweichung des Datensatzes (reduzierter RMSE, RMSE/σ). ) sind inklusive. Eine Zusammenfassung der wichtigsten Klassifizierungsmetriken und Materialeigenschaftsmetriken für jede Aufteilung sowie der Durchschnitt und die Standardabweichung über alle fünf Aufteilungen finden Sie in SI-Anmerkung 1. Bezüglich der Materialquellung in Abb. 2 gilt für die fünf untersuchten Aufteilungen: Der durchschnittliche MAE beträgt 0,30 Prozent Schwellung mit einer Standardabweichung von 0,03 Prozent Schwellung. Die beste Aufteilung war die CNL + NOME-Anfangsaufteilung mit einer MAE = 0,26 Prozent Schwellung, während die schlechteste Aufteilung CV Split 1 mit einer MAE = 0,35 Prozent Schwellung war. Zusätzlich zu den Bewertungen der Materialschwellung haben wir auch eine detaillierte Untersuchung der Modellbewertungen der durchschnittlichen Hohlraumgröße und Hohlraumflächendichte pro Bild bereitgestellt, die in Abbildung S1 von SI Note 1 dargestellt ist. Das Modell kann den Durchschnitt pro Bild bewerten Hohlraumgröße mit hoher Genauigkeit, mit einem durchschnittlichen (Standardabweichung) MAE von nur 1,02 (0,14) nm, was einem durchschnittlichen (Standardabweichung) MAPE-Wert von 8,94 % (0,84 %) Fehler bei der Hohlraumgröße entspricht, was einem ähnlichen Fehler entspricht Niveau wie unsere vorherige Arbeit28. Unser Modell weist die höchsten Fehler bei der Beurteilung der Hohlraumdichte auf, insbesondere bei Bildern mit hohen Hohlraumdichten (> 20 × 10–4 nm–2), bei denen das Modell eine deutliche Tendenz zu niedrigeren Werten aufweist. Das Zusammenspiel von Hohlraumgröße und -dichte im Hinblick auf die Beurteilung von Schwellungen wird im Abschnitt „Modellfehler bei der Beurteilung von Schwellungen verstehen“ erläutert. Insgesamt kann das Mask R-CNN-Modell die Materialquellung mit einem typischen mittleren absoluten Fehler von etwa 0,30 Prozent gut beurteilen. Dies ist ein Fehler, der klein genug ist, damit das Modell Änderungen in den Quellreaktionen basierend auf dem Materialdesign (z. B. Legierungsverfeinerung) erkennen kann ) und Betriebsbedingungen (z. B. Temperatur, dpa) und bietet somit problemlos ein beschleunigtes Mittel zur Bewertung dieser Faktoren in TEM-basierten Arbeitsabläufen zur Quellungsquantifizierung.

Paritätsdiagramm der tatsächlichen und vorhergesagten Materialquellung. Die verschiedenen Symbole entsprechen unterschiedlichen Kreuzvalidierungszug-/Testaufteilungen. Die Anpassungsstatistiken in schwarzem Text geben die durchschnittliche +/− Standardabweichung über alle fünf Teilungen für jede Metrik an.

Aus der obigen Diskussion geht hervor, dass das auf unserem vollständigen CNL + NOME-Datensatz trainierte Modell genaue Bewertungen der Materialschwellung für zufällig ausgelassene Testbilder lieferte, was einen Test der Modellleistung an Bildern darstellt, die qualitativ aus derselben Domäne wie der Trainingssatz stammen. Ein anspruchsvollerer Test der Fähigkeit unserer Mask R-CNN-Modelle, Materialschwellungen zu beurteilen, besteht darin, das Modell anhand von Bildern zu testen, die sich deutlich von denen im Training unterscheiden, und zwar mithilfe der Kreuzvalidierung von Auslassungsgruppen. Obwohl es viele Möglichkeiten gibt, physikalisch motivierte Datengruppen wegzulassen, konzentrieren wir uns hier auf das praktische Szenario der Anwendung unseres trainierten Mask R-CNN auf Hohlraumbilder, die zu einem anderen als dem im Training verwendeten Datensatz gehören. Dazu trainieren wir ein Modell ausschließlich anhand der CNL-Daten, verwenden es zur Vorhersage von CNL- und NOME-Testdaten und vergleichen es mit dem Modell, das anhand des kombinierten CNL- und NOME-Datensatzes aus dem Abschnitt „Benchmarking-Modellleistung bei der Beurteilung der Materialschwellung“ trainiert wurde. Ebenso trainieren wir ein Modell nur anhand der NOME-Daten und verwenden es zur Vorhersage von CNL- und NOME-Testdaten.

Abbildung 3 enthält Paritätsdiagramme der Materialquellungsbewertung für unseren Kreuzvalidierungstest der Auslassungsgruppe. Eine detaillierte Zusammenfassung der Materialeigenschaftenstatistiken (Hohlraumgröße, Dichte und Quellwerte) für die in Abb. 3 gezeigten Tests finden Sie in SI-Anmerkung 2. In Abb. 3A wird das Modell nur auf CNL-Daten trainiert und verwendet um Schwellungen auf CNL-Testbildern (blaue Punkte) und NOME-Testbildern (rote Punkte) vorherzusagen. Die CNL- und NOME-Testpunkte werden danach getrennt, ob die Testbilder überfokussierten (Kreissymbole) oder unterfokussierten (Dreieckssymbole) Bildgebungsbedingungen entsprechen, wobei die unterschiedlichen Bedingungen die Kontrastmodulation der im Material vorhandenen Hohlräume umkehren. In Abb. 3A sehen wir, dass das auf CNL-Bildern trainierte Modell eine gute Beurteilung der Materialschwellung im CNL-Bildtestsatz mit einem MAE von 0,40 Prozent Schwellung zeigt. Unter dem Gesichtspunkt der MAE schneidet das Modell bei unterfokussierten Bildern besser ab als bei überfokussierten Bildern, wobei die Schwellungs-MAE-Werte bei unterfokussierten (überfokussierten) Bildern jeweils 0,33 (0,53) Prozent Schwellung betragen (siehe SI-Hinweis 2). Die verbesserte Leistung bei unterfokussierten Bildern ist wahrscheinlich darauf zurückzuführen, dass diese in der CNL-Datenbank eher unterfokussierte als überfokussierte Hohlräume aufweisen. Eine ähnliche Reaktion wurde in unserer früheren Arbeit mit Mask R-CNN zur Erkennung von Versetzungsschleifen in FeCrAl-Legierungen beobachtet, wo unsere Lernkurven die beste Modellleistung bei den Defekttypen zeigten, die in den Trainingsdaten am häufigsten vorkommen28. In Abb. 3A können wir auch sehen, dass das auf CNL-Daten trainierte Modell beim NOME-Testsatz schlecht abschneidet. Während auf den ersten Blick der MAE-Wert von 0,66 Prozent Schwellung beim NOME-Testsatz nicht viel schlechter erscheint als der MAE von 0,40 Prozent Schwellung beim CNL-Testsatz, ist der Bereich der Schwellungswerte für die NOME-Daten viel kleiner und umso höher Der Fehler lässt sich in diesem Fall besser veranschaulichen, indem man den MAPE-Wert von etwa 215 % für Tests auf NOME gegenüber knapp 20 % für Tests auf CNL sowie den reduzierten RMSE-Wert untersucht, der viel höher (niedriger) als Eins ist das NOME (CNL)-Testset.

Paritätsdiagramme zur Bewertung der Leistung von Mask R-CNN pro Bild bei der Vorhersage von Materialschwellungen. (A) CNL-Erstaufteilung, wobei das Modell auf CNL trainiert und auf CNL getestet wurde (blaue Daten) und auf CNL trainiert und auf NOME getestet wurde (rote Daten). (B) NOME-Erstaufteilung, wobei das Modell auf NOME trainiert und auf CNL getestet wurde (blaue Daten) und auf NOME trainiert und auf NOME getestet wurde (rote Daten). In beiden Diagrammen bezeichnen die Kreis- und Dreieckspunkte überfokussierte bzw. unterfokussierte Bilder, und die farbcodierten Anpassungsstatistiken stimmen mit dem entsprechenden Satz von Punkten gleicher Farbe überein.

In Abb. 3B führen wir den Testfall durch, bei dem das Modell nur auf den NOME-Daten trainiert und separat auf den CNL- und NOME-Testsätzen getestet wird. Das auf NOME-Daten trainierte und getestete Modell zeigt insgesamt eine hervorragende Fähigkeit zur Beurteilung von Schwellungen, mit einem MAE von nur 0,15 Prozent Schwellung (MAPE = 37,97 %). Im Gegensatz dazu schneidet das Modell bei Bewertungen des CNL-Testsatzes schlecht ab, mit MAE-Werten (MAPE) für große Schwellungen von jeweils 1,98 Prozent (76,25 %) und im Wesentlichen nicht in der Lage, die Schwellung von Proben mit echten Schwellungswerten von mehr als etwa zu beurteilen 1,5 Prozent Schwellung. Dieses Ergebnis ist aus Sicht der Modellanwendbarkeitsdomäne sinnvoll. Während der NOME-Datensatz einen vielfältigeren Satz von Legierungszusammensetzungen und Bestrahlungsbedingungen darstellt, beträgt die in den NOME-Bildern vorhandene Schwellung im Gegensatz zu maximal etwa 2,5 Prozent (wobei alle bis auf ein Testbild weniger als 1,5 Prozent Schwellung aufweisen). Große Schwellungen einiger CNL-Bilder mit einer Schwellung von bis zu fast 7 Prozent.

Wir bekräftigen, dass durch das Training eines Modells, das sowohl die CNL- als auch die NOME-Daten verwendet (Abb. 2 und Abbildung S2 in SI-Anmerkung 2), das Modell eine genaue Bewertung der Materialschwellung sowohl auf der separaten CNL (MAE = 0,44 Prozent Schwellung) als auch auf der anderen Seite liefert NOME-Testsätze (MAE = 0,15 Prozent Schwellung) zeigen insgesamt einen MAE von 0,26 Prozent Schwellung. Das anhand von CNL- und NOME-Daten trainierte Modell zeigt bei jeder Testteilmenge eine praktisch unveränderte Leistung im Vergleich zu den individuell trainierten Modellen, die in Abb. 3 und Abbildung S2 dargestellt sind, was darauf hindeutet, dass das kombinierte Modell einen größeren Anwendungsbereich hat. Das kombinierte CNL- und NOME-Modell zeigt eine annähernd identische Leistung bei der Vorhersage der Schwellung von überfokussierten (0,26 Prozent Schwellung) und unterfokussierten (0,27 Prozent Schwellung) Bildern, obwohl das Modell aus der Sicht von MAPE bei unterfokussierten Bildern (29,03 %) besser abschneidet als bei überfokussierten Bildern (39,13 %) (siehe Tabelle S2 in SI-Anmerkung 2). Zusätzlich zu den hier zusammengefassten Materialeigenschaftenstatistiken haben wir die Klassifizierungsstatistiken der gesamten P-, R- und F1-Werte sowie der durchschnittlichen P-, R- und F1-Werte pro Bild für die oben besprochenen Tests gesammelt. Wir stellen fest, dass die Schlussfolgerungen hinsichtlich der Modellleistung im Zusammenhang mit der Materialschwellung im Allgemeinen bestehen bleiben, wenn man die Gesamt- und durchschnittlichen F1-Werte pro Bild berücksichtigt. Eine weitere Diskussion der Klassifizierungsmetriken und eine Tabelle ihrer Werte finden Sie in SI-Anmerkung 2. Insgesamt zeigen unsere Ergebnisse, dass es vorzuziehen ist, einfach ein Modell mit Trainingsbildern aus beiden Datensätzen zu trainieren, da der Modellbereich ohne Verlust erweitert wird Klassifizierung oder Leistung der Materialeigenschaftsmetrik innerhalb eines bestimmten einzelnen Datensatzes.

Hier versuchen wir, die Fehlerquelle bei den Modellschwellungsbewertungen besser zu verstehen. Basierend auf der Gleichung zur Berechnung der Materialquellung (Gleichung 1, siehe Abschnitt „Daten und Methoden“) ist es intuitiv, dass die Hohlraumgröße (kubische Skalierung) einen größeren Einfluss auf die Bestimmung der Quellung hat als die Hohlraumdichte (lineare Skalierung) (siehe SI). Anmerkung 3 für eine Visualisierung dieser Tatsache anhand unserer aktuellen Datenbank). Anhand der detaillierten Daten, die aus der Ausgabe des Mask R-CNN-Modells gewonnen wurden, zeigen wir diesen Effekt in der Praxis und quantifizieren potenzielle Problembereiche der Modellnutzung genauer. Abbildung 4A zeigt die Beziehung zwischen der tatsächlichen Hohlraumgröße pro Bild und dem Modellfehler in der Hohlraumdichte. In Abb. 4A skalieren die Größen der Datenpunkte mit dem Modellfehler in der Schwellung. Aus Abb. 4A lernen wir, dass die Bilder mit den höchsten Dichtefehlern zumindest im Durchschnitt diejenigen mit kleinen Hohlräumen sind. Die geringe Größe der Punkte mit hohen Dichtefehlern weist darauf hin, dass diese Bilder mit schlechter Dichtebewertung auch geringfügige Schwellungsfehler aufweisen. Unter dem Gesichtspunkt des Wunsches nach einem Modell, das genaue Schwellungsbewertungen liefert, ist die Tatsache, dass das Modell manchmal schlechte Bewertungen der Hohlraumdichte zeigt, nicht unbedingt besorgniserregend, da die schlechten Dichtebewertungen zumindest für die in unserem analysierten Bilder mit kleinen Schwellungsfehlern einhergehen aktuelle Datenbank. Es ist erwähnenswert, dass unser Modell hinsichtlich der Vorhersagen der Hohlraumgröße weitgehend unvoreingenommen ist (siehe Abbildung S1A in SI-Anmerkung 1) und darauf ausgerichtet ist, die Hohlraumdichten zu unterschätzen (siehe Abbildung S1B in SI-Anmerkung 1), was im Wesentlichen zu keiner Verzerrung bei den Quellungsfehlern führt (siehe Abb. 2), was auf die Tatsache zurückzuführen ist, dass kleine Hohlräume (in absoluten Einheiten) einen geringen Einfluss auf die Quellwerte haben und in der Regel die Hohlräume sind, die in den Dichtevorhersagen unterbewertet werden. In Abb. 4B zeichnen wir den durchschnittlichen absoluten Quellungsfehler als Funktion der tatsächlichen Hohlraumgröße pro Bild auf, gruppiert basierend auf Bereichen der Hohlraumgrößen. Die Größen der Punkte in Abb. 4B entsprechen der Anzahl der Testbilder, die in jedem Hohlraumgrößenbehälter enthalten sind. Die Fehlerbalken geben den Standardfehler im Mittel des durchschnittlichen absoluten Quellfehlers in jedem Hohlraumgrößenbereich an. Um beispielsweise den ersten Datenpunkt der 0–5 nm gruppierten NOME-Daten zu erhalten, werden die Größen der roten quadratischen Punkte in Abb. 4A, die zwischen 0–5 nm auf der y-Achse liegen, gemittelt, um den absoluten Durchschnitt zu erhalten Quellungsfehler in Abb. 4B, der Fehlerbalken ist der Standardfehler im Mittel dieser Punkte, und die Größe des Punkts in Abb. 4B skaliert mit der Anzahl der Datenpunkte im Größenbereich von 0–5 nm (beachten Sie dies). Aus diesem Grund haben größere Punkte tendenziell kleinere Fehlerbalken. In Abb. 4B können wir sehen, dass die CNL (NOME)-Bilder mit durchschnittlichen Hohlraumgrößen von mehr als 10 nm (15 nm) höhere durchschnittliche Schwellungsfehler aufweisen als der gesamte MAE von 0,3 Prozent Schwellung aus zufälliger Kreuzvalidierung. Zusammengenommen deutet die in Abb. 4 gezeigte Analyse darauf hin, dass Bilder mit großen Hohlräumen am anfälligsten für starke Schwellungsfehler sind, wobei die Fehler potenziell doppelt so hoch sind wie die, die wir bei unserem zufälligen Kreuzvalidierungstest erhalten haben. Als weiteren Teil der Analyse haben wir in Abbildung S4 in SI-Anmerkung 3 zusätzliche Darstellungen wie die in Abb. 4B gezeigte, mit der Ausnahme, dass wir den durchschnittlichen absoluten Schwellungsfehler als Funktion der (gruppierten) wahren Schwellung für alle Fälle darstellen Testbilder zusammen sowie aufgeteilt nach CNL- und NOME-Teilmengen. Diese Analyse zeigt, dass wir kleinere (größere) absolute Schwellungsfehler (prozentuale Schwellungsfehler) haben, wenn die wahre Schwellung gering ist (z. B. durchschnittlicher Schwellungsfehler von 0,13 % und prozentualer Fehler von 33,0 % für wahre Schwellung < 1 %) und größere (kleinere) absolute Schwellungsfehler (prozentuale Schwellungsfehler), wenn die tatsächliche Schwellung groß ist (z. B. durchschnittlicher Schwellungsfehler von 0,60 % und prozentualer Fehler von 16,0 % für echte Schwellung > 2 %). Insgesamt weist unser Modell über alle Testbilder in unserer Datenbank durchschnittliche absolute Schwellungsfehler (prozentuale Schwellungsfehler) von etwa 0,3 % (25 %) auf.

(A) Beziehung zwischen der wahren Hohlraumgröße pro Bild und dem Modellfehler bei der Beurteilung der entsprechenden Hohlraumdichte. Jeder Datenpunkt stellt ein Testbild dar, wobei die blauen Kreise und roten Quadrate CNL- bzw. NOME-Testbilder bezeichnen. Die Größe der Datenpunkte skaliert mit dem Modellfehler der prozentualen Schwellung. (B) Der Trend des vom Modell vorhergesagten absoluten Fehlers bei der Materialquellung als Funktion der tatsächlichen durchschnittlichen Hohlraumgröße. Hier stellt die x-Achse gruppierte Werte der wahren Hohlraumgröße dar (d. h. Gruppen von Testbildern basierend auf ihrem Bereich der wahren Hohlraumgrößen von der y-Achse des Diagramms (A). Die blauen Kreise und roten Quadrate bezeichnen Gruppen von CNL bzw. NOME-Testbilder. Die Größe der Punkte skaliert mit der Anzahl der Testbilder, die den tatsächlichen durchschnittlichen Hohlraumgrößenbereich umfassen. Die Größenlegenden geben das Minimum, den Durchschnitt und das Maximum für die jeweilige Datenspur an. Die Fehlerbalken sind der Standard Fehler im Mittel des absoluten Quellungsfehlers.

In dieser Arbeit haben wir uns bei der Erörterung der prädikativen Qualität von Modellen hauptsächlich auf Bewertungen auf der Ebene pro Bild konzentriert. Es ist jedoch auch wichtig zu beurteilen, wie gut das Modell die Verteilung der Hohlraumgrößen über alle Bilder hinweg vorhersagt, was repräsentativ für die gemittelten Verteilungen ist, die Forscher typischerweise aus einer Reihe von Bildern für ein bestimmtes Experiment oder eine Reihe von Experimenten extrahieren könnten. Abbildung 5A zeigt die wahre (in Blau) und vom Modell vorhergesagte (in Grün) Größenverteilung aller Hohlräume in unserem Satz von Testbildern. Die Anzahl der tatsächlichen Hohlräume beträgt 20.597 und die Anzahl der prognostizierten Hohlräume beträgt 18.169. Das Modell reproduziert korrekt die qualitative Form der Verteilung, einschließlich des bimodalen Verhaltens und der kritischen Blasengröße (z. B. das Tal zwischen den beiden Spitzen in Abb. 5A), die Schlüsselindikatoren für die zugrunde liegende Physik des voreingenommenen Hohlraumwachstums sind35. Quantitative Verteilungsmetriken wie Mittelwert, Median, Standardabweichung, Schiefe und Kurtosis werden vom Modell alle sehr gut vorhergesagt. Dieses Ergebnis zeigt, dass die gesamte Hohlraumgrößenverteilung nicht nur für quantitative Vorhersagen der wahrgenommenen Schwellung genau genug ist, sondern auch für ein qualitatives Verständnis der zugrunde liegenden physikalischen Mechanismen und sogar für quantitative Einschränkungen physikalischer Modelle der Hohlraumentwicklung.

Diagramme der gesamten Hohlraumgrößenverteilung, die die tatsächliche Hohlraumgrößenverteilung (blau) und die vorhergesagte Hohlraumgrößenverteilung (grün) über alle ausgelassenen Testbilder zeigen. (A) Verteilungen der Hohlraumgrößen unter Verwendung physikalischer Einheiten von nm. (B) Verteilungen der Hohlraumgrößen unter Verwendung reduzierter Einheiten, die dem Bruchteil der Bildgröße entsprechen.

Aus Abb. 5A sehen wir, dass die Bereiche, in denen das Modell die Hohlraumgrößen am meisten unterschätzt, in den Bereichen 2,5–5 nm und 10–15 nm liegen. Um die Natur dieser Fehler besser zu verstehen, zeichnen wir die Hohlraumgrößenverteilung in Einheiten von Bruchteilen der Bildgröße in Abb. 5B auf. Wie erwartet zeigt Abb. 5B nicht mehr die bimodale Größenverteilung, da die Hohlraumgrößen keine physikalischen Einheiten mehr haben und die Datenbank über eine große Sammlung von Vergrößerungen verfügt. Was wir aus Abb. 5B sehen können, ist, dass im Wesentlichen alle vom Modell übersehenen Hohlräume in Fällen auftreten, in denen der Hohlraum etwa 3 % oder weniger des Bildes einnimmt. Wir glauben, dass dieser Fehler zwei Ursachen hat. Erstens bestehen Hohlräume, die sich nur über 3 % oder weniger des Bildes erstrecken, tendenziell aus einer begrenzten Anzahl von Pixeln, z. B. etwa 30 Pixel in der Breite oder weniger, und sind daher für das Modell schwer eindeutig vom Bildhintergrund zu unterscheiden. Zweitens haben wir bei unseren eigenen Datenbeschriftungsübungen herausgefunden, dass es selbst für Domänenexperten menschlicher Bezeichner schwierig ist zu erkennen, ob es sich bei Merkmalen dieser Größe tatsächlich um Hohlräume handelt oder nicht. Diese zweite Fehlerquelle ist unserer Meinung nach besonders interessant, da sie zu einer Unsicherheit oder Verzerrung in den Grundwahrheitsbezeichnungen führt, die sich dann durch das Modelltraining und die daraus resultierenden Vorhersagen ausbreiten kann. Ein besseres Verständnis der Unsicherheit in Ground-Truth-Labels und ihrer Auswirkungen auf die Modellleistung würde den Rahmen dieser Arbeit sprengen, ist aber einer weiteren Untersuchung wert.

Die obige Diskussion konzentrierte sich auf die Korrelation von Durchschnittswerten der Hohlraumgröße mit Fehlern in der Hohlraumdichte und -schwellung sowie auf die Beurteilung der Fähigkeit unseres Modells, die vollständige Verteilung der Hohlraumgrößen vorherzusagen. Wir haben gezeigt, dass unser Modell sowohl die bimodale Natur der wahrgenommenen Hohlraumgrößenverteilung in realen Größeneinheiten zusammen mit wichtigen Metriken wie Verteilungsdurchschnitt, Median, Standardabweichung usw. gut reproduzieren als auch genaue durchschnittliche Hohlraumgrößen pro Bild liefern kann. Als letzten Teil der Analyse untersuchen wir zwei spezifische Bilder detaillierter, um den Einfluss der gesamten Hohlraumgrößenverteilung auf den Schwellungsfehler besser zu verstehen. Bei diesen besonderen Fällen handelte es sich um Testbilder aus dem anfänglichen Split-Fall von CNL + NOME. Für diese Analyse untersuchen wir zwei Extremfälle: ein unterfokussiertes NOME-Testbild namens „10 59 K.png“, das den kleinsten Schwellungsfehler von nur 0,004 Prozent Schwellung aufwies, und ein unterfokussiertes CNL-Testbild namens „02.jpg“, das den größten Schwellungsfehler zeigte Schwellungsfehler von 1,46 Prozent Schwellung. Die Grundwahrheit und die vom Modell vorhergesagten Hohlraumbezeichnungen sind in Abb. 6 dargestellt. Als erste Anmerkung zeigte das NOME-Bild mit der besten Schwellungsbewertung einen niedrigen F1-Wert von nur 0,50, während das CNL-Bild mit der schlechtesten Schwellungsbewertung einen hohen F1 zeigte Punktzahl von 0,90. Dieses Ergebnis weist darauf hin, wie wichtig es ist, zusätzlich zu oder als Ersatz für herkömmliche klassifizierungsbasierte Metriken Materialeigenschaften-zentrierte Metriken zu bewerten, wenn das Modell für die Verwendung in einer bestimmten Materialdomänenanwendung evaluiert wird. Als nächstes verdeutlichen die in Abb. 6 gezeigten Hohlraumgrößenverteilungen (hier als Bruchteil der Bildgröße dargestellt), dass der schlechte F1 des NOME-Bilds darauf zurückzuführen ist, dass dem Modell viele kleine Hohlräume fehlen, die sich über etwa 2 % oder weniger der Bildgröße erstrecken (Für dieses spezielle Bild entspricht dies Hohlräumen mit einer Größe von etwa 5 nm), während für das CNL-Bild eine Handvoll großer Hohlräume fehlen oder gefundene Hohlräume vermutlich eine unterschätzte Größe haben. Für das NOME-Bild in Abb. 6A ist der kleine Schwellungsfehler das Ergebnis einer leichten Überschätzung der durchschnittlichen Hohlraumgröße, die hauptsächlich auf die Vorhersage eines einzelnen großen Hohlraums mit einer Größe von etwa 5 % des Bildes zurückzuführen ist, wie in gezeigt die kumulativen Schwellungsbeiträge überlagert mit dem Größenhistogramm. In Abb. 6B sind die schlechten Schwellungsbewertungen darauf zurückzuführen, dass das Modell die größten Hohlräume im Bild vermisst, und die Überrepräsentation kleiner vorhergesagter Hohlräume gleicht die untervorhergesagte Schwellung nicht aus. Insgesamt zeigen die in Abb. 6 dargestellten Extrembeispiele, dass unser Modell zeitweise eine gute Schwellungsbewertung zeigen kann, die das Ergebnis einer Fehlerkompensation ist (Abb. 6A – viele kleine Hohlräume fehlen, aber ein großer falsch positiver Hohlraum vorhanden ist) und unsere Das Modell kann aufgrund einer Kombination von Fehlern eine schlechte Beurteilung der Schwellung aufweisen (Abb. 6B – sagt zu viele kleine Hohlräume voraus und übersieht einige große Hohlräume). Wir betonen jedoch erneut, dass unser Modell bei der Auswertung der zahlreichen Bilder unseres kompletten Testsets im Durchschnitt gute Einschätzungen zur Materialquellung zeigt.

Diagramme der Hohlraumgröße (hier als Bruchteil der Gesamtbildgröße angegeben), der Histogrammverteilung und der kumulativen Schwellungsbeiträge für zwei Fälle: (A) NOME-Bild mit dem Namen „10 59 K.png“, ein unterfokussiertes Bild, bei dem das Modell einen Tiefpunkt vorhersagte F1-Score von 0,50 und ein Schwellungsfehler von nur 0,004 Prozent Schwellung. (B) CNL-Bild mit dem Namen „02.jpg“, ein unterfokussiertes Bild, bei dem das Modell einen hohen F1-Score von 0,90 und einen großen Schwellungsfehler von 1,46 Prozent Schwellung vorhersagte. Für die Histogramme in jedem Panel geben die blauen und grünen Balken die Anzahl der tatsächlichen bzw. vorhergesagten Hohlräume in jedem Größenbereich an, und die gestrichelten blauen und grünen Linien geben den Anteil der Schwellung an (normalisiert auf den gesamten tatsächlichen Schwellungswert). man würde die Quellung anhand der jeweiligen Hohlraumgrößenverteilungen berechnen. Der prozentuale Fehler der vorhergesagten Schwellung für (A) und (B) entspricht 5,4 % bzw. 27,0 %. Die Breite der in (A) und (B) gezeigten Bilder beträgt ungefähr 377 nm bzw. 195 nm.

In dieser Arbeit verwendeten wir einen End-to-End-Deep-Learning-Ansatz basierend auf dem Mask R-CNN-Modell, um nanoskalige Hohlräume in TEM-Aufnahmen bestrahlter Metalllegierungen zu erkennen und zu charakterisieren. Wir haben eine Datenbank mit beschrifteten Hohlraumbildern zusammengestellt, die 400 Bilder und > 34.000 Hohlräume umfasst, wobei ein Bereich eine Reihe von Legierungszusammensetzungen und Bestrahlungsbedingungen umfasst. Wir haben die Leistung unserer Mask R-CNN-Modelle anhand einer Reihe kanonischer klassifizierungsbasierter Metriken (Gesamt- und Einzelbildpräzision, Rückruf und F1-Scores) sowie materialdomänenspezifischer Metriken zur Bewertung von Hohlraumgröße, Hohlraumdichte und Schwellung bewertet . Angesichts der Bedeutung einer genauen Charakterisierung der Quellung in bestrahlten Legierungen für deren Verwendung als Materialien in Kernreaktorkomponenten haben wir besonderen Wert auf die Beurteilung der Materialquellung gelegt. Unser Modell liefert Materialquellungsbewertungen mit einem durchschnittlichen (Standardabweichung) mittleren absoluten Quellungsfehler basierend auf einer zufälligen Auslassungskreuzvalidierung von 0,30 (0,03) Prozent Quellung. Dies zeigt eine gute Fähigkeit zur Quellungsbeurteilung mit einem ausreichend kleinen Fehler, um nützliche Erkenntnisse für neue Legierungen zu liefern Design. Wir haben die Ursache unserer Schwellungsfehler detaillierter untersucht und dabei drei interessante Ergebnisse gefunden:

Das Modell kann gelegentlich schlechte Bewertungen der Hohlraumdichte aufweisen, aber diese schlechten Dichtebewertungen gingen (zumindest für die hier ausgewerteten Bilder) immer mit kleinen Schwellungsfehlern einher, da die übersehenen Hohlräume alle klein waren (z. B. Hohlräume, die sich über etwa 3 % oder weniger erstrecken). die Bildgröße), was darauf hindeutet, dass eine schlechte Beurteilung der Hohlraumdichte nicht unbedingt ein besorgniserregendes Zeichen für die Modellleistung ist.

Auf kanonischer Klassifizierung basierende Metriken können manchmal ein irreführendes Bild davon zeichnen, wie gut ein Modell für eine bestimmte Materialdomänenanwendung funktionieren kann. Beispielsweise haben wir zwei extreme Fälle von Testbildern mit niedrigen (hohen) F1-Werten analysiert, die wiederum sehr niedrige (hohe) Schwellungsfehler aufwiesen, was darauf hindeutet, dass, wie bei Punkt (1) oben, nicht viele Hohlräume fehlen unbedingt ein Problem, vorausgesetzt, sie sind klein.

In direktem Zusammenhang mit den oben genannten Punkten, da die Schwellung mit der Potenz der Hohlraumgröße zunimmt, ist es wichtig, die Größe großer Hohlräume genau zu erfassen. Während dies aus der Betrachtung von Gl. offensichtlich ist. 1 haben wir gezeigt, wie sich dieser Effekt in der Praxis manifestieren kann, wo selbst Testbilder mit kleinen Fehlern bei der durchschnittlichen Kavitätengröße größere Fehler bei der Schwellung als gewünscht aufweisen können, wobei in einigen Fällen Fehler in der gesamten Kavitätengrößenverteilung auftreten, zumindest in Bezug darauf Ursachen für die genaue Beurteilung von Schwellungen sind hauptsächlich das Ergebnis von Fehlern bei Hohlraumgrößen von etwa 15 nm oder mehr.

Um die zuverlässigsten Modellergebnisse zu erhalten, empfehlen wir potenziellen Benutzern angesichts der oben aufgeführten Hauptergebnisse, unser Modell anhand neuer TEM-Bilder zu bewerten, die unter Unterfokusbedingungen aufgenommen wurden und bei denen Hohlräume mit einer Vergrößerung abgebildet wurden, die mindestens 3 beträgt % der Bildbreite oder -höhe, um die Wahrscheinlichkeit zu maximieren, dass sie korrekt erkannt und quantifiziert werden. Obwohl die vorliegenden Ergebnisse sehr vielversprechend sind, geben die Unfähigkeit, neue Arten von Hohlraumdaten zuverlässig zu beurteilen, die Fehler bei der Erkennung kleiner Hohlräume und die bei einigen großen Hohlräumen auftretenden Schwellungsfehler immer noch Anlass zur Sorge. Einige oder alle dieser Probleme könnten durch mehr Daten und eine sorgfältigere Gegenprüfung der Ground-Truth-Labels gelöst werden. Derzeit wird beispielsweise daran gearbeitet, menschliche Vorurteile bei der Kennzeichnung von Grundwahrheiten zu quantifizieren und zu mildern, wobei das Problem, dass im ML-Modell kleine Hohlräume fehlen, zumindest teilweise eine Folge der inkonsistenten Kennzeichnung dieser kleinen Hohlräume mit Grundwahrheiten ist und potenziell auftreten kann reduziert durch die Aggregation der Ergebnisse von Etiketten, die von einer großen Anzahl von Etikettierern erhalten wurden. Das Erhalten und Kommentieren neuer TEM-Bilder bestrahlter Proben ist jedoch sehr zeitaufwändig, insbesondere wenn vor der Bildgebung auch die Bestrahlungsexperimente durchgeführt werden müssen. Wir glauben, dass ein potenziell fruchtbarer Bereich zukünftiger Forschung darin besteht, synthetische Trainingsdaten einzubeziehen, die bestehende experimentelle Datenbanken erweitern können, um den Modelltrainingsbereich um verschiedene Größenverteilungen, Fokussierungs- und Bildgebungsbedingungen sowie Rauschpegel zu erweitern und so das Modelltraining zu verbessern. Eine Möglichkeit zur Erstellung synthetischer Daten ist die Verwendung generativer Modelle wie Generative Adversarial Networks (GANs). Der größte Nachteil der Verwendung von GANs besteht jedoch darin, dass sie auf einen anfänglichen Satz von Trainingsbildern von Hohlräumen angewiesen sind. Eine andere Methode, die nicht auf anfänglichen Trainingsdaten basiert, ist eine physikbasierte Simulation von Hohlräumen. Unsere erste Arbeit in diesem Bereich kombinierte simulierte Hohlräume mit experimentellen Bildern, die reale Hohlräume enthielten, um das Training von Objekterkennungsmodellen zu verbessern36, und die Arbeit geht weiter, um die Herausforderungen anzugehen, wie synthetische Hohlräume am besten mit Hintergrund-TEM-Bildern integriert werden können und mit der Ergänzung die Leistung von Objekterkennungsmodellen umfassend bewertet werden kann von synthetischen Hohlraumdaten.

Um zukünftige Studien zur Objekterkennung und -quantifizierung in diesem Bereich zu fördern, haben wir unsere vollständige Bilddatenbank und die zugehörigen Ground-Truth-Anmerkungen öffentlich zugänglich gemacht (siehe Abschnitt „Verfügbarkeit von Daten und Code“). Darüber hinaus haben wir ein Python-Notebook bereitgestellt, das auf die Ausführung auf den kostenlosen GPU-Ressourcen von Google Colab zugeschnitten ist, um auf einfache Weise Rückschlüsse und eine grundlegende Analyse der Materialschwellung auf vom Benutzer bereitgestellten Testbildern zu ermöglichen. Schließlich wird unser Modell auch auf DLHub37 gehostet, der Teil der Foundry für Daten, Modelle und Wissenschaft38 ist. Diese Infrastruktur ermöglicht Rückschlüsse auf neue Bilder mit nur zwei Zeilen Python-Code. Wir haben auch ein Notebook beigefügt, mit dem Sie unser Modell von Foundry aus aufrufen können (siehe Abschnitt „Daten- und Codeverfügbarkeit“). Das für dieses Tool verwendete Mask R-CNN-Modell wurde auf der gesamten CNL + NOME-Datenbank mit 400 Bildern trainiert, um das genaueste aktuelle Modell zur Erkennung von Hohlräumen auf neuen Bildern zu erstellen. Wenn ein neues Testbild erstellt wird, speichert das Notebook das Bild mit überlagerten modellspezifischen Hohlraumsegmentierungen zusammen mit einer Tabelle, die den Begrenzungsrahmen, die Segmentierung und die berechnete Größe jedes Hohlraums im Bild sowie die berechnete Hohlraumdichte und -schwellung enthält. Wir hoffen, dass Tools wie diese Forschern und neuen Benutzern gleichermaßen kurzfristig helfen, indem sie eine geringere Hürde für den Einsatz von Objekterkennungstools schaffen. Längerfristig hoffen wir, die Generierung einer breiteren Community-Basis standardisierter (experimenteller und synthetischer) Bilddaten und zugehöriger Objekterkennungsmodelle zu ermöglichen, um hochmoderne Modelle zu erstellen, die in der Lage sind, Hohlräume genau zu erkennen und zu quantifizieren Wichtige Materialeigenschaften wie Quellung für eine Reihe von Legierungszusammensetzungen, Bestrahlungsdosen und Bildgebungsbedingungen.

In dieser Arbeit wurden zwei Datensätze verwendet, um die Leistung unseres Mask R-CNN-Objekterkennungsmodells zu trainieren und zu testen. Beide Datensätze bestehen aus TEM-Bildern bestrahlter Metalllegierungen. Für die Erkennung und Quantifizierung interessante Objekte sind Hohlräume, die im Allgemeinen als kugelförmige und facettierte Formen in der Mikrostruktur erscheinen, deren Kontrast mit einem Bereich ohne Matrixmaterial übereinstimmt. Beide Datensätze bestehen aus unterfokussierten und überfokussierten Bildern von Hohlräumen. Wenn das Bild überfokussiert ist, erscheint der Hohlraum als Scheibe, die von einem hellen Ring umgeben ist, während er bei unterfokussiertem Bild als Scheibe erscheint, die von einem dunklen Ring umgeben ist. Im Allgemeinen umfassen die Grundwahrheitsbezeichnungen beider Datensätze sowohl den Scheiben- als auch den Streifenkontrast der Hohlräume in den überfokussierten bzw. unterfokussierten Hohlräumen. Im Falle einer genauen Größenbestimmung ist beabsichtigt, dass eine weitere Verfeinerung unter Verwendung von Nachanalysealgorithmen angewendet werden könnte, wie z. B. ein Kontrastpeak-Identifizierungsschema, um die Hohlräume basierend auf dem Streifenkontrast genau zu dimensionieren, wie empfohlen11,39, ein solcher Aufwand lag jedoch nicht im Rahmen Umfang der Datenerhebung und -generierung. Das Ergebnis ist, dass die Datenbank- und Größeninformationen eine genaue relative oder wahrgenommene Schwellung über die Bestimmung der lokalisierten Größe der Kavität ermöglichen. Allerdings ist ein gewisser inhärenter Fehler in der dargestellten Größe und den nachfolgenden Schwellungsdaten vorhanden, weshalb die Terminologie der wahrgenommenen Schwellung übernommen wird. Beachten Sie, dass Vergleiche der Grundwahrheit und der Modellierungskennzeichnungsgröße im relativen Mittel immer noch genau sind, da das Modell die Größe auf die gleiche Weise vorhersagt wie die von Menschen entwickelte Datenbank. Es ist erwähnenswert, dass alle ML-Modellbewertungen in dieser Arbeit Instanzen in der Datenbank überlappender Hohlräume im Bild umfassen, die als ein einzelner Hohlraum gezählt werden können. In der vorliegenden Arbeit versuchen wir nicht, die Statistiken überlappender Hohlräume zu quantifizieren. Basierend auf unserem Wissen über die Datensätze kommen Fälle überlappender Hohlräume jedoch im Allgemeinen selten vor, wobei wir schätzen, dass weniger als 5 % aller Hohlräume in der Datenbank überlappen. Angesichts zusätzlicher Daten überlappender Hohlrauminstanzen kann das vorliegende Modell weiter verbessert werden.

Der erste Datensatz besteht aus Hellfeld-TEM-Aufnahmen, die vom Canadian Nuclear Laboratory (CNL) aufgenommen und beschriftet wurden und die wir in dieser Arbeit als CNL-Datensatz bezeichnen. Die Bilder wurden von Reaktorabstandsfedern kommerzieller Kernreaktoren der kanadischen Deuterium-Uran-Reaktorflotte (CANDU)40 aufgenommen und bestehen sowohl aus überfokussierten als auch unterfokussierten Bildern von Hohlräumen in Inconel X-750 Ni-Legierungen, die einer Neutronenbestrahlung unterzogen wurden. Die für die CNL-Bilder verwendeten Reaktor-Abstandsfedern waren 14 Jahre lang im Reaktorbetrieb, mit einer Schadensdosis von 30 Verschiebungen pro Atom (dpa). Weitere Details zur Probenvorbereitung, TEM-Bildgebung und Hohlraumanmerkung sind in der Arbeit von Anderson et al.34 beschrieben. Zusammenfassende Informationen zur Anzahl überfokussierter und unterfokussierter Bilder und der entsprechenden Anzahl überfokussierter und unterfokussierter Hohlräume für den CNL-Datensatz werden zusammengefasst in SI-Anmerkung 4. Wir stellen hier fest, dass in der Arbeit von Anderson et al. angegeben ist, dass die Datenbank insgesamt 253 Bilder umfasst, wobei 230 Bilder für das Training verwendet wurden und 23 für das Testen ihres Faster R-CNN-Modells reserviert waren . Aus den öffentlich verfügbaren Daten, die in ihrem Artikel verlinkt sind, geht jedoch hervor, dass der verfügbare Trainingssatz aus 224 Bildern besteht und der Testsatz 19 Bilder (insgesamt 243 Bilder) enthält. Darüber hinaus wurde bei der Überprüfung der bereitgestellten Anmerkungen für alle Bilder festgestellt, dass die Anmerkungen bei fünf Bildern nicht mit den auf dem Bild vorhandenen Hohlräumen übereinstimmten. Anstatt diese Bilder erneut zu kommentieren, haben wir sie einfach aus unserer aktuellen CNL-Datenbank, die in dieser Arbeit verwendet wird, entfernt, was insgesamt 238 Bilder ergab. (Beachten Sie, dass die Namen der 5 entfernten Bilder lauten: 59_01.jpg, 59_02.jpg, 59_03.jpg, 59_04.jpg, 63_01.jpg). Während 68 % der aktuellen CNL-Datenbank aus unterfokussierten Bildern besteht, ist eine große Mehrheit (etwa 83 %) der Hohlräume unterfokussiert, was zu einem Klassenungleichgewicht führt, bei dem die Datenbank deutlich auf unterfokussierte Hohlräume ausgerichtet ist.

Der zweite Datensatz besteht aus TEM-Aufnahmen, die wir im Rahmen des Nuclear Oriented Materials & Examination (NOME) Laboratory der University of Michigan erhalten und beschriftet haben und die wir in dieser Arbeit als NOME-Datensatz bezeichnen. Diese Bilder wurden durch eine Vielzahl von Kooperationen und professionellen Kontakten in diesem Bereich gewonnen. Sie bestehen sowohl aus überfokussierten als auch aus unterfokussierten Bildern. Die in diesen Bildern abgedeckten Materialzusammensetzungen sind sehr unterschiedlich, einschließlich Proben aus den Stahllegierungen CW-316, T91, HT9 und 800H. Auch die Bestrahlung, der jede Probe ausgesetzt war, war sehr unterschiedlich und umfasste sowohl Schäden durch Licht- und Schwerionen- als auch Neutronenbeschuss mit Gesamtdosen von bis zu 100 dpa. Um diese Bilder mit Anmerkungen zu versehen, wurde ein Team aus studentischen Forschern zunächst von einem Domänenexperten darin geschult, Bilder zu beschriften, indem er an mehreren vorbeschrifteten Bildern übte, die nicht Teil der NOME-Datenbank waren. Wie oben erwähnt, umfassen die Grundwahrheitsbezeichnungen die äußeren hellen und dunklen Ringe für die überfokussierten bzw. unterfokussierten Hohlräume. Es wurde Feedback zu ihrer Kennzeichnung gegeben, bis die Ergebnisse denen von Expertenforschern nahekamen. Nach der Schulung beschriftete das Studententeam die gesamte NOME-Datenbank. Die Beschriftungen jeder NOME-Datenbank wurden von einem Doktoranden (Matthew Lynch) korrigiert und von einem Postdoktoranden (Priyam Patki) überprüft, um den endgültigen Satz von Anmerkungen zu bilden. Die gesamte Beschriftung erfolgte mit dem Webtool VGG Image Annotator (VIA)41. Die gekennzeichnete NOME-Datenbank umfasst 162 Bilder, wie in SI-Anmerkung 4 detailliert beschrieben. Wie die CNL-Datenbank ist auch die NOME-Datenbank stark auf unterfokussierte Hohlräume ausgerichtet, wobei etwa 75 % aller Hohlräume von unterfokussierten Bildern stammen. Um verschiedene Aspekte des Modells zu bewerten, wurden 7 verschiedene Aufteilungen unseres kombinierten CNL + NOME-Datensatzes verwendet, um die Fähigkeit unserer Mask R-CNN-Modelle zur Erkennung und Quantifizierung von Hohlräumen zu trainieren und zu testen, wie in SI-Hinweis 4 beschrieben. Wir stellen fest Hier erfahren Sie, dass alle Bilder und Anmerkungen für die CNL- und NOME-Datensätze auf Figshare öffentlich verfügbar gemacht wurden (siehe Abschnitt „Daten- und Codeverfügbarkeit“).

In dieser Arbeit verwenden wir das Objekterkennungsmodell Mask R-CNN, um Hohlräume zu erkennen und zu quantifizieren, wie es im Detectron2-Paket (PyTorch-Backend) implementiert ist. Das Detectron2-Paket wurde vom Facebook AI Research (FAIR)-Team42 entwickelt. Detectron2 ist frei verfügbar und ermöglicht die Implementierung vieler Objekterkennungsmodelle, wie Faster R-CNN22, Mask R-CNN23 und Cascade R-CNN43. Diese Objekterkennungsmodelle wurden entweder auf den Bilddatenbanken ImageNet20 oder Microsoft COCO21 (Common Objects in Context) vorab trainiert, was die Verwendung der Transfer-Lerntechnik ermöglicht. Bei der Verwendung von Transferlernen werden die Modell-Backbone-Gewichte auf diejenigen eingefroren, die aus dem vorherigen ImageNet- oder Microsoft COCO-Bildtraining erhalten wurden, mit Ausnahme einer kleinen Anzahl von Terminalschichten (2 in dieser Arbeit). Die Eingabekonfiguration von Mask R-CNN war dieselbe wie die, die in unserer vorherigen Arbeit zur Erkennung und Quantifizierung von Versetzungsschleifen und Schwarzpunktdefekten in FeCrAl-Legierungen28 verwendet wurde, mit der Ausnahme, dass wir hier die möglichen Ankerkastengrößen auf 4, 8, 16, 32 angepasst haben. 64, 128 und 256 Pixel, damit das Modell kleine Hohlräume besser erkennen kann. Wir weisen hier darauf hin, dass Eingabedateien im Detectron2-Paket typischerweise mögliche Ankerboxgrößen verwenden, die Potenzen von 2 sind. Daher folgen wir dieser Praxis und schließen auch die kleinen Ankerboxgrößen von 4 und 8 Pixel ein, um kleine Hohlräume besser erkennen zu können Einige der in dieser Arbeit untersuchten Bilder enthalten Hohlräume, die auf dieser Längenskala liegen.

Diese Arbeit bewertet unser Modell anhand sowohl klassifizierungszentrierter als auch materialeigenschaftenzentrierter Metriken. Für unsere Klassifizierungsmetriken konzentrieren wir uns auf die Modell-P-, R- und F1-Scores. Da es nur eine einzige Vorhersagekategorie (d. h. Hohlräume) gibt, wird die Präzision berechnet, indem die Anzahl der gefundenen Defekte durch die Anzahl der vorhergesagten Defekte dividiert wird, und der Rückruf wird berechnet, indem die Anzahl der gefundenen Defekte durch die Anzahl der tatsächlichen Defekte dividiert wird . Wir bewerten die P-, R- und F1-Werte jeweils pro Bild, woraus wir die durchschnittlichen P-, R- und F1-Werte pro Bild ermitteln können, und wir bewerten die sogenannten Gesamt-P-, R- und F1-Werte, d. h. a Einzelberechnung unter Verwendung der Gesamtzahl der tatsächlichen, vorhergesagten und gefundenen Hohlräume für den gesamten Testsatz. Für die Materialeigenschaftsmetriken berechnen wir Größenverteilungen der vorhergesagten Hohlräume für jedes Testbild, konzentrieren unsere Bewertung jedoch auf den Vergleich der wahren mit der vorhergesagten durchschnittlichen Hohlraumgröße pro Bild, der wahren mit der vorhergesagten Hohlraumdichte pro Bild (erhalten durch Zählen). Anzahl der tatsächlichen und vorhergesagten Hohlräume in einem Bild und dividiert durch die Bildfläche) und wahre vs. vorhergesagte Schwellung pro Bild. Die Schwellung \(\frac{\Delta V}{V}\) eines Bildes (ausgedrückt als prozentuale Schwellung) wird nach der Arbeit von Jiao et al.9 berechnet:

Dabei ist A die Fläche des Bildes, δ die Probendicke, di der Hohlraumdurchmesser und N die Anzahl der Hohlräume im Bild. Aufgrund des Mangels an Probendickendaten pro Bild haben wir angenommen, dass jedes Bild eine Dicke von 100 nm aufweist. Der Kavitätsdurchmesser wird als das Doppelte seines Radius berechnet, wobei der Kavitätsradius als Quadratwurzel des Produkts aus minimalem und maximalem Abstand von der Mitte der Kavitätsmaske definiert ist.

Bei der Bewertung der Leistung von Objekterkennungsmodellen wie Mask R-CNN stehen zwei wichtige Hyperparameter zur Auswahl, nämlich der Intersektion-over-Union-Schwellenwert (IoU) und der Objektwert. Der IoU-Schwellenwert bestimmt den Grenzwert zwischen der Grundwahrheit und den vorhergesagten Begrenzungsrahmen, um zu bestimmen, wann ein Hohlraum als an der richtigen Position gefunden betrachtet werden kann, und der Objektbewertungswert ist ein Maß für die Modellsicherheit, dass ein vorhergesagter Bereich einem Hohlraum entspricht und somit Auswirkungen hat die Gesamtzahl der vorhergesagten Hohlräume. Die Methode zum Abgleich der wahren und vorhergesagten Hohlräume auf der Grundlage der IoU ist dieselbe wie die, die in unserer vorherigen Arbeit28 verwendet wurde. Wir geben hier eine kurze Zusammenfassung dieses Ansatzes. Bei der Auswertung eines Bildes gibt es eine Liste mit echten Fehlermasken und vorhergesagten Fehlermasken. Um zu entscheiden, ob ein Fehler an der richtigen Stelle gefunden wurde, wird die IoU jedes vorhergesagten Fehlers für jeden echten Fehler berechnet und der Fehler mit der höchsten IoU-Bewertung wird als die bestmögliche Übereinstimmung angesehen. Die IoU-Werte werden anhand der aus dem Regionsvorschlagsnetzwerk erhaltenen Begrenzungsrahmen berechnet. Wenn dieser berechnete IoU-Score über dem festgelegten Schwellenwert liegt, gilt dieser vorhergesagte Fehler als gefunden. Jeder echte Fehler kann nur einmal gefunden werden. Wenn sich also herausstellt, dass mehrere vorhergesagte Fehler den IoU-Schwellenwert mit einem bestimmten echten Fehler überschreiten, wird der vorhergesagte Fehler mit der höchsten IoU-Bewertung als gefundener Fehler betrachtet, und die anderen Fehler würden dies tun dann als falsch positive Ergebnisse gelten. Die Hyperparameter werden unter Verwendung der anfänglichen CNL + NOME-Aufteilung bestimmt, indem der Gesamt-F1-Score als Funktion des IoU-Schwellenwerts und des Objektivitäts-Scores ausgewertet wird und indem der Fehler in der vorhergesagten Schwellung als Funktion des Objektivitäts-Scores ausgewertet wird (siehe Abbildung S5 in SI-Anmerkung 5). ). Diese Datenaufteilung wurde für die Hyperparameteroptimierung ausgewählt, da sie eine repräsentative und zufällige Teilmenge des gesamten in dieser Arbeit untersuchten CNL + NOME-Bilddatensatzes enthält.

Die während der aktuellen Studie generierten und/oder analysierten Datensätze sind auf Figshare verfügbar (https://doi.org/10.6084/m9.figshare.20063117). Das trainierte Modell auf der vollständigen Datenbank aller CNL- und NOME-Bilder, ein Google Colab-Notizbuch und zugehörige Python-Skripte, um Vorhersagen zu neuen Bildern zu treffen und die zugehörigen Daten zu speichern, sind auch auf Figshare verfügbar (https://doi.org/10.6084/m9). .figshare.20063117). Darüber hinaus haben wir das endgültige trainierte Modell auf DLHub gehostet, das Teil der Foundry für Daten, Modelle und Wissenschaft ist. Ein Notebook zur Verwendung des gehosteten Modells auf Foundry wird auch im obigen Figshare-Repository bereitgestellt. Ein kleiner Teil der Bilder (≈3 %) wird aufgrund geschützter Rechte an diesen Bildern nicht in der öffentlichen Datenbank aufgeführt. Zugriff auf die weggelassenen Bilder und entsprechende Beschriftungen erhalten Sie auf Anfrage beim entsprechenden Autor.

Seeger, A., Diehl, J., Mader, S. & Rebstock, H. Kaltverfestigung und Kaltverfestigung flächenzentrierter kubischer Metallkristalle. Philos. Mag. 2, 323–350 (1957).

Artikel ADS CAS Google Scholar

Zheng, C. et al. Mikrostrukturreaktion des ferritischen/martensitischen Stahls HT9 nach Neutronenbestrahlung: Wirkung der Dosis. J. Nucl. Mater. 523, 421–433 (2019).

Artikel ADS CAS Google Scholar

Zhang, HK, Yao, Z., Judge, C. & Griffiths, M. Mikrostrukturelle Entwicklung des CANDU-Abstandsmaterials Inconel X-750 unter In-situ-Ionenbestrahlung. J. Nucl. Mater. 443, 49–58 (2013).

Artikel ADS CAS Google Scholar

Porter, DL & Garner, FA Strahlungskriechen und Versprödungsverhalten von Edelstahl AISI 316 bei sehr hohen Neutronenfluenzen. J. Nucl. Mater. 159, 114–121 (1988).

Artikel ADS CAS Google Scholar

Garner, FA Aktuelle Erkenntnisse zum Quellen und Kriechen bestrahlter austenitischer Legierungen. J. Nucl. Mater. 122, 459–471 (1984).

Artikel ADS CAS Google Scholar

Snoeck, E., Majimel, J., Ruault, MO & Hÿtch, MJ Charakterisierung der Heliumblasengröße und -facettierung durch Elektronenholographie. J. Appl. Physik. 100, 66 (2006).

Artikel Google Scholar

Morgan, D. et al. Maschinelles Lernen in der Kernmaterialforschung. Curr. Meinung. Festkörpermaterial. Wissenschaft. 26, 100975 (2022).

Artikel ADS CAS Google Scholar

Cockeram, BV, Smith, RW, Hashimoto, N. & Snead, LL Das Quellen, die Mikrostruktur und die Aushärtung von geschmiedetem LCAC-, TZM- und ODS-Molybdän nach Neutronenbestrahlung. J. Nucl. Mater. 418, 121–136 (2011).

Artikel ADS CAS Google Scholar

Jiao, Z. et al. Mikrostrukturentwicklung von T91, bestrahlt im schnellen BOR60-Reaktor. J. Nucl. Mater. 504, 122–134 (2018).

Artikel ADS CAS Google Scholar

Foreman, AJE, von Harrach, HS & Saldin, DK Der TEM-Kontrast facettierter Hohlräume. Philos. Mag. A 45, 625–645 (1981).

Artikel ADS Google Scholar

Yao, B., Edwards, DJ, Kurtz, RJ, Odette, GR & Yamamoto, T. Mehrschichtsimulation der Transmissionselektronenmikroskopie-Bildgebung von Heliumblasen in Fe. J. Elektronenmikroskop. 61, 393–400 (2012).

Artikel CAS Google Scholar

Ruhle, MR-Transmissionselektronenmikroskopie strahlungsinduzierter Defekte (1971). https://doi.org/10.2172/4027809.

Schneider, CA, Rasband, WS & Eliceiri, KW NIH Image to ImageJ: 25 Jahre Bildanalyse. Nat. Methoden 9, 671–675 (2012).

Artikel CAS PubMed PubMed Central Google Scholar

Giannuzzi, LA, Drown, JL, Brown, SR, Irwin, RB & Stevie, FA Anwendungen der FIB-Lift-out-Technik zur TEM-Probenvorbereitung. Mikrosk. Res. Technol. 41, 285–290 (1998).

3.0.CO;2-Q" data-track-action="article reference" href="https://doi.org/10.1002%2F%28SICI%291097-0029%2819980515%2941%3A4%3C285%3A%3AAID-JEMT1%3E3.0.CO%3B2-Q" aria-label="Article reference 14" data-doi="10.1002/(SICI)1097-0029(19980515)41:43.0.CO;2-Q">Artikel CAS Google Scholar

Schemer-Kohrn, A., Toloczko, MB, Zhu, Y., Wang, J. & Edwards, DJ Entfernung von FIB-Schäden mittels Blitzelektropolieren für artefaktfreie TEM-Folien. Mikrosk. Mikroanal. 25, 1606–1607 (2019).

Artikel ADS Google Scholar

Spurgeon, SR et al. Auf dem Weg zur datengesteuerten Transmissionselektronenmikroskopie der nächsten Generation. Nat. Mater. 20, 274–279 (2021).

Artikel ADS CAS PubMed PubMed Central Google Scholar

Jiang, Y. et al. Elektronenptychographie von 2D-Materialien mit tiefer Sub-Ångström-Auflösung. Natur 559, 343–349 (2018).

Artikel ADS CAS PubMed Google Scholar

Chatterjee, D. et al. Eine ultraschnelle Direktelektronenkamera für 4D-STEM. Mikrosk. Mikroanal. 27, 1004–1006 (2021).

Artikel Google Scholar

Ophus, C. Vierdimensionale Rastertransmissionselektronenmikroskopie (4D-STEM): Von der Rasternanobeugung zur Ptychographie und darüber hinaus. Mikrosk. Mikroanal. 66, 563–582. https://doi.org/10.1017/S1431927619000497 (2019).

Artikel ADS CAS Google Scholar

Deng, J. et al. ImageNet: Eine umfangreiche hierarchische Bilddatenbank. In: 2009 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) (2009).

Lin, T.-Y. et al. Microsoft COCO: Gemeinsame Objekte im Kontext. In: Europäische Konferenz für Computer Vision (ECCV) 740–755 (2014).

Ren, S., He, K., Girshick, R. & Sun, J. Faster R-CNN: Auf dem Weg zur Echtzeit-Objekterkennung mit Regionsvorschlagsnetzwerken. IEEE Trans. Muster Anal. Mach. Intel. 39, 1137–1149 (2017).

Artikel PubMed Google Scholar

He, K., Gkioxari, G., Dollar, P. & Girshick, R. Mask R-CNN. In: Internationale Konferenz über Computer Vision (ICCV) (2017).

Liu, L. et al. Deep Learning zur generischen Objekterkennung: Eine Umfrage. Int. J. Comput. Vis. 128, 261–318 (2020).

Artikel MATH Google Scholar

Zhao, ZQ, Zheng, P., Xu, ST & Wu, X. Objekterkennung mit Deep Learning: Ein Rückblick. IEEE Trans. Neuronales Netz. Lernen. Syst. 30, 3212–3232 (2019).

Artikel PubMed Google Scholar

Jacobs, R. Deep-Learning-Objekterkennung in der Materialwissenschaft: Aktueller Stand und zukünftige Richtungen. Berechnen. Mater. Wissenschaft. 211, 111527. https://doi.org/10.1016/j.commatsci.2022.111527 (2022).

Artikel CAS Google Scholar

Roberts, G. et al. Deep Learning zur semantischen Segmentierung von Defekten in fortgeschrittenen STEM-Bildern von Stählen. Wissenschaft. Rep. 9, 66 (2019).

Artikel Google Scholar

Jacobs, R. et al. Leistung und Grenzen der semantischen Deep-Learning-Segmentierung mehrerer Defekte in Transmissionselektronenmikroskopaufnahmen. Cell Rep. Phys. Wissenschaft. 66, 100876. https://doi.org/10.1016/j.xcrp.2022.100876 (2022).

Artikel CAS Google Scholar

Shen, M. et al. Erkennung mehrerer Defekte und Analyse elektronenmikroskopischer Bilder mit Deep Learning. Berechnen. Mater. Wissenschaft. 199, 110576 (2021).

Artikel CAS Google Scholar

Cohn, R. et al. Instanzsegmentierung für direkte Messungen von Satelliten in Metallpulvern und automatisierte mikrostrukturelle Charakterisierung aus Bilddaten. JOM 73, 2159–2172 (2021).

Artikel ADS Google Scholar

Groschner, CK, Choi, C. & Scott, MC Pipeline für maschinelles Lernen zur Segmentierung und Defektidentifizierung aus hochauflösenden Transmissionselektronenmikroskopiedaten. Mikrosk. Mikroanal. 27, 549–556 (2021).

Artikel ADS CAS Google Scholar

Ziatdinov, M. et al. Deep Learning von atomar aufgelösten Bildern der Rastertransmissionselektronenmikroskopie: Chemische Identifizierung und Verfolgung lokaler Transformationen. ACS Nano 11, 12742–12752 (2017).

Artikel CAS PubMed Google Scholar

Ge, M. & Xin, HL Deep-Learning-basierte Atomsegmentierung und Rausch- und Missing-Wedge-Reduktion für die Elektronentomographie. Mikrosk. Mikroanal. 24, 504–505 (2018).

Artikel ADS Google Scholar

Anderson, CM, Klein, J., Rajakumar, H., Judge, CD & Béland, LK Automatisierte Erkennung von Heliumblasen in bestrahltem X-750. Ultramicroscopy 217, 113068 (2020).

Artikel CAS PubMed Google Scholar

Mansur, LK & Coghlan, WA Mechanismen der Helium-Wechselwirkung mit Strahlungseffekten in Metallen und Legierungen: Eine Übersicht. J. Nucl. Mater. 119, 1–25 (1983).

Artikel ADS CAS Google Scholar

Field, KG et al. Entwicklung und Einsatz automatisierter maschineller Lernerkennung in Elektronenmikroskopie-Experimenten. Mikrosk. Mikroanal. 27, 2136–2137 (2021).

Artikel Google Scholar

Chard, R. et al. DLHub: Modell und Daten für die Wissenschaft. In: Proceedings – 2019 IEEE 33rd International Parallel and Distributed Processing Symposium, IPDPS 2019 283–292 (2019). https://doi.org/10.1109/IPDPS.2019.00038.

Chicago, U. of & Wisconsin-Madison, U. of. Informatikumgebung für Gießereimaterialien. https://ai-materials-and-chemistry.gitbook.io/foundry/v/docs/ (2021).

Jenkins, ML & Kirk, MA Charakterisierung von Strahlenschäden durch Transmissionselektronenmikroskopie (Taylor & Francis Group, 2000). https://doi.org/10.1201/9781420034646.

Zhang, HK, Yao, Z., Morin, G. & Griffiths, M. TEM-Charakterisierung des im Reaktor mit Neutronen bestrahlten CANDU-Abstandsmaterials Inconel X-750. J. Nucl. Mater. 451, 88–96 (2014).

Artikel ADS CAS Google Scholar

Dutta, A., Gupta, A. & Zisserman, A. VGG Image Annotator (VIA). https://www.robots.ox.ac.uk/~vgg/software/via/ (2020).

Wu, Y., Kirillov, A., Massa, F., Lo, W.-Y. & Girshick, R. Detectron2. https://github.com/facebookresearch/detectron2 (2019).

Cai, Z. & Vasconcelos, N. Cascade R-CNN: Eintauchen in die Erkennung hochwertiger Objekte. In: Tagungsband der IEEE-Konferenz zu Computer Vision und Mustererkennung (CVPR) 6154–6162 (2018).

Towns, J. et al. XSEDE: Beschleunigung wissenschaftlicher Entdeckungen. Berechnen. Wissenschaft. Ing. 120, 4–5 (2014).

Google Scholar

Referenzen herunterladen

Diese Arbeit wurde vom Electric Power Research Institute (EPRI) unter der Fördernummer 10012138 gefördert. Diese Arbeit nutzte das Extreme Science and Engineering Discovery Environment (XSEDE), das durch die National Science Foundation Grant Nummer ACI-1548562 unterstützt wird. Insbesondere wurde das Bridges-2-System über die Zuteilung TG-DMR090023 verwendet, die durch die NSF-Auszeichnungsnummer ACI-1928147 unterstützt wird, am Pittsburgh Supercomputing Center (PSC) [52].

Abteilung für Materialwissenschaft und Werkstofftechnik, University of Wisconsin-Madison, Madison, WI, 53706, USA

Ryan Jacobs & Dane Morgan

Nukleartechnik und radiologische Wissenschaften, University of Michigan – Ann Arbor, Ann Arbor, MI, 48109, USA

Priyam Patki, Matthew J. Lynch, Steven Chen und Kevin G. Field

Sie können diesen Autor auch in PubMed Google Scholar suchen

KGF und DM konzipierten und leiteten das Projekt. RJ führte alle Analysen durch, verfasste die erste Version des Manuskripts und überprüfte das Manuskript. PP, ML und SC bereiteten den Datensatz vor und führten zusätzliche Analysen durch. Alle Autoren haben das Manuskript überprüft.

Korrespondenz mit Ryan Jacobs.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Jacobs, R., Patki, P., Lynch, MJ et al. Materialschwellungen wurden durch automatisierte semantische Segmentierung von Hohlräumen in elektronenmikroskopischen Bildern sichtbar. Sci Rep 13, 5178 (2023). https://doi.org/10.1038/s41598-023-32454-2

Zitat herunterladen

Eingegangen: 14. November 2022

Angenommen: 28. März 2023

Veröffentlicht: 30. März 2023

DOI: https://doi.org/10.1038/s41598-023-32454-2

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.

Nachricht

Materialschwellungen wurden durch automatisierte semantische Segmentierung von Hohlräumen in elektronenmikroskopischen Bildern sichtbar