@article {26546,
	title = {Deep Learning for Automatic Generation of Endoscopy Reports},
	journal = {Gastrointestinal Endoscopy},
	volume = {89},
	year = {2019},
	month = {06/2019},
	publisher = {Elsevier},
	address = {Gastrointestinal Endoscopy},
	doi = {10.1016/j.gie.2019.04.053},
	author = {Hicks, Steven and Pia H. {Smedsrud} and Riegler, Michael and de Lange, Thomas and Petlund, Andreas and Sigrun Losada {Eskeland} and Pogorelov, Konstantin and Peter Thelin {Schmidt} and Halvorsen, P{\r a}l}
}
@misc {26509,
	title = {Kunstig intelligens for endoskopi {\textendash} Automatisk deteksjon av lesjoner i sanntid},
	year = {2019},
	publisher = {Norsk Gastroenterologisk Forening},
	address = {NGF Nytt, Vol. 26, No 1, March 2019, p. 34},
	abstract = {BAKGRUNN: I krysningspunktet mellom matematikk, informatikk og statistikk finner vi den vitenskapelige disiplinen kunstig intelligens (KI). Sammen med de siste {\r a}rs eksplosive utvikling innen teknologi har KI muliggjort nye algoritmer, modeller og systemer for maskinassistert diagnostikk. Resultater fra KI basert p{\r a} dype nevrale nettverk har vist spesielt stort potensiale, ogs{\r a} for automatisk deteksjon av lesjoner og anatomiske landemerker i gastrointestinaltraktus under endoskopi. Med sensitivitet og spesifisitet for deteksjon av polypper i tykktarmp{\r a} over 90\% m{\o}ter slike metoder n{\o}dvendige kliniske krav, men mange eksperimenter er utf{\o}rt p{\r a} begrensede datasett, eller analysert p{\r a} feilaktig grunnlag grunnet manglende tilgang og forst{\r a}else hos informatikere. For {\r a} oppn{\r a} best mulig resultat eret interdisiplin{\ae}rt samarbeid mellom klinikere og informatikereen forutsetning. Informatikerne trenger medisinske innspill for {\r a} lage effektive systemer som fungerer ute i klinikken, og klinikerne trenger forst{\r a}else av systemet for {\r a} kunne stole p{\r a} resultatet og stille p{\r a}litelige diagnoser. En stor utfordring for denne tilliten erat fremgangsm{\r a}ten til en KI-algoritme sees p{\r a} som en svart boks hvor ingen n{\o}yaktig kan dechiffrere hvordan systemet kom fremtil sin konklusjon.METODE: Vi har gjennom mange {\r a}r samlet en stor bilde- database fra endoskopier utf{\o}rt ved B{\ae}rum Sykehus, Vestre Viken HF. Bildene er gjennomg{\r a}tt og annotert av tre erfarne endoskop{\o}rer og fordelt p{\r a} 16 klasser, inkludert normal Z-linje, {\o}sofagitt, normal c{\o}kum, polypper og ulcer{\o}s colitt. Deretter er bildene brukt til {\r a} utvikle, trene og teste KI-modeller. Modellene er basert p{\r a} maskinl{\ae}ring og dyp l{\ae}ring, en gren innen KI. Med v{\r a}rt system Mimir, som kombinerer KI med informasjonss{\o}k og-gjenfinning, s{\o}ker vi {\r a} lage et helhetlig beslutningsst{\o}ttesystem for endoskop{\o}rer. Algoritmene analyserer videoer i sanntid, finner lesjoner, klassifiserer disse og gir skop{\o}ren live feedback om funn under unders{\o}kelsen, slik at funnene kan unders{\o}kes n{\ae}rmere. Mimir presenterer deretter resultatene i egen programvare, og bruker blant annet {\textquotedblleft}heatmaps{\textquotedblright} til {\r a} forklare hvordan konklusjonen er n{\r a}dd, og er p{\r a} den m{\r a}ten et bidrag p{\r a} veien til {\r a} forst{\r a} hvordan KI-algoritmene fungerer. Videre jobber vi med {\r a} videreutvikle Mimirs st{\o}tte for automatisk rapportgenerering, med bilderog standardtekst basert p{\r a} funn fra unders{\o}kelsen.RESULTATER: Deteksjon og klassifisering for de 16 gruppene har vist en sensitivitet p{\r a} 0,939 og en spesifisitet p{\r a} 0,996. Algoritmene v{\r a}re klarer {\r a} prosessere bildene i hastigheter p{\r a} mellom 30 - 1000 bilder per sekund, raskt nok til {\r a} kj{\o}re deteksjon i sanntid. En prototype av systemet er i samr{\r a}d med klinikere testet ved {\r a} koble til et koloskopisystem ute i klinikken, og kann{\r a} analysere videoer i sanntid.KONKLUSJON: Tester av v{\r a}re system viser at KI kan bli et viktig hjelpemiddel for {\r a} bedre oppdage GI-forandringer, og generere automatiske rapporter i l{\o}pet av n{\ae}rmeste fremtid. Dette kan fungere som viktig beslutningsst{\o}tte for endoskop{\o}rer, og kan brukes i oppl{\ae}ring av nye endoskop{\o}rer. Den st{\o}rste begrensningen med KI er at vi per i dag ikke vet hvordan systemet kommer frem til sin konklusjon, som kan p{\r a}virke i hvor stor grad vi stoler p{\r a} resultatet. Vi arbeider derfor med et helhetlig system som ikke bare hjelper legen med diagnostikk, men ogs{\r a} forklarer hvordan konklusjonen er n{\r a}dd, samt {\r a} generere automatiske rapporter fra unders{\o}kelsen.},
	author = {Pia H. {Smedsrud} and Riegler, Michael and de Lange, Thomas and Petlund, Andreas and Sigrun Losada {Eskeland} and Halvorsen, P{\r a}l}
}
@inproceedings {25628,
	title = {A comparison of deep learning with global features for gastrointestinal disease detection},
	journal = {MediaEval Benchmark 2017},
	year = {2017},
	month = {09/2017},
	publisher = {CEUR-WS.org},
	address = {Dublin, Ireland},
	author = {Pogorelov, Konstantin and Riegler, Michael and Halvorsen, P{\r a}l and Griwodz, Carsten and de Lange, Thomas and Kristin Ranheim {Randel} and Sigrun Losada {Eskeland} and Dang-Nguyen, Duc-Tien and Olga, Ostroukhova and Lux, Mathias and Spampinato, Concetto},
	editor = {Riegler, Michael}
}
@article {25462,
	title = {Efficient disease detection in gastrointestinal videos {\textendash} global features versus neural networks},
	journal = {Multimedia Tools and Applications},
	volume = {76},
	year = {2017},
	month = {11/2017},
	pages = {22493{\textendash}22525},
	publisher = {ACM/Springer},
	abstract = {Analysis of medical videos from the human gastrointestinal (GI) tract for detection and localization of abnormalities like lesions and diseases requires both high precision and recall. Additionally, it is important to support efficient, real-time processing for live feedback during (i) standard colonoscopies and (ii) scalability for massive population-based screening, which we conjecture can be done using a wireless video capsule endoscope (camera-pill). Existing related work in this field does neither provide the necessary combination of accuracy and performance for detecting multiple classes of abnormalities simultaneously nor for particular disease localization tasks. In this paper, a complete end-to-end multimedia system is presented where the aim is to tackle automatic analysis of GI tract videos. The system includes an entire pipeline ranging from data collection, processing and analysis, to visualization. The system combines deep learning neural networks, information retrieval, and analysis of global and local image features in order to implement multi-class classification, detection and localization. Furthermore, it is built in a modular way, so that it can be easily extended to deal with other types of abnormalities. Simultaneously, the system is developed for efficient processing in order to provide real-time feedback to the doctors and for scalability reasons when potentially applied for massive population-based algorithmic screenings in the future. Initial experiments show that our system has multiclass detection accuracy and polyp localization precision at least as good as state-of-the-art systems, and provides additional novelty in terms of real-time performance, low resource consumption and ability to extend with support for new classes of diseases.},
	keywords = {Algorithmic screening, Automatic disease detection, Deep learning neural networks, Global and local image features, Information retrieval, Medical, performance evaluation},
	issn = {1380-7501},
	doi = {10.1007/s11042-017-4989-y},
	url = {https://link.springer.com/article/10.1007\%2Fs11042-017-4989-y},
	author = {Pogorelov, Konstantin and Riegler, Michael and Sigrun Losada {Eskeland} and de Lange, Thomas and Johansen, Dag and Griwodz, Carsten and Peter Thelin {Schmidt} and Halvorsen, P{\r a}l}
}
@inproceedings {25627,
	title = {Multimedia for medicine: the medico Task at mediaEval 2017},
	journal = {MediaEval Benchmark 2017},
	year = {2017},
	month = {09/2017},
	publisher = {CEUR-WS.org},
	address = {Dublin, Ireland},
	author = {Riegler, Michael and Pogorelov, Konstantin and Halvorsen, P{\r a}l and Griwodz, Carsten and de Lange, Thomas and Kristin Ranheim {Randel} and Sigrun Losada {Eskeland} and Dang-Nguyen, Duc-Tien and Lux, Mathias and Spampinato, Concetto},
	editor = {Riegler, Michael}
}
