PROSJEKTOPPGAVER TILBUDT AV EDMUND BREKKE HØSTEN 2015

Alle disse oppgavene handler om sensorfusjon og estimering. God forståelse av statistikk vil være vel så viktig som reguleringsteknikk og systemteori for å lykkes med disse oppgavene. Av ting dere har vært gjennom i kybernetikkstudiet er materialet om Kalmanfilter fra TTK4115 Linear Systemteori det absolutt viktigste grunnlaget for disse oppgavene. Dere bør også ta fordypningstemaet TTK5 Kalman Filtering and Navigation samtidig med fordypningsprosjektet. Kjennskap til temaer som optimeringsmetoder, partikkelfiltre, grafiske modeller, undervannsakustikk og sensorer som kamera, radar og sonar vil også være nyttig.

Flere av oppgavene kan inkludere samarbeid med bedrifter som Kongsberg Maritime, DNV GL, Maritime Robotics og Adigo.

1. Navigasjon for AUV-docking

I dag så må AUVer settes ut og hentes via båt for lading, programmering og nedlasting av data. Dersom AUVen istedet kan koble seg opp mot en dockingstasjon på egenhånd, så vil mye arbeid bli spart og AUVen kan arbeide mer effektivt.

Suksessfull docking forutsetter at AUVen klarer å sikte seg inn mot dockingstasjonen med en passende hastighet. Dette stiller store krav til nøyaktighet, og AUVen må utstyres med en sensor som kan måle den relative posisjonen mellom AUVen og dockingstasjonen. Til dette kan for eksempel USBL (ultra-short baseline) brukes.

I denne oppgaven ønsker vi å sammenligne ulike estimeringsteknikker for dette problemet. Dette kan involvere metoder basert på Kalman filter, utvidet Kalman filter, sigma-punkt Kalman filter, partikkelfilter, observere etc. Det vil også være ønskelig å utforske likheter og forskjeller mellom dette problemet og SLAM-liknende lokaliseringsproblemer. Metodene testes gjennom simuleringer, men det vil også være muligheter å delta i eksperimenter for å ta i bruk reelle data.

Veileder: Edmund Brekke
Medveileder: Albert Sans Muntadas

2. Adaptiv filtrering av akustiske sensorer

Akustiske sensorer kjennetegnes ved at de hurtig endrer støykarakteristikk. Disse kan derfor ikke bruke saktevarierende modeller for å beskrive støyen.

Oppgaven går ut på å finne metoder for god adaptiv filtrering/online system-identifikasjon av akustiske målinger når de brukes i treghetsnavigasjonen. Metodene skal testes på virkelige data.

Oppgaven er gitt i samarbeid med Kongsberg Maritime AS, med Are Willumsen som veileder i bedrift. Se forøvrig http://www.km.kongsberg.com/hain, http://www.km.kongsberg.com/auv og http://www.navlab.net/.

3. Modellering og estimering av bølgeindusert feil i trykkmålinger

Trykkmålinger brukes til å måle dybden til en undervannsfarkost, og brukes som input til treghetsnavigasjon. Men overflatebølger sørger for at trykkmålingene har en varierende feil som følge av bølgehøyden, og uten god modell kommer denne feilen igjen i navigasjonssystemet.

Oppgaven går ut på å finne en modell som passer bølgenes natur og samtidig metoder for online systemidentifikasjon av evt. parametre i denne modellen. Modeller og metoder testes på virkelige data.

4. Deteksjon av stillestående farkost

Dersom et fartøy hviler på bakken, vil dette være verdifull input til et treghetsnavigasjonssystem.

Oppgaven går ut på å teste metoder for å bruke trykk og treghetsmålinger (gyro og akselerometre) til å detektere at fartøyet hviler på fast grunn. Metoden(e) skal testes på virkelige data

5. Målinger i flere tidspunkt

Det er vanlig å anta at målinger er øyeblikkobservasjoner, dvs. de måler tilstanden til systemet ved et bestemt tidspunkt. Dette trenger dog ikke være tilfellet, og det fins eksempler på målinger som er et resultat av systemets tilstand enten i flere konkrete øyeblikk eller en lengre kontinuerlig periode. Hvordan skal slike målinger brukes best mulig i estimatorer? Innen undervannsnavigasjon inntreffer slike målinger typisk ved at lyd sendes ut ved et tidspunkt og mottas ved et senere tidspunkt slik at den resulterende målingen blir et resultat av tilstanden ved 2 konkrete tidspunkt.

Oppgaven går ut på å finne passende metoder for bruk av 2-tidspunkts posisjonsmålinger og/eller hastighetsmålinger i et treghetsnavigasjonssystem. Metodene testes gjennom simuleringer.

6. Målinger i asynkron rekkefølge

I sensorfusjon er det vanlig å anta at målinger registreres av fusjonssenteret umiddelbart etter at målingene blir generert av sensorene. I realiteten vil det alltid være en viss forsinkelse. Denne forsinkelsen kan bli betydelig dersom det må gjøres mye preprosessering før målingen kan tas i bruk. Et eksempel er visuell odometri, hvor regnekrevende billedbehandlingsmetoder brukes for å ekstrahere «features» som deretter skal matches for å estimere forflytning av farkosten.

Hvis en måling blir så forsinket at andre målinger (f.eks. fra GPS eller kompass) som er tatt senere blir registrert før den forsinkede målingen, så har vi det som på engelsk kalles out-of-sequence-measurements (OOSM).

I visuell odometri vil det også typisk være tilfelle at målingene er i flere tidspunkt: Målingen av forflytning mellom tidspunkt t_1 og tidspunkt t_2 vil avhenge av både x_1 og x_2.

I denne oppgaven skal det gjøres et literaturstudium av ulike teknikker som har blitt foreslått for å håndtere OOSM siden år 2000. Flere av disse teknikkene skal sammenlignes i simuleringer. Videre skal noen av disse løsningene adapteres for problemer som involverer visuell odometri med målinger i flere tidspunkt.

Literatur:

[Mou2007] Mourikis, A.; Roumeliotis, S. & Burdick, J.: SC-KF Mobile Robot Localization: A Stochastic Cloning Kalman Filter for Processing Relative-State Measurements, IEEE Transactions on Robotics, 2007, vol. 23, side 717-730.

[BS2000] Y.Bar-Shalom: “Update with out-of-sequence measurements in tracking: exact solution,” Proc. SPIE, vol. 4048, 2000, side 541–556.

[Maskell2006] Maskell, S. R.; Everitt, R. G.; Wright, R. & Briers, M.: ” Multi-target out-of-sequence data association: Tracking using graphical models”, Information Fusion, 2006, vol. 7, side 434-447.

7. Tett integrasjon av Doppler og høy-integritets AUV-navigasjon

En AUV kan bruke flere sensorer for å estimere sin egen bevegelse. IMU måler akselerasjon mens Doppler Velocity Log (DVL) måler hastighet i forhold til sjøbunnen. DVL fungerer ved å sende fire ”lydstråler” ned mot havbunnen. Frekvensendringene i de reflekterte signalene forteller oss hvordan AUVen beveger seg. I konvensjonell prosessering av DVL så estimeres AUVens hastighet fra alle fire lydstrålene, og dette estimatet blir så overlevert til et Kalmanfilter som estimerer posisjon, orientering og andre kinematiske tilstander til AUVen. DVL kan gi svært nøyaktige hastighetsestimater når alt fungerer som det skal, men dersom en eller flere lydstrålene er korrumpert så vil hastighetsestimatet bli ubrukelig. Et alternativ er derfor å mate frekvensendringene til de inviduelle lydstrålene direkte inn i Kalmanfilteret. Dette kalles tett integrasjon. I denne oppgaven skal det utvikles metoder for tett integrasjon av Doppler. Videre skal ytelsen til disse analyseres, for eksempel via Cramer-Rao’s nedre skranke.

8. Følging av svake mål

Et tradisjonelt målfølgingssystem består normalt av følgende komponenter. Signalbehandling genererer et bilde av overvåkningsregionen basert på f.eks. radar- eller sonardata. En deteksjonsmetode brukes for å ekstrahere et begrenset antall punktmålinger fra dette bildet. Disse punktmålingene assosieres til spor (tracks), og sporene oppdateres via filtreringsmetoder som f.eks. et Kalmanfilter.

Deteksjons- og assosiasjonskomponentene er generelt sett vanskeligere å gjennomføre dess lavere signal-til-støyforholdet (SNR) er. For moderat manøvrerende mål så er 10dB ansett som en nedre grense for hva standardmetoder som PDAF kan håndtere. For lavere SNR må man bruke mer kompliserte og regnekrevende metoder som multippel hypothese-tracking (MHT). For SNR under 4dB vil også MHT få store problemer, og man må bruke spesielle metoder beregnet på svake mål. Dette inkluderer track-before-detect-metoder (TBD) som jobber direkte med billeddataene uten å ekstrahere målinger. Mange forskere har rapportert gode resultater for TBD i simuleringer, men atskillig færre forskere har rapportert tilsvarende for reelle data. Det finnes også alternativer til TBD, som ML-PDA, som også har vist et lovende potensiale.

I denne oppgaven skal kandidaten implementere ulike tracking-metoder på semi-reelle sonardata, generert ved å legge et simulert mål inn i reelle bakgrunnsdata. På denne måten kan man undersøke ytelse som funksjon av SNR på en kontrollert måte under realistiske omstendigheter. En eller flere TBD-metoder skal sammenlignes med PDAF og eventuelt andre deteksjonsbaserte metoder.

[Brekke2010a] Brekke, E.; Hallingstad, O. & Glattetre, J.: The Signal-to-Noise Ratio of Human Divers, Proceedings of OCEANS'10, 2010.

[Brekke2010a] Brekke, E.: Clutter Mitigation for Target Tracking, PhD-avhandling, 2010, NTNU.

[Davey2008] Davey, S.; Rutten, M. G. & Cheung, B.: A Comparison of Detection Performance for Several Track-before-Detect Algorithms, EURASIP Journal on Advances in Signal Processing, 2008.

9. Partikkelfilter for posisjonering av mobile roboters

Et godt estimat på posisjon og orientering til en mobil robot er et helt nødvendig grunnlag for å kunne tilby autonom funksjonalitet på roboten. Både lavnivå mål (f.eks. å følge en trajektor) og høynivå mål (f.eks. oppgave re-planlegging og kartlegging) er avhengige av å ha kontinuerlig oppdatert informasjon om disse tilstandene.

Det utvikles ved SINTEF IKT et rammeverk for posisjonering av mobile roboter, som håndterer sending/mottak av data fra mange ulike posisjoneringssensorer, og muligheter for å implementere ulike datafiltreringsteknikker. Denne oppgaven går ut på å designe, implementere og validere sannsynlighetsbaserte metoder med spesielt fokus på inkludering av data fra laserscanner og map matching. Oppgaven omfatter følgende:

1. Sette seg inn i og levere en oversikt over eksisterende brukbare MCL algoritmer (monte carlo localization) for map matching.

a. Grunnleggende Bayesiske metoder

b. State of the art lokaliseringsmetoder

2. Ta utgangspunkt i en av teknikkene, foreslå et design og implementer i MATLAB eller C++

3. Validere egenskapene i SINTEF/NTNU posisjoneringslab.

a. Definere et casestudie med tilhørende detaljert kart

b. Samle inn data fra en sensor plattform navigert i labmiljøet, for eksempel med en av SINTEFs mobile roboter.

c. Analyser og validere metode implementasjonen/e ved bruk av det innsamlede datasettet og labbens "ground truth" system.

Foreslått bakgrunnslitteratur:
Sebastian Thrun, Wolfram Burgard and Dieter Fox. Probabilistic Robotics. MIT Press, 2005.

Oppaven er gitt i samarbeid med SINTEF Anvendt Kybernetikk, med Sigurd Fjerdingen og Johannes Tjønnås som veiledere i bedrift.

10. Cooperative localization

The use of groups of coordinated agents has been considered promising within operations such as search-and rescue, oil-spill recovery, ice-management or multi-purpose surveillance. For some of these applications, measurements from global navigation satellite systems such as GPS are not available or of poor quality (far north, underwater, indoor or close to tall buildings or mountains). However, several sensors are capable of providing measurement regarding relative position between agents and can be used for localization purpose. These include vision-based sensors such as cameras and light detection and ranging sensors (LIDARs), or RF using angle of arrival and time difference of arrival measurements, [Barooah2010]. Recent research efforts have shown attitude estimation of unmanned vehicles can be done based on phased antenna arrays [Costa2012], and it is likely that this technology also can be used for estimating relative orientation of agents. Acoustic transponders/transducer can be used for range measurements under water, [Bahr2008]. It is therefore possible to extend the cooperative localization to also include buoys and underwater vehicles.

Tasks include:

1. Perform a literature study on cooperative localization. Evaluate pros and cons and key challenges.

2. Investigate sensor and communication technology relevant for cooperative localization in a network consisting of aerial, surface and underwater vehicles. Evaluate if the sensor/communication technology is suitable to be fitted on an unmanned vehicle. Key factors may be limited capacity in terms of energy and computational power, size, weight, cost, etc.

3. Implement one of the most promising methods for cooperative localization. Simulate a scenario of multiple agents and evaluate the performance of the navigation system.

Supervisor: Edmund Førland Brekke, Co-supervisor: Esten Ingar Grøtli (Sintef AK)

Literature:

[Barooah2010] P. Barooah, J. Russell, J. Hespanha, Approximate Distributed Kalman Filtering for Cooperative Multi-agent Localization, LNCS 6131, pp. 102-115, 2010

[Bahr2008] A. Bahr and J. J. Leonard, Cooperative Localization for Autonomous Underwater Vehicles, Springer Tracts in Advanced Robotics, pp. 387-395, 2008

[Felisberto2013] P. Felisberto, O. Rodriquez, P. Santos, E. Ey and S. M. Jesus, Experimental Results of Underwater Cooperative Source Localization Using a Single Acoustic Vector Sensor, Sensors, pp. 8856-8878, 2013

[Costa2012] J. P. C. L. da Costa, S. Schwarz, L. F. de A. Gadelha, H. C. de Moura, G. A. Borges, and L. A. dos Reis Pinheiro, Attitude Determination for Unmanned Aerial Vehicles via an Antenna Array, In. Proc. of the 2012 Internation ITG Workshop on Smart Antennas, 2012

11. Vision-based localization for ground robot and underwater robots

The aim of the project is to study and investigate the methods to solve the localization problem using vision as the main sensor input. The work will include two different use-cases and integration with other sensor sources.

Localization is one of the main challenges to be solved when trying to develop a robot able to navigate autonomously. There are different solutions based on different sensors systems, and depending on the type of environment: for example, lidar systems for indoor environments and GPS for outdoor environments. These types of sensors provide robust and easy to use information about the environment, but also very limited. It has not been until the last 10 years that effective solutions based on image processing have become available. Visual odometry and visual SLAM and some of the most popular techniques that tackle this problem, but no general solution exists. Most of the algorithms are dependent on the environment type and evaluation criteria.

The objective of this project is thus to approach the problem of a vision-based localization system and propose solutions that work in a realistic environment. For the evaluation, two different use-cases will be considered: a wheeled robot navigating in an outdoor environment, and an underwater robot. In each case, apart from the vision input, additional sensors will be available and integrated in the proposed framework.

Tasks

1. Analyze and compare algorithms for visual odometry and visual SLAM to be used in indoor and outdoor mobile robot navigation

2. Analyze and compare algorithms for visual place recognition to be used in indoor and outdoor mobile robot navigation

3. Analyze the differences and specific challenges associated to underwater operation

4. Besides a critical literature review, the comparisons must include results from experiments performed using implementations of few selected algorithms

5. Integrate a visual odometry or SLAM algorithm and place recognition algorithm to demonstrate robust localization

6. Integrate a lidar sensor in the previous framework and demonstrate; test and evaluate in the wheeled robot. Other available sensor information might also be considered, such as IMU or odometry.

7. Integrate an ultrasound imaging sensor in the previous framework and demonstrate; test and evaluate in the underwater robot. Other available sensor information might also be considered, such as IMU or depth sensor.

8. Investigate and suggest methods to create long-term maps in contrast with the short-term representations used by SLAM systems.

9. Conclude findings in a report; include as digital appendices the source code and corresponding documentation

Supervisor : Edmund Førland Brekke
Co-supervisor: Jon Azpiazu

12. Sensorfusjon og kollisjonsunngåelse for ASV

Mer informasjon følger senere.