Multispectrale telefoonhoes voor 3D-voedselanalyse

Miljarden mensen letten op voeding

Diabetici, atleten, fitnessliefhebbers en vele anderen die met hun gewicht worstelen, moeten extra goed op hun voeding letten. Alleen al in de VS gebruiken ruim 100 miljoen mensen dagelijks smartphones en andere smart-apparaten om hun gewicht, conditie en dieet te monitoren. In alle moderne westerse en opkomende oosterse samenlevingen neemt
diabetes snel toe. Voor diabetici is vooral het tellen van koolhydraten de sleutel tot het onder controle houden van hun ziekte. Hun koolhydraat­inname heeft direct invloed op hun insulinedoseringen. Het totaal aan koolhydraten is de belangrijkste maaltijdinformatie die een diabetes­patiënt nodig heeft voor het gebruik van nieuwe technologieën, zoals CGM (Constant Glucose Monitoring) en geautomatiseerde tubeless insulinepompen. En hier ligt nu juist het probleem. Deze moderne hulpmiddelen zijn alleen effectief met de juiste input van de gebruiker. De handmatige invoer en het inschatten van voeding door de gebruiker zelf blijkt vaak zeer onnauwkeurig, wat kan leiden tot onjuiste insuline­doseringen die uiterst gevaarlijk en zelfs levensbedreigend kunnen zijn voor een diabetespatiënt.

Met één afbeelding een volwaardig voedingswaarde-etiket

Tegenwoordig heeft elke smartphone, naast een camera, ook toegang tot het internet. Ook beschikken ze over krachtige AI-algoritmes en worden er elke minuut miljoenen voedselafbeeldingen mee gemaakt. Het idee van FoodPhone is om deze smartphones om te toveren tot dieet-assistenten door het voedsel direct op het bord te analyseren. Na het ogenschijnlijk maken van één afbeelding van een maaltijd, maakt de FoodPhone-app met SpectraPixel-technologie verbinding met de eigen cloud-gebaseerde AI van het bedrijf. Deze herkent de inhoud van de maaltijd, met name de chemische samenstelling, de hoeveelheid in grammen en de kwaliteit. Ook worden de gemengde maaltijden gesegmenteerd. Met behulp van de multispectrale camera’s en NIR-sensoren in FoodPhone’s nieuwe smartphone-hoesontwerp, ontvangt de gebruiker direct een wetenschappelijke maaltijdanalyse. Deze one-shot analyse levert informatie over de koolhydraten, vetten, eiwitten en andere voedingsstoffen, alsook de werkelijke portiegrootte van de bereide maaltijd. Door verschillende imaging-technologieën te combi­neren met op AI gebaseerde intelligentie, identificeert FoodPhone nauwkeurig de hoeveelheid en samenstelling van voedsel. Het is niet nodig om informatie in de toepassing in te voeren of om het voedsel aan te raken of het volume te raden. De analyse gebeurt snel. Op een uiterst gebruiksvriendelijke en efficiënte manier levert de FoodPhone case accurate voedings-factsheets met een nauwkeurigheid van ruim 90%. Met een mix van AI en AR zal de technologie helpen bij het voorkomen van diabetes en mensen die op hun voeding letten ondersteunen bij het behalen van hun doelen.

Naast het identificeren van koolhydraten en het tellen van calorieën, detecteert de nieuwe telefoonhoes, uitgerust met embedded vision­technologie, de ingrediënten van commercieel bereide voedingsmiddelen via hun chemische samenstelling. De hoes toont vervolgens direct de bijbehorende FDA-geformatteerde voedingsetiketten. De NIR-mogelijk­heden (nabij infrarood) van het FoodPhone-apparaat herkennen ook alle natuurlijke onvolkomenheden, zowel zichtbare als niet-zichtbare. Dit helpt ook in de detectie van de voedselkwaliteit en versheid in de supermarkt. Het selecteren van verse groenten en fruit, zoals avocado’s, wordt vereen­voudigd door meteen de versheid-niveaus op de smartphone van de gebruiker weer te geven.

Idee, innovatie en implementatie

“Ik was aanvankelijk alleen maar op zoek naar een eenvoudige manier om calorieën te tellen”, aldus Christopher M. Mutti, CEO & oprichter van FoodPhone. Als gepassioneerd hockeyer moest hij goed naar zijn voeding kijken en zijn gewicht en calorieëninname in de gaten houden om in vorm te blijven. De procedure met gangbare middelen vond hij echter te onnauwkeurig en gecompliceerd. De gediplomeerde werktuigbouw­kundige wilde in één oogopslag kunnen zien wat hij at. Al in 2013 startte Mutti daarom met het idee om met één beeld van een camera of smartphone de voedingswaarde van een maaltijd vast te leggen. De technologieën waren er klaar voor. De rekenkracht van smartphones was zodanig geëvolueerd, dat ze complexe algoritmes aankonden. Ook was geavanceerde, op vision gebaseerde AI-technologie beschikbaar via projecten zoals Wikipedia ImageNet van Stanford University. Samen met een team ervaren wetenschappers op het gebied van neurale netwerken AI, 3D en hyperspectrale beeldverwerking, en met ervaren camera- en lensontwerpers, besloot Mutti de patenten te ontwikkelen om zijn idee te verwezenlijken. Het eerste prototype werd gebouwd met kant-en-klare componenten. Met afmetingen van 20 x 18 x 7,5 cm noemt Mutti dit prototype de ‘Million Dollar Blue Box’. Het was op dat moment de kleinst beschikbare oplossing voor het samenvoegen van 3D, RGB en NIR. De kosten bedroegen ongeveer 2.500 euro. Het duurde ruim vijf jaar voordat de technologische vooruitgang het prestatieniveau en de betaalbaarheid voldoende bevorderde om van FoodPhone een praktische oplossing te kunnen maken. Mutti verwijst vaak naar deze ‘perfecte technologische storm’, die op het perfecte moment de basis legde voor het realiseren van zijn idee. Tegenwoordig zijn camera’s als de RealSense van Intel zo groot als een kleine vinger, wat 3D-gegevensverzameling en -verwerking mogelijk maakt voor tal van nieuwe apparaten, waaronder smartphones. Mutti en zijn team hadden hiermee een goed product gevonden, zowel in grootte als in prijs, om de nodige informatie te leveren voor de voed­selherkenning en -analyse. Ze integreren de Intel RealSense-camera’s in een normaal uitziende telefoonhoes met een gangbare vormfactor. En dankzij alle technologische vorderingen en dalende kosten kan het product nu voor slechts een paar honderd euro worden aangeboden. Gebruikers kunnen hun bestaande telefoonhoes simpelweg vervangen door Food­Phone’s telefoonhoes en de app downloaden. Daarna kunnen ze beginnen met het vastleggen van maaltijdafbeeldingen, en ontvangen ze binnen enkele seconden de informatie over de voedingswaarde.

Meerdere visiongegevens combineren met AI

De FoodPhone-oplossing maakt gebruik van multispectrale beeldver­werking om de macronutriënten en het volume of de portiegrootte nauwkeurig te identificeren. Mutti ontwikkelde hiervoor een gepatenteerde manier van meten die geen ‘Fiducial Marker’ (een referentie­object) op het bord met eten of binnen het FOV (Field of View, ofwel ­gezichtsveld) van het visionsysteem behoefde. Voor wat betreft de hardware werd voor een Intel Intel D435 RealSense-dieptecamera gekozen: deze combineert 3D-vision via usb, een RGB-sensor en een infrarood­projector. Het patent van Mutti betreft onder andere de manier waarop de output van de sensoren wordt samengevoegd tot een multispectraal beeld, dat de manier waarop mensen hun voedsel identificeren goed ­nabootst.

Kleur is het eerste aspect waar mensen naar kijken tijdens een maaltijd, en daarom gebruikt FoodPhone de RGB-camera om kleuren in het vastgelegde beeld te identificeren. Vervolgens genereert het 3D-­stereopaar de gegevens die nodig zijn om de vorm, omtrek en textuur van de elementen te identificeren, op een manier vergelijkbaar met hoe mensen deze gegevens ervaren. De ruwe 3D-beeldgegevens tonen de afmetingen en het totale volume of portiegrootte van het eten op het bord. Door gebruik te maken van de NIR-gegevens in de beelden die door meerdere camera’s en sensoren zijn vastgelegd, kunnen de beeld­verwerkingsalgoritmes (IP) van FoodPhone de chemische samen­stelling van het voedsel interpreteren. Een beetje zoals men de geuren van het voedsel – dat men eet – ruikt en proeft.

overlay van meer dan tiebeelden en ruwe data wordt gecatego­riseerd in componenten van zichtbaar licht, kleur, spectrale gegevens en 3D-informatie. De optische, spectrale en fysieke informatie uit deze beelden wordt gebruikt om de specifieke en individuele kenmerken van elk hapje te vinden. Met de uit de beelden gedestilleerde spectrale profielen worden vervolgens de verschillende soorten voeding vergeleken en geclassificeerd: elk van deze profielen heeft een unieke spectrale vingerafdruk.

“Miljoenen beelden worden gebruikt voor het trainen van deze krachtige AI-machine. Het was hard werken om een nauwkeurigheidsniveau van ruim 90% te behalen, om tienduizenden voedselclassificaties, verwar­rings­tabellen (confusion matrix) en andere verwerkingsstappen uit te voeren. Om de aparte voedseletiketten en het gewicht juist te berekenen, moeten de kleur, textuur, de spectrale handtekening en het volume overeenkomen. Ruwe beeldgegevens worden eerst verwerkt door een Intel Edison, een zeer kleine computer, om koolhydraten, eiwitten, vetten en watergehalte te identificeren. Hier vanuit wordt alle verzamelde informatie naar de cloud gestuurd en verwerkt door de AI-gestuurde database van FoodPhone. De smartphone ontvangt de resultaten en toont het ­voedingsetiket.

Nog meer huis, tuin en keuken voordelen

Naast het genereren van een afgemeten voedingswaarde-etiket voor diabetici en dieetvolgers, kent de FoodPhone nog meer voordelen. Zo kunnen de dagelijkse boodschappen worden vergemakkelijkt door minder tijd te hoeven besteden aan het zoeken naar de meest verse en (voor hen) gezonde producten. Zo kunnen mensen met voedselallergieën met één druk op de knop controleren op door hen zelf opgegeven ingrediënten. Ze hoeven dus niet langer cryptische ingrediëntenlijsten op verpakkingen te ontcijferen. Door gebruik te maken van informatie in het NIR-spectrum, helpt de technologie van FoodPhone ook met het opsporen van onvolkomenheden, zoals onderhuidse kneuzingen en de aan­wezigheid van bacteriën, ongeacht de ‘ten minste houdbaar tot’-datum van het product. Ook kiest de gebruiker met maar één klik de voor hem beste avocado uit een hele krat. Of wat te denken van het juiste plukmoment van groente uit eigen tuin? Is de tomaat al zoet genoeg of kan hij beter nog even blijven hangen?

In andere toekomstige, maar zeker realistische scenario’s is de technologie van FoodPhone in elke keuken geïntegreerd. Zo zou een onder een keukenkastje gemonteerde camera ook tijdens de bereiding voedsel­producten en/of de afzonderlijke ingrediënten van een maaltijd kunnen scannen. Dit geeft de gebruiker niet alleen realtime inzicht in de voedingswaarde van de maaltijd, ook zou de informatie kunnen worden gebruikt voor het automatisch aanvullen van de wekelijkse bood­schappenlijst. Of om op basis van volumetrische meting het gewicht van een ingrediënt te bepalen. Een soort optische weegschaal dus.

En ook een slimme IoT-koelkast zou van FoodPhone’s intelligentie kunnen profiteren. Want ook vanaf deze plek kan de camera helpen bij het bijhouden van de boodschappenlijst. Of misschien nog wel belangrijker: het kan zien wat de resterende houdbaarheid van alle gekoelde producten is en aangeven welke producen het beste eerst geconsumeerd kunnen worden, om zo voedsel- en geldverspilling tegen te gaan.

Tot slot kan technologie zoals die van de FoodPhone ook worden ingezet tegen fraude met voedsel. Is dit vlees wel wat er op het etiket staat, hebben we niet te maken met dioxines of een overdosis antibiotica, of is dit wel vegetarisch? Is er niet veel water toegevoegd om het gewicht letterlijk op te pompen of zijn er ongezonde chemicaliën toegevoegd om producten aantrekkelijker of verslavender te maken?

Hoewel het voor de FoodPhone lastig is om door verpakkingen heen te kijken, weet je in elk geval precies wat in je koelkast en uiteindelijk op je bordje hebt. En gekoppeld aan een algoritme zoals Chef Watson van IBM – een door de beste chefkoks ter wereld getrainde AI die recepten voorstelt op basis van aanwezige ingrediënten en in theorie zelfs rekening zou kunnen houden met de realtime samenstelling van ingredienten – moet het zelfs de minder vaardige kookkunstenaars onder ons lukken om een gezond, veilig en vooral lekker maaltje op tafel te zetten. Bon Appetit!