Verbeteringen voor AI en camera
De Snapdragon 855 is verder voorzien van een nieuwe Hexagon 690 dsp (digital signal processor), die ingezet kan worden voor AI-workloads. Waar voorloper Hexagon 685 vier scalar engines en twee vector engines had, biedt de Hexagon 690 vier scalar engines, vier vector engines en specifieke Tensor-cores. Die laatste kunnen gebruikt worden voor het doorrekenen van neurale netwerken in machine learning workloads.
De verbeterde dsp, maar zeker ook het verhoogde aantal cores binnen de gpu én het toevoegen van een aantal specifiek voor AI geschikte instructies aan de cpu maakt dat de Snapdragon 855 volgens Qualcomm bij AI-applicaties tot zo’n 3x sneller is dan de voorloper. Als voorbeelden van applicaties waar deze AI-rekenkracht voor kan worden ingezet, toonde men dat de nieuwe chip in combinatie met Google Lens veel sneller tekst kan herkennen op camerabeelden en een app waarmee je realtime kunt bekijken hoe je kapsel eruit ziet met een andere haarkleur.
Camera: nieuwe ISP met computer vision
Het laatste onderdeel dat flink is vernieuwd is de isp (integrated signal processor), het chip-onderdeel dat beelden van de camera verwerkt. De nieuwe Spectra 380 engine biedt allereerst ondersteuning voor ofwel twee 20 megapixel camera’s, ofwel één 32 megapixel exemplaar. De belangrijkste vernieuwing is echter dat men computer vision technologie in de isp heeft ingebouwd. Dat maakt dat AI-achtige trucs zoals het uitvoeren van een Bokeh-effect (het onscherp maken van de achtergrond bij portretfoto’s) of het herkennen en verwijderen van de achtergrond bij opnames geheel zelfstandig door de isp kan worden gedaan, en dat daar dus geen cpu-, gpu- of dsp-cores meer voor nodig zijn.
Dat biedt twee voorbeelden: omdat er minder communicatie binnen de chip nodig is, kunnen dergelijke effecten sneller toegepast worden. Zo biedt de Snapdragon 855 niet enkel de mogelijkheid om het Bokeh-effect bij foto’s toe te passen, maar ook bij video’s, zelfs in 4K met 60 beelden per seconde! Een ander voordeel is dat de cpu-, gpu- en dsp-cores ofwel teruggeklokt kunnen worden (lees: stroombesparing), ofwel gelijktijdig ingezet worden voor andere zaken.
We schreven al dat de gpu binnen de Snapdragon 855 geschikt is om beelden met alle gangbare hdr-standaarden weer te geven. De isp biedt daarbovenop ook de mogelijkheid om video met HDR10, HDR10+ of HLG op te nemen! Tijdens het evenement konden we al kort experimenteren met Qualcomms referentieontwerp van een Snapdragon 855 smartphone en het moet gezegd: zowel ondergetekende als andere aanwezige journalisten waren extreem onder de indruk van de beeldkwaliteit van de HDR-video-opnames die het toestel mogelijk maakte.
Een laatste vermeldingswaardige nieuwtje van de isp is de ondersteuning voor het nieuwe heif-bestandsformaat voor foto’s. Dit formaat komt uit de koker van de organisatie achter videostandaarden als H.264 en H.265. In vergelijking met de inmiddels zo’n 20 jaar oude jpg-standaard biedt heif allereerst een veel betere compressie (lees: identieke beeldkwaliteit bij minder dan de helft van de bestandsgrootte) maar bovenal ook veel nieuwe mogelijkheden, zoals het opslaan van hdr-data, het opslaan van verschillende versies van dezelfde foto in één bestand (bijvoorbeeld als je smartphone meerdere camera’s met verschillende kijkhoeken heeft), het opslaan van alpha/transparantiedata, en meer.
