Halio, een bedrijf gespecialiseerd in AI-chips, heeft een nieuwe accelerator voor randapparaten aangekondigd. De Hailo-8 moet maximaal 26 tera operations per second (vermoedelijk 8-bit) bieden en claimt daarmee de snelste Edge-processor te hebben voor randapparaten.
Waar AI-acceleratoren tot voorkort voornamelijk in datacentra werden ingezet, zien we de afgelopen paar jaar een verschuiving naar de Edge. Smartphones moeten betere foto's maken, speakers spraak herkennen, TV's beeldoptimaliseren en drones objecten herkennen en navigeren. Dit kan allemaal op reguliere gpu's of zelfs cpu's, maar is een stuk minder efficient dat dat er een geoptimaliseerde ASIC (application-specific integrated circuit) voor wordt gebruikt.
| Device | Resolution | FPS | Total Power | Total Power |
|---|---|---|---|---|
| Hailo-8 | 224x224 | 672 | 1.67 Watt | 2.8 TOPS/Watt |
| Nvidia Xavier AGX | 224x224 | 656 | 32 Watt | 0.14 TOPS/Watt |
Hailo vergelijkt zelf zijn nieuwe chip met de Nvidia Xavier soc die recent op een ontwikkelbord in de Jetson-lijn uitgebracht werd. In deze vergelijking claimt het bedrijf een 20x zo laag energieverbruik, waarbij het ongeveer dezelfde performance biedt. Deze vergelijking is natuurlijk niet helemaal eerlijk gezien de Xavier om meer applicaties is gericht dan enkel inference.
Meer fabrikanten werken aan AI-acceleratoren voor client apparaten. Google heeft bijvoorbeeld de Edge TPU, uitgebracht, die nog iets kleiner is maar ook op een USB of M.2 bordje verkrijgbaar is. Ook veel high-end processoren voor smartphones hebben een aparte AI-accelerator, wat langzaam ook richting te mid-end druppelt.
Halio-8
