Google's is een paar jaar geleden begonnen met het gebruiken van eigen hardware voor machine learning. De Cloud TPU's worden gebruikt voor het trainen van neurale netwerken. Vorig jaar kondigde Google op I/O '18 de TPU 3.0 aan om deze machine learning modellen op te trainen, maar nu komt het ook met een kleine TPU voor het toepassen van deze modellen in allerlei randapparaten.
De Edge TPU is gericht om inference ('gevolgtrekking'), het toepassen van getrainde modellen op nieuwe data. Dit gebeurt vaak aan de rand van een netwerk, zoals een slimme speaker die woorden probeert te herkennen en deze te vertalen, of een camera die objecten moet herkennen. Nu worden hier vaakt nog gpu's voor gebruikt, hoewel de meeste recente high-end smartphone chips al speciale hardware aan boord hebben.
Met de Edge TPU gaat Google ook mee doen in de race aan gespecialiseerde inference-hardware. De chip zelf is vrij minuscuul, uitgaande van een Amerikaanse Penny van 19,05 millimeter en lengte van 4/15 van die diameter, is de chip ongeveer 5,1 bij 5,1 millimeter, met die size van rond de 26mm2. Qua software wordt het eigen, maar open-source, TensorFlow Lite ondersteund, net als de NN API uit Android.
Het Edge TPU Dev Board bestaat uit twee delen: een grote printplaat met I/O (usb 3.0 type-c, usb 3.0 type-a, usb 2.0 micro-b, hdmi 2.0a, Gigabit Ethernet, 3,5mm audio jack en MIPI-DSI en -CSI2 interfaces) en een kleine Edge TPU Module met NXP i.MX 8M SOC (Quad-core Cortex-A53, plus Cortex-M4F), een gpu met Vulkan-ondersteuning, een 4Kp60 video decoder, 1GB LPDDR4, 8GB eMMC opslag, 802.11ac wifi en Bluetooth 4.1.
Een zeer uitgebreide hardware beschrijving is hier te vinden. Hij is per direct te koop op Mouser voor €144,74.
Naast het ontwikkelbordje met een groot aantal aansluitingen, komt er ook een kleinere printplaat van 40x40 millimeter. Deze system-on-module bevat dezelfde hardware als de Dev Board en kan daarmee in bulk geïntegreerd worden nadat de applicatie is getest op het Dev Board. Deze komt binnenkort verkrijgbaar voor en nog onbekende prijs.
Mocht je geen behoefte hebben aan een op zichzelf staand ontwikkelbord maar de Edge TPU gewoon aan een bestaande PC willen hangen, dan is er de ook een USB-accelerator. Deze werkt met een PC waarop Debian Linux draait (zoals Ubuntu) en gebruikt dan het TensorFlow Lite-framework. De verbinding loopt via USB 3.0 Type-C die voor zowel data als stroom zorgt.
Een uitgebreide hardware beschrijving is hier te vinden en is verkrijgbaar voor €
Mocht je behoefte hebben aan een nog kleiner apparaat wat direct op je moederbord kan worden gemonteerd, dan komt er binnenkort ook een PCIe accelerator in M.2 2230-formaat met de Edge TPU aan boord.
|
Edge
(Devices/nodes, Gateways, Servers)
|
Google Cloud | |
|---|---|---|
| Tasks | ML inference | ML training and inference |
| Software, services | Cloud IoT Edge, Linux OS |
Cloud ML Engine, Kubernetes Engine,
Compute Engine, Cloud IoT Core
|
| ML frameworks | TensorFlow Lite, NN API |
TensorFlow, scikit-learn,
XGBoost, Keras
|
| Hardware accelerators | Edge TPU, GPU, CPU | Cloud TPU, GPU, and CPU |
Bron: Google
