A Google TensorFlow keretrendszere már eddig is elérhető volt a különböző mobileszközök számára a TensorFlow Mobile formájában, ám ez nem volt kellően ideális a mobileszközök és az IoT eszközök mellé, így a Google szakemberei egy kevés helyet foglaló, hatékonyan működő változattal is előrukkoltak, ami kifejezetten mobil igényekre szabva érkezik. Ez a TensorFlow Lite keretrendszer lesz, ami egyelőre még csak bemutató változatban érhető el, később azonban átveheti a TensorFlow Mobile helyét is.
A TensorFlow Lite kifejlesztésnél az volt a cél, hogy nagyon alacsony késleltetéssel működő, hálózati kérések nélkül működő megoldás szülessen, ami kiaknázza a SoC egységek megfelelő gyorsítóiban rejlő lehetőségeket is. A munkavégzés ebben az esetben helyben történik, nincs szükség külön szerver alapú kiszolgálásra és az adatok sem hagyják el az eszközt. A TensorFlow Lite elsősorban Androidra és iOS-re készült, de a Google szerint a beágyazott eszközökön futó Linux disztribúciókhoz is használható, így az IoT eszközök számára is megfelelő lehet.
Maga a keretrendszer három részből áll. Az egyik egy tréningen átesett, mentett TensorFlow Model, a másik egy TensorFlow Lite Converter, ami ezt a modellt a TensorFlow Lite formátumra konvertálja, a harmadik pedig a TensorFlow Model File, ami egy speciális fájlformátum. Ez a fájlformátum a FlatBuffers-re támaszkodik, optimalizálása során pedig a maximális sebességet és a minimális méretet tartották szem előtt.
A TensorFlow Lite operátor nélküli értelmező (interpreter) része mindössze 70 kB-nyi helyet foglal, de operátorokkal együtt sem igényel 300 kB-nál több helyet, ami a TensorFlow Mobile kiadáshoz képest ötöd akkora helyfoglalást jelent. A TensorFlow Lite keretrendszer felépítését az alábbi ábra szemlélteti.
Android 8.1-től felfelé az NNAPI (Neural Network API) használatára is van mód azoknál az eszközöknél, amelyek hardveresen tudják gyorsítani a gépi tanulás folyamatát – ezek közé az eszközök közé tartozik a Google friss Pixel 2-es okostelefonja. A TensorFlow Lite ezzel együtt mobilra optimalizált gépi tanulás modelleket is támogat, mint például az Inception V3-at, vagy éppen a MobileNet-et, amelyekkel több ezernyi objektum felismerésére van mód egy-egy alkalmazáson belül. Ezzel együtt a Smart Reply támogatása is biztosított, amivel okos automatikus válaszokat adhat a rendszer a beérkező üzenetekre.
A TensorFlow Lite tehát ígéretes megoldásnak tűnik, de mivel tesztelése még jelenleg is zajlik, így a fejlesztőknek még egy ideig a TensorFlow Mobile kiadására kell támaszkodniuk. Ahogy a TensorFlow Lite elkészül, át is veheti a TensorFlow Mobile helyét.
