A Google I/O alkalmával bemutatkozott a vállalat második generációs TPU egysége, amely a gépi tanulással kapcsolatos folyamatok felgyorsítását segíti. Ebben a szegmensben az AMD és az Nvidia is próbálkozik már egy ideje speciális megoldásokkal, sőt, az Intel sem marad ki a sorból, de számos egyedi FPGA is jelen van a piacon – például a Bing keresőmotor mögött is egy speciális FPGA bújik meg, amely különböző matematikai műveletek gyorsítását végzi.
A Google második generációs TPU-ja a Cloud TPU nevet viseli, érkezésére pedig már számíthattunk. A friss modell a Google szakemberei szerint 180 TFLOP/s-os számítási teljesítményt nyújt, azt viszont nem emelték ki, hogy ez az érték FP16-os vagy FP32-es számítási feladatokra érvényes-e – minden bizonnyal FP16-os számítási teljesítményről lehet szó. Beszédes adat viszont, hogy a Google állítása szerint a Cloud TPU az Nvidia nemrégiben bemutatott Tesla V100-as gyorsítójához képest több, mint hatszor gyorsabb FP16-os számítási teljesítmény terén, és ha egy program kihasználj a V100-ban a Tensor magokat is, akkor is 50% előnye van. Azt azért hozzá kell tegyük, hogy 180 TFLOP/s-os teljesítményre a fent látható kártya képes, tehát chipenként "csak" 45 TFLOP/s-ról beszélhetünk.
A Cloud TPU nagyon jól skálázható, hiszen 64 ilyen egységgel (tehát 256 chippel) létrehozható egy úgynevezett „pod”, amellyel 11,5 PFLOP/s-os számítási teljesítmény érhető el. További pozitívum, hogy az előző generációs TPU-val ellentétben az újdonság már nem csak úgynevezett inferencia feladatokra, hanem a gépi tanulás gyorsítására is hatékonyan bevethető. Szemléletes példa, hogy a Google szerint az a tanulási folyamat, ami egy teljes napot vesz igénybe a jelenleg kereskedelmi forgalomban elérhető legjobb GPU alapú gyorsítókkal, a második generációs Cloud TPU egységekkel egy délután alatt elvégezhető, és ehhez csak 8 ilyen egységre van szükség.
Fontos változás, hogy míg az első generációs TPU csak a Google szolgáltatásainak fejlődésében segített, addig a Cloud TPU már a Google Compute Engine partnerek számára is hozzáférhető lesz. A Cloud TPU a közeljövőben a Google Cloud Compute platformon keresztül válik elérhetővé az érdeklődők számára, természetesen némi bérleti díj ellenében. Cserébe virtuális gépeken keresztül lehetőség lesz a TensorFlow keretrendszer használatára, amely mögött nem csak TPU-k, hanem Nvidia GPU-k és Intel processzormagok is dolgozhatnak, méghozzá az adott megrendelő igényei szerinti felosztásban.
A Google ezzel együtt a TensorFlow Research Cloud program keretén belül 1000 Cloud TPU-t is felajánl a vezető kutatók számára, hogy lássa, mi mindenhez kezdenek a lehetőséggel a szakemberek.
