Eközben ötletei nem maradtak kéretlen hódolók nélkül. Schilperoord szerint sokan akarták felhasználni ötleteit úgy, hogy közben nem akartak jogdíjat fizetni egy zsidónak. A német állam nemcsak eltiltotta Ganzot a további szabadalmak kiváltásától és publikálásától, de hivatalosan be is tiltották nevének használatát, 1934 áprilisától fogva egészen a második világháború végéig szaklapban nem írták le a nevét.
„Teljesen le akarták választani a nevét a Volkswagen projektről, mivel zsidó volt” – véli Schilperoord, bár Ganz egyébként nem volt vallásos ember, és húsz éven át nem-zsidó párja volt. A fentiek tükrében persze annyi világos, hogy a „zsidó mérnök Hitler autója mögött" erős kifejezés, inkább arról van szó, hogy
a nácik kicsavarták Ganz kezéből az ötletet.