Ciao ARM_, quello dei video proprietari di apparati di videosorveglianza è un problema in cui mi sono trovato (mio malgrado) un paio di anni fa, un mio amico (poco esperto allora..) mi ha passato dei video con estensione .264 per tentare di leggerli, visto che non trovava nemmeno il cd col player proprietario. Dopo un paio di orette su google sono riuscito a trovare un software open source che li leggeva, poi lui ha trovato il cd col player, ma quando ho tentato la conversione in avi ho avuto la tua stessa sorpresa...
che in teoria può esportare in avi, ma in realtà lo fa con una qualità che provoca conati di vomito nel raggio di diversi kilometri.
... alla fine ho fatto così ... ho masterizzato i file così come sono su un dvd mettendo anche il player e un file di testo "LEGGIMI" con le spiegazioni di come usare il programma

... oltretutto il mio amico poco esperto aveva impostato l'apparato di video sorveglianza alla minima risoluzione, quindi immagina un po ... all'interno dell'apparato c'è un hard disk da 320 giga che registra h24 .... comunque puoi altrimenti provare a registrare il desktop con kazam che ha una buona risoluzione video ... ho fatto qualche ricerca su google nel tentativo di aiutarti, ma con questa estensione non si trova praticamente nulla.
Edit: ho trovato il programma che usai allora, vedi se magari può esserti utile...
http://staxmedia.sourceforge.net/ è per windows, credo di averlo usato su macchina virtuale.