secondo me e parlando in modo molto "artigianale", per come funziona vmware, dove la virtualizzazione è "pura", non avrai mai problemi a far girare nessun sistema operativo, neanche uno scritto da te.
L'unica problematica può essere se quel sistema operativo non abbia un driver funzionante per le periferiche (es il controller scsi per i dischi, o le schede di rete) che vengono presentate al sistema dall'hypervisor.