Möchte man nicht, dass sich das VLC Fenster automatisch an die Videogrösse anpasst gehe man wie folgt vor:

Einstellungen -> Alle einblenden -> Interface -> Hauptinterfaces -> macosx -> Häkchen bei „Interfacegrösse auf native Videogrösse anpassen“ entfernen