Die Emscher war nie ein breiter Fluß, aber manchmal brachte sie Überschwemmungen und sorgte dafür, dass ein ziemlich breiter Streifen um sie herum fast immer sumpfig war. Wollte man von Norden nach Süden gelangen (oder umgekehrt), gab es nur wenige Stellen, wo man das schaffen konnte. Eine dieser Stellen war dort, wo jetzt das Schloss Oberhausen steht. Dort gab es einen Damm und eine flache Furt, wo man die Emscher auch mit einem Fuhrwerk gut überqueren konnte. Zeitweilig gab es auch eine Brücke.

Weil also viele Reisende durchkamen, konnte man dort alle Bewegungen überwachen. Man konnte auch Brückenzoll kassieren. Deswegen entstand im 13. Jahrhundert eine Wasserburg. Sie wurde Overhus oder Averhus genannt. In Kriegszeiten wurde die Burg mehrmals geplündert und zerstört und schließlich ganz abgerissen. Zu Beginn des 19. Jahrhunderts wurde an dieser Stelle ein Schloss gebaut, das keine Befestigungsanlagen mehr hatte.

Auch das Schloss wurde im Laufe der Zeit baufällig, und 1953 wurde es wegen Baufälligkeit geschlossen. Man überlegte, es abzureißen. Mit einer Spende wurde es 1958 aber renoviert und konnte seitdem als Museum genutzt werden.

Die letzte Renovierung wurde 1997 abgeschlossen. Dabei wurde auf der Innenseite ein großer Glasvorraum angebaut.

Zuletzt konnte man im Schloss in der Galerie Ludwig die Wilhelm-Busch-Ausstellung bewundern.