Es gibt da immer Probleme, wenn man Grafikkarten mit "viel" Speicher auf Systemen mit "viel" RAM einsetzt. Konkret darf alles zusammen die 4GB-Grenze bei einem 32Bit-System nicht überschreiten. Das Problem sehe ich allerdings bei deiner Hardware im Moment nicht.
RAM testen, Grafikkarte testen (auf einem anderen Gerät) und dann weitersehen.