Wat was het duurste wat je ooit hebt gekocht?

Note that the word 'was' brings your question to the past tense. It's more common to say: "Wat is het duurste dat je ooit hebt gekocht?" translating to: What is the most expensive thing you ever bought/purchased?"

Ik denk, dat het duurste is, waarvoor ik ooit geld heb uitgegeven, waren verschillende cursussen.

In principle your sentence is OK. If you write or speak to someone like this, he will more than understand and I think it's a very good start. If you want to change your style or some examples of everyday talk between natives. It would probably be more like one of these sentences: "Ik heb het meeste geld ooit uitgegeven aan cursussen (Frans bijvoorbeeld)." or: "Het duurste waar ik ooit geld aan heb uitgegeven waren cursussen." Or another one, more natural I think would be: "Het meeste geld dat ik ooit heb uitgegeven was aan verschillende cursussen."

Ik denk, dat het duurste is, waarvoorwaaraan ik ooit geld heb uitgegeven, waren verschillende cursussen waren.

A better way of formulating would be:
Ik denk dat het duurste waaraan ik ooit geld heb uitgegeven, verschillende cursussen waren.

It is important that you switch around the verb and the subject in the last part of the sentence.
You could also use 'een paar' instead of verschillende