外国語で話す時に心配なこと

もちろんあります。

This sentence is grammatically correct, but it sounds a bit weird because it doesn't specify a complement.

一番心配しているのは失礼するなことを言うことです。

特に自分は、言語力が上達しつつ、明らかに初心者である外国人より「多分これくらいは知ってるでしょう」と思われがちでなため、もし知らないうちに失礼な表現を使ってしまったら本心だと勘違いされるのがてしまうのではないかと本当に怖いです。