ものすごく遅くなる原因が知りたい

その「180kbps」というのは下りダウンロードの数字ですね。それだけ見ても分からないです。そこが非常に低いのは、単に回線が混雑しているからだけかもしれないからです。

「詳細を表示」のところをクリックしてみてください。そうすると、アップロードの数字も出ます。通常はダウンロードの数字よりもアップロードの数字が低い場合が多いですが、いずれ似たような数字にはなりません。

両方とも似通った数字になったときは、明らかに何らかの速度制限がかかっています。ちょうどamiyyさんが示されたような感じになります。その原因としては、どういう契約をされているか分からないので断言できませんが、きゃすたさんがお話のようなケースも十分あり得ると思います。