速度が遅い程ボトルネックに弱い?

楽天モバイルのスーパーホーダイ(1Mbps)で通信が詰まるタイミングがあり、
速度が低下してもいいので、安定した速度が欲しいと思い、
mineoの500kbpsで試していたのですが、

速度の低下率が、
mineo/500kbps→300kbps(60％)
楽天モバイルのスーパーホーダイ/1Mbps→800kbps(80％)
という形で遅くなりました。

ルーターを切り替えることで改善したのですが、
何かボトルネックがった場合、
速度が遅ければ遅くなる率は変わるのでしょうか?

それとも私のただの勘違いなのでしょうか?