昼休み、帰宅時は遅い

昼の遅さはしょうがないですね。しかし、MVNOではなくキャリア（MNO）で使っていた時でも地方だとすごく速いのが実感としてありました。出張で関東圏に行くだけで実測で遅くなったのがわかるぐらい違います。例えば東京だと２０～３０Mbpsだったのが地方に行くと５０Mbpsとか平気で出てました。
なのでMVNOでも使う場所（基地局）の混雑影響の可能性もありますね。