スマホからVPN ポート51820へ通信可能かどうか

ご自身がご用意したサーバーですので、まずは別のありきたりなudpポート番号で到達を確認した後、ご希望のポート番号でどうなるのか、を切り分けてはいかがでしょうか？

レスも付きやすくなると思います。

いまのままですと、iPhone側、mineo側、mno側、インターネットのどこか、あなた様が用意したサーバー環境のどこか、、などなと、何が怪しいのか、、、という感じだとおもいました。