GPS不具合

他の方も回答されていますがA-GPSが使えないのが原因かと思います。
自分も2年程前にmineoに変えた際、それまでドコモで使用していたSO-01G
(Xperia Z3)をそのまま使用しておりましたがGPSが使い物にならないレベルに陥りました。

一応外に出て見晴らしの良い場所で3分程置いていれば位置の取得が可能、それ以降はしばらく問題なく動作。しかし数分GPSを使うアプリを終了して再度起動するとまた取得にかなり時間がかかるって言う症状が頻発していました。

当時自分なりに調べA-GPSが原因と判明、ポケタロさんと同様にGPSを補正するアプリを入れてみるも改善せず、root化してA-GPSの取得先のSPモードからSonyのサーバに変更するといった方法で改善しました。
しかし、root化のリスクや手間を考えると万人のオススメ出来るものでは無く、仕様と諦めている方も多いかと思います。

結局それが嫌だったのと、Apple Payの利便性を気に入りSIMフリーのiPhone7へ買い替えを行ったら当たり前ですが嘘のようにGPSの取得速度が改善しました。
解決策にならず申し訳ありませんが、SO-04Hならまだそれなりの買い取り値が付くので売ってしまい、iPhoneやSIMフリー端末に買い換えるのも一つの方法ですよ。