LINEのメッセージをGoogleアシスタントの音声操作できるようにしたら

LINEのメッセージが、Googleアシスタントの音声操作で
メッセージを送ったり、通話をかけれるようになりましたが。
それをできるようにしたら、電話帳にLINEの連絡先が
ダダーっと登録され、電話帳が見にくくなりました。
音声操作は、まったく使わないので電話帳を元に戻したいのですが、
簡単に元に戻す方法はありませんか。