Chromecastを自分だけで使いたい

デバイス側でキャスト メディア操作通知をオフにする
キャストされているメディアが、同じ Wi-Fi ネットワーク上の他のデバイスで操作されないようにするため、Chromecast やスピーカー、ディスプレイでキャスト メディア操作通知をオフにすることができます。

Google Home アプリ Google Home アプリ を開きます。
対象のデバイス 次の操作 設定アイコン Settings 次の操作 [認識と共有] をタップします。
[キャスト メディアを他のデバイスでも操作] をオフにします。
スマートフォンでキャスト メディア操作通知をオフにする
キャスト メディア操作通知がスマートフォンに表示されないようにするには、次の手順を行います。

方法 1:
通知画面で設定アイコン Settings をタップします。
[リモコンの通知を表示] をオフ オフ にします。

方法 2
スマートフォンで設定アイコン Settings をタップします。
[Google] 次の操作 [デバイスと共有] 次の操作 [キャスト オプション] 次の操作 [キャスト デバイスでメディアを操作] をオフにします。
通知をオンに戻すには、[キャスト デバイスでメディアを操作] をオ
ンにします

キャスト メディア操作通知 - Chromecast ヘルプ
https://support.google.com/chromecast/answer/7206638?hl=ja


でどうでしょうか？