スピーカーから雑音

PCの何処かにVCCI(ロゴはCを重ねているので「VCI」に見える)の記載があるかと思います。

デジタルコンピュータはそもそも「電磁ノイズ」が大量に出る道具でVCCIは電磁ノイズをどこまで許容して良いかという規格です。医療用は制限が厳しくなります。

ACアダプターの「スイッチングレギュレーター」も同様です。本気で対策するのは費用がかかる事が多いです。

切り分けとしては
1)イヤホンで聴いてみる。
→これで出ていたら本体に手を入れる必要が有ります。事実上出来ないと考えて良いと思います。

2)モバイルバッテリーから電源供給してみる(両側が USB TYPE Aのケーブルが必要です)

これで止まればUSB電源からのノイズです。
モバイルバッテリーからそのまま給電するか、ノイズの少ないアダプター、ケーブルを探す事になります。

ここを blue toothで飛ばす事も出来ますが、費用的にお望みの方法では無いのではと思います。