2019年12月に公開されたFirefoxのバージョン71.0から、動画をウィンドウ外の小窓で再生できるPicture-in-Picture（ピクチャーインピクチャー、PiP）機能が追加されました。Firefoxのウィンドウで動画を見ると、上のYouTubeの例では青いメニューが表示されるようになっています。使わない場合は非表示にしましょう。
環境設定の一般メニューの「ブラウズ」セクションにある「ピクチャーインピクチャーの動画の操作を有効にする」のチェックを外せば非表示になります。
about:configから変更する場合は、URLバーにabout:configを入力して高度な設定画面に行き、「picture-in-picture」で検索して以下の2個のオプションをダブルクリックしてfalseにします。
media.videocontrols.picture-in-picture.enabled
media.videocontrols.picture-in-picture.video-toggle.enabled
設定変更後は一度Firefoxを再起動した方がいいと思います。戻す場合は2個ともダブルクリックし、trueにすれば青いメニューは表示されます。
about:configからmedia.videocontrols.picture-in-picture.enabledをfalseとすると、環境設定に設定項目自体が表示されませんので、表示されない場合はabout:configからtrueに変更する必要があります。
更新：2020/10/15 コメント欄より情報をいただきました。ありがとうございます。