スタッフブログ
10月のネットワーク状況とトラフィック評価基準変更検討について

10月のネットワーク状況とトラフィック評価基準変更検討について

気まぐれトラベラー@運営事務局
ライター: 気まぐれトラベラー@運営事務局
mineoの技術系業務担当。

お久しぶりです。マイネ王 運営事務局の気まぐれトラベラーです。今回は10月のトラフィック状況を報告するとともに、検討中の新たなトラフィック評価基準について、これまでの「スピードテスト測定」と次期評価基準の「WEBの表示速度」や「動画視聴時の画質の変化」の相関を調査しましたので、ご紹介します。

10月のスピード測定結果について

まずは、これまでと同様にスピード測定結果を用いてトラフィック状況をお伝えします。

【測定時間】(お昼休み)12:15~12:45 
      (夕方)  18:15~18:45
       上記時間内に3つのアプリ(A~C)でそれぞれ測定する。
       ※1アプリにつき2~3回測定し平均値を採用。
【測定場所】 ケイ・オプティコム本社 付近 (大阪市中央区)
【測定端末】 arrows M02 (mineo端末)
【運用目標】(お昼休み)①3つのアプリの内、少なくとも1つは1.0Mbps以上
            ②3つのアプリの平均値で0.5Mbps以上
        (夕方)①3つのアプリの内、少なくとも1つは3.0Mbps以上
            ②3つのアプリの平均値で2.0.Mbps以上

※スピードテスト結果は測定環境に大きく左右されます。
測定結果を過信せず、あくまで目安としてご確認ください。
※今回は測定に用いた回線に「通信の最適化」の適用解除を行いました。

10月のトラフィック状況について

9月に引き続き10月のトラフィックも安定していたと思います。お昼はAプランが月の前半に目標を下回る日があったものの、第3週以降は回復していき後半は快適な状態だったように思います。Dプランは概ね良好な状態が続きました。夕方も傾向は変わらず、月の前半は少し目標に届かず、後半は回復するという状況でした。

また、Sプランについては、Aプラン、Dプランと比べてグラフ上の縮尺が異なっていますのでご注意ください。9月に引き続き、加入者数に対して帯域が大きい状態が続いていましたので、お昼、夕方共にキャリア並の速度が出ておりました。なお、この記事を執筆している時点(11月20日現在)でもA・Dプランより速い状態が続いています。11月のネットワーク状況は次回の記事でお伝えします。

新たな評価手法とスピードテストの相関について

前回の記事でお伝えしたとおり、今後は、より実際の使用環境に近い評価手法として「①WEBページ表示完了時間」や「②動画視聴時の品質(画質)」を検討しております。

今回は新旧それぞれの評価手法の相関を調査しましたのでご紹介します。相関図①はWEBページ(Yahooのトップページ)の表示速度を測定結果(縦軸)とその時の各スピードテストアプリでの測定結果(横軸)をプロットしたものになります。黄色はそれぞれの近似曲線を表します。基準値はまだ検討中ですが、今回は「WEBページ表示完了時間:10秒、動画画質:360p」を仮に設定しました。

【相関図①】WEBページ表示速度と各スピテスアプリ速度

バラツキが大きいので一概には言えないのですが、近似曲線をベースにWEBページ表示:10秒を基準に考えると、アプリAでは1.5Mbps、アプリBでは0.2Mbps、アプリDでは0.3Mbpsと大きな違いがあることが分かります。WEBページ表示:10秒という同じ品質ですが、スピードテスト結果ではアプリによって測定結果が異なります。

【相関図②】動画画質と各スピテスアプリ速度

相関図②はYouTube視聴時の動画画質の測定結果(縦軸)とその時の各スピードテストアプリの測定結果(横軸)をプロットしたものになります。基準とした360pの画質をキープできなくなる恐れがある速度はアプリAでは3.4Mbps、アプリBでは0.9Mbps、アプリDでは1.8Mbps程度となっております。
※ただし、これらの速度を下回って(図中の赤線より左側)も360p以上の画質で視聴できる場合もあります。

相関図①、②の結果を踏まえてWEBページ表示時間、動画画質と各スピテスアプリの測定結果の相関を調査しました。これを相関図③に示します。相関図①の近似曲線をベースに各アプリにおいて360pの画質をキープできなくなるポイントをプロットしました。
例えばアプリBの場合、360p以上の品質を満たすためには(アプリBの測定で)0.9Mbpsの速度が必要であり、それを満たすWEB表示完了時間は約8.2秒と算出できます。つまり、WEB表示完了時間を測定して8.2秒以下であれば、概ね360pの画質をキープできる程度の品質であると考えられます。

【相関図③】新旧評価手法の相関

最後に

今回は検討中の新たなネットワークの評価手法について、これまでのスピードテストアプリとの相関を調査した結果をご紹介しました。少し難しい内容になってしまいましたが、新たな手法についてご意見いただければ幸いです。これからもmineoをよろしくお願いします。


おすすめ記事


63 件のコメント
14 - 63 / 63
どんなアプリを使おうと、どんな機種を使ってもいいのですが、
同じ測定位置、同じタイミングで、実際にキャリア契約した回線の
結果も併せて開示してもらえるとわかりやすいと思います。
たぶんみんなが知りたいのは実際のスピードではなく、キャリアと比べて
自分たちが使っている回線がどれだけのポテンシャルで通信できているか
だと思いますので。
これだけ、皆んながアプリAを削除して下さいとお願いしてるにもかかわらず爆速アプリAを使用。ユーチューブ360画像は0.5M出てればストレス無く再生出来るが基準だよ!mineoさん
おおっ、なんか結果が統計的になっている....ことは非常に好ましいのですが、
なぜアプリによって速度が異なるのか、これが分からないことには、結果の数字の信憑性がありません。
インターネット側がボトルネックになっているとは考えにくいですよね。もしそうだとしても、アプリによって結果が異なる理由にはならない...

>より実際の使用環境に近い評価手法
といっていますが、具体的にどのような測り方をしているか分からず、数値の異なる結果を見ても、ユーザーとの実感の差は比べようがありません。
このアプリAだけ飛び抜けて良い数値である理由は何なんでしょうね?

そこが気になって、他の説明が頭に入ってきません。
気まぐれさんと天然さんの共演もたまには良いね。足の向くまま手の向くま、気まぐれさん本領発揮!のご愛嬌でした。ヨシヨシ!^_^
今後は、アプリABCでの計測をやめて、WEBページ表示速度、動画画質に切替えをされるのでしょうか?
トラフィックモニターの値と近いのは、WEBページ表示時間、動画画質の方なのでしょうか?

今迄の目標値は、昼1(0.5)Mbps、夕方3(2)Mbpsと設定されていましたが、
今後は、WEBページ表示xx秒、動画画質xxp という風に変わるのでしょうか。
UQの0.5M無制限バーストもないからいつでもどこでも0.5M前後!
ユーチューブは360画質はスムーズに進む。mineoさん、Aアプリで2M出てても動かないのは何故?
一瞬の最高値を表すAアプリはダメです。
もうアプリAだけにして
「今月も目標達成!動画もサクサク、ユーザーもニッコリのマイネオです!」
って書いてれば良いよ、素直に対応出来ない(させてもらえない)環境なのは分かりました。
お疲れさまです。😊
退会済みメンバー
退会済みメンバーさん
ビギナー
正直なところ、正午付近の読み込みが改善されてるように思えません・・・
実際に近い評価方法を検討すべきと思います。

IMG_20181129_122419.JPG

毎日、お昼はLINEがネットワークエラーで使えません。
何をするにもタイムアウトですよ。

yahooサイズ」.png

シージンピン さん

http://tools.pingdom.com/fpt/
http://gtmetrix.com/

こちらで計測してみましたが、Yahooトップページは400~500KB程度でした。
しかも計測できたのはPC版サイトですので、モバイル版はもっと小さいはずです。

1.8MBというのは、どうやって測定されましたか?
まだ、アプリAにこだわっているようなので再び書き込み。

みなさん、一度下記の気まぐれ何とかさんの発言をご覧ください。
https://king.mineo.jp/magazines/special/776

このスレのなかで気まぐれ何とかさんの書き込み

アプリAの値がよく出すぎているという指摘がありますが、逆に考えるとアプリB,Cが実際よりも小さい値を示しているとも考えられます。このあたりはアプリのよって結果が異なり、どれが正しいとは一概に言い切れません。(なぜ、このような違いが出るのかも分かっていません)

『これまでのスピードテストアプリとの相関を調査』するよりも先に、なぜアプリA値が不思議な値なのか調査してもらいたいものです。
Dプランのお昼、良好との事ですがGoogleの検索が未だにオフラインです。オンラインになったら検索をします。って出ますよ!

ドコモ契約の人はならないとの事ですのでマイネオの回線がGoogleに遅すぎると判断されているのか、もしくは本当につながらない状態になっているものと思います。

せめてオフライン判断されないレベルにはできないでしょうか?
お昼休みしかパケットを使う機会ないわたしはどんどん余っていきます…

canvas.jpg

いまmineo大阪があるグランフロント前にいます。大阪駅と梅田駅の中間で実測した速度を掲載します。2018/11/30 12:30~12:35

左Aプラン/中Sプラン/右UQモバイルです。Dプランのデータはありません(今年の台風で長時間停電したときずっと圏外で使い物にならなかったため解約しました)。

まだまだ速いSプランもターミナル駅とオフィスビルの多い都心では辛そうです。UQモバイルは登りは遅いけど下りは異次元ですねw
みなさま

コメントありがとうございます。

■相関調査について

「なぜ特定のアプリが特異な値を示すのか」を調査することに時間と労力をかけるより「その値が何を示しているのか」を把握する方が有益だと思い、今回の調査を実施しました。
※もちろんキャッシュは削除して測定しています。

スピードテスト結果だけの比較ではアプリによってモノサシが異なりますが、各相関図から測定結果を読み替えて同じモノサシで比較すれば、ある程度真実に近い品質評価ができると考えます。

そして将来的にはスピードテストによる評価をやめようと検討しています。

■Aプランが良い成績になる理由

商戦期ではないため、加入数に比例して増強幅が小さくなっています。

また加入者増加の予想が外れた場合、片方のプランだけ快適になることもありますが、Aプラン、Dプランとも同じ快適さになるように加入者数とのバランスを見て帳尻を合わせるように増強幅を調整しています。

なお、Sプランは加入者の増加がまだ追いついていないため快適な状態が続いています。

■Googleの検索ができない

平日のお昼休みは混雑しますが、検索やWEB閲覧が全くできないほどではないです。
状況が分からないので一概には言えませんが、POIの混雑だけではなく基地局の混雑や電波状況等、他の要因も考えられます。

これからもmineoをよろしくお願いします。
気まぐれトラベラー様

「なぜ特定のアプリが特異な値を示すのか」?????
「特異な値」との認識があるのですよね?
その「特異な値」を運用目標に採用されているのはいかがなものかと。

【運用目標】(お昼休み) ①3つのアプリの内、少なくとも1つは1.0Mbps以上
              ②3つのアプリの平均値で0.5Mbps以上
       (夕方) ①3つのアプリの内、少なくとも1つは3.0Mbps以上
            ②3つのアプリの平均値で2.0.Mbps以上

先の書き込み「なぜ特定のアプリが特異な値を示すのか」を調査することは時間の無駄だと公言しているようにとらえられますよ(苦笑)

運用目標にアプリAを採用、そのアプリAが『特異な値を示す』認識があるのであれば時間の無駄など言わず調査するべきではないのでしょううかね。
ya1
ya1さん
レギュラー
特異な値と認識しているわけですね。

繰り返しになりますが、3.4Mbpsという速度が実際出るのであれば720pは見れます。これは間違いありません。

mineo(アプリA)だけが360pをキープできる"下限"が3.4Mbpsだと公言しています。謎アプリによる謎の相関関係を用いて。

担当者は文系出身ですか?ビットレートの計算できますか?適材適所ってあると思いますよ。
ネットワークの改善、改善の効果を見せるというのは難しいですね。さらに、定量的な評価となると更に難しく、毎月の報告に苦慮してるんだろうなと思いつつ、見ています。

今回、新しい評価として相関を見ています。
相関の図ですが一つ一つの点は何を表しているのでしょうか?これまでの累積したテストの結果をプロットしたものでしょうか?
累積した結果だもWebページのサイズなどの条件を一定にしないと分かりにくい表現となり、解釈に誤解を与えかねません。

アプリAについてコメントで言及している方がいますが、私も少し気になります。
少し逸れますが、アプリ間で内部にもつ評価方法、アクセス先のネットワーク(経由する所など)により差が出ていると推測します。アプリ側で変えられると評価が変わるので、一つのアプリではなく複数のアプリで評価するというのは正しいと思います。欲をいえばコントロールを準備して
あと、スピテスアプリ間の散布図行列を見てみたいと思っています。それにより相関の有無が見えるアプリ間の特徴が見えるかも知れません。もう少し突っ込むなら統計的検定で有意差があるかなども見て、アプリの怪しさを、、、なんて思っています。

でも、ユーザー視点だと数値なんて興味が無く、昼、夕方に移動する時Google mapが遅くなり使えないのが困るという定量的に言えない所にあります。

こういうのは蓄積、評価方法も考えていく必要があるのかなと思っています。これからも楽しみにしています。
アプリaは外すべきでしょう。それに反対するユーザーはいないのでは?

43264CB0-A7A9-4630-A215-46FC21F23712.png

朝、オークションのページがタイムアウト
!ですが、Aアプリは爆速
他のアプリは0.3M以下
もちろん高速通信

A34A2DB5-5438-412E-B6F0-4AF3A86B88B9.png

体感的にあってる
気まぐれ何とか様

『特異な値と認識』『アプリAははずすべき』とコメントがありますが放置ですか。

見てますよね?

気まぐれ何とかさんだけで何とかできる範疇こえてますよ。

責任者のーーー。最近出てこないから名前忘れたわ。先の、ユーザーをないがしろにする無慈悲な「通信の劣化」
今後の方針を示すとか言ってて放置してる何とかさん。
あれもこれも、mineoとしての指針を出したほうがいいのないでしょうか。

書き込み無視スンナよ。逃げるなよ。
これね。

『ブランドステートメントに基づく『行動指針』の策定』

いつになるんだろう
Sプランに乗り換えましたがな!
相関図ありがとうございます。
測定の結果、アプリAが現実的な体感値から乖離していることがはっきりしたということは、良く言えば新評価軸が機能しているということですよね。

(360p に 3.4Mbps を必要というのは正直少し面白かったですw)

先月意見があったとおり、評価値から除外し、参考値のみ記録として残せばよいのではないでしょうか。

引き続き新評価軸の決定に注力して頂けると期待しています。
みなさま

コメントありがとうございます。

「特異な値を示している(=特異な値を示すアプリはおかしい)」と認めているのではなく、「他のアプリとは違う特徴がある」という意味です。
このように、スピードテストアプリによる評価方法では、測定アプリによって測定結果が異なるので、評価基準を変更しようと検討しております。そして、これまでの評価基準との相関を調査した結果を今回の記事でお伝えしました。

『ブランドステートメントに基づく『行動指針』の策定』については、社内関係者全員で議論しているところです。もうしばらくお待ちください。

これからもmineoをよろしくお願いします。
ya1
ya1さん
レギュラー
調査した結果、アプリAがおかしいことが分かったという記事ではないの?
アプリAはおかしくないの?相関で何が分かったんですか?

360pを見れる速度はアプリに関わらず世界共通だと思いますよ?

アプリAが非現実的な値を示していることが、ここで言う"相関"で認められたと思っていたのですが。
シージンピンさんの検証で結論出てますよね。
(当然、運営側でも同様のことは実施されているのですよね?)
現状、通信制御システムに不具合があります、これは放置はできませんよ?
みなさま

コメントありがとうございます。

今回の相関から分かったことは、各スピードテストアプリの測定結果が意味する所が異なるということです。測定アプリで通信品質を評価する場合は、同じ基準で評価するのではなく、各アプリの示す値の意味を理解した上で評価すべきと考えます。(測定結果△Mbpsで評価するのではなく、今回得られた相関からWEBページ表示が□秒程度の品質だという評価)

そして、このように特性を考慮しないといけないスピードテストアプリによる評価では品質を一律に評価できないと考えたため、一律に評価できる基準に変更しようと検討しております。

また、アプリの特性をヒントにPOIの混雑が解消できる可能性があるなら、詳細に調査することも検討してみたいと思います。

これからもmineoをよろしくお願いします。
いろいろ消されたけど(苦笑)これも消されるかな。BANされるんだろうか。

気まぐれ何とか様

『特異な値と認識』にの解釈については、素早い反応、反論ですね。これまで、亀以下の反応だったのに。

『このように特性を考慮しないといけないスピードテストアプリによる評価では品質を一律に評価できないと考えたため』・・・

これまで散々、アプリAをはおかしいとの指摘を受けなが【運用目標】に採用し達成できた出来なかったと一喜一憂されてましたよね。

これまでの、『【運用目標】』についての総括をお願いします。

出鱈目だったとの事が判明したとの認識でよろしいのでしょうか?

『どのくらいの期間』、アプリAがおかしいとの指摘を受けながら出鱈目な【運用目標】を示されてきたと認識なのでしょうか?

この辺りの総括し、ご説明をされたうえで、新しい運用基準に移られることを切にお願い申し上げます。

ここから先は、MINEO様へ

100万回線突破の前後、「通信の最適化の適用」=『通信の間引き』ぐらいからなんかおかしくなってませんか?

今、気がつきましたが「通信の最適化の適用」=『通信の間引き』を解除する方法は、トップページに載せてないんですね。

mineoは『「通信の最適化の適用」=『通信の間引き』が標準で実施されている旨』もトップページにも、申し込みページの最初のページ「https://mineo.jp/apply/」にも乗せてないんですね。
隠蔽?隠匿?

新規ユーザーには加入の際なんらかでご案内されているんでしたらごめんなさい。

まさか、約款に書いてあるから問題ないとの認識ではないですよね。
それでは、当初の、『約款がどうのこうの弁護士がどうのこうの』で反感買ったことお忘れされてるように思いますよ。
https://king.mineo.jp/magazines/special/845

この辺りを踏まえた『ブランドステートメントに基づく『行動指針』の策定』をご期待しています。

現状では『行動指針』には「通信の最適化の適用」=『通信の間引き』目立たないようにします。解除方法もあちこちリンクをたどってね(はあと)と明記しなければなりませんよ。
シージンピン さん

私もiPhoneなので、同じ方法で調べてみました。
(土曜日14時最適化オプション非適用です)

キャッシュ削除する前は、300KB前後、
キャッシュ削除して計測すると、370KBほどでした。

不思議な事に、Safariを終了させると、一気に2~3MBほどに通信量が増えます。

Yahooサイトが表示完了した時点で、Safariを終了させずに通信量を見ると、300KB台でしたよ。キャッシュを削除しようとしまいと。

一度お試し下さい。
Yahooのトップページ、1.8MBも無いと思われますが…いかがでしょうか。
シージンピン さん

キャッシュ削除したら、390KBほど
リロードしたら、20.7KB
Safariを終了(キャッシュ削除せずに)した後再起動して、Yahoo画面を出したら、121KB

Safariを予め起動しておき、Yahoo画面を出す前に統計情報をリセットしています。そして表示完了した後の値を見ています。
(Safariを起動したり終了する時には、1~2MBほど何か通信するようですよ)

うーん。なぜそんなに1.5MBも違うのでしょう。
Yahoo表示だけではなく、Safari起動や終了時の通信も含んでいませんか?

Screenshot_20181208-201109.png

今月はChromeを使ってない端末で調べてみました。
モバイルデータ使用量にChromeか無いことを確認し、Wi-Fi環境でChromeを立ち上げてURLにYahooのアドレスを打ち、開く前にWi-FiをオフにしてYahoo!を開き、通信が終わったらWi-Fiをオンにしてモバイルデータ使用量を確認。
2.37MBでした。

Yahooのサイトは開いたことが無いはずなのでキャッシュも無いと思います。

Screenshot_20181208-202405.jpg

別の端末でも同様の方法で確認してみました。
この端末でもYahooは開いたこと無いはずですが、他のサイトは今月開いていたので今回のテストをする前は822KBと出ていました。

つまり差し引き約2.5MBということです。

でさきなので細かい確認はしていませんが、さすがに300KB前後ということは無いと思う。

Screenshot_20181208-205748.jpg

あまりにも自分の確認がアバウトすぎるので、さらに別の端末(これもYahooを開いたことは無い)でPacket Captureして確認しました。

captureの画面は割愛しますが、約1.8MBでした。

で、その中でHost:s.yimg.jp、Content-Type:images/png、Content-Length:308984byteの画像をgetしてたので直接ダウンロードしてみましたので貼っておきます。

画像1個でこのサイズです。
広告画像っぽいのでランダムの可能性はありますが、他にもたくさんrequestしてますし、サイト全体で300KB前後ということは100%ありえません。

IMG_0596.PNG

iPhoneSEでもやってみた。

統計のリセット → Safariを開いてURLにYahooのアドレスを仮打ち → Homeに戻ってWi-Fiをオフ → Safariを開いて入力済みのYahooのページを開く → 読み込み終わったらHomeに戻ってWi-Fiをオンに。

これで2.1MBと表示されました。
たぶんこの端末もYahooのサイトは開いたことありません。
Phantomさん
シージンピンさん

そうですか。キャッシュ消したつもりでしたが…また後日試してみます。
今朝やってみたら動画の広告が入る事もあって、時間が経過するごとに、通信料が増えて行きました。
シージンピンさん

確認したら、「トップヒットを事前に読み込む」が有効になっていました。
これだと、ページを開く前にキャッシュされちゃうんですね?

28097357-DC15-464F-8BEF-AE6087103373.png

シージンピンさん

キャッシュ削除は、

設定>Safari>履歴とWebサイトデータを削除

をクリックしています。合っていますか?
いろいろ言われていますが、回線事業者として、コンテンツの種類や端末の性能、アプリなどに左右されない純粋な回線速度を測って欲しいです。
PCにUSBテザリングでつないで、mineo内に建てたサーバーとping値とnetperf or iperfでスループットを測れば信頼できる値が取れるのではないでしょうか?
あと、パケットロス率も非常に重要かなと思うので、パケットロス率もあるといいですね。
#まぁ本当に知りたいのはPOIでの帯域やパケット破棄率ですが..
パケットは破棄されてスマホに届かなくてもデータ通信量は消費しますとちゃんと説明しなきゃね。
べるりんさんのおっしゃるとおりですね。
自社内にサーバを立てることが何故出来ないかと。

まさかと思いますが・・・天下のケーオプティコムが予算不足はないですよね・・・・まあ、そうだとしたら来年度予算組んでください。

気まぐれ何とか様

出来ないならすでにあるものを。ネットワーク環境がわかりませんがmineoのホームーページを基準にすれば宜しいかと。

ちなみに基準とするURLは

「通信の最適化に関する事前の情報公開未実施のお詫びについて」
https://king.mineo.jp/magazines/special/844

これね。

こいつを希望ですな(はあと)
今日、再度Yahooの通信量を測定してみました。

どうやら、私の手順が間違っていたのか、
・キャッシュを消すと2~3MB ほど、
・キャッシュを消さずに再読み込みで20KB ほど
と大きな差がありました。

上記は、「トップヒットを事前に読み込む」をオフにしてやってみました。その後、「トップヒットを事前に読み込む」をオンにしても同じ結果でした。

先日の実験で「キャッシュ削除したら、390KBほど」となってたのと同じ状態が再現しなくなりました。何故だろう??よくわかりません。
また時々試してみます。
.     👑
.  ✳️✳️✳️✳️
.  ✳️
.  ✳️✳️✳️✳️  
.       ✳️ 
.  ✳️✳️✳️✳️ th

#マイネ王5周年おめでとう!
なかなかです。
ありがとうございました。
   / ̄ ̄ ̄ ̄\
 ``/  \ ,, ,, /  \
 /     (∧)  (∧)   |
 |    (_人_)    |
/     ∩ノ⊃ /
|   \_/ノ_ノ´||
\     /___ノ |
  \_/______ノ
.     👑
.  ✳️✳️✳️✳️
.      ✳️
.     ✳️  
.    ✳️ 
.    ✳️   th

#マイネ王7周年おめでとう!
.     👑
.  ✳️✳️✳️✳️
.   ✳️     ✳
.  ✳️✳️✳️✳️  
.  ️      ✳
.  ✳️✳️✳️✳️ th

#マイネ王9周年おめでとう!
まだゆずるね。が無い時代だったので
昼の混雑緩和に苦心していたんですね
コメントするには、ログインまたはメンバー登録(無料)が必要です。