ニコニコ生放送の統計の記事が難しい3つの理由

ニコニコ動画のコメントのデータが公開され、(それを使ったかは分からないが)分析した人がブロマガに投稿しているのを見たが、ニコニコ生放送のデータを扱った記事を全く見ないのでその理由について。

研究用にニコニコ動画のコメント約300GBを公開‐ニコニコインフォ
ひろゆき氏が語ったコメントのナレッジベースについて(2007年の記事):「Web2.0は大嫌い」とひろゆき氏 ニコ動有料版で「もっと面白くしたい」 (3/3) - ITmedia ニュース

2月にツイートしたありらいおんさんとの会話


ニコニコ生放送の統計の記事が難しい3つの理由


  1. データ数が膨大
  2. 過去のデータにアクセスしにくい
  3. 動画に比べて関心のある人が少ない(いない)

1. データ数が膨大

  • 過去のデータと現在増えているデータの両方が動画と比べて膨大
  • 1億4000万もの過去放送をスクレイピングするには1秒1アクセスしても1621日かかる
  • 生放送のピーク時には30分で5900の放送があるので1秒に3アクセスしないと追いつけない
  • 生放送は平日で11万くらい増える(この時点で1秒1アクセスでも足りない:1日は86,400秒)
  • 1日に増えるコンテンツ数が動画に比べて10倍以上差がある
  • 動画の場合は動画ページ(getthumbinfo)、投稿者のアカウントページ、ニコチャを調べればよいが、生放送の場合コミュニティとひも付けされるので、TS期間なら放送ページ(getplayerstatus or gate/lv or watch/co)、TS期間をすぎれば放送ページ(gate/lv or watch/co)、コミュニティトップページ、放送履歴ページ、アカウントページなど取得する内容によってページが異なり、getthumbinfo と getplayerstatus 以外は全て HTML 形式なので取得に時間が掛かる。さらにアカウントページ、watch ページ、コミュニティトップページにはアクセス制限がある。

2. 過去のデータにアクセスしにくい

  • 生放送の情報をまとめた getplayerstatus の xml の返事があるのは公式にアーカイブされている生放送を除いて タイムシフト期間(放送開始から1週間)且つ、タイムシフトが残っていることで、それ以外は HTML のソースコードから取得
  • タグを検索しても検索に引っかかるのはタイムシフト期間プラス数時間程度前まで

3. 動画に比べて関心のある人が少ない(いない)

私以外のニコニコ生放送についての統計の記事(2009年の記事しかみつけれられない)
「ニコニコ統計局」のタグを検索するとニコニコの統計にまつわるブロマガや動画を調べることができる
総放送数と総視聴者数・総コメント数など
ニコニコ生放送の放送数の統計
コミュニティの統計
私のニコニコ生放送の統計記事
ナマケットの記事は、昔と比べてテンプレート幅が変わっていてグラフが読みにくかったり、データが回数を重ねると内容が少し異なるので統一して過去の放送と比べたい。
結局のところ、ニコニコ生放送のすべてのデータを取ろうとするのは無理なので一部を抽出することになる。その一部というのが、特定の日時・カテゴリ・タグ、無作為抽出である。無作為抽出の場合は放送の時間帯によって放送カテゴリの比率が異なるかもしれないので注意が必要である。

それでニコニコ生放送のデータを万が一にでも公開することがあったら欲しいデータのまとめ
  • 欲しいデータ:放送ID、放送開始日時、放送終了日時、来場者数、コメント数、ニコニ広告、タグ、放送説明文、コミュニティが残っているかどうか
  • あったらいいデータ:コミュニティ・チャンネルID、放送当時のコミュニティの累計来場者数・レベル・メンバー数、ニコニコ市場
  • 不要なデータ:放送者ID

一方のニコニコ動画の場合
  • コンテンツ数は2100万くらいで生放送に比べて 1/7 しかない
  • 動画の情報をまとめた getthumbinfo の xml は削除されていなければいつでも返事がある
  • タグ検索すると消えてない動画はすべて表示される
  • 一日で増えるコンテンツの数は9千くらい(平日は1万も増えない)

投稿者数と配信者数はスタンプのデータより2010年10月29日以降の人数
動画を投稿 スタンプ - niconico初めての放送 スタンプ - niconico
動画生放送
コンテンツの数2100万1億4千万
一日で増えるコンテンツの数9千11万
APIにアクセスできる期間削除されていなければいつでも1週間と数時間
検索結果削除されていなければいつでも1週間と数時間
投稿者数と配信者数58万5千45万5千


追記 2013/11/24
データ数が膨大の見出しの中で、動画と生放送の参照ページの多さについて。
関連記事

この記事へのコメント

管理人のみ通知 :

トラックバック


ニコニコチャンネル始めました
ニコラボチャンネル
スポンサード リンク
THE IDOLM@STER THE@TER ACTIVITIES 03
THE IDOLM@STER THE@TER ACTIVITIES 03

Fate/EXTELLA REGALIA BOX for PlayStation (R) 4 【初回限定特典】ネロ・クラウディウス、アルトリア・ペンドラゴン衣装「純真のナイトドレス」プロダクトコード付+【Amazon.co.jp限定特典】アルテラ衣装「スイートデビル」プロダクトコード配信 - PS4
Fate/EXTELLA REGALIA BOX for PlayStation (R) 4 【初回限定特典】ネロ・クラウディウス、アルトリア・ペンドラゴン衣装「純真のナイトドレス」プロダクトコード付+【Amazon.co.jp限定特典】アルテラ衣装「スイートデビル」プロダクトコード配信 - PS4

妖怪ウォッチ くったりぬいぐるみだニャン ジバニャン
妖怪ウォッチ くったりぬいぐるみだニャン ジバニャン

Fate/EXTELLA VELBER BOX 【初回限定特典】ネロ・クラウディウス、アルトリア・ペンドラゴン衣装「純真のナイトドレス」プロダクトコード付+【Amazon.co.jp限定特典】アルテラ衣装「スイートデビル」プロダクトコード配信 - PS4
Fate/EXTELLA VELBER BOX 【初回限定特典】ネロ・クラウディウス、アルトリア・ペンドラゴン衣装「純真のナイトドレス」プロダクトコード付+【Amazon.co.jp限定特典】アルテラ衣装「スイートデビル」プロダクトコード配信 - PS4

Fate/EXTELLA REGALIA BOX for PlayStation (R) Vita 【初回限定特典】ネロ・クラウディウス、アルトリア・ペンドラゴン衣装「純真のナイトドレス」プロダクトコード付+【Amazon.co.jp限定特典】アルテラ衣装「スイートデビル」プロダクトコード配信 - PS Vita
Fate/EXTELLA REGALIA BOX for PlayStation (R) Vita 【初回限定特典】ネロ・クラウディウス、アルトリア・ペンドラゴン衣装「純真のナイトドレス」プロダクトコード付+【Amazon.co.jp限定特典】アルテラ衣装「スイートデビル」プロダクトコード配信 - PS Vita

【早期購入特典あり】初音ミクシンフォニー~Miku Symphony 2016~オーケストラ ライブ CD(初音ミクシンフォニー描き下ろしクリアファイル付き(ランダム配布))
【早期購入特典あり】初音ミクシンフォニー~Miku Symphony 2016~オーケストラ ライブ CD(初音ミクシンフォニー描き下ろしクリアファイル付き(ランダム配布))

「うたわれるもの 偽りの仮面&二人の白皇」歌集(初回限定盤)
「うたわれるもの 偽りの仮面&二人の白皇」歌集(初回限定盤)

TVアニメ『ラブライブ!サンシャイン!!』挿入歌シングル「想いよひとつになれ/MIRAI TICKET」
TVアニメ『ラブライブ!サンシャイン!!』挿入歌シングル「想いよひとつになれ/MIRAI TICKET」

『刀剣乱舞-花丸-』 歌詠集 其の三 特装盤
『刀剣乱舞-花丸-』 歌詠集 其の三 特装盤

本好きの下剋上~司書になるためには手段を選んでいられません~第一部 「本がないなら作ればいい3」
本好きの下剋上~司書になるためには手段を選んでいられません~第一部 「本がないなら作ればいい3」

新着記事と追記・編集記事
スポンサード リンク
ブログ内検索
プロフィール

Author:ロベルト
お問い合わせはこちらまで
robelt2525[at]gmail.com

中の人 @nico_lab
ブログ更新用 @blo_nico_lab

詳しいプロフィールはこちら

カテゴリ
アクセスの多い記事
記事アーカイブ

最新コメント
リンク
ニコニコ静画
アニメカテゴリ毎時ランキング
免責事項
当ブログはリンクフリーです。記事によりトラブルが生じた場合でも、当ブログ管理人は一切の責任を負いません。 当ブログに記載されている情報の正誤や利用は、ご自身の判断でお願いします。 紹介したアプリケーションに関する問い合わせは作者に問い合わせてください。ニコニコ動画に関する質問はまずは公式掲示板、2ch、各Q&Aサイトを参照ください。
ブログの読者になる(RSS)
アクセス数