ビッグデータをどう活用するか考えてみた

これって「フォーマットの無いテキストと、属性付き発言者のセット」と考えられると思いました。


しかし、この「フォーマットの無い」という部分がプログラムするには非常に難しい。


なぜならプログラムとは「事前に決まっていることを記述しておけば、そこは自動でやってくれるもの」なので、流行や言語で書き方が変わる自然言語の扱いは、単語・言い回しを含めたトレンドチェイサーボットを完成させないと時代遅れにならないようにするのは難しい。

ここを手動でやるのも効率的ではない。


一応、何とか解析できないか文脈から解析できないかと考えましたが、会話形式になっている場合、前の会話が重要になってきたりと、必要なデータ量や処理量が天文学的な数値になりそうですし、そもそも無駄データのフィルタリングがその後に待っていると考えると、もうちょっと頭の良い方法はないものかと考えてしまうわけです。


そこでちょっと見方を変えて考えてみたんですが、処理の順番を変えるとうまくいくんじゃないかと。つまり難しい自然言語の解析とフィルタリングは「人間」にお願いしてしまえば、後はDB設計とUI設計の世界でうまくいくんじゃないかなって。

ビッグテーブルとか新しいDBの恩恵を受けるなら、さらにその先、自分に都合よく作られたデータベースを世界的に統計を取るとかいう段になって利用する形とか面白いんじゃないかなぁと思った次第なのです。



というわけで、今新しいアプリを設計中です。


ゲームアプリはまた延びそうですねー。こりゃ老後の楽しみかもな(笑)