MySQLでビッグデータを目指す話 地獄のような土日を乗り越えて、少しだけ一息つけました。
大丈夫です。生きています。
そんななか、もっさもさに毛が伸びていたクーもトリミングしてもらいまして、少し寒そうではありますが、これで年を越せる感が出ました。

さておき、夏頃からコレ [link] の会話部分に相当するプログラムをちまちま作っては遊んでおりましたが、そもそもはMySQLの調べものをしていたらこちらのサイト [link] に辿り着き、まんまと「ワイもビッグデータを扱ってみたい！」と思ってしまったのが始まりなのでした。
それまでMySQLは使ってはいましたけれども、大きくても10～20万レコードぐらいのものしか弄っていなかったので、単純に「MySQLでもそんなでかいの扱えるのか！」という驚きがあり、とりあえず何をするでもなく、でかいデータを作って弄ってみたくなったのでした。
で、どうせならと自家製スマートスピーカーで音声応答するものを作ってみようと。
そのデータベースをMySQLでやってみようと。

元になるデータはWebから自動収集するようにして、データ収集しつつそれをどう処理するかを試行錯誤しておりましたが、Webからチマチマとデータを集めるやり方では、そんなにすぐに大きなデータを作ることができず、まぁとりあえずは20万レコードぐらいになったら、そこそこテストして遊べるものができるかなぁと思っておりましたが、20万レコードぐらいでは全然面白いものができず。。
あ、これちょっと面白くなってきたかも。。と思えたのは200万レコードを超えてからでした。
が、そのぐらいで構造的問題にぶつかり、一旦リセットしてゼロから収集をやり直すことになったり。
MySQLのインデックスの張り方で悩みまくったりでした。
そんなこんなでしたが、現状は300万データ（レコードとしては3000万）をちょっと超えたぐらいになってますが、音声でやり取りするのもかったるくなり、チャットインターフェースで遊んでます。

まだ、もうしばらくはデータを増やしたいと思うけど、どっかでまた構造を見直さないといけないだろうなぁ。。
でもこういう遊びは、師走のさなかの息抜きとしてはとても楽しい。