Elasticsearch
久しぶりに Elasticsearch のインデックスを見てると保存期間 30 日で curator で削除しているはずなのにずっと残ったままになっていた。何かのタイミングで pip3 でインストールした curator が動かなくなっていたっぽい。(そういえば Debian Streach から…
完全にただの暇つぶしなんですが、Elasticsearch に毎日突っ込んでる YouTube API のデータをちゃんと利用したいな、と。今のところ 433 ユーザ登録してあるんですが、そのうちの上位 50 ユーザの再生数ランキングの HTML を自動生成するようにしました。You…
最近 VTuber にハマりつつある筆者です。 会社とかでたまに VTuber の話が出ることがあるんですが、だいたい「VTuber ってどれくらいいるの?」みたいに聞かれるので「これ見ればいいよ」的なものがあったらなぁと思って気がついたらウェブサイト作ってまし…
最近 Python で GeoIP を使うことが多いけど、なんか色々種類があってわからなくなってきたのでちょっとまとめておく。 GeoIP2 maxminddb GeoIP データベースファイル(GeoLite2-City.mmdb)は下記からダウンロードできる。 GeoLite2 Free Downloadable Data…
自宅で DNS サーバに Unbound を使っているのだけど立ててるだけで特に監視していないので何か遊んでみようと考えた。 久しぶりに Fluentd を使おうと思ったらバージョンが変わっていて conf の書式にハマった。 Unbound 1.9.0 fluentd 1.4.0 Python 3.5.3 E…
Elasticsearch のデータタイプには Object datatype と Nested datatype というものがある。 Object datatype | Elasticsearch Reference [6.6] | Elastic Nested datatype | Elasticsearch Reference [6.6] | Elastic これを説明する前にオブジェクト指向な…
前回の続き。 なんだか時間が経つうちにどんどん収集対象が増えてしまった。 Amazon(Kindle) iTunes Google Play ニコニコ静画 DMM電子書籍 BookLive! eBookJapan コミックシーモア 楽天ブックス ebookman.ga 新しく Table や Chart.js でグラフを追加して…
Slack のメッセージを解析するために Elasticsearch に Kuromoji を入れて Kibana でタグクラウドでも作ろうとしたんだけど、まぁいろんなサイト見てもわかりづらいので自分なりにまとめる。 Elasticsearch のバージョンは下記の通り。 Version: 6.5.2, Buil…
Vue.js の勉強してるけどなんかなぁ…って感じ。どうも文法というか書式というかに馴染めない感じ。自分の頭がオブジェクト指向じゃないからなんだろうけど。MVVM の解説読んでみたけど初歩的なことやってないから View とか Model とかよくわからない。 さて…
Raspberry Pi で作った Elasticsearch サーバにデータをポイポイと突っ込むこと数日。ある程度データも集まり、ストア間の項目も整理できてきたのでサムネイル一覧的なものが欲しいなぁと思い、http://ebook.stellarcat.net/ で作ってみた。(ドメインの契約…
Raspberry Pi Elasticsearch の検証用に色々とデータを収集。 最近 Amazon プライムで色々と漫画を見てるのだけど、他のストアではどうなんだろうなと思って電子書籍のランキングなんかを拾ってきてる。 ストアによってランキングから拾える情報が異なるため…
AWS Elasticsearch Service をお試してで使ってみたけど用途に対してコスパが悪いので、余ってる Raspberry Pi 3 Model B で運用することにした。Elasticsearch と Kibana を1台の Raspberry Pi 3 Model B で稼働させるのは重いので現在は ASUS Tinker Board…
容量削減のためインデックス自動削除に curator を導入することにした。 Amazon Elasticsearch Service のバージョンは「6.2.3」。EC2 インスタンスの AMI は「Ubuntu Server 18.04 LTS (HVM), SSD Volume Type - ami-07ad4b1c3af1ea214」。 $ curl -sq 'htt…
エンジニアで記事を書くと言えば Qiita でしょうか。先日、数年ぶりに記事を投稿してみましたがやっぱりなんか書きづらいなぁと。というかいつからあそこは自分の年収を書く場所になったのやら。 そんな話は置いておき、7月に転職しました。会社に所属はして…