サイトをGatsbyを使って作り直した
2022-01-23このブログをGatsbyを使って丸っと作り直してみた。 元々はAWSでサイトをホストして知見を貯めたいというもくろみがあってずっとWordPressをEC2インスタンスに入れて自前で運用していたけど、 仕事でガンガンAWS使っている中、t2.micro…
Written by sakama Data engineer who lives and works in Tokyo for successful data analytics You can follow me on Twitter
(Qiita) embulk-input-soracom_harvestでSORACOM Harvestからデータをバルクロード
2016-12-19SORACOM Advent Calendar 2016の21日目の記事を書きました。 embulk-input-soracom_harvestでSORACOM Harvestからデータをバルクロード - Qiita
(Qiita) データロードのための「見えない工数」をData Connector/Result Outputで減らす
2015-12-25Embulk Advent Calendar 2015の4記事目〜 データロードのための「見えない工数」をData Connector/Result Outputで減らす - Qiita
(Qiita) Embulkのリジューム実行/差分実行について
2015-12-10Embulk Advent Calendar 2015の3記事目〜 Embulkのリジューム実行/差分実行について - Qiita
(Qiita) Embulkプラグインのリトライ/例外処理の実装について
2015-12-02昨日に引き続き、Embulk Advent Calendar 2015の2日目の記事を書いた。 Embulkプラグインのリトライ/例外処理の実装について - Qiita
(Qiita) OSSとしてのEmbulkにTreasure Dataはどのように関わっているのか
2015-12-01Embulk Advent Calendar 2015の1日目の記事を書いた。 OSSとしてのEmbulkにTreasure Dataはどのように関わっているのか - Qiita
Embulkを使ってMySQLからGoogle BigQueryにデータをロードしてみる
2015-03-19※注意 この記事はembulk-output-bigquery v0.2.x以前に基づいて書かれています。 v0.3.0で大幅な変更が加わっているためv0.2.xで使っていたconfig.ymlはそのままでは使えません。 主な変更点は JavaプラグインからJRuby…
JavaでGCS(Google Cloud Storage)とBigQuery周りの開発をする際のハマりどころ
2015-03-18最近embulk-input-gcs、embulk-output-bigqueryというEmbulkのプラグインを作ったんですが、Embulk本体のコードよりGoogleのAPI/Google APIs Client Library for Javaの利用でハマりました。 AWS…
embulk-input-gcsプラグインを作りました
2015-03-17並列データ転送ツールEmbulkのプラグインであるembulk-input-gcsを作りました。 EmbulkのインプットソースとしてGoogle Cloud Storage(GCS)上のバケット/ファイルを指定できるものです。 embulk-output-gcs…
Google Cloud StorageのAPIを利用するための手順
2015-03-02embulk-input-gcsというGoogle Cloud Platform(以下GCP)のGoogle Cloud Storage(以下GCS)からデータをバルクインポートできるEmbulkのプラグインを書いたんですが、GCSのAPI…