ウィンドウ関数の指定をROWでなくRANGEで指定するパターンを学んだ。 直前の日付のレコードがない場合は計算しない、などの使い方ができるから便利だ。 zenn.dev

ディレクトリを作るのは mkdir -p オプションをつけると、親ディレクトリも含めて作成する mkdir -p dirA/dirB を実行すると、dirAが存在する場合はその配下にdirBを、dirAが存在しない場合はdirAとその配下のdirBを作成する 空ファイルを作るのは touch 本…

インターポレーション / interpolation 内挿の意。 少なくともterraformの記述においては、 ${...}の中に与えられた式を評価し、 必要に応じてその結果を文字列に変換し、 最終的な文字列に挿入する補完処理 例 "Hello, ${var.name}!" ↓ "Hello, John!" www.…

zenn.dev

『前処理大全』を読んでいる。 amzn.to SQL・R・Pythonの特徴を活かした使い分け 前処理のフェーズの向き・不向き データ構造を対象とした前処理 → SQL レポーティングやアドホックな分析をするときの「データ内容を対象とした前処理」 → R システム化すると…

見つけたので読む。 towardsdatascience.com BigQueryにおけるlimit句は、メインのクエリ実行後に適用され、スキャン時間・コストを削減するためには使えない スキャン時間・スキャンコストを削減するためには、join か where句を使う テーブルの上位100けん…

ベストプラクティスを学ぶシリーズ、どんどん続けていくぞ。 cloud.google.com クエリパフォーマンスの概要 クエリパフォーマンスに影響する要素 入力データとデータソース（I/O）: クエリで何バイト読み取るか。 ノード間の通信（シャッフル）: クエリから…

前回までの記事 dbtのベストプラクティスを知る① - なむなむ dbtのベストプラクティスを知る② - なむなむ 今回は、ベストプラクティスの中にあった、Git guideを読む。 github.com Git guide ゴールは2つ 複数のアナリストがコードベースで作業する際にも一…

zenn.dev 初めてZennで記事書いた。

前回の記事 dbtのベストプラクティスを知る① - なむなむ 今回は、最後の2章からPro-tipsを学ぶぞ。 Pro-tips for workflows Use the model selection syntax when running locally 開発中、作業中のモデルと下流のモデルのみ実行するのが良いことがある モデ…

ベストプラクティスから読んで始めるdbt という記事が、とても素晴らしいなと。 しっかり公式のdocsを読む 自分なりの感想（得られた事項）を持つ わからないこともメモしておく 同じようにやってみよう。 馬鹿みたいだけど、同じ記事で。 （ついでに英語の…

『GE 巨人の復活 シリコンバレー式「デジタル製造業」への挑戦』 「規模が大きい会社では、1％の改善が効く」という話としてマネージャーから聞いた。 背景 GEはコングロマリット戦略（自社が保有していない、または直接関係していない他業種の事業を取得す…

『戦略は「１杯のコーヒー」から学べ！』を読んだ。企業戦略とその考え方を紹介した本である。 この書籍の背景にある考え方は、顧客が本当に必要とする価値を創造すること、「バリュープロポジション」である。 バリュープロポジションを作るときに考えるべ…

『レバレッジ時間術』という本を読んだ。お金のように時間も資産と考え、投資のように将来的に使える時間を増やすための方法を紹介していて、一読の価値がある本だと感じた。 課題やタスクに着手する優先度を決める基準の一つとして、「自分たちの作業時間を…

マーケティングやデータ関連職でも軽視されがちなグラフ作り。 関連書籍も乱立しているけど、バイブル的なこの本は立ち読みでもいいから読んでおいて損はないと思う。 Google流資料作成術 | コール・ヌッスバウマー・ナフリック, 村井 瑞枝 |本 | 通販 | Ama…

フルリモートのまま転職をしたこともあって、個人的にはリモート環境に抵抗がないし、困ってもいない。 ただ、そう感じているのは自分だけなのではないか、という視点は持ち続けていた方がいいなと思う。 なので、リモート環境に関するベストプラクティスや…

『STARTUP 優れた起業家は何を考え、どう行動したか』を読んでいて、”分析すべきこと及びそれに必要なデータ”という観点だけでポイントを抜粋しておく。 （本当は積読したままの『Lean Analytics』を読まねばと思いつつ...） 検証するべき要素は何か、がまず…

定義 ユニットテスト、ソフトウェアなどのテストにおける最小単位である。 その上は結合テスト、システムテスト、受け入れテストと続く。 別名として、単体テストやコンポーネントテストとも言うが、ユニットテストが開発中にも使うのに対して納品時に行う単…

ちょっと原文が見当たらないが、スティーブ・ジョブズの言葉に 「Aクラスの人材はAクラスの人材を連れてきて、BクラスはCクラスを、CクラスはDクラスを連れてくる」 というものがあるらしい。 Aクラスの集団はAクラスをキープできるが、そこにBクラス以下が…

Terraformってなんなのか、調べた。 今回のゴールは、「Terraformで管理する」の意味がだいたいわかることとする。 ざっくりめで。 Terraformとは Infrastructure as Code（IaC）のためのツール インフラ構成(管理)ツール オープンソース Go言語で開発されて…

ビックカメラのMacアップグレードプログラム＋の話である。 www.biccamera.co.jp 前回「M1チップって何」という記事でM1 Macについて調べたので、念の為店頭に見に行ってみた。 気づいたことが3つ。2つは実機を見なくてもわかったことだが。 キーボードがア…

『ウルトラマンコスモス』の放送が2001年7月から2002年9月。 劇場版最終作の公開が2003年8月公開。 『機動戦士ガンダムSEED』の放送が2002年10月から2003年9月。 『機動戦士ガンダムSEED DESTINY』の放送が2004年10月から2005年9月。 小学校高学年の頃に連続…

概念的定義と操作的定義の話。 軽くググったところ心理学や哲学でよく使われる用語らしいが、『分析者のためのデータ解釈学入門』では、「測定の難しさ」の項で触れられている。データを取得する際、「そのままでは測れないもの」を実際に測れる指標で代替す…

本当に今さらなのだけど、自分は文芸書とそれ以外の本を同じような丁寧さで読んでしまっていたかもしれない。 いや、ビジネス書でも実用書でも、基本的には必要な部分だけ読めばいいのだと思うし、読み飛ばしていいとは言わないが「全てじっくり読む必要はな…

SQLスキルが足りてない、と感じた。 データ整備の仕事において、 例えば新旧テーブルの比較や乖離状況の把握はよくある集計作業だが、 そのクエリくらいサクッと書けないと改善のための時間が不足する。 という話である。 しんゆうさんの記事 analytics-and-…

ビックカメラの「Macアップグレードプログラム＋」でMacbook Proを購入してから2年経った。 たしか「2年ごとに買い替えたらええやん〜」と思って2年プランにした記憶があり、たいして使いきれてないが買い替えも検討していいのではと思った。 それに際し、ず…

Gitを勉強しているうちに、さらに議論が進んでいた。 データサイエンティストや機械学習エンジニアになるのにgitやDockerが必要かどうか、本質的には初心者に「Python→機械学習→git/Docker」と教えれば途中でコケても多少機械学習使えるマンになれるのに「gi…

軽く叩かれているので引用するのも申し訳ないが、「Gitの基本は知っててくれよ！」というような趣旨のTweetを見かけた。 「Gitでお仕事のやり方ですが毎回master からクローンしてくるのでよろしいでしょうか？それか独自ルールありますか？」Git使ったこと…

4年少々在籍したデジマコンサル会社を辞め、この7月から事業会社のデータアーキテクト職に就いた。 退職エントリは別途書き残すとして、このブログの趣旨と宣誓のようなものを書いておきたい。 このブログは、恥を晒すために作った。 今、絶望的に技術力が足…