Writing | Democratizing Data

「n月刊ラムダノート」の記事の書き方～「MLOpsの歩き方」編

Fri, 29 Mar 2019 04:01:40 +0900

先日、ラムダノートから創刊された「n月刊ラムダノート」に「MLOpsの歩き方」を寄稿しました。

他の著者の記事などでいろいろと話題になっていますが、「TCPの再送制御機構」から『「コルーチン」とは何だったのか？』、そして僕の書いたMLOpsの話までと、幅広いテーマが取り扱われています。

個人的には、グルドンで宣伝したおかげかITmedia NEWSデビューしたのでちょっと嬉しかったです。

僕が書いた内容はMLOpsと呼ばれる、機械学習システムやプラットフォームで皆が手探りに行っている本番環境への適用や運用が、なぜ機械学習が絡むと難しいか、どういうアプローチがあるのか、といったところを（網羅的ではないかもしれませんが）ある種サーベイ論文のような形でまとめてみました。良ければ読んでいただいて感想を聞けると嬉しいです。

寄稿するまでにしたこと

「n月刊ラムダノート」は皆様の記事の寄稿を受け付けています。詳しくは以下の記事をお読みいただければと思います。

ターゲットとしている記事は、上記の記事から抜粋すると

「自分が専門とする分野の解説を、関連する他分野の技術者や若者に向けて残しておきたい」
「公開したい技術文書があるけれど、論文のようにフォーマルな内容ではないから、個人ブログで公開するしかないかな」
「技術書を書きたい。でも、いきなり本を一冊書くのは大変だ」

という感じです。「仕事ではじめる機械学習」のときも思いましたが、プロに編集していただくと、自分の思考や考えが理解されやすい形に整理されるというメリットがとても大きいので、知ってもらいたいネタがある人は是非応募して欲しいと思っています。

でも、「いきなり雑誌の寄稿とか…」と思う方の助けになればと思い、自分がしたことなどをまとめていこうと思います。

1. 寄稿する決意を固める

2018年11月頃に keiichiro shikanoさんから、「こういうような雑誌を立ち上げたいんだけど、BERTの記事書いてもらえませんか？」と言われたのがきっかけです。BERTの話はもっと適切な人がいると思ったのでお断りしましたが、かねてよりまとまった文章にしたいと思っていたMLOpsについて書かせてくださいという話をしました。

いろいろと雑誌の方向性をお聞きする中で、人工知能学会の「私のブックマーク」という、あるトピックに関する論文よりは軽いサーベイ記事のことを思い出し、サーベイ＋それらを体系化ができればいいなと思いOKしました。

議論の中で「いろんなIT系技術書から1章ずつ選んできた解説記事の集まり」というコンセプトも出てきたのですが、わかりやすいなと思う反面1章が一番大変だったなぁ…というのを思い出しました。

2. 書く内容をぼんやり考える

記事募集の中でも言及されていたように、まずは以下の質問に自分で答えを作ります。

この記事を理解するために、読者が最低限できてほしいこと（〇〇は理解していてほしい、△△を使った経験がほしい、など）
この記事を読むと、どうなれるか（〇〇の論文が読めるようになる、△△を作れるようになる、□□で話ができるようになる、など）
この記事に対する執筆者自身の専門性（研究者である、職務で〇年間利用している、実装を開発した、など）
この記事に近い内容の既刊書や記事（可能なら参考文献とは別に）

この時点で、GitHubのprivateレポジトリをいただいていたので、issueにまとめていきました。

また、合わせて章立てやコンテンツを考えるためのMindmapを作りました。とはいえ、自分の知っているだけの情報で足りるかがわからないので、3の情報収集と並行してブラッシュアップしていました。

MLOpsの歩き方のマインドマップ

3. 下調べをする

MLOpsは産業界でボトムアップに動いている分野なので、まとまった論文になっているものはそこまで多くないのが現状です。ベースとなるGoogleのMLの技術的負債に関する論文や、すべての起点であるGoogleのTFX論文、それからFacebook, Uber, Airbnbなど各社の論文、スライドを改めて読み始めます。（なお、TFX論文は各社のML基盤に影響を与えているのでMLOpsに興味がある人は読むことをおすすめします）

文章の構造や論文やスライドはNotionを使ってメモしていきました。以下が、そのメモです。本文というところに初稿へのリンクもあります。

https://www.notion.so/Guide-book-for-MLOps-aab7579e4fe4496aa69f5675d989e64f

Notionの編集画面

Notionのいいところは、だらだらと1ページで書き始めて一部をくくりだしてsubページにしようと思う場合手軽にできるところです。

4. 初稿を書く

材料を揃えたら、あとは考えていた構成に合わせて書いていくだけです。とはいえ、サーベイ的な要素が強いので「どう体系化したらいいだろう」というのは手探りで整理をしていきました。ちょうど、年末年始という時間があったので、「年末進行失敗するとこうなるのか～」と思いながら書いていました。

まず目指したのは、鹿野さんの言うところの「内容をすべて書き出した」状態です。

「執筆・編集のためのGit（GitHub）ワークフローを考えてみた」より

ちなみに、初稿を書くのもNotionで書いてMarkdownでexportしました。iPad Proで原稿を書いたり、途中で調べたものの追加をPixel 3でやったりといろいろなデバイスや環境でやれるのが楽でした。

5. 編集に入っていただく

ざっと書き出して、自分の中で構造をある程度こねこねしたら、いよいよGitのcommitをしてGitHubでの編集に入ってもらいます。

とはいえ、この段階では事例紹介色が強く、課題と解決策の対応が弱いという不安を抱えながらpushしました。この不安はissueとPRをしていただきながら編集によって解消されたのですが、一人では解決できなかったと思います。

PRベースの編集の様子

著者である自分はコンテンツの足し算をしたがるのですが、編集者からは足すことはできないので、構造に手を入れたり引き算をすることで論旨を明確にするのだ、という話を聞いたときには目からウロコでした。

6. 上がってきたPDFをチェックする

紙とPDFでのですので、上がってきた原稿が体裁を整えた形のPDFになって受け取ります。これを最後にチェックして、ミスのチェックをします。いつも思うのが、MarkdownやRe:view, Sphinxなどが生成するPDFから商業用の体裁になると、中身がすごく良くなったように感じますね。

最後の修正を終えたら、著者としては原稿への作業は終了です。

7. 発売前に宣伝する

これはoptionalなのですが、発売前に自分たちが主催するMLCTというイベントがあったため、そこの主催者のお話のコーナーで宣伝させていただきました。

なお、そこで宣材用に草稿を渡していただいたのですが、表紙を見て初めて他の著者の方を知りぶったまげました。

記事を書いてみませんか？

技術書典のおかげで、技術系同人誌に対するハードルがとても下がったと思います。「n月刊ラムダノート」はテーマ設定がきちんとできれば、それに近い感覚でプロの編集を受けられるのは良いのではと思います。紙の力はまだまだ偉大で、職場などで物理で広まるというのは強力です。その恩恵を手軽に受けられるのも魅力でしょう。（在庫とか自分で管理したくないよね…）

ブログを書くより腰を据えて書きたいけど、本を一冊書くのはしんどいし時間もかかる。プロの編集の力も借りて、自分の頭の中にある情報をまとめて広めたい、そういう人には「n月刊ラムダノート」はピッタリの場所でしょう。

オライリーから「仕事ではじめる機械学習」が出版されます

Fri, 20 Oct 2017 03:19:18 +0900

技術書典2で好評だった技術書供養寺の薄い本が、この度技術書典3に合わせて商業誌になります！今回も Takashi Nishibayashiさんとところてんさんとの共著になります。と言っても、基本電子版のみなので技術書典会場では購入できませんし、手にとって見ていただくことが出来ませんのでお気をつけください。なお、自社イベントであるCloudera World Tokyo 2017でプリント・オン・デマンドで物理本を少部数限定で販売する予定です。

【追記】Ebookはこちらから買えます

【/追記】

【追記2】電子版大好評に付き2018年1月16日に物理版も出ました。Amazonさんで売り切れている場合は、お近くの本屋さんにお問い合わせください。

【/追記】

まえがきより

どういう本なの？

まえがきのスクリーンショットを貼りましたが、この本は多くの機械学習の本とは異なり、機械学習の実務で使えるようになるために知りたい、機械学習を含めたシステムのアーキテクチャや機械学習プロジェクトの進め方、効果検証をどうするのかということをまとめました。

めざすところのイメージ

既に多く刊行されているTensorFlowやChainerでディープラーニングをしてみようというものでもなければ、機械学習の理論をわかりやすく解説するといった類のものでもありません。ゼロから作るDeep LearningやCourseraのMachine Learningで学んだけど、実際の仕事に活かすにはどうしたら良いだろう？という疑問に答えているつもりです。また、大学の講義などで機械学習は学んだけど、実際仕事で機械学習のプロジェクトを進めるときはどうすればいいんだろう？という人にも得るものがあると思います。もちろん、敢えて数学の基礎には触れないなど、全てのことを網羅的に書けているわけではありませんが、僕やhagino3000さん、tokorotenさんたちの「業務をする上で身についた当たり前」をdumpした本になります。

hagino3000さんのA/Bテストの話はp値だけでなく検定力の話も含まれております、どういう罠があるかという気をつけるポイントも触れられています。

tokorotenさんのキックスターターの分析は、機械学習をする前の探索的分析とレポーティングの例としてとても面白いです。特に彼独特の語り口で、思考を追いかけるような気持ちで楽しめます。

【追記】

tomo_makesさんにわかりやすい図解をしていただきました。ありがとうございます！【/追記】

薄い本との差分は？

技術書典2で ”Big Mouth Data 2017 Spring” を購入いただいた皆様ありがとうございます。そんな皆様にも、新たに書き下ろしの章が増え、強力なレビューアー陣によるマサカリを反映した読みやすい文章などもう一度おすすめできる内容になったかと思います。

マサカリを投げきった人の感想

以下のような差分があります。

hagino3000さんによる、統計的検定と効果検証、A/Bテストの章を追加
tokorotenさんによるマーケティング施策への機械学習としてUplift Modelingの章の追加
chezouより機械学習の評価の章の追加
瀧澤さんによる日本語の大幅なimprove
美しいカラー図表

結局、ページ数としてはPDFで200ページ近くという思っていたより大きいボリュームになり、読み応えたっぷりになりました。

どこで買えるの？

オライリー・ジャパンのEbook Storeで10/22(日)買えるようになります。物理本については、11/7(火)のCloudera World Tokyoにお越しになっていただければ会場限定でPODのものが買えます。（サイン会も予定しています）

なお、同日販売の知人の書籍としては Yoshiki Shibukawaさんの「Goならわかるシステムプログラミング」とtk0miyaさんの「Sphinxをはじめよう」が出ます。とくにお二人には同人誌のときにSphinx方面でのサポートを絶賛していただきました。よければ合わせて読んでみてください。

Shibu’s Diary: ASCII.jpの連載「Goならわかるシステムプログラミング」がパワーアップして書籍化されます
_My blog about Software Development (Python, Sphinx, JavaScript, etc)_blog.shibu.jp

1章機械学習プロジェクトのはじめ方
- 1.1 機械学習はどのように使われるのか
- 1.2 機械学習プロジェクトの流れ
— 1.2.1 問題を定式化する
— 1.2.2 機械学習をしなくて良い方法を考える
— 1.2.3 システム設計を考える
— 1.2.4 アルゴリズムを選定する
— 1.2.5 特徴量、教師データとログの設計をする
— 1.2.6 前処理をする
— 1.2.7 学習・パラメータチューニング
— 1.2.8 システムに組み込む
- 1.3 実システムにおける機械学習の問題点への対処方法
— 1.3.1 人手でゴールドスタンダードを用意して、予測性能のモニタリングをする
— 1.3.2 予測モデルをモジュール化をしてアルゴリズムのA/Bテストができるようにする
— 1.3.3 モデルのバージョン管理をして、いつでも切り戻し可能にする
— 1.3.4 データ処理のパイプラインごと保存する
— 1.3.5 開発/本番環境の言語/フレームワークは揃える
- 1.4 機械学習を含めたシステムを成功させるには
- 1.5 この章のまとめ
2章機械学習で何ができる？
- 2.1 どのアルゴリズムを選ぶべきか？
- 2.2 分類
— 2.2.1 パーセプトロン
— 2.2.2 ロジスティック回帰
— 2.2.3 SVM
— 2.2.4 ニューラルネットワーク
— 2.2.5 k-NN
— 2.2.6 決定木、ランダムフォレスト、GBDT
- 2.3 回帰
— 2.3.1 線形回帰の仕組み
- 2.4 クラスタリング・次元削減
— 2.4.1 クラスタリング
— 2.4.2 次元削減
- 2.5 その他
— 2.5.1 推薦
— 2.5.2 異常検知
— 2.5.3 頻出パターンマイニング
— 2.5.4 強化学習
- 2.6 この章のまとめ
3章学習結果を評価しよう
- 3.1 分類の評価
— 3.1.1 正解率を使えば良いのか？
— 3.1.2 データ数の偏りを考慮する適合率と再現率
— 3.1.3 F値でバランスの良い性能を見る
— 3.1.4 混同行列を知る
— 3.1.5 多クラス分類の平均のとり方: マイクロ平均、マクロ平均
— 3.1.6 分類モデルを比較する
- 3.2 回帰の評価
— 3.2.1 平均二乗誤差
— 3.2.2 決定係数
- 3.3 機械学習を組み込んだシステムのA/Bテスト
- 3.4 この章のまとめ
**4章システムに機械学習を組み込む
**- 4.1 システムに機械学習を含める流れ
- 4.2 システム設計
— 4.2.1 混乱しやすい「バッチ処理」と「バッチ学習」
— 4.2.2 バッチ処理で学習＋予測結果をWebアプリケーションで直接算出する（リアルタイム処理で予測）
— 4.2.3 バッチ処理で学習＋予測結果をAPI経由で利用する（リアルタイム処理で予測）
— 4.2.4 バッチ処理で学習＋予測結果をDB経由で利用する（バッチ処理で予測）
— 4.2.5 リアルタイム処理で学習をする
— 4.2.6 各パターンのまとめ
- 4.3 ログ設計
— 4.3.1 特徴量や教師データに使いうる情報
— 4.3.2 ログを保持する場所
— 4.3.3 ログを設計する上での注意点
- 4.4 この章のまとめ
**5章学習のためのリソースを収集しよう
**- 5.1 学習のためのリソースの取得方法
- 5.2 公開されたデータセットやモデルを活用する
- 5.3 開発者自身が教師データを作る
- 5.4 同僚や友人などにデータ入力してもらう
- 5.5 クラウドソーシングを活用する
- 5.6 サービスに組み込み、ユーザに入力してもらう
- 5.7 この章のまとめ
**6章効果検証
**- 6.1 効果検証の概要
— 6.1.1 効果検証までの道程
— 6.1.2 オフラインで検証しにくいポイント
- 6.2 仮説検定の枠組み
— 6.2.1 コインは歪んでいるか
— 6.2.2 二群の母比率の差の検定
— 6.2.3 偽陽性と偽陰性
- 6.3 仮説検定の注意点
— 6.3.1 繰り返し検定をしてしまう
— 6.3.2 有意差とビジネスインパクト
— 6.3.3 複数の検定を同時に行う
- 6.4 因果効果の推定
— 6.4.1 ルービンの因果モデル
— 6.4.2 セレクションバイアス
— 6.4.3 ランダム化比較試験
— 6.4.4 過去との比較は難しい
- 6.5 A/Bテスト
— 6.5.1 2群の抽出と標本サイズ
— 6.5.2 A/Aテストによる均質さの確認
— 6.5.3 A/Bテストの仕組み作り
— 6.5.4 テストの終了
- 6.6 この章のまとめ

第II部

**7章映画の推薦システムをつくる
**- 7.1 シナリオ
— 7.1.1 推薦システムとは
— 7.1.2 応用シーン
- 7.2 推薦システムをもっと知ろう
— 7.2.1 データの設計と取得
— 7.2.2 明示的データと暗黙的データ
— 7.2.3 推薦システムのアルゴリズム
— 7.2.4 ユーザー間型協調フィルタリング
— 7.2.5 アイテム間型協調フィルタリング
— 7.2.6 モデルベース協調フィルタリング
— 7.2.7 内容ベースフィルタリング
— 7.2.8 協調フィルタリングと内容ベースフィルタリングの得手・不得手
— 7.2.9 評価尺度
- 7.3 MovieLensのデータの傾向を見る
- 7.4 推薦システムの実装
— 7.4.1 Factorization Machineを使った推薦
— 7.4.2 いよいよFactorizatoin Machineで学習する
— 7.4.3 ユーザーと映画以外のコンテキストも加える
- 7.5 この章のまとめ
**8章 Kickstarterの分析、機械学習を使わないという選択肢
**- 8.1 KickstarterのAPIを調査する
- 8.2 Kickstarterのクローラを作成する
- 8.3 JSONデータをCSVに変換する
- 8.4 Excelで軽く眺めてみる
- 8.5 ピボットテーブルでいろいろと眺めてみる
- 8.6 達成したのにキャンセルされたプロジェクトを見てみる
- 8.7 国別に見てみる
- 8.8 レポートを作る
- 8.9 今後行いたいこと
- 8.10 おわりに
**9章 Uplift Modelingによるマーケティング資源の効率化
**- 9.1 Uplift Modelingの四象限のセグメント
- 9.2 A/Bテストの拡張を通じたUplift Modelingの概要
- 9.3 Uplift Modelingのためのデータセット生成
- 9.4 2つの予測モデルを利用したUplift Modeling
- 9.5 Uplift Modellingの評価方法、AUUC
- 9.6 実践的な問題での活用
- 9.7 Uplift Modelingを本番投入するには
- 9.8 この章のまとめ
参考文献
あとがき