本番当日に使いたいツールの準備

[sora-ichigo]

ref. #1 (comment)
本番当日に使いたいツールの選定・準備を行う

https://nosukeru-nauts.hatenablog.com/entry/2021/08/28/213048 あたりの記事を参考にできそう。
雑にほしいもののメモ

• ALP
• Slow log
• continuos profiling 入れたい（or pprof みたいなやつ）
• エラー通知系
• New Relic みたいなやつ
• terraform
• swagger
• ↑ を全部自動でいい感じに設定するための仕組み（ansible）
  • https://www.scsk.jp/product/oss/tec_guide/ansible/1_ansible1_1.html

[sora-ichigo]

使用するツールたち

ALP

nginx のアクセスログ集計ツール。アクセスログを解析、フォーマット出力してくれる。
使い方例

pt-query-digest

MySQL スロークエリログの集計ツール。

使い方例

NetData

...

GCP Cloud Profiler

継続的プロファイリングツール。Cloud Profiler

使い方例

Stoplight Studio(OpenAPI)

Stoplight Studio
APIドキュメント管理ツール。

使い方例

Sentry

エラー監視ツール。

使い方例

Ansible

インフラ構成管理ツール。

使い方例

備考

• Webサーバ, DBサーバが nginx, MySQL以外の時のことを少し考えておいた方がいい？？
• Ansible をまだちゃんとわかってないけど 被AnsibleサーバのOS差異は気にしなくてもいいんだろうか？

[sora-ichigo]

ツールじゃないけど欲しいもの

いい感じの nginx.conf

いい感じの my.conf

[sora-ichigo]

Next action

• 軽く動かしてみる (この issue に使用感、ハマったことを書いておく)
  • ALP
  • pt-query-digest
  • GCP Cloud Profiler
  • Spotlight Studio
  • Sentry(Golang)
• ガッツリ触ってみる（動かし方、利用ログなど細かめにまとめておく）
  • Ansible
• conf ファイルを用意する
  • nginx
  • mysql

[sora-ichigo]

resource "aws_instance" "igsr5_gmo_practice_server" {
  ami                    = data.aws_ssm_parameter.amzn2_ami.value
  instance_type          = "t2.micro"
  key_name               = aws_key_pair.igsr5_gmo_practice_server.id
  subnet_id              = aws_subnet.igsr5_public_0.id
  vpc_security_group_ids = [module.http_sg.security_group_id, module.ssh_sg.security_group_id]
  tags = {
    Name = "igsr5-gmo-practice-server"
  }
  lifecycle {
    ignore_changes = [ami]
  }
}

実験用のインスタンスを立てたので、これで色々触ってみる

[sora-ichigo]

alp インストールスクリプト

#!/bin/sh

wget https://github.com/tkuchiki/alp/releases/download/v0.3.1/alp_linux_amd64.zip
unzip alp_linux_amd64.zip
sudo install ./alp /usr/local/bin

user www-data;
worker_processes 1;
pid /run/nginx.pid;
include /etc/nginx/modules-enabled/*.conf;

error_log  /var/log/nginx/error.log error;

events {
    worker_connections 1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    server_tokens off;
    sendfile on;
    tcp_nopush on;
    tcp_nodelay on;
    keepalive_timeout 120;
    client_max_body_size 10m;

    log_format ltsv "time:$time_local"
    "\thost:$remote_addr"
    "\tforwardedfor:$http_x_forwarded_for"
    "\treq:$request"
    "\tmethod:$request_method"
    "\turi:$request_uri"
    "\tstatus:$status"
    "\tsize:$body_bytes_sent"
    "\treferer:$http_referer"
    "\tua:$http_user_agent"
    "\treqtime:$request_time"
    "\truntime:$upstream_http_x_runtime"
    "\tapptime:$upstream_response_time"
    "\tcache:$upstream_http_x_cache"
    "\tvhost:$host";

    access_log  /var/log/nginx/access.log ltsv;

    # TLS configuration
    ssl_protocols TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers 'ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384';

    include conf.d/*.conf;
    include sites-enabled/*.conf;
        upstream app {
                server 127.0.0.1:8000;
        }

        server {
            listen 8080;

            location / {
                proxy_pass http://app;
                proxy_set_header Host $host;
            }
        }
}

isucon@ip-10-0-1-128:~/isucari$ bin/benchmarker -target-url="http://127.0.0.1:8080"
isucon@ip-10-0-1-128:~/isucari$ alp -f /var/log/nginx/access.log

[sora-ichigo]

pt-query-digest インストールスクリプト

#!/bin/sh

wget https://www.percona.com/downloads/percona-toolkit/2.2.17/deb/percona-toolkit_2.2.17-1.tar.gz
tar xf percona-toolkit_2.2.17-1.tar.gz
cd percona-toolkit-2.2.17
perl Makefile.PL && make && make install

↓をmy.cnfに追記 📝 うまく自動化したい（完成させた my.cnf を配置する方が良い？？）

[mysqld]
slow_query_log
slow_query_log-file = /var/log/mysql/mysql-slow.sql
long_query_time = 5

追記するパターン

#!/bin/sh
sudo  echo "[mysqld]
slow_query_log
slow_query_log-file = /var/log/mysql/mysql-slow.sql 
long_query_time = 5
" > /etc/mysql/my.cnf
sudo systemctl restart mysql

[sora-ichigo]

-rw-r----- 1 mysql mysql   5931 Mar  9 04:36 mysqld.log

mysql ユーザの権限になってるのがだるい（デフォルト？）

作業ユーザを mysql or sudo group に入れるのが良い？？

📝

sudo usermod -aG sudo isucon

[sora-ichigo]

自動化あんまりパッと出来る気がしないな

[sora-ichigo]

Cloud Profiler

いい感じに動いている。セットアップも簡単。

動かすまでにやることは主に二つ

1. サーバに GCP エージェントをセットアップ
2. アプリケーション実装にprofilerコードを仕込む, golangの例

1 のいい感じのセットアップ方法が自明じゃない。今回は手っ取り早く

gcloud auth application-default login

を使った

+@ 任意のインスタンス上でgcloudコマンドが使える状態にしなきゃいけない
https://cloud.google.com/sdk/docs/authorizing?hl=ja サービスアカウントを利用するのが良さそう。

サービスアカウントを作る&キーを発行

$ echo キー > jsonファイル
$ gcloud auth activate-service-account isucon9-qualify@cloud-profiler-golang-test.iam.gserviceaccount.com --key-file=gcp-service-account.json
Activated service account credentials for: [isucon9-qualify@cloud-profiler-golang-test.iam.gserviceaccount.com]
$ export GOOGLE_APPLICATION_CREDENTIALS=jsonファイルの場所

        cfg := profiler.Config{
                Service:        "cloud-profiler-golang-test",
                ProjectID:        "cloud-profiler-golang-test",
                ServiceVersion: "1.0.0",
        }
        if err := profiler.Start(cfg); err != nil {
                log.Fatalf("%#v", err)
        }

[sora-ichigo]

vs-code の remote-development も必須だ
ただし直でisuconユーザになるための ./ssh/authorized_keysの設定が必要

[sora-ichigo]

自動デプロイも必要か

[sora-ichigo]

• https://www.vektor-inc.co.jp/post/github-actions-deploy/
• https://qiita.com/shimataro999/items/b05a251c93fe6843cc16
  ISUCONでの自動デプロイに使えそう

[sora-ichigo]

NetData 的なやつも触りたい￥

→ https://www.netdata.cloud/