emahiro's ProgrammingBlog

勉強記録と書評とたまに長めの呟きを書きます

GoのtimeのFormat表記方法でハマったこと

GolangUnixタイムをISO8601形式に変換したいということがあって、実際に返還する際にFormatの指定の仕方でかなりハマりました。

こういった方の記事を参考にしたらすぐわかったのですが、

GO言語での日付処理

そもそもGoで時刻表記をするときにちょっとクセがあるのでメモとしてまとめてます。

GAE上では必ずUTC

最初にローカルで time を使ったときはJSTだったのですが、GAE上で動かしたときは自動的にUTCになってしまうので、JSTに変換しなければならない、というところでハマりました。
TimeZone動向の話ではないんですね。

なので日本時間に合わせます。

import time

func main () {

    var (
        location := time.FixedZone("Asia/Tokyo", 9*60*60)
        now := func() time.Time { return time.Now().In(location) }
    )

    fmt.Printf("%v", now.Format(time.RFC3339))

}

独特なフォーマットの表記方法

日本時間への変更でも記述してありますが、goで指定した形式への変換は time.Format を使います。
ここで、RFC3339 ではなく、明示的にISO8601形式に変えます。

通常の言語であれば、年をY、月をMみたいに形式が決まっています。 なので、goでも同じことしようとしたらgoでは明示的に 2000-01-01T01:00:00+09:00 みたいに書式の結果で形式を指定します。 そこで試しに、表示させたい形式を適当に作ってみたところ。

now := time.Now()
fmt.Printf("%s", now.Format("2000-01-01T01:00:00+09:00"))

// 7074-09-78T77:79:14+07:00 ????

なんかよくわからない形式になってて、変換が失敗している…

ここでどうして変換したい書式を指定してもうまくいかないのか結構ハマりました。

結論としては goでのtimeのformat変換では使える文字が決まっている っていうことになります。

どういうことかというとgoのTimeパッケージのドキュメントを見るとかいてありました。
time - The Go Programming Language

変換したいフォーマットで使えるのは年なら Y ではなく 2006 みたいな感じです。

now := time.Now()
fmt.Printf("%s", now.Format("2006-01-02T15:04:05+09:00"))
// 2017-7-12T22:24:43+09:00

ちゃんと変換できました。

※ ISO8601形式で +09:00 と表記する形式は標準パッケージには用意されてなかったので、自前で書いてます。

このフォーマットの一覧はtimeパッケージの format.goの中に書いてます。

const (
        ANSIC       = "Mon Jan _2 15:04:05 2006"
        UnixDate    = "Mon Jan _2 15:04:05 MST 2006"
        RubyDate    = "Mon Jan 02 15:04:05 -0700 2006"
        RFC822      = "02 Jan 06 15:04 MST"
        RFC822Z     = "02 Jan 06 15:04 -0700" // RFC822 with numeric zone
        RFC850      = "Monday, 02-Jan-06 15:04:05 MST"
        RFC1123     = "Mon, 02 Jan 2006 15:04:05 MST"
        RFC1123Z    = "Mon, 02 Jan 2006 15:04:05 -0700" // RFC1123 with numeric zone
        RFC3339     = "2006-01-02T15:04:05Z07:00"
        RFC3339Nano = "2006-01-02T15:04:05.999999999Z07:00"
        Kitchen     = "3:04PM"
        // Handy time stamps.
        Stamp      = "Jan _2 15:04:05"
        StampMilli = "Jan _2 15:04:05.000"
        StampMicro = "Jan _2 15:04:05.000000"
        StampNano  = "Jan _2 15:04:05.000000000"
)

Goのsliceで重複を削除する

重複削除処理を実装する

ruby でいうところの uniq メソッドみたいなものが golang の slice にもないのかと思って調べてみたけどないらしいので、重複のある slice に対して独自に処理を実装しなければ行けない。

go は非常にシンプルでLL言語をずっと書いていたエンジニアとしては覚えることが比較的少なく、静的型付けされていて安全で、高速という点で有用なツールだと思うけど、シンプルすぎる反面、LL言語ならデフォルトのAPIやメソッドとして提供されていそうな処理が実装されてなかったりすることが多い。。。

LL言語の処理をブラックボックス化してしまうことに比べれば、いいことのように感じる一方で、これくらい用意しておいてよ~的な感想もしばしば(笑)

というわけで go における slice の重複削除の実装方法を調べてみた。

方法

  1. mapを使う
  2. mapと空のstructを使う

map を使う方法

make(map[string]int) or make(map[string]bool) のようにkeyに配列の要素をおいて値を適当にintやboolをぶち込みます。

arr := [string]{"a", "b", "c", "a"}
m := make(map[string]bool)
uniq := [] string{}

for _, ele := range arr {
    if !m[ele] {
        m[ele] = true
        uniq = append(uniq, ele)
    }
}

fmt.Printf("%v", uniq) // ["a", "b", "c"]

どういうことかというと、重複キーがあるので、同様のキーを持つmapの場合は新しく値を上書きしない。
ここの処理で言うところの m["a"] = true は一度目はこれが呼ばれるけど、二度目はすでに true なので if句の中に入ってず、resultに a が二度入ることがない。
こんな感じでmapにboolをいれることで重複を削除する方法はgoでは一般的です。

空のstructとの合わせ技

だいたいのユースケースにおいてintかboolをぶち込む方法で事足りる前提で付け足しですが、空のstructを使っても同じことができます。
実際に出会う機会があるかはわかりませんが、メモリ的にきついめの状況があるかもしれず、intやboolでいちいちメモリ空間とってられん、的な状況があるかもしれません。(ないかもしれません)

arr := [string]{"a", "b", "c", "a"}
m := make(map[string]struct{}) // 空のstructを使う

for _, ele := range arr {
    m[ele] = struct{}{} // m["a"] = struct{}{} が二度目は同じものとみなされて重複が消える。
}

uniq := [] string{}
for i := range m {
    uniq := append(uniq, i)
}

fmt.Printf("%v", uniq) // ["a", "b", "c"]

loopを二度使わなければなりませんが、intやboolようにメモリを確保しなくていいので省メモリで実装できます。 struct{}{} はgoで出て来るお作法みないなもので、valueに意味はないよっていうこと表します。

Goでシェルを実行するCLIToolを書く

goで外部コマンド(デフォルトのコマンドやshellスクリプト)を実行するCLIツールを作ったのでその触りをまとめます。
内容は、goでCLIツール書く時の実装方法について。

やったこと

  1. shellスクリプトを外部コマンドとして叩く
  2. goの os/exec パッケージを利用してコマンドをひたすら記述していく

参考 Golangで外部コマンドを実行する方法まとめ

ディレクトリ構成

-- 
 |- app.go
 |- test.sh

shellスクリプトを外部コマンドとして叩く

使ったシェルスクリプトはとりあえず Hello を表示するだけ

#!bin/shell
echo "Hello"

goのスクリプトこち

package main

import (
    "fmt"
    "os"
    "os/exec"
)

func main() {
    // カレントディレクトリを移動
    os.Chdir("./cmds")
    // コマンドを実行 .(ピリオド)は使えずにちゃんと sh コマンドを使う
    out, err := exec.Command("sh", "./test.sh").Output()
    if err != nil {
        fmt.Println(err.Error())
        os.Exit(1)
    }
    fmt.Println(string(out))
}

実行結果

$ go run app.go
Hello

できた。

パッケージを利用してコマンドをひたすら記述していく

使用パッケージ: os/exec

外部コマンド実行に際してとく使うインターフェイス

  1. exec.Command(cmd, args).Run() 結果を出力せずに実行。戻り値はerror
  2. exec.Command(cmd, args).Output() 実行結果で何かしら出力される場合はこちら。戻り値はoutput結果([]byte型)とerror
package main

import (
  "fmt"
  "os.exec"
)

func main(){
out, err := exec.Command("ls", "-la").Output()
  if err != nil {
    fmt.Println(err.Error())
    os.Exit(1)
  }
}

引数が複数ある時

git add XXXX 等など…

この場合、exec.Command(cmd, args) のargs に git 以下を入れるんですが、argsはslice型で取らないければなりません。 そこで git を例に取るならば add XXXX がargsの中身なり、これはargsは配列でする必要がある。

import (
  // 追加
  "strings"
)

func main (){
  // スペースごとに区切って配列化
  args := Strings.Filelds("add XXXX") // => ["add", "XXXX"]
  out, err := exec.Command("git", args...).Output() 
  if err != nil {
    fmt.Println(err.Error())
    os.Exit(1)
  }
  fmt.Pringln(string(out))

}

exec.Command は第一引数にコマンドを取り、それ以外は第2引数に入れなければならない。

goで実際にコマンドをつらつら書きながら進める場合、上記実装のようにひたすらコマンドの実行と成功の可否(outputとエラー内容)を愚直に確認しながら書いていきます。
もし処理が止まったら必ずexitしましょう。

goからshを呼ぶのはただたんにshellを書いているだけ。むしろそちらよりもgoにコマンドを実行してもらう方法の方がgoでCLIツールを書くには向いているような気がする。

【fish】CLI上で利用する変数を保持する

fishでのお話。

ターミナル上で特定の文字列を変数にセットして使う方法

$ set x (ls) | echo $x
# 当該ディレクトリ上で ls した内容を出力する

set x (何か出力をともなうコマンド) とすると () 内で実行されたコマンドの出力結果を x に格納する。

セットした変数をコマンドとして実行する

sample:

$ set x "pwd"; and echo $x
pwd # 文字列をそのまま出力するだけでは文字列化された `pwd` コマンドは実行されない
$ set x "pwd"; and eval $x
~/PROJECT_ROOT # 出力された

eval コマンドを実行すると文字列化されたコマンドを入れた変数をコマンドとして実行する。

fishでのevalの設定方法

fish を使っていて、 eval の設定方法がわからなかったので調べました。

参考
eval command in config.fish

# evalの設定方法
# bashrc での rbenv の設定
# eval "$(rbenv init -)" と同様のことを書きたい時
eval (rbenv init - | source)

# その他の書き方
# eval () ← zshやbashで言うところの $ を付けない
# source () 直に指定

などなど

rubyでオブジェクトの持つメソッドを探索する

ユースケース

オブジェクトの中に意図するプロパティを取り出せるのかを確かめる方法に、オブジェクトが持つメソッドを調査するという方法があります。
rubyではjsonオブジェクトのプロパティもメソッドとして取り出せるので、プロパティ not found エラーが発生してプログラムの処理が中断してしまわないか予め調べておくことができたら便利です。

Obj.methods.grep(regexp) を使用する。

例えばある特定のAPIを叩いて返ってきたレスポンスオブジェウトのプロパティを調べるという動作を想定します。

response.methods.grep(/任意のメソッド名 or プロパティ名/)

grepメソッドを使って正規表現で調べればいとするメソッドを調査できます。
methods で全てのメソッドを取り出さずとも、特定のメソッド(プロパティ)を取り出すことが可能。

※ 上記サンプルでは前方後方一致を使っています。

これは rails console でも使えるので、api叩いて、ちゃんと想定するレスポンスの型になっているかを事前に調査できるので便利だと思う。

githubのユーザーネームを変更した話

ユーザーネームを変更しようと思った背景

もともとのgithubのユーザーネームは ememhr っていうのを使っていたのですが、これ、前職で会社用のgithub.comを作るために、もともと作っていた個人用のgithubとは別にとったもので、インターネット周りでは全てのユーザーネームを emahiro で統一しているので、どうしても座りが悪いと感じていました。

もともと ememhr で作成したアカウントはそこまで運用していくつもりはなかったのですが、気づくと会社用で作ったアカウントがメインのアカウントとして稼働してしまっていて、もともと個人でもっていたアカウントは使わなくなってしまってました。
githubのアカウントが2つあるのも変な話なので、古いアカウントを削除して、空いたユーザーネームに変更しました。

変更に際して考えられた懸念点

  1. 今まで ememhr で作っていたリポジトリへのアクセス
  2. ローカル環境での古いユーザー名で作ったリポジトリ
  3. Organizationのアカウントのアクセスについて
  4. githubユーザーのリンクを表示しているサイトのリンクの変更

の4つが懸念点として考えられました。

参考

Changing your GitHub username
What happens when I change my username?

githubの公式のヘルプページを参照

変更方法

  1. Settingへ移動
    f:id:ema_hiro:20170518013042p:plain
  2. Account ▷ Change username を選択
    f:id:ema_hiro:20170518013100p:plain
  3. 警告を食らう
    f:id:ema_hiro:20170518013134p:plain

  4. 古いプロフィールページにはリダイレクトしないよ

  5. 古いユーザー名で作成したPage(github page)にはリダイレクトしないよ
  6. リポジトリは新しいユーザー名でリダイレクトするよ ← すご!!
  7. ちょっと時間かかるよ

ってことが書いてある。

なので問題なくユーザー名を変更します。

この時点で懸念点だった1はクリア。
変更後もOrganizationのアカウントには問題なくアクセスできました。 また、旧ユーザー名でリンクを貼っていたサイトもwantedlyとlinkedinとqiitaくらいだったので、この時点ではそこまで問題にならず。

んで最後のローカルのリポジトリについてですが、個人的に開発したものについてはほとんど更新する必要もなかったので、ほっといても良かったのですが、とりあえず地道に1つずつ新しいユーザー名でのURLに変更

# まず globalのユーザーネームを変更する
$ git config --global user.name 'emahiro'

# 変更したいリポジトリで
$ git remote -v  
origin https://github.com/ememehr/(repository_name).git (fetch)
origin https://github.com/ememehr/(repository_name).git (push)

# 新しいユーザーネームの形に変更
$ git remote set-url origin git@github.com:emahiro/(repository_name).git 

これでOK。

※1 もともとhttpで設定していたのに、ssh経由に変えた理由は ※2 リポジトリを一つ一つremote先を変更するのはめんどくさいですが、このためにリポジトリを断捨離しておいて良かったです。たまに、githubにあげておいてもしょうがないようなリポジトリは掃除しておくのもいいかもしれません。

  1. sshの方が容量が大きくてもpushできる
  2. httpでアクセスした時にusernameとpasswordを聞かれたが新しいのに変更してもうまく行かなかったので、ssh形式に変更することで対応。

これでかねてより取りたかったusernameでgithub生活を送れるようになりました。