[Golang] Golang으로 MongoDB 연결하기

<h1>How to use MongoDB with Golang</h1> <blockquote> <p>이 문서에서는 아주 간단하게 Docker-compose를 이용해서 MongoDB를 구동하고 Golang을 통해서 연결하는 부분에 대해서 정리하고 있습니다.<br />환경은 맥북, VSCode, Golang, Docker 등이 이미 설치되어 있는 것을 기준으로 합니다.</p> </blockquote> <h2>간단한 MongoDB 정리</h2> <h3>RDBMS와의 비교</h3> <table> <thead> <tr> <th align="left">RDBMS</th> <th align="left">MongoDB</th> </tr> </thead> <tbody> <tr> <td align="left">Database</td> <td align="left">Database</td> </tr> <tr> <td align="left">Table</td> <td align="left">Collection</td> </tr> <tr> <td align="left">Tuple/Row</td> <td align="left">Document</td> </tr> <tr> <td align="left">Column</td> <td align="left">Key/Field</td> </tr> <tr> <td align="left">Table Join</td> <td align="left">Embedded Documents</td> </tr> <tr> <td align="left">Primary Key</td> <td align="left">Primary Key (_id)</td> </tr> </tbody> </table> <h3>특징과 장/단점</h3> <p><b>주요 특징</b>들은 다음과 같다.</p> <ul> <li> <p><b>Document-Oriented Storage</b> : Database > Collections > Documents 구조로 Document는 key-value 형태의 <a href="http://bsonspec.org/">BSON (Binary JSON)</a>으로 되어 있다.</p> </li> <li> <p><b>Full Index Support</b> : 다양한 인덱싱을 제공한다.</p> <ul> <li><b>Single Field Indexes</b> : 기본적인 인덱스 타입</li> <li><b>Compound Indexes</b> : RDBMS의 복합 인덱스 타입</li> <li><b>Multikey Indexes</b> : Array에 매칭되는 값이 하나라도 있으면 인덱스에 추가하는 인덱스 타입</li> <li><b>Geospatial Indexes and Queries</b> : 위치기반 인덱스와 쿼리 지원</li> <li><b>Text Indexes</b> : String에 대한 인덱스 지원</li> <li><b>Hashed Indexes</b> : Btree 인덱스가 아닌 Hash 타입의 인덱스도 지원</li> </ul> </li> <li> <p><b>Replication & High Availablity</b> : 간단한 설정을 통해서 데이터 복제를 지원하므로 가용성이 향상된다.</p> </li> <li> <p><b>Auto-Sharding</b> : 자동으로 데이터를 분산해서 저장하며, 하나의 컬랙션처럼 사용할 수 있도록 수평적 확장 기능을 제공한다.</p> </li> <li> <p><b>Querying (Document based query)</b> : 필터링, 수집, 정렬, 정규표현식 등의 다양한 쿼리문 지원</p> </li> <li> <p><b>Fast In-Place Updates</b> : 고성능 atomic operation 지원</p> </li> <li> <p><b>Map/Reduce</b> : 맵리듀스 지원 (map과 reduce 함수의 조합을 통해서 분산/병렬 시스템 운용 지원, 하둡처럼 MR전용 시스템에 비해서는 성능이 떨어진다)</p> </li> <li> <p><b>GridFS</b> : 분산 파일 저장을 지원하기 때문에 실제 파일이 어디 저장되는지를 알 필요가 없으며 복구도 자동으로 지원된다.</p> </li> <li> <p><b>Commerical Support</b> : 10gen에서 관리</p> </li> </ul> <p><b>장점</b></p> <p>데이터를 쌓아놓고 삭제가 필요없는 경우가 가장 적합하다. (ex. 로그 데이터 등)</p> <ul> <li> <p><b>Flexibility</b> : Schema-less (or Schema-Free) 라서 어떤 형태의 데이터라도 저장이 가능하다.</p> </li> <li> <p><b>Performance</b> : Read & Write 성능이 뛰어나다.캐싱이나 많은 트래픽을 감당할때 사용해도 좋다.</p> </li> <li> <p><b>Scalability</b> : 기본적으로 Scale-out 구조를 채택해서 쉽게 운용이 가능하다. Auto-Sharding 지원</p> </li> <li> <p><b>Deep Query Ability</b> : 문서 지향적 Query Language를 사용해서 SQL만큼 강력한 Query성능을 제공한다.</p> </li> <li> <p><b>Conversion / Mapping</b> : JSON 형태로 저장 (실제는 BSON) 되기 때문에 직관적이고 개발이 편리하다.</p> </li> </ul> <p><b>단점</b></p> <p>정합성이 요구되어 트랜잭션 관리가 필요한 경우는 부적합하다. (ex. 금융, 회계, 회원정보 등)</p> <ul> <li> <p><b>Join이 없다</b> : JOIN이 필요없도록 데이터의 구조를 잡아야 한다.</p> </li> <li> <p><b>File 기반이다</b> : Memroy mapped file 기반의 파일 엔진 DB이며 메모리 관리를 OS에 의존한다. 따라서 메모리 의존성이 있으며 메모리 크기가 성능을 좌우한다.</p> </li> <li> <p><b>SQL을 완전히 이관할 수 없다</b> : SQL을 그대로 이전할 수 없으며 맞도록 변환해야 한다.</p> </li> <li> <p><b>BTree 성능 이슈가 있다</b> : 인덱스를 BTree 기반으로 하고 있으므로 크기가 커질수록 새로운 데이터를 입력하거나 삭제할 때 성능이 저하된다. 따라서 데이터를 넣어두고 조회만 하는데 적합하다.</p> </li> </ul> <h3>메모리 관련 이슈</h3> <p>데이터를 저장할 때 논리적으로 메모리에 먼저 저장하고 일정 주기에 따라서 메모리 블럭들을 디스크로 출력하는데 이 부분을 OS의 의존하고 있다. 실제 메모리가 작아도 OS의 가상메모리 운영 방식에 따라서 운영된다.</p> <p>이런 운영 구조 때문에 메모리에서 데이터 블럭을 참조할 때 없다면 "Page Fault" 오류가 발생하고, 이 상황에서 디스크에서 해당 블록을 찾아서 메모리에 로드하여 처리하게 된다. 이 과정에서 모자라는 메모리 때문에 다른 블럭을 디스크에 쓰고 제거한 후 필요한 블럭을 메모리로 올리는 작업이 처리되기 때문에 디스크 I/O가 발생하므로 성능 저하가 발생할 수 밖에는 없다.</p> <p>따라서 메모리 크기가 성능을 좌우한다는 것은 Page Fault 오류의 발생 반도에 근거하고 있다고 보면 된다. 따라서 데이터 설계를 할 때 자주 사용되는 데이터가 메모리에 상주할 수 있도록 key 설계를 하는 것이 매우 중요하다. 또한 테이블을 풀 스캔하는 작업은 무조건 Page Fault를 발생시키게 되므로 이런 경우는 Index Table (Summary Table) 등을 만들어서 운영하는 것이 성능을 위한 방법이라고 할 수 있다.</p> <h3>주요 용어</h3> <p><b>Document</b></p> <p>RDBMS의 Tuple / Row와 대응되는 개념으로 Key-Value 쌍으로 구성되며, Value에는 또 다른 document가 설정될 수도 있다. 동적 스키마를 가지고 있기 때문에 같은 Collection (Table) 안에 있는 Document끼리도 다른 스키마를 가질 수 있다. (Free Schema)</p> <pre class="clojure"><code>{ "_id": ObjectId("5099803df3f4948bd2f98391"), "username": "Morris", "language": { Nuxt: 3, Go: 3, } }</code></pre> <p><b>Primary Key</b></p> <p>RDBMS의 Primary Key와 대응되는 개념으로 ObjectId는 12bytes의 16진수 값으로 각 Document의 유일성을 보장하는 역할을 담당한다.</p> <ul> <li>4bytes : Timestamp Data</li> <li>3bytes : Machine id Data</li> <li>2bytes : MongoDB 서버의 Process id Data</li> <li>3bytes : Sequenctial number Data</li> </ul> <p>개념적으로는 RDBMS의 auto increment와 비슷한 개념으로 생각하면 될 듯 하다.</p> <blockquote> <p>MongoDB에서 Collection에 저장된 각 Document들은 반드시 기본 키 역할을 담당하는 <b>"_id"</b> 라는 필드를 가져야 한다.</p> </blockquote> <p><b>Collection</b></p> <p>RDBMS의 Table에 대응되는 개념으로 Document의 그룹이며, Document들이 Collection 내부에 위치한다.</p> <p><b>Database</b></p> <p>RDBMS의 Database에 대응되는 개념으로 Collection들의 물리적인 컨테이너다. 따라서 각 Database는 물리적인 파일 시스템에 여러 개의 파일로 저장된다.</p> <h2>MongoDB 실행하기 (docker-compose)</h2> <p>MongoDB 자체를 실행하는 것은 그렇게 어렵지 않다. 아래와 같이 아주 단순한 docker-compose.yml을 구성하면 바로 구동된다.</p> <pre class="dts"><code>version: "3.3" services: mongodb: image: mongo:latest # 사용할 Docker Image container_name: mongdb # Docker Container 식별 명 restart: always environment: MONGO_INITDB_DATABASE: "사용할 데이터베이스 명 설정" # 정보만 존재하고 실제 데이터가 처리될 때 생성됨. MONGO_INITDB_ROOT_USERNAME: "root 사용자 설정" # 최초 실행되서 DB 구성할 때 사용자 생성됨. MONGO_INITDB_ROOT_PASSWORD: "root 사용바 비밀번호 설정" # 최초 실행되서 DB 구성할 때 사용자 생성됨. volumes: - ./data/mongodb/:/data/db # 로컬 경로를 컨테이너의 볼륨으로 연계 ports: - "27017:27017"</code></pre> <p>위와 같이 구성하고 docker-compose.yml 파일이 존재하는 경로에서 아래의 명령으로 실행하면 된다.</p> <pre class="elixir"><code>$ docker-compose up # Background로 실행하는 방법 $ docker-compose up -d # 로그 확인하는 방법 $ docker-compose logs</code></pre> <p>로그를 확인해 보면 중간에 root 계정을 생성하는 것을 확인할 수 있으며, 인증 모드로 동작하고 있는 것을 확인할 수 있다.</p> <pre class="angelscript"><code>... mongdb | 2020-01-07T10:58:38.416+0000 I INDEX [conn2] index build: done building index user_1_db_1 on ns admin.system.users mongdb | Successfully added user: { mongdb | "user" : "root", mongdb | "roles" : [ mongdb | { mongdb | "role" : "root", mongdb | "db" : "admin" mongdb | } mongdb | ] mongdb | } ... mongdb | 2020-01-07T10:58:48.466+0000 I CONTROL [initandlisten] MongoDB starting : pid=1 port=27017 dbpath=/data/db 64-bit host=7531e03b8054 mongdb | 2020-01-07T10:58:48.466+0000 I CONTROL [initandlisten] db version v4.2.2 mongdb | 2020-01-07T10:58:48.466+0000 I CONTROL [initandlisten] git version: a0bbbff6ada159e19298d37946ac8dc4b497eadf mongdb | 2020-01-07T10:58:48.466+0000 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.1.1 11 Sep 2018 mongdb | 2020-01-07T10:58:48.467+0000 I CONTROL [initandlisten] allocator: tcmalloc mongdb | 2020-01-07T10:58:48.467+0000 I CONTROL [initandlisten] modules: none mongdb | 2020-01-07T10:58:48.467+0000 I CONTROL [initandlisten] build environment: mongdb | 2020-01-07T10:58:48.468+0000 I CONTROL [initandlisten] distmod: ubuntu1804 mongdb | 2020-01-07T10:58:48.468+0000 I CONTROL [initandlisten] distarch: x86_64 mongdb | 2020-01-07T10:58:48.468+0000 I CONTROL [initandlisten] target_arch: x86_64 mongdb | 2020-01-07T10:58:48.468+0000 I CONTROL [initandlisten] options: { net: { bindIp: "*" }, security: { authorization: "enabled" } }</code></pre> <p>좀 더 많은 구성 옵션들과 실행과 관련된 스크립트들 (예를 들어 일반 사용자 추가 등)을 더 설정할 수 있지만, 여기서는 이 정도만 구성해도 충분하다.</p> <h2>Golang으로 연결하기</h2> <p>처음 Golang으로 연결하면서 여러 가지 정보들을 확인해 봤지만 Golang 버전에 따라서 Mongo Driver 들에 따라서 다양한 글들과 방법들이 나오지만 이런저런 오류들이 발생하면서 오히려 헷갈리는 상황들이 존재한다.</p> <p>이 문서에는 Golang 버전의 MongoDB Official 격이라고 판단되는 <a href="https://github.com/mongodb/mongo-go-driver">mongo-go-driver</a>를 기준으로 한다.</p> <h3>import 구성</h3> <p>아래의 코드는 mongodb driver의 go 라이브러리를 import 하는 것이다. 두 가지 방법 중에 무엇을 사용해도 상관없지만 코드 구성 후에 자동 import 처리되는 것을 확인해 보니</p> <p><span style="color: red;">go.mongodb.org</span></p> <p>로 사용되기 때문에 이를 기준으로 했다.</p> <pre class="lasso"><code>... import ( ... // 다른 소스들은 아래와 같이 처리하는 것도 많다. "github.com/mongodb/mongo-go-driver/bson" "github.com/mongodb/mongo-go-driver/bson/primitive" "github.com/mongodb/mongo-go-driver/mongo" "github.com/mongodb/mongo-go-driver/mongo/options" ... // 실제 코드는 CDN 격인 go.mongodb.org를 사용해서 처리했다. "go.mongodb.org/mongo-driver/bson" "go.mongodb.org/mongo-driver/bson/primitive" "go.mongodb.org/mongo-driver/mongo" "go.mongodb.org/mongo-driver/mongo/options" ) ...</code></pre> <h3>클라이언트 연결과 검증 코드</h3> <p>구동 중인 mongodb가 authentication mode로 동작하고 있고, root 사용자만 만들어 놓은 상태기 때문에 이를 아래의 코드를 통해서 연결과 검증을 하면 된다.</p> <pre class="stata"><code>... // timeout 기반의 Context 생성 ctx, _ := context.WithTimeout(context.Background(), conf.Timeout) // Authetication 처리를 위한 Client Option 구성 (docker-compose.yml에 구성한 port 기준) clientOptions := options.Client().ApplyURI("mongodb://localhost:27017) .SetAuth(options.Credential{ AuthSource: "", // 지금은 필요없음 Username: "docker-compose.yml에 지정한 사용자", Password: "docker-compose.yml에 지정한 사용자 비밀번호", }) // mongodb 연결 client, err := mongo.Connect(ctx, clientOptions) if err != nil { return nil, err } // 연결 검증 err = client.Ping(context.Background(), nil) if err != nil { return nil, err } ...</code></pre> <p>클라이언트 옵션에 더 많은 구성들이 있지만 이 부분들은 mongodb 매뉴얼등을 검토해 보면서 적용하면 된다.</p> <h2>발생했던 문제점들</h2> <h3><b>ApplyURI에 "mongodb://ID:PW@localhost:27017" 방식으로 구성할 때 오류</b></h3> <blockquote> <p>un-escaped character @ in user info 오류</p> </blockquote> <p>위의 같은 오류 메시지는 ID나 PW에 <b>@</b> 문자가 존재하는 경우에 직접 전달되면 발생하게 된다. 이를 해결하기 위해서는 <code>"net/url"</code> 패키지를 import 하고 아래와 같이 escape 처리를 해 줘야 한다.</p> <pre class="lasso"><code>option="linenos=inline,hl_lines=4 10" %}} ... import ( ... "net/url" ... ) ... // getConnectionURI - Returns the connection URI from the configuration func getConnectionURI(conf *Config) string { return "mongodb://" + url.QueryEscape(conf.UserName) + ":" + url.QueryEscape(conf.Password) + "@" + conf.Host + ":" + conf.Port + "/" + conf.DatabaseName } ...</code></pre> <p><span style="color: red;">url.QueryEscape</span></p> <p>함수를 이용해서 데이터에 존재하는 특수문자를 안전하게 인식될 수 있도록 변환해 주면 된다.</p> <h3>데이터 처리할 때 <b>"(Unauthorized) command insert requires authentication" 오류</b></h3> <p>위에 언급했던 Authentication Mode로 구동되고 있는 mongodb에 인증을 처리하지 않고 Connection을 연결한 후 실제 데이터를 처리할 때 인증되지 않은 사용자로 인해서 발생하는 오류다. 이 경우는 위의 코드에서 보여진 것과 같이 인증을 한 Connection을 사용하면 오류가 해결된다.</p> <blockquote><span style="color: red;">Authentication 처리를 구성한 Client Option 사용한 연결</span> <p>처리가 필요하다.</p> </blockquote> <h3>연결할 때 <b>Authentication mechanism SCRAM-SHA-1 오류</b></h3> <p>이 오류는 mongodb의 인증 방식에 대한 문제로 위에서 보여준 <b>연결 문자열을 사용해서 처리</b>할 떄 발생하는 오류로 인증 방식이 맞지 않아서 발생하게 된다. 이 부분에 대해서는 <a href="http://www.mongoing.com/docs/core/authentication-mechanisms.html">MongoDB Manual - Authentication Mechanisms</a>를 참고하면 된다.</p> <p>제공되는 Authentication Mechanism은 다음과 같다.</p> <ul> <li>SCRAM</li> <li>X.509 Certificate Authentication</li> <li>LDAP Proxy Authentication (Enterprise)</li> <li>Kerberos Authentication (Enterprise)</li> </ul> <p>표준 URI Connection Schema는 아래와 같다.</p> <blockquote> <p>mongodb://[username:password@]host1[:port1][...hostN[:portN]][/[database][?options]]</p> </blockquote> <p>위에서 보이는 것과 같이 여러 개의 host 연결 지정이 가능하고, 사용할 데이터베이스와 연결에 사용할 옵션들 지정이 가능하다.</p> <p>옵션을 통해서 Authentication Mechanism을 지정할 수 있다. 자세한 내용은 <a href="https://docs.mongodb.com/manual/reference/connection-string/#connections-connection-options">Connection Options</a>을 참고한다.</p> <blockquote> <p>Connection String을 기준으로 각종 옵션을 적용해서 처리하는 것도 방법이지만 여러 가지 설정을 Configuration으로 처리하고 운영하기에는 Authenticated Client 를 사용하는 방식이 더 효율적인 것으로 판단된다.</p> </blockquote> <h2>참고 문서</h2> <ul> <li><a href="http://bcho.tistory.com/746">MongoDB Physical 데이터 저장 구조</a></li> <li><a href="https://docs.mongodb.com/manual/">MongDB - Document</a></li> <li><a href="https://junhobaik.github.io/mongodb-basic-crud/">MongoDB 기초 - CRUD 명령어</a></li> <li><a href="https://siyoon210.tistory.com/130">SQL vs NoSQL (MySQL vs. MongoDB)</a></li> </ul>