기본 콘텐츠로 건너뛰기

[Golang] Golang으로 MongoDB 연결하기

How to use MongoDB with Golang

이 문서에서는 아주 간단하게 Docker-compose를 이용해서 MongoDB를 구동하고 Golang을 통해서 연결하는 부분에 대해서 정리하고 있습니다.
환경은 맥북, VSCode, Golang, Docker 등이 이미 설치되어 있는 것을 기준으로 합니다.

간단한 MongoDB 정리

RDBMS와의 비교

RDBMS MongoDB
Database Database
Table Collection
Tuple/Row Document
Column Key/Field
Table Join Embedded Documents
Primary Key Primary Key (_id)

특징과 장/단점

주요 특징들은 다음과 같다.

  • Document-Oriented Storage : Database > Collections > Documents 구조로 Document는 key-value 형태의 BSON (Binary JSON)으로 되어 있다.

  • Full Index Support : 다양한 인덱싱을 제공한다.

    • Single Field Indexes : 기본적인 인덱스 타입
    • Compound Indexes : RDBMS의 복합 인덱스 타입
    • Multikey Indexes : Array에 매칭되는 값이 하나라도 있으면 인덱스에 추가하는 인덱스 타입
    • Geospatial Indexes and Queries : 위치기반 인덱스와 쿼리 지원
    • Text Indexes : String에 대한 인덱스 지원
    • Hashed Indexes : Btree 인덱스가 아닌 Hash 타입의 인덱스도 지원

  • Replication & High Availablity : 간단한 설정을 통해서 데이터 복제를 지원하므로 가용성이 향상된다.

  • Auto-Sharding : 자동으로 데이터를 분산해서 저장하며, 하나의 컬랙션처럼 사용할 수 있도록 수평적 확장 기능을 제공한다.

  • Querying (Document based query) : 필터링, 수집, 정렬, 정규표현식 등의 다양한 쿼리문 지원

  • Fast In-Place Updates : 고성능 atomic operation 지원

  • Map/Reduce : 맵리듀스 지원 (map과 reduce 함수의 조합을 통해서 분산/병렬 시스템 운용 지원, 하둡처럼 MR전용 시스템에 비해서는 성능이 떨어진다)

  • GridFS : 분산 파일 저장을 지원하기 때문에 실제 파일이 어디 저장되는지를 알 필요가 없으며 복구도 자동으로 지원된다.

  • Commerical Support : 10gen에서 관리

장점

데이터를 쌓아놓고 삭제가 필요없는 경우가 가장 적합하다. (ex. 로그 데이터 등)

  • Flexibility : Schema-less (or Schema-Free) 라서 어떤 형태의 데이터라도 저장이 가능하다.

  • Performance : Read & Write 성능이 뛰어나다.캐싱이나 많은 트래픽을 감당할때 사용해도 좋다.

  • Scalability : 기본적으로 Scale-out 구조를 채택해서 쉽게 운용이 가능하다. Auto-Sharding 지원

  • Deep Query Ability : 문서 지향적 Query Language를 사용해서 SQL만큼 강력한 Query성능을 제공한다.

  • Conversion / Mapping : JSON 형태로 저장 (실제는 BSON) 되기 때문에 직관적이고 개발이 편리하다.

단점

정합성이 요구되어 트랜잭션 관리가 필요한 경우는 부적합하다. (ex. 금융, 회계, 회원정보 등)

  • Join이 없다 : JOIN이 필요없도록 데이터의 구조를 잡아야 한다.

  • File 기반이다 : Memroy mapped file 기반의 파일 엔진 DB이며 메모리 관리를 OS에 의존한다. 따라서 메모리 의존성이 있으며 메모리 크기가 성능을 좌우한다.

  • SQL을 완전히 이관할 수 없다 : SQL을 그대로 이전할 수 없으며 맞도록 변환해야 한다.

  • BTree 성능 이슈가 있다 : 인덱스를 BTree 기반으로 하고 있으므로 크기가 커질수록 새로운 데이터를 입력하거나 삭제할 때 성능이 저하된다. 따라서 데이터를 넣어두고 조회만 하는데 적합하다.

메모리 관련 이슈

데이터를 저장할 때 논리적으로 메모리에 먼저 저장하고 일정 주기에 따라서 메모리 블럭들을 디스크로 출력하는데 이 부분을 OS의 의존하고 있다. 실제 메모리가 작아도 OS의 가상메모리 운영 방식에 따라서 운영된다.

이런 운영 구조 때문에 메모리에서 데이터 블럭을 참조할 때 없다면 "Page Fault" 오류가 발생하고, 이 상황에서 디스크에서 해당 블록을 찾아서 메모리에 로드하여 처리하게 된다. 이 과정에서 모자라는 메모리 때문에 다른 블럭을 디스크에 쓰고 제거한 후 필요한 블럭을 메모리로 올리는 작업이 처리되기 때문에 디스크 I/O가 발생하므로 성능 저하가 발생할 수 밖에는 없다.

따라서 메모리 크기가 성능을 좌우한다는 것은 Page Fault 오류의 발생 반도에 근거하고 있다고 보면 된다. 따라서 데이터 설계를 할 때 자주 사용되는 데이터가 메모리에 상주할 수 있도록 key 설계를 하는 것이 매우 중요하다. 또한 테이블을 풀 스캔하는 작업은 무조건 Page Fault를 발생시키게 되므로 이런 경우는 Index Table (Summary Table) 등을 만들어서 운영하는 것이 성능을 위한 방법이라고 할 수 있다.

주요 용어

Document

RDBMS의 Tuple / Row와 대응되는 개념으로 Key-Value 쌍으로 구성되며, Value에는 또 다른 document가 설정될 수도 있다. 동적 스키마를 가지고 있기 때문에 같은 Collection (Table) 안에 있는 Document끼리도 다른 스키마를 가질 수 있다. (Free Schema)

{ 
  "_id": ObjectId("5099803df3f4948bd2f98391"), 
  "username": "Morris", 
  "language": { 
    Nuxt: 3,
    Go: 3,
  } 
}

Primary Key

RDBMS의 Primary Key와 대응되는 개념으로 ObjectId는 12bytes의 16진수 값으로 각 Document의 유일성을 보장하는 역할을 담당한다.

  • 4bytes : Timestamp Data
  • 3bytes : Machine id Data
  • 2bytes : MongoDB 서버의 Process id Data
  • 3bytes : Sequenctial number Data

개념적으로는 RDBMS의 auto increment와 비슷한 개념으로 생각하면 될 듯 하다.

MongoDB에서 Collection에 저장된 각 Document들은 반드시 기본 키 역할을 담당하는 "_id" 라는 필드를 가져야 한다.

Collection

RDBMS의 Table에 대응되는 개념으로 Document의 그룹이며, Document들이 Collection 내부에 위치한다.

Database

RDBMS의 Database에 대응되는 개념으로 Collection들의 물리적인 컨테이너다. 따라서 각 Database는 물리적인 파일 시스템에 여러 개의 파일로 저장된다.

MongoDB 실행하기 (docker-compose)

MongoDB 자체를 실행하는 것은 그렇게 어렵지 않다. 아래와 같이 아주 단순한 docker-compose.yml을 구성하면 바로 구동된다.

version: "3.3"
services:
  mongodb:
    image: mongo:latest     # 사용할 Docker Image
    container_name: mongdb  # Docker Container 식별 명
    restart: always
    environment:
      MONGO_INITDB_DATABASE: "사용할 데이터베이스 명 설정"    # 정보만 존재하고 실제 데이터가 처리될 때 생성됨.
      MONGO_INITDB_ROOT_USERNAME: "root 사용자 설정"          # 최초 실행되서 DB 구성할 때 사용자 생성됨.
      MONGO_INITDB_ROOT_PASSWORD: "root 사용바 비밀번호 설정" # 최초 실행되서 DB 구성할 때 사용자 생성됨.
    volumes:
      - ./data/mongodb/:/data/db  # 로컬 경로를 컨테이너의 볼륨으로 연계
    ports:
      - "27017:27017"

위와 같이 구성하고 docker-compose.yml 파일이 존재하는 경로에서 아래의 명령으로 실행하면 된다.

$ docker-compose up

Background로 실행하는 방법


$ docker-compose up -d


로그 확인하는 방법


$ docker-compose logs

로그를 확인해 보면 중간에 root 계정을 생성하는 것을 확인할 수 있으며, 인증 모드로 동작하고 있는 것을 확인할 수 있다.

...
mongdb     | 2020-01-07T10:58:38.416+0000 I  INDEX    [conn2] index build: done building index user_1_db_1 on ns admin.system.users
mongdb     | Successfully added user: {
mongdb     |    "user" : "root",
mongdb     |    "roles" : [
mongdb     |            {
mongdb     |                    "role" : "root",
mongdb     |                    "db" : "admin"
mongdb     |            }
mongdb     |    ]
mongdb     | }
...
mongdb     | 2020-01-07T10:58:48.466+0000 I  CONTROL  [initandlisten] MongoDB starting : pid=1 port=27017 dbpath=/data/db 64-bit host=7531e03b8054
mongdb     | 2020-01-07T10:58:48.466+0000 I  CONTROL  [initandlisten] db version v4.2.2
mongdb     | 2020-01-07T10:58:48.466+0000 I  CONTROL  [initandlisten] git version: a0bbbff6ada159e19298d37946ac8dc4b497eadf
mongdb     | 2020-01-07T10:58:48.466+0000 I  CONTROL  [initandlisten] OpenSSL version: OpenSSL 1.1.1  11 Sep 2018
mongdb     | 2020-01-07T10:58:48.467+0000 I  CONTROL  [initandlisten] allocator: tcmalloc
mongdb     | 2020-01-07T10:58:48.467+0000 I  CONTROL  [initandlisten] modules: none
mongdb     | 2020-01-07T10:58:48.467+0000 I  CONTROL  [initandlisten] build environment:
mongdb     | 2020-01-07T10:58:48.468+0000 I  CONTROL  [initandlisten]     distmod: ubuntu1804
mongdb     | 2020-01-07T10:58:48.468+0000 I  CONTROL  [initandlisten]     distarch: x86_64
mongdb     | 2020-01-07T10:58:48.468+0000 I  CONTROL  [initandlisten]     target_arch: x86_64
mongdb     | 2020-01-07T10:58:48.468+0000 I  CONTROL  [initandlisten] options: { net: { bindIp: "*" }, security: { authorization: "enabled" } }

좀 더 많은 구성 옵션들과 실행과 관련된 스크립트들 (예를 들어 일반 사용자 추가 등)을 더 설정할 수 있지만, 여기서는 이 정도만 구성해도 충분하다.

Golang으로 연결하기

처음 Golang으로 연결하면서 여러 가지 정보들을 확인해 봤지만 Golang 버전에 따라서 Mongo Driver 들에 따라서 다양한 글들과 방법들이 나오지만 이런저런 오류들이 발생하면서 오히려 헷갈리는 상황들이 존재한다.

이 문서에는 Golang 버전의 MongoDB Official 격이라고 판단되는 mongo-go-driver를 기준으로 한다.

import 구성

아래의 코드는 mongodb driver의 go 라이브러리를 import 하는 것이다. 두 가지 방법 중에 무엇을 사용해도 상관없지만 코드 구성 후에 자동 import 처리되는 것을 확인해 보니

go.mongodb.org

로 사용되기 때문에 이를 기준으로 했다.

...
import (
  ...
  // 다른 소스들은 아래와 같이 처리하는 것도 많다.
  "github.com/mongodb/mongo-go-driver/bson"
  "github.com/mongodb/mongo-go-driver/bson/primitive"
  "github.com/mongodb/mongo-go-driver/mongo"
  "github.com/mongodb/mongo-go-driver/mongo/options"
  ...
  // 실제 코드는 CDN 격인 go.mongodb.org를 사용해서 처리했다.
  "go.mongodb.org/mongo-driver/bson"
  "go.mongodb.org/mongo-driver/bson/primitive"
  "go.mongodb.org/mongo-driver/mongo"
  "go.mongodb.org/mongo-driver/mongo/options"
)
...

클라이언트 연결과 검증 코드

구동 중인 mongodb가 authentication mode로 동작하고 있고, root 사용자만 만들어 놓은 상태기 때문에 이를 아래의 코드를 통해서 연결과 검증을 하면 된다.

...
// timeout 기반의 Context 생성
ctx, _ := context.WithTimeout(context.Background(), conf.Timeout)

// Authetication 처리를 위한 Client Option 구성 (docker-compose.yml에 구성한 port 기준)
clientOptions := options.Client().ApplyURI("mongodb://localhost:27017)
.SetAuth(options.Credential{
AuthSource: “”,   // 지금은 필요없음
Username: “docker-compose.yml에 지정한 사용자”,
Password: “docker-compose.yml에 지정한 사용자 비밀번호”,
})


// mongodb 연결
client, err := mongo.Connect(ctx, clientOptions)
if err != nil {
return nil, err
}


// 연결 검증
err = client.Ping(context.Background(), nil)
if err != nil {
return nil, err
}
…

클라이언트 옵션에 더 많은 구성들이 있지만 이 부분들은 mongodb 매뉴얼등을 검토해 보면서 적용하면 된다.

발생했던 문제점들

ApplyURI에 "mongodb://ID:PW@localhost:27017" 방식으로 구성할 때 오류

un-escaped character @ in user info 오류

위의 같은 오류 메시지는 ID나 PW에 @ 문자가 존재하는 경우에 직접 전달되면 발생하게 된다. 이를 해결하기 위해서는 "net/url" 패키지를 import 하고 아래와 같이 escape 처리를 해 줘야 한다.

option="linenos=inline,hl_lines=4 10" %}}
...
import (
  ...
  "net/url"
  ...
)
...
// getConnectionURI - Returns the connection URI from the configuration
func getConnectionURI(conf *Config) string {
    return "mongodb://" + url.QueryEscape(conf.UserName) + ":" + url.QueryEscape(conf.Password) + "@" + conf.Host + ":" + conf.Port + "/" + conf.DatabaseName
}
...

url.QueryEscape

함수를 이용해서 데이터에 존재하는 특수문자를 안전하게 인식될 수 있도록 변환해 주면 된다.

데이터 처리할 때 "(Unauthorized) command insert requires authentication" 오류

위에 언급했던 Authentication Mode로 구동되고 있는 mongodb에 인증을 처리하지 않고 Connection을 연결한 후 실제 데이터를 처리할 때 인증되지 않은 사용자로 인해서 발생하는 오류다. 이 경우는 위의 코드에서 보여진 것과 같이 인증을 한 Connection을 사용하면 오류가 해결된다.

Authentication 처리를 구성한 Client Option 사용한 연결

처리가 필요하다.

연결할 때 Authentication mechanism SCRAM-SHA-1 오류

이 오류는 mongodb의 인증 방식에 대한 문제로 위에서 보여준 연결 문자열을 사용해서 처리할 떄 발생하는 오류로 인증 방식이 맞지 않아서 발생하게 된다. 이 부분에 대해서는 MongoDB Manual - Authentication Mechanisms를 참고하면 된다.

제공되는 Authentication Mechanism은 다음과 같다.

  • SCRAM
  • X.509 Certificate Authentication
  • LDAP Proxy Authentication (Enterprise)
  • Kerberos Authentication (Enterprise)

표준 URI Connection Schema는 아래와 같다.

mongodb://[username:password@]host1[:port1][...hostN[:portN]][/[database][?options]]

위에서 보이는 것과 같이 여러 개의 host 연결 지정이 가능하고, 사용할 데이터베이스와 연결에 사용할 옵션들 지정이 가능하다.

옵션을 통해서 Authentication Mechanism을 지정할 수 있다. 자세한 내용은 Connection Options을 참고한다.

Connection String을 기준으로 각종 옵션을 적용해서 처리하는 것도 방법이지만 여러 가지 설정을 Configuration으로 처리하고 운영하기에는 Authenticated Client 를 사용하는 방식이 더 효율적인 것으로 판단된다.

참고 문서

태그

라벨:

댓글

댓글 쓰기

이 블로그의 인기 게시물

OData 에 대해서 알아보자.

얼마 전에 어떤 회사에 인터뷰를 하러 간 적이 있었다. 당시 그 회사는 자체 솔루션을 개발할 기술인력을 찾고 있었고 내부적으로 OData를 사용한다고 했다. 좀 창피한 이야기일 수도 있지만 나름 기술적인 부분에서는 많은 정보를 가지고 있다고 했던 것이 무색하게 OData란 단어를 그 회사 사장님에게서 처음 들었다. 작고, 단순한 사이트들만을 계속해서 작업을 하다 보니 어느덧 큰 줄기들을 잃어버린 것을 느끼기 시작했다. 명색이 개발이 좋고, 기술적인 기반을 만들려고 하는 인간이 단어조차도 모른다는 것은 있을 수 없는 것이라서 다시 새로운 단어들과 개념들을 알아보는 시간을 가지려고 한다. OData (Open Data Protocol) 란? 간단히 정리하면 웹 상에서 손쉽게 데이터를 조회하거나 수정할 수 있도록 주고 받는 웹(프로토콜)을 말한다. 서비스 제공자 입장에서는 웹으로 데이터를 제공하는 방식으로 각 포탈 사이트들이 제공하는 OPEN API 포맷을 독자적인 형식이 아니라 오픈된 공통규약으로 제공 가능하며, 개발자는 이 정보를 다양한 언어의 클라이언트 라이브러리로 어플리케이션에서 소비할 수 있도록 사용하면 된다. 공식 사이트는 www.odata.org 이며 많은 언어들을 지원하고 있다. 좀더 상세하게 정의를 해 보면 OData는 Atom Publishing Protocol  (RFC4287) 의 확장 형식이고 REST (REpresentational State Transfer) Protocol 이다. 따라서 웹 브라우저에서 OData 서비스로 노출된 데이터를 볼 수 있다. 그리고 AtomPub 의 확장이라고 했듯이 데이터의 조회만으로 한정되는 것이 아니라 CRUD 작업이 모두 가능하다. Example 웹 브라우저에서 http://services.odata.org/website/odata.svc 를 열어 보도록 하자. This XML file does not appear to have any style in...
댓글 6개
자세한 내용 보기

C# 에서 Timer 사용할 때 주의할 점.

예전에 알고 지내시던 분의 질문을 받았다. Windows Forms 개발을 하는데, 주기적 (대략 1분)으로 데이터 요청을 하는 프로그램을 작성하기 위해서 Timer 를 사용하는데, 어떤 기능을 처리해야 하기 때문에 Sleep 을 같이 사용했다고 한다. 여기서 발생하는 문제는 Sleep 5초를 주었더니, Timer 까지 5초 동안 멈춘다는 것이다. Timer 라는 것은 기본적으로 시간의 흐름을 측정하는 기능이기 때문에 Sleep 을 했다고 해서 Timer 가 멈추는 일은 생겨서는 안된다. 그러나 실제 샘플을 만들어 보면 ... Timer 가 Sleep 만큼 동작이 멈추는 것을 확인할 수 있다. Windows Forms 는 UI Thread 를 사용하는 것으로 최적화 되어 있으며 여기서 Timer 를 쓰면 UI Thread 에 최적화된 System.Windows.Forms.Timer 가 사용된다. 여기서 문제의 발생이 시작되는 것이다. Sleep 을 사용하게 되면 UI Thread 가 Sleep 이 걸리기 때문에 여기에 속한 Timer 까지도 멈추는 것이다. 이런 문제를 해결하기 위해서는 System.Threading.Timer 를 사용해야 한다. 이 Timer 는 별도의 Thread 에서 동작하기 때문에 Sleep 의 영향을 받지 않는다. 언뜻 보면 쉬운 해결 방법인 것 같지만 Thread 가 분리되었기 때문에 Timer 가 돌아가는 Thread 에서 UI Thread 의 메서드나 컨트롤에 접근하기 위해서는 별도의 명령을 사용해야 하는 문제가 존재한다. 자~ 그럼 여기서 Timer 에 대해서 다시 한번 정리해 보도록 하자. .NET 에서 제공하는 Timer 들 .NET 에서는 기본적으로 3가지 Timer를 제공하고 있다. (MSDN) System.Windows.Forms.Timer - 사용자가 지정한 간격마다 이벤트를 발생시키며 Windows Forms 응용 프로그램에서 사용할 수 있도록 최적화 되어 있다. System...
댓글 7개
자세한 내용 보기

[Logging] NLog 사용법 정리...

SCSF 에는 기본적으로 Enterprise Library가 사용된다. 예전에도 그랬지만 기능은 훌륭하고 많은 부분에서 최적화(?)된 것일지도 모르지만, 역시나 사용하기에는 뭔가 모르게 무겁고, 사용하지 않는 기능이 더 많다라는 느낌을 지울수가 없다. 이번 프로젝트도 SCSF를 기반으로 하고 있지만, Enterprise Library를 걷어내고 각 부분에 전문화된 오픈 소스를 사용하기로 하였다. 예전에는 Log4Net을 사용했지만, 대량 사용자 환경에서는 메모리 누수와 기타 문제점이 존재한다는 MS 컨설턴트(?)의 전해진 말을 들은 후로는 사용하지 않는다. 대안으로 사용하는 것이 NLog 이다. 조금 후에는 3.0 버전도 나온다고 홈 페이지에 기재되어 있지만, 그 때가 되면 프로젝트는 끝나기 때문에 현재 2.1.0 버전을 사용하기로 했다. [원본 출처] http://cloverink.net/most-useful-nlog-configurations-closed/ 위의 참조 자료에는 다양한 정보들이 존재하므로 꼭 링크를 통해서 관련된 정보를 확인하고 이해하는 것이 좋을 듯 하다. 여기서는 당장 필요한 부분만을 정리하도록 한다. [ Logger 찾기 ] 기본적으로 Logger가 존재하는 클래스를 기반으로 Logger 정보를 구성한다. Logger logger = LogManager.GetCurrentClassLogger(); 주로 Namespace 기반으로 Logger를 설정하는 경우에 유연하게 사용할 수 있다. 또 다른 방법으로는 지정한 문자열로 특정 Logger를 직접 선택하는 방법도 제공된다. 이를 혼용해서 Namespace와 직접 지정 방식을 같이 사용할 수도 있다. 물론 Logger 환경 설정에서 Wildcard (*)를 지정할 수도 있다. Logger logger = LogManager.GetLogger("Database.Connect"); Logger logger = LogManager.Get...
댓글 1개
자세한 내용 보기