Windows Azure 상의 Hadoop 월요일, 2월 04, 2013 <p> </p> <h2><a name="_Toc347593107">Introduction to Hadoop on Windows Azure</a></h2> <p>Apache Hadoop 기반의 Azure 서비스는 클라우드 상에 클러스터들을 준비하고 배포하는 서비스로 빅 데이터를 관리하고, 분석하고, 결과를 리포팅하기 위해 설계된 프레임워크를 제공한다. <p>“빅 데이터”는 점점 더 빠른 속도로 커지고 있는 데이터 볼륨이며, 구조화되지 않은 형식과 다양한 의미적인 변수들을 가지는 것을 의미한다. 빅 데이터 컬렉션 자체가 기업에 의미를 가지는 것은 아니며, 의미를 가지기 위해서는 다양한 소스들로부터 수집되고, 다양하게 조합되고, 정제되고, 분석되고, 액세스가 가능하도록 지능적이고, 통찰력이 있는 형식으로 제공되어야 한다. <p>Apache Hadoop 는 빅 데이터를 관리하고 분석하기 위한 장치들을 가지는 프레임워크로 HDFS (Hadoop Distributed File System) 로 신뢰할 수 있는 저장소를 제공하는 것이 가장 중요한 기능이며, 저장된 데이터를 병렬로 처리하고 분석하기 위한 간단한 MapReduce프로그램 모델을 제공하고 있다. HDFS는 높은 가용성을 가지는 시스템으로 하드웨어 오류 문제를 해결하기 위해서 데이터 복제 기능을 사용하고 있다. <p>다양한 소스로부터 비 정형화 데이터를 분석하는데 발생하는 분석의 복잡성을 단순화 시키기 위해서 MapReduce 프로그램 모델은 Map 과 작업의 경감을 위한 추상화를 제공한다. 모든 데이터를 Key-Value 의 집합으로 계산할 수 있는 모든 방법이 가능하도록 지원하므로 입력과 출력이 되는 파일은 모두 Key-Value 쌍의 데이터 집합이어야 한다. 그리고 Pig 와 Hive 와 같은 Hadoop 과 연계된 다른 프로젝트들은 HDFS 와 MapReduce 를 기반으로 구성되어 있고, 이런 데이터들에 대한 warehousing 과 mining 뿐만 아니라 질의나 데이터의 흐름 제어와 같은 기능들에 대한 높은 추상화를 제공하고 있다. 물론 End to End 관리도 제공하고 있다. <p>클라우드 서비스로서 Azure 에서 Hadoop을 구현하는 것은 HDFS/MapReduce 프레임워크를 쉽게, 보다 확장성 있게, 비용 효율적으로 구성할 수 있다. Hadoop 작업을 구성하고, 실행하고, 클러스터들에 배포하는데 필요한 자바스크립트와 Hive 콘솔을 제공하고 있다. 이렇게 단순화된 자바스크립트 접근 방식은 IT 전문가들과 개발자 그룹들이 Hadoop 프레임워크에 접근하는 경로를 제공함으로써 빅 데이터를 관리하고 분석하는 것을 단순화 시켜 준다. <p>게다가 Hadoop 과 연계되는 생태계 프로젝트들 (echo systems) 은 Excel, SQL Server Analysis/Reporting Services 등과 같은 BI 툴과 통합될 수 있도록 ODBC 드라이버들을 제공함으로써 단순화된 End to End 데이터 분석이 가능하도록 지원하고 있다. <p>여기서는 다음과 같은 Windows Azure 에서 Hadoop ecosystem 에 대해서 알아보고, 실제 사용할 수 있는 시나리오들과 포탈을 둘러보는 것을 정리한다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj8hVqXc1XXcZoZrh_xT_ZODVXPiQNKCrYeUZY4CWySS-CpEvMT9IFEb45GhbVOItWda5U6xJoFwbD25KzDNcWKoge4yYyMAkBT3GBkwLaMKspxELxM3R_A3fNHX8tPg9040Q-deiluBLPR/s1600-h/clip_image001%25255B57%25255D.gif"><img alt="clip_image001" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjnP6FuJ944DE9aLIqgjoYdT5nBfQ7O7J-aQVb9kQprCxhPBoaRrsy-gVqyqz3EX1iwb-3wNsnobnAgNK5OAGtaoX2I10Bb2iiLFB_AyY967JNpF7hampNwOOHzDBW8SoldUoUW7GsgyEbr/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001" width="12"></a> <b>Big Data Volume, Velocity, Variety and Variability</b> – 빅 데이터의 품질은 기존의 RDBMS 보다는 Hadoop 과 같은 NoSQL 시스템으로 관리하는 것이 보다 적합하다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEggYGRtjO7jg6I60aItfIvq8gH_snZ2qiBpDw9_yvHLoHb_jPGxJb0cMk62USqDNBwR5ynADBzWpztg5PO4TlYb_Lnj2ombsHb1O8uEHiR8RAAUquo5BvExncIxhL4EZFB2SPxkOn6ISPbA/s1600-h/clip_image001%25255B1%25255D%25255B2%25255D.gif"><img alt="clip_image001[1]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiivjfXmZ0j9fJLmf9Iaeh4JjoEjjL_DZA4W7p18ZKudDIfFQr9rqkuhchfzmEfiW76WPlKGWlOq2zmo4YsAA25Ro0eHNbFv6UOmt4yqi0JoBeuuIpbWl2iC2khmpEors6iJ6wtA3wvaav7/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[1]" width="12"></a> <b>The Hadoop Ecosystem on Windows Azure </b>– Windows Azure 에서의 Hadoop 은 Pig, Hive, Mahout, Pegasus, Sqoop, Flume 들을 구현하고 있고, HDFS 와 MapReduce 프레임워크와 통합된 Excel, SQL Server Analysis/Reporting Services 등의 BI 도구도 제공하고 있다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjobWoksZp4f8Q1XGR7PQcnyYeLbS1u76RCD7njsEsjmHkqLijCLwE2tpC4Xs4MrFm6x_mbsJRJRGLWoyIqnnLSdXSxkIyeqX1tub29qCsI-nEoqNll5cXnqniey3tcJT55owvhMMXtgFZc/s1600-h/clip_image001%25255B2%25255D%25255B2%25255D.gif"><img alt="clip_image001[2]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjY27qQF0po0JvW3MZproO30S9BTWXR2pQ5W5wFXe2bQyw-1x9H9yjEQYdn9wqbkJ2X67WOW8HrZbqwP6PXkb4Z5-LWTk6JEov002wsEy2SOxh_V4SBCfMfFFRti1EI0L7_Gz4MBWQOt6Y1/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[2]" width="12"></a> <b>Big Data Scenarios for Hadoop on Windows Azure</b> – Windows Azure 에서 Hadoop을 사용하는 접근 방법들의 시나리오를 제공하고 있다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiFDwkZ10TPo31S-r2a1k-asUMP2mlSYPWFocl6Wce4ekufIlnO6PZbzQlhMjAQeJjY-QOoRK-1Xh5zBapxjN9Hpxuu3pqoFGb80dUXpREKdeaKoMt18XubdZLtgVIbjgZb34VKbOaH5FAt/s1600-h/clip_image001%25255B3%25255D%25255B2%25255D.gif"><img alt="clip_image001[3]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiuH1SCpdYibsREtdelygaemY0khyj_lm6APhHr-Vw0xjufBmRF0d-ZAQN3PA21TdtuM4BcImpsd1jlQUbbeG_s9zZMxk7C60H68JA8YiX6NGhHtw2arkUipWXQ5KroZW6LskSA8tRFGrXF/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[3]" width="12"></a> <b>Getting started with Microsoft Hadoop on Windows Azure </b>–CTP (Community Technology Preview) 버전을 제공하고, Azure Portal 에 대한 Apache Hadoop 기반의 서비스들을 제공한다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiacRwkNGFPyqCdy-OaQgaL9tZUxCA3cwY2H1CPVYdhxY626UBHntibSiWIES2U1jP6wo2H6oHbVJIng7hRl3W7llprg-DbhVT94pA-2fTpBrqPCnnWTyYH4zwxDDAvYqc4jjPOfQOAMda4/s1600-h/clip_image001%25255B4%25255D%25255B2%25255D.gif"><img alt="clip_image001[4]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgLy2-Y0Hc21pNvBY_T4k-9MKcrl_4okzdF-a7hrd5Y6FsyBQCHc32NxJ_srm_bcxS7RwbkfM3Ja-Edvj5ZRAgLTN4jASbW3xzN6JTeODy_-E-0-Tpqtkr4j7YJ7rmO4_7gQHWA7T4WUPsK/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[4]" width="12"></a> <b>Tour of the Portal </b>– 클러스터들에 대한 배포, 계정관리, 실행되는 샘플들, 상호작용이 가능한 자바스크립트 콘솔들을 제공하고 있다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgxL8q_yVAyWhtUNS8sSNAK3beJenj-1l0Cvhp6h6OYF7P1Mv8rE7ukhK9hpSoFpuRq7iHMhymSOYrw3AG8VVKyrwTIkDiY44eXuocgLpn5WNt8ID_UvGfTde7-WRMryZcoSb1bhfiXecXV/s1600-h/clip_image001%25255B5%25255D%25255B2%25255D.gif"><img alt="clip_image001[5]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiin3x4v4Mpbq0shvGz4czFHJQamiNsT0Xh1uG0qKWJ1DfaHIONepLAIHn2iYJbfHvenPCkZBhf_U_c__44pgcDww9o7YWM04yatpxFTf_q2IJiDRJsUNF9aUgTkh6bfADpcqaA89DMS-0h/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[5]" width="12"></a> <b>Resources for Hadoop on Windows Azure </b>– Azure 에서의 Hadoop에 대한 추가적인 정보나 리소스들을 제공하고 있다. <p> <h2><a name="_Toc347593108"><b>Big Data : Volume, velocity, Variety and Variability</b></a><b></b></h2> <p>기존의 RDBMS 구조로는 빅 데이터를 관리하거나 처리할 수 없다. 그 이유는 데이터의 볼륨이 너무 크거나 또는 데이터가 누적되는 속도가 너무 빠르거나 또는 데이터 구조가 비 정형으로 다양하고 의미적인 변동성이 크기 때문이다. <p><a name="_Toc347593109"><b>Volume</b></a><b></b> <p>Hadoop 빅 데이터 솔루션은 두 가지 동향에 따른 것으로 첫 번째는 최근 20년간 HDD 의 용량이 극적으로 증가를 했다는 것과 웹 사이트들과 새로운 장치와 인터넷을 기반으로 하는 새로운 세대에 의해서 방대한 데이터가 생성되고 있으며, 모든 사용자의 온라인 행동이 자동화된 추적으로 저장되는 것이고, 두 번째는 이렇게 큰 용량의 디스크에 데이터를 쓰고 읽기 위한 액세스 속도가 따라잡지 못하고 있다는 점이다. <p>이런 네트워크의 병목 현상을 해결하기 위한 것은 두 가지 주요한 기능이 존재한다. 첫 번째는 여러 곳에 분산된 디스크를 병렬로 처리할 수 있는 분산 구조를 HDFS 로 지원하는 것이고, 두 번째는 가능하면 로컬에 데이터를 접근할 수 있도록 데이터가 저장된 노드로 연산이 요구되는 데이터 처리를 이동시키는 것이다. 향상된 MapReduce 성능은 데이터 지역성으로 알려진 이런 디자인 원칙에 좌우된다. 이런 아이디어는 프로그램으로 데이터를 이동시키는 것이 아니라 데이터가 있는 곳에 프로그램을 이동시켜서 대역폭을 절약하는 것으로 결과적으로는 데이터 세트의 선형적 증가를 MapReduce 프로그램 모델이 확장하는 것과 같다. 데이터 처리 볼륨에 따라서 비례적으로 클러스터의 크기를 증가시키면 동일한 시간에 작업의 실행들을 증가시키거나 감소시킬 수 있다. <p><a name="_Toc347593110"><b>Velocity</b></a><b></b> <p>데이터가 조직에 유용하게 되는 비율은 앞에서 이야기한 것과 같이 데이터 볼륨의 증가를 따르는 경향이 있으며, 이런 데이터들은 전자 상거래에서 소비자가 클릭을 처리하여 쌓이는 로그와 페이스 북이나 트위터와 같은 SNS 에 의해서 주도되고 있다. 스마트폰과 태블릿 장치의 확산은 온라인 데이터의 생성을 촉발하였다. 그리고 온라인 게임과 과학 장비들은 기존의 RDBMS 가 극복할 수 없는 속도로 데이터를 생성함으로써 상업과 게임 활동에 경쟁적인 우위를 확보하기 위해서는 빠른 응답뿐만 아니라 빠른 데이터의 분석이 필요한 상황이 전개되었기 때문에 이렇게 빠르게 생성되고 거대한 데이터들에 긴밀하게 반응할 수 있는 NoSQL이 필요하며, 빠른 저장 및 검색에 최적화된 Hadoop 과 같은 시스템에 대한 접근이 필요하게 된다. <p><a name="_Toc347593111"><b>Variety</b></a><b></b> <p>이렇게 생성된 데이터들은 혼란스러운 상태이며, 기존의 RDBMS 에서 관리할 수 있는 정형적인 구조를 제공하지 않는 형태이다. 예를 들어 SNS 데이터의 경우는 텍스트 기반의 비 정형 데이터이며, 시간이 지나면서 형식이 계속 바뀔 수가 있다. 이런 비 정형 데이터 종류들은 정확한 스키마를 요구하지 않고, 수신한 데이터에 대해서 효율적인 구조를 제공할 수 있는 Hadoop 과 같은 유연한 NoSQL 시스템들이 필요하다. 비 정형 데이터를 정제하는 것은 어플리케이션에서 사용될 비정형 데이터를 요구하는 처리부분에서는 중요한 부분이다. 깨끗하고 양질의 데이터를 보다 쉽게 사용하기 위해서는 데이터 시장에서 경쟁과 특화된 서비스의 제공이 필요하다. <p><a name="_Toc347593112"><b>Variability</b></a><b></b> <p>빅 데이터를 해석하는 부분에도 큰 이슈가 발생할 수 있다. 다양성은 광범위한 변화 가능성이 있는 것들을 참조하는 경향이 있는 경우에 적용될 수 있다. 가장 적합한 의미 있는 맥락을 찾는 데 있어서 비 정형 데이터를 해석하는 것은 분석에 있어서 상당한 복잡성을 발생시킬 수 있다. <p> <h2><a name="_Toc347593113"><b>Hadoop ecosystem on Windows Azure</b></a><b></b></h2> <p>Azure 에서 Hadoop 은 빅 데이터를 처리하는 MS 의 클라우드 기반 솔루션을 구현하는 프레임워크를 제공한다. Hadoop ecosystem 은 병렬처리 기능들, 다른 HDFS 구조의 최적화, MapReduce 프로그래밍 모델 등을 활용하여 빅 데이터를 분석하고 관리한다. <p>아래의 그림은 Hadoop Echosystem 의 일부 가능한 구성을 나타낸 것으로 각 기술 요소들을 다음과 같다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEghK3ioByi_emF5FcezJ7aYXkfqvl8eIBbwGqEiFN02zkw2YKjGGM_zt5ZbClFGFWlHpUDbOOvCbusZgshyHZBE3EvLtmxxN23t4MlFfKbNnFXiKTaiUyfC36LPCCrRwYa2ptIKs-jM07uy/s1600-h/image%25255B4%25255D.png"><img alt="image" border="0" height="276" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgEXmGwFtUWGQdg_48oYt8VDNZG2lxCbfuCB0fxXHP7CS3WY__fJiLIonPumh2EPn1TV93S0UMEcrpwMN-W6GW6HivjOi6emWyiP40KAoYejiv1BJhDc-3yxNJo7kfd8XXjQJH0qlHvTOHb/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="image" width="526"></a> <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh254BgpmisbnHguUbAs0oA2O3A4P8mimwBltyJm698nupnDKo8Umgsotu7WTFJyZB_RbgmS2oRCCj2e1_K0PKJ8sQ8g5iMPsNL5XCHdoqNNbfLj7n1QjTlYptWJ7k02P20nvs4OjoxNoLI/s1600-h/clip_image001%25255B6%25255D%25255B2%25255D.gif"><img alt="clip_image001[6]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiucgh3vDgqhtY4ZXT9gEkXK7Mr0MiEgU8TR6yYgFDFCoEcDEnXMLOAVf9usGuHWEqziMQMhvZMMH2o26OJk5ZcOO5Onp0HbPtc4Cg7q2gfDcMSCkJqWgYQ9R7dEl8PYw_ILTJQ7slRksIE/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[6]" width="12"></a> Sqoop, Flume – HDFS 와 통합되어 연관된 데이터 (From RDBMS) 와 로그 데이터 저장을 제공한다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjMLHPhC_YjGO5HF2e0-lRHWwiCxnWAV-6zTriD-ExlNbYqpAg9HfHGj_yBqNunM7moJUlTZB5y0GaiS-u8ESbsf4-S8-uCBTMSEGcIRTpP5pNPvrWtxqYCXWA4tDNFyf4jJTW6CsMi1__T/s1600-h/clip_image001%25255B7%25255D%25255B2%25255D.gif"><img alt="clip_image001[7]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiJn0oGsqWgIPzd0RJfwCNZ95cnGem6essLD3YnaAb5Ez4lFPZINpMXt_M8rFT8FdFplpCAq_co0PNagH6IHvrxGUXoJYImeydBmNUM_krDyE07GFByS-4C2X-z1VET3ikbJ259hfk0PXz_/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[7]" width="12"></a> Hive, Pig – 데이터 처리 와 Warehousing 능력들을 제공한다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjPYBihVBYHcwIozGHL9KoJpLi9um4-p0fZQ3BTvFfepXIWqObu9wt5ChOKpmPeiw_-vdIuxlximbhXMnluw6-bz5CO4lpDL56ymZ-JaXfJkHgeVqJquwOOTHOBjO2x0J8ukVUKsHBKhRKn/s1600-h/clip_image001%25255B8%25255D%25255B2%25255D.gif"><img alt="clip_image001[8]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEith8vZmdvGeqysKWDG5NS288fo_lntDmnTSOsaS0-Zx6OyJMhG9vkFPEx_gIU9UIJnX4DjbLlX2KUVwkTvu7Db3Shu8uGx0IoqXKOONvVK5IqOtTc4Hr9h9JXnmCTI0qcAlPIFquUPifKO/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[8]" width="12"></a> Pegasus – Graph – Mining 능력들을 제공한다. <p>MS 빅 데이터 솔루션은 SQL Server Analysis/Reporting Services, PowerPivot, Excel 등의 BI 도구들과 통합되어 있다. 이제 각 Echosystem 들에 대해서 개략적인 내용을 알아보도록 하자. <p><a name="_Toc347593114"><b>Pig (Data Flow </b></a><b>에</b><b> </b><b>강점</b><b>)</b><b></b> <p>Pig 는 Hadoop 클러스터들에서 빅 데이터를 처리하는 고급 추상화 플랫폼이며, 데이터 흐름 언어들로 구성되어 있다. 이 언어는 Pig Latin 이라고 불리며 큰 데이터 세트에 대한 질의들을 작성할 수 있고 콘솔을 통해서 수행환경을 제공하고 있다. Pig Latin 프로그램은 MapReduce 프로그램으로 전달할 데이터 세트의 변환들로 구성되어 있다. MapReduce에 비해서 풍부한 데이터 구조들에 대한 추상성을 제공하고 있기 때문에 RDBMS 에 대해서 SQL을 사용하는 것과 같이 Hadoop에 대해서 작업을 수행할 수 있다. 그리고 Pig Latin 은 Java, Python, C#, Javascript 등으로 사용자 정의 함수들 (UDFs)을 작성하여 확장이 가능하다. 추가적인 설명은 <a href="http://pig.apache.org/">여기</a>를 참고하도록 한다. <p><a name="_Toc347593115"><b>Hive (SQL Like</b></a><b>에</b><b> </b><b>강점</b><b>)</b><b></b> <p>Hive 는 HDFS 에 저장되는 데이터를 관리하는 분산 데이터 저장소 (Warehouse) 이며 Hadoop 질의 엔진으로 사용되고 있다. Hive 는 SQL 과 같이 인터페이스와 관계형 데이터 모델을 제공하는 강력한 SQL 기술들과 분석을 제공한다. Hive 는 HiveQL 로 불리는 언어를 사용하고, Pig 와 같이 높은 수준의 추상성을 제공하여 MapReduce 작업에 변환된 질의를 처리한다. Hive 는 다른 도구들에 비해서 구조화된 데이터를 사용하는 RDBMS 에 개념적으로 가까운 시나리오를 제공한다. 따라서 비 정형 데이터에는 Pig를 사용하는 것이 더 좋은 선택이다. Azure 의 Hadoop은 Hive에 대한 ODBC Driver를 포함하고 있기 때문에 Excel 과 같은 BI 도구에서 실 시간으로 접근이 가능하다. 추가적인 설명은 <a href="http://hive.apache.org/">여기</a>를 참고하도록 한다. <p><a name="_Toc347593116"><b>Mahout</b></a><b></b> <p>Mahout 는 단어 그대로 코끼리를 다루는 사람이라는 의미를 가진다. Hadoop 의 로고가 코끼리인 것을 볼 때 Hadoop 프레임워크 기반에 구현된 오픈 소스라는 것을 알 수 있다. Mahout 가 추구하는 것은 기계 학습 라이브러리를 만들기 위한 것으로 MapReduce 패러다임, 클러스터링에 대한 알고리즘, 분류화, 배치기반의 협업 필터 등을 사용하고 있다. Mahout 를 어디에 사용하는 것일까? 빅 데이터 처리에서 중요한 부분은 데이터를 어떻게 모으고, 어떻게 분류하고, 어떻게 조합하여 의미 있는 데이터를 찾아낼지에 대한 것이다. 그런데 정작 엄청난 데이터를 모았다고 해도 이를 직접 관리자가 분류하고, 의미 있는 데이터를 추천하거나 나누는 것은 거의 불가능에 가깝다. 개인적인 생각이기는 하지만 이런 작업을 좀 더 용이하고, 자동화하기 위한 것으로 Mahout 를 이용한 기계학습을 활용할 수 있을 것이라고 본다. 더 자세한 부분은 <a href="http://mahout.apache.org/">여기</a>를 참고하도록 한다. <p><a name="_Toc347593117"><b>Pegasus</b></a><b></b> <p>Pegasus 는 Hadoop 기반에서 동작하는 Peta – Scale 그래프 마이닝 시스템이다. 그래프 마이닝은 어떤 패턴이나 규칙이나 그래프의 특성들을 찾아서 데이터를 모으는 작업을 의미한다. 여기서 말하는 그래프라는 것은 집합 내에 존재하는 두 개의 개체들 사이에 존재하는 연결 개체의 집합을 말하는 것으로 이런 형식의 특징은 웹, 컴퓨터, SNS 등에 연계된 링크를 가지는 페이지 등 네트워크 상에 어디든지 존재할 수 있으며, 생물학적 이며 물리적인 시스템들을 포함한다. 빅 데이터의 처리 관점에서 보면 Pegasus는 병렬처리를 통해서 연계된 개체들을 파악하고 데이터를 모으는 부분에 적용될 수 있을 듯 하다. 더 자세한 부분은 <a href="http://www.cs.cmu.edu/~pegasus/">여기</a>를 참고하도록 한다. <p><a name="_Toc347593118"><b>Scoop</b></a><b></b> <p>SQL 이나 다른 정형화된 데이터 저장소등과 같은 관계형 데이터베이스와 Hadoop 간의 데이터를 에 가능하면 효율적으로 데이터를 이동하는 툴로서 외부의 정형화된 데이터 저장소들에서 데이터를 가져와서 HDFS 나 Hive 에 입력해 주는 용도 또는 Hadoop 으로 부터 데이터를 추출하여 외부의 관계형 데이터베이스나 엔터프라이즈 Data warehouse, 또는 다른 형식의 정형화된 데이터 저장소에 저장하는 용도로 사용한다. 더 자세한 부분은 <a href="http://sqoop.apache.org/">여기</a>를 참고 하도록 한다. <p><a name="_Toc347593119"><b>Flume</b></a><b></b> <p>Flume 은 효율적으로 데이터를 수집하고, 통합하고 대량의 로그 데이터를 HDFS 로 이동하는 분산되고 신뢰성있는 서비스라고 보면 된다. Flume 의 아키텍처는 연속적인 데이터의 흐름에 기반하고 있으며 장애조치 및 복구 체계를 신뢰할 수 있도록 조정하는 강력한 시스템을 제공하고 있다. 그리고 분석을 위한 온라인 어플리케이션이 가능하도록 확장할 수 있는 단순한 확장 데이터 모델을 제공하고 있다. 더 자세한 부분은 <a href="http://incubator.apache.org/flume/">여기</a>를 참고 하도록 한다. <p><a name="_Toc347593120"><b>Business Intelligence Tools</b></a><b></b> <p>Excel, PowerPivot, <a href="http://www.microsoft.com/sqlserver/en/us/solutions-technologies/business-intelligence/SQL-Server-2012-analysis-services.aspx">SQL Server Analysis Services</a>, <a href="http://www.microsoft.com/sqlserver/en/us/solutions-technologies/business-intelligence/SQL-Server-2012-reporting-services.aspx">Reporting Services</a> 들과 같은 친숙한 BI 툴 들은 데이터를 추출하고 분석하고 리포트를 생성하는데 ODBC 드라이버를 이용하여 Azure 상의 Hadoop 과 통합되어 있다.Excel 에 대한 Hive ODBC 드라이버와 Add-In 은 Hadoop on Windows Azure Portal 에서 다운로드가 가능하다. 사용방법은 <a href="http://social.technet.microsoft.com/wiki/contents/articles/6226.how-to-connect-excel-to-hadoop-on-azure-via-hiveodbc-en-us.aspx">How to connect excel to Hadoop on Windows Azure via HiveODBC</a>를 참고하도록 한다. <p> <h2><a name="_Toc347593121"><b>Big data scenarios for Hadoop on Windows Azure</b></a><b></b></h2> <p>Hadoop on Windows Azure 에서 빅 데이터 사례로 제시하는 시나리오는 자주 업데이트가 필요하지 않은 Azure 상의 모든 노드들에 저장된 전체 비 정형 데이터들을 배치 방식으로 특별한 분석을 처리하는 것이다. 이런 조건들은 비즈니스, 과학, 정부 등에서 광범위하고 다양한 활동 등에 적용할 수 있다. 예를 들면 공급 체인들에 대한 모니터링, 금융에 있어서의 의심스러운 거래 패턴들, 공공 서비스나 도구들에 대한 요청 패턴들, 환경 센서들을 통한 물과 공기의 품질들, 도시에서의 범죄 패턴들을 들 수 있다. <p>Hadoop 은 생성된 이후로 빈번한 갱신이 요구되지 않은 로깅되거나 보관된 대량의 데이터를 자주 읽어 전체적인 분석을 수행하는 경우에 가장 적합하다. 이 시나리오는 Petabytes 단위가 아닌 더 작은 Gigabytes 단위의 데이터를 요구하는 RDBMS 에 의해서 처리되는 것 보다는 좀 더 적합하고 지속적인 업데이트가 발생하고 전체 데이터 세트에서 특정한 데이터 포인트들을 조회하는 경우에 효과적이다. 고정된 구조에 저장되고 조직화된 정형 데이터를 처리하는 경우는 RDBMS 가 훨씬 더 최적화되어 있다. 이에 반해서 MapReduce는 처리 시점에 데이터를 직접 해석하기 때문에 정해진 구조가 없는 비 정형 데이터의 처리에 적합하다. <p> <h2><b>Getting started with Microsoft Hadoop on Windows Azure</b><b></b></h2> <p><a name="_Toc347593123"><b>The Hadoop on Windows Azure CTP</b></a><b></b> <p>현재 Windows Azure 의 Hadoop 서비스는 CTP (Community Technical Preview) 의 초대 기능을 통해서만 사용할 수 있다. CTP의 목적은 Hadoop 기반 서비스의 테스트를 위한 것으로 좀더 친숙해지고 피드백을 필요로 하는 것으로 액세스 권한을 얻기 위해서는 아래와 같이 절차를 따라야 한다. <p><a name="_Toc347593124"><b>The portal used by Apache Hadoop – based services for Windows Azure</b></a><b></b> <p>Azure 상에 구현된 Hadoop 의 구현체는 Portal 에서 새로운 Apache Hadoop 클러스터들을 생성하는 것으로, 클러스터들은 Portal 에 임시적으로 생성이 되고 몇 일 후에는 기간 만료가 된다. 최종 만료 6시간 전에 만료 기간을 확장할 수 있도록 제공되며, 클러스터들에서는 클러스터에 존재하는 데이터나 다른 장소에 존재하는 데이터 처리를 수행한다. 대상 데이터들은 Azure 계정에 연계된 곳에 있거나 FTP 등을 통해서 클러스터로 전송된 것들이다. <p>이런 임시적인 클러스터를 사용하는 장점은 MapReduce 의 병렬 처리 작업을 수행하는데 필요한 하드웨어의 유지 비용들이 소비되지 않는다는 점이다. 클러스터에 대해서는 만료를 시키거나 기간을 연장해서 사용할 수 있다. Apache Hadoop 배포 솔루션은 Azure 계정이나 관리 중인 하드웨어 등에 배포하는 것이 가능하다. <p><a name="_Toc347593125"><b>Getting access to the CTP and deploying an Hadoop cluster.</b></a><b></b> <p>Azure 상의 Hadoop 에 접근하는 절차는 사이트에 로그인을 하고 Azure 상의 클러스터를 생성하는 것부터 시작한다. <p>1. 개인 정보와 비즈니스 도메인 및 기술적인 시나리오를 완료하기 위해서 <a href="https://connect.microsoft.com/continue.aspx?pageType=2®Type=1&cru=%2fSQLServer%2fSurvey%2fSurvey.aspx%3fSurveyID%3d13697&cu=">Apache Hadoop for Windows Azure & Windows Server</a> Connection Profile 정보를 설정하여야 한다. 이를 위해서는 Live ID 가 필요하다. (정보를 설정하고 나면 7 영업일 동안의 시간이 주어진다) <p>2. 개인정보를 설정한 후에는 초대 메일이 전송된다. 이 초대 메시지를 받았으면 <a href="https://www.hadooponazure.com/">HadoopOnAzure.com</a> 사이트로 이동하여 Invite Code를 입력하면 된다. (Live ID 를 이용한 로그인 과정 진행 후) <p>3. Invite Code 를 입력하고 약관에 동의한 후에 “Enroll” 을 누르면 새로운 계정 등록을 위한 화면이 아래와 같이 진행된다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi24idIpd9CixLkDvmNCagryV7IQa4_X75LINsCWJosuz5J3UNw8rxCwGSBgH1vWFUvEbwx1rTVdOJOk9p74-M1ZmTKy67AWweVrwPf3lPzuk4k3Lk-6gs7LAkyubjNlav2dnCeINAuY2MS/s1600-h/image%25255B8%25255D.png"><img alt="image" border="0" height="432" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiBUAk8JkhCvKcYHWOoO7BjONdltWBviQk_lIRdGFiKDpLxdHq4wYr6gBRlhXB9Px2p49aiU0OwlMXsYpyxjLkygw9gzlIzKXAjwmPlBlUNygAzpcMrWEU8RjH0qncOsfWsCLBLYhgAG23V/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="image" width="526"></a> <p>옵션으로 설정할 값은 다음과 같다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhts_ni5Z9cX_cB0cicxhO66nSp3ByML3Q4tQikSFF-gyigNbcv4ufXar-e_Wl4q_ltRVTuN-RbT7dp64Ifxm6yz38toM-tXlnc-p5br4KXZIaXagDBudMlA4XAUuNtl-dIVXAi2x7mZ60k/s1600-h/clip_image001%25255B9%25255D%25255B2%25255D.gif"><img alt="clip_image001[9]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhdTAON0pGCp2VN8WRchpEO8ZjLvHHOI9LfCwLP_yTDtIYGJWr9AkJ_PxeoBdVks9P1Y9RWHvyfhKIksuyBsLfIbnpuwIYOuWapKT1W5uUNmzbROKJFc6X4ruVp4-5I0qBFdBefep1HxZYL/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[9]" width="12"></a> DNS Name – 클러스터를 위한 이름을 설정한다. (위의 그림에서는 샘플로 sample8 로 설정) <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh_SJXCGbPSA3JfE4AJhV-BojbiqG9XOFg8nX9md-jnwy4IKGGgz-ZRQMshAVJOFr_G93A_XJnEWDUB4aniUtv5uii1gQ8jr-BRoSs1QB08owSlgmSnHuLvP0q3PrWP6YDaiExQ8f70V2iA/s1600-h/clip_image001%25255B10%25255D%25255B2%25255D.gif"><img alt="clip_image001[10]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgy9shb3c_vF7x2YE0BG_nk7MerbffAmk9jhFcumB6xtuC__h4X71ZirGIpJSlXl1-wahKksADvbmSTj6Q3yY1FfZzYtlEe1fZnxl1-9ZO59So9zaC2dwijmv_4Idff6_8bmRqt2xSdmQpQ/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[10]" width="12"></a> Cluster Size – 클러스터에 구성할 크기를 설정한다. (위의 그림에서는 작게 3 노드 클러스터로 설정) <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEidl_oaQbJm_qLGwzy1xXq9gZm4-21UEpr8JGbrMPZqGlGDPS7HyFhZ5B79FgwGD4fDZlo6jtgu4VN-etvmp7UpvIeXrSXlqpHAuxE0ebB1lADu45jsWaKnJA1lJZ219EMnJi7oMMb8pSJA/s1600-h/clip_image001%25255B11%25255D%25255B2%25255D.gif"><img alt="clip_image001[11]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEii68b594DM7_gBH7LMsbN3EdTFnJS_LVskHlD-XK8epdQEzvn6bPYTZdBCMNn8Kvssa5DwYgHUOO9kJbwzsmwNOl2nhTDwIbA5cGUazl5ndqxoJontS-3hp-oWVQJDjARCN0f_ACzDRsvj/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[11]" width="12"></a> Cluster Login – 클러스터 로그인을 위한 사용자 이름과 비밀번호를 설정한다. <p>4. 필요한 정보가 설정된 후에는 “Request cluster” 를 클릭한다. (오른쪽 아래) <p>5. 새로운 클러스터를 생성하고 서비스가 시작된다. 대략 이 과정은 10여 분 정도의 시간이 소비되는데 이 시간은 설정한 클러스터와 노드의 수에 따라서 다르다. <p> <h2><a name="_Toc347593126">Tour of the portal</a></h2> <p>생성된 클러스터에 로그인을 하면 Azure Portal 의 계정 페이지를 볼 수 있다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhJnrLizSZiU9E8eX1LR2mJVqWDZ090qijf0lEMqt1GUoVxrjXJcehfm73qk1ja-ubGudp1YA_64dtohf8L-Uq_wuPs-foP-schhtXS_gazfi2h0Q49LxQJCzMlh2sdTAOIrL6TDtfaXOOZ/s1600-h/image%25255B12%25255D.png"><img alt="image" border="0" height="454" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjEd7pIT0HgHiqbD5VyV10LDIpnftVE-aVArciY8nWN6lI3fIBPXnXavzgJM3wHDBEJVfEZ9NhQ0vgci3Tlm0KXegkoUJ-EbCigMBJB0dgGVX63ePiaGh0mJbVzegzDNfLHKmasrtoNUKDo/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="image" width="531"></a> <p>크게 3 개의 섹션으로 구성되어 있으며 각각은 아래와 같은 관리 기능들로 구성되어 있다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgyhuQq5v3u47M3IxATrxwpVlsoRNy4dS4GfyliLEyjygqjL6zAkN1qOpDoZYv9xoBQg2Tb18daCTTOKf5RqySKtjDd0mFLbQqefmQIkEdMie5roPjFTYD_NQIpe7TDzbkYfddgYInGRqBr/s1600-h/clip_image001%25255B12%25255D%25255B2%25255D.gif"><img alt="clip_image001[12]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEivLc9IxbiMMsHg84tljNbrOMx9OPenKRwwZKVUr4nPRklPguLqojlRDiuWQBcnCnLczKMoj4vlgc8himpYswYLx9C2DvI8Xie34f4xV8P3tFO1yDzDOXRMUftRpuCO6xcXRfNDXtD9DmyF/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[12]" width="12"></a> Your Task – 새로운 작업들을 생성하고 기존에 생성하여 수행되고 있는 작업들을 추적할 수 있다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhJq7PNA_Vp0KxIiNkAtJegZoxzYWm4R3sYUBmT9xASyK_tlnuMzfxZkKQia1GK6rQ7KSIHpTl-YvPkueaMXboXADfNAO-U5tVisAvZLlHyQMkRzg_fLSFDOnWkPrvnVgvrl7tt4a4BzzgS/s1600-h/clip_image001%25255B13%25255D%25255B2%25255D.gif"><img alt="clip_image001[13]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh6WQvZMt3KF5kSfhnhoHazL2wU2uBVclj_MHpc_idL6gpmRn993EyKksrXcfzjoT969QcFpvEKcRVxwDc7ucS3CQXs9d93i_aFvL0NCMzLpjMHcal1UTgaX7fQJDvRx9sBhoSF7fv7y5G9/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[13]" width="12"></a> Your Cluster – Hive 와 Javascript 을 처리할 수 있는 콘솔과 클러스터에 직접 접근할 수 있는 원격 데스크톱, ODBC 나 FTP 연결을 위한 포트 조정, 클러스터의 저장소 관리, 데이터 마켓, 장애 복구, Amazon S3 계정으로 연결 등을 지원하는 몇 가지 도구들을 제공한다. <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjereHgBWpBgZwcq62VGNlPuZWw_MlPVcUaGCIZoKGU2iT-nf8-d9af0aIIba2FV_KpgeON_huzOsjgLCoz9eQ5qA136p9Vb9uwdv77JEbIW9bsAj4aspfEt5Kn9cQcr-TdraX5w6hrUNLW/s1600-h/clip_image001%25255B14%25255D%25255B2%25255D.gif"><img alt="clip_image001[14]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjgUB5LEsH0WWTLCFGL4aZYlGj8T9ftik1Ez6TN_Hn6zqtqgeNSgHffgufP0zloqmylsaaVTLVEaL2kb340fJvDUOd_TjFwpHtc7lDu2R9kQdxBXh-_2Y-dGsXABvnSSgDyq9QAnRUvYMjf/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[14]" width="12"></a> Manage your Account – 계정의 작업들에 대한 추적 정보, 실행 가능하도록 준비된 샘플들, ODBC 드라이버와 Excel 에 대한 Hive Add-in 과 같은 클라이언트 도구들에 대한 다운로드 등을 제공한다. <p>Portal 의 각 종 기능들을 확인하기 위해서는 각 아이콘을 클릭하면 된다. 새로운 작업을 만들고, 콘솔의 기능들을 사용하기 위해서는 “Samples” 를 통해서 “Running Jobs with Hadoop on Windows Azure” 토픽을 확인해 보면 된다. 그리고 원격 데스크톱을 이용하면 헤더 노드의 명령 창을 통해서 Hadoop File System 의 명령어를 사용할 수 있다. <p> <h2><a name="_Toc347593127"><b>Resources for Hadoop on Windows Azure</b></a><b></b></h2> <p><a name="_Toc347593128"><b>Microsoft : Hadoop on Windows Azure</b></a><b></b> <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEibf3wRC7R1QS8FLKsXZmLuoegz4E6k1MFiM_m389QkRpprocvHq9zrXS-Uy2yofZ0L2f1A-K_uplHqiWHeoMj_6xbSXl4syr3jIZ2NtqZ5FgIMLHEWMG_YoxswqOTJBu05ND3pgx1v1qBy/s1600-h/clip_image001%25255B15%25255D%25255B2%25255D.gif"><img alt="clip_image001[15]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgpxHWEoY9et-vL4jP56tMVx5AqxwjKvoWGlDU13b7_vgdxtYTCm4DmObdR5BISWKRPVqC6mnLW2xBpWINV7fje27-C8R0GNU_lTLoWcWgJtUBbXEVfpNFsoQc9ODa7mugacwnTiCPP0qyD/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[15]" width="12"></a> <a href="https://www.hadooponazure.com/">Welcome to Hadoop on Windows Azure</a> – Windows Azure 의 Apache Hadoop 기반의 서비스에 대한 미리 보기를 소개하는 페이지 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgQB4tMiDrta4YwkeQ7ls2xstov8iW9Rj7nQs1ERLXI33s_z-boB9i3hTuUVA6G9CfxDE-80jgvbLuWp-5e_DVQuHfcBpxFhB3_tOlIjEYtH9Z8L5FkvaBCaJX6LeL5t1j85z1slGr7e6VJ/s1600-h/clip_image001%25255B16%25255D%25255B2%25255D.gif"><img alt="clip_image001[16]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEimOj1exanRSuPNSf6QQEoZlKKvUb2cS22zegS3gaBPb42J8mwfbOl_5i_23BnIGOs7PZ3sqTAhj8hy3ct1XxZPGNxh360a77UPylIEPEV-PglFH1p6l8QeCk20E0h-jyAwGelOiWeBeUeZ/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[16]" width="12"></a> <a href="http://social.technet.microsoft.com/wiki/contents/articles/6206.hadoop-based-services-on-windows-azure-how-to-guide.aspx">Apache Hadoop-based Services for Windows Azure How To Guide</a> – Windows Azure 상의 Hadoop 에 대한 TechNet wiki 정보 들 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgwhYo47LwGNV9dGjziDqqgNhCS5i9EC_aWub42Judl3YYrUWj6pAqJ6AfEH9R1edqbdjoqcSOnKMnuDjkracWI1J7tukPcF3J9GlqwZOAkN9baV5_Ht9QB_4c7tfxpcHHhTutn1KTsrwGc/s1600-h/clip_image001%25255B17%25255D%25255B2%25255D.gif"><img alt="clip_image001[17]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh8NrFC_N76ufxTqfqMeEnaKtQ9iEUqGBM3E6nuSpaVCANfZ3x6Vp0X49THfdiiT4rdI3Yuf2N40DBRvh1G0iUJ4JLHXQbGZxnTP_d9CRH52sR7lusTJ3pKSCZJAuSU13k1GTTgdz5b6IyR/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[17]" width="12"></a> <a href="http://www.windowsazure.com/en-us/home/scenarios/big-data/">Big Data and Windows Azure</a> – Windows Azure 에서 구성할 수 있는 빅 데이터 시나리오를 확인해 볼 수 있는 정보 들 <p><a name="_Toc347593129"><b>Microsoft : Windows and SQL Database</b></a><b></b> <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEisZ2XyQ6c6kjC-d797GrauqktgJdLpPvoWK9c-bzNhkL2vtbL18FnLj_QUUhv-NYgvq9GwyeUjzwNLD-njy4zXELTDKIBCw26F5Uou8MPi7RbioJD1PypcVsEl-64spZasazlTthyphenhyphenTy7Bk/s1600-h/clip_image001%25255B18%25255D%25255B2%25255D.gif"><img alt="clip_image001[18]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjQ-6yZXFQwPODGCmjJPN5sAi1kH2lFXDqGRbHJx4_KkHlkJMy_tLCrsc7uQjC-x8akX2pzvUpPrgJodIbAvsSiZrMOcaw8YuW8sfkXAxDAGc9TLLRry0TysY8BQYZ15h72i-m6Du2VlCE-/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[18]" width="12"></a> <a href="https://www.windowsazure.com/en-us/">Windows Azure home page</a> – 시나리오들, 무료 평가판 등록, 어플리케이션 구축을 시작하는데 필요한 개발 툴 및 문서 정보 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgZirn5DjjwhY7ndHElNgeRnkGhAfaE7JspGrazHvGxxr-9-IfRgITsfRJHREXUDwX87zD2ZMi7Qvf5va8Z2IVfxD10hPy6GF4lcaGkzGAEKHBIRNjQAbSB_sPNr4F37B5F_fGjU60ItjU_/s1600-h/clip_image001%25255B19%25255D%25255B2%25255D.gif"><img alt="clip_image001[19]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg80TB8zCP45WVrxgBOaT-rqa101tUdYH6F2u6_wXPdMma54CvVbsgKiM7xnBUlb8qCX0FKX8I9CSojWX0pcRZXabm-n5_9u5H9aVa9j_a-Pe3XYWaknyDJDjetLe4RmWwHtQkPWjh0m2BE/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[19]" width="12"></a> <a href="http://msdn.microsoft.com/en-us/library/windowsazure/ee336279.aspx">MSDN SQL Database</a> – SQL 데이터베이스에 대한 MSDN 문서 정보 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgEUwVJ6HVO57LskeS8UQvqQwmD2-QSUypA-gPeNXndDIo7pz-Qe89IVBAtSkm3LHE31_0nEAyJTrM9lCn1Jr5Vnl0XrHQtgjxnRviuaJZCc2xjHy01iiSB6hKlk9vZ4yzgsn1wXlKOSOvB/s1600-h/clip_image001%25255B20%25255D%25255B2%25255D.gif"><img alt="clip_image001[20]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh6jx0cxGbYWhSiZ-jZnR3dbMotWJm-ZPbPPSsE1To5kp7dRbWGejAW0nNZBR0gAE3_rDfSt6X9UfP7ssQQepsWFfjJMFk-R4X4j_mZYI8L69U8K4dt2wNKgSylDnzIU7i_o9EYXoXxBHG2/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[20]" width="12"></a> <a href="http://msdn.microsoft.com/en-us/library/windowsazure/gg442309.aspx">Management Portal for SQL Database</a> – 클라우드에서 SQL Database 를 쉽게 가볍게 관리할 수 있는 방법을 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhw-cPvgiYu-RTOySOr03MNQ3qPqRtjj-OcokRo2kUwIdO2DOaUTsJnJ9rgxN5KLhe3dBiJ70FoGIF2HeegzeOmb3eJxeVP56dFSDGXIcE1ppcJhhjvYpXx5tm0JUbDksT-DdWXG09QMquF/s1600-h/clip_image001%25255B21%25255D%25255B2%25255D.gif"><img alt="clip_image001[21]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEizRxbg-sx39UYFKDNnzpSfveJviUx8Ec15vC1C-jPyy2po4O_FQ6xcHHIsisHOdn9vLjTCANuk2Ul0HNiaCAwKqLMtpBQ7DDBnxYstcAKTeoF5t8KTD9TGO3y7PVxzWlFnpwXd8lrRQ6XE/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[21]" width="12"></a> <a href="http://msftdbprodsamples.codeplex.com/releases/view/37304">Adventure Works for SQL Database</a> – SQL Database 의 샘플 데이터베이스 다운로드 제공 <p><a name="_Toc347593130"><b>Microsoft : Business Intelligence</b></a><b></b> <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg6tg-jCN3RR_JuGcHD4-OIBK7jbCaPNC6YbCVIfc7oVfWLpWADurSfRqvAXcRwdci1TSJMEmBYvwMFOyEc9q2UcUY9GNi9eRtV2Xj8iyKVkTE2EJ4Kuiqg9bYXxsMxtn1p_GvS6UuM2ByI/s1600-h/clip_image001%25255B22%25255D%25255B2%25255D.gif"><img alt="clip_image001[22]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg6qUyLFkGsJAvcBplbjbsUZzNG1OD_KCd6oQ6XlKWhTMKJr5CFjoEcyL1NXhyphenhyphenbcvbhyRvRRaVOqtmrbmAoDG3TCXrxMlD05Cwl-M-Xn09_lpJ8uprKNn-mqzpUZIG53UDGlVKqMdIZ54Fz/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[22]" width="12"></a> Microsoft BI PowerPivot – 데이터를 Mashup 하고 탐색하기 위한 강력한 툴에 대한 정보 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEghw8RULKK17mdE1bTR2rz6m9wARHB3wAW04T3y1FQKuY-MLdMAFOPrey2xm0UkRWIL05PM9vtXyQXG1d14eLXLCE-_hqfHOZPdn36snFW7SpA84CvvQTW84RRn0ov3Ptpj4Q3M-c2f1YpR/s1600-h/clip_image001%25255B23%25255D%25255B2%25255D.gif"><img alt="clip_image001[23]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgAd-8SAYHWhg8Fu9jr6cK6ithYx-d5qKxOsTLPKGa8S5uBPeRcggGf-H9aLMGXofXHjontak8ezOE96UjybBxMkau1UHC2sm02mifV0ZVJy-0NRLpjfNdTGqnW4NO0tQz1sq7ruMVnA7UX/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[23]" width="12"></a> SQL Server 2012 Analysis Services – 포괄적인 대 기업 규모의 분석 솔루션으로서의 툴에 대한 정보 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh48RDDHYiup_BeBcUWhjPD7b7iVQv1GEY6RP3YWN8TsYm_2mHSz-3u6B_krfH1i5fqZLrfICUipWRBUjgE7jEvgy23n76k4pyUXrbT48pcpAZPVYdnExZVa96aFGovVNdqtOtb35W0Tb98/s1600-h/clip_image001%25255B24%25255D%25255B2%25255D.gif"><img alt="clip_image001[24]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjAZ3lk1IES58Ahi5Bn6Xr22ic737sjBWw896xwrieptzaLVYcjCYm_BzGISyw__0fCfvk6MkIsLsS6kwy70ACAeywYBZdvCimXc5JBucQWXbQBpjBFjtgic0wS9_XfNbQsKoiIwVlMH6uX/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[24]" width="12"></a> SQL Server 2012 Reporting – 실 시간 의사 결정을 가능하게 하는 확장이 용이하고 포괄적인 리포팅 툴에 대한 정보 제공 <p><a name="_Toc347593131"><b>Apache Hadoop</b></a><b></b> <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiSdjVemRKvUs15nD_NFWvXl7A9qg7X15FUn8WdW2YeYkAkZbS4XYwWaur_cyQCe5ZHD5CljupZGeuET_udO0Urc-M3D4bl5d3rd6mUJe0s-f4xKhUApUX1nwJY0sPKGK7vq1B-tgi4uTNp/s1600-h/clip_image001%25255B25%25255D%25255B2%25255D.gif"><img alt="clip_image001[25]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEizAzaAPx8fXZusSnBUonbwy1WsITrHed7-ssKBa1-mnaW0nv_HlXBpC2mL86ma2xrYb8rK-JM-gFOmd_x6tJz_zET1PVjwxwE6o1Fu8lmwRVixKA_RcLTbyJhbyN_Aa-eSRn8jewJEhahL/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[25]" width="12"></a> <a href="http://hadoop.apache.org/">Apache Hadoop</a> – 컴퓨터 클러스터들을 통해서 대량의 데이터를 분산 처리하기 위한 프레임워크를 제공하는 소프트웨어 라이브러리 정보 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiP4-TCwoddTZdZudgsFimv9_OCScsCGPv0BYD4YZWwZww6_taLeR3KkunPOrV6kmLsrIG4OfMnvWVLmp2wxE4hLGmqfNPVlMm90CG1RkkkqPhyz5yQ33CkSMBBCKhyphenhyphenyES_uuoBKfLWpd3F/s1600-h/clip_image001%25255B26%25255D%25255B2%25255D.gif"><img alt="clip_image001[26]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiETcskpRlxW8DhQkPaJz95ruMjMSV64YBc45ffFq901NRvGdXFK4v50y2B9uvGKxwGraJl6flbdN5d5521hEsmzRXwc2BQb7kAJgK2Uf_uEntBWOwk785rCH1ohfquB-e3M_FCmAH7tV9d/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; margin: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[26]" width="12"></a> <a href="http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/HDFSHighAvailability.html">HDFS</a> – Hadoop 어플리케이션에서 사용하는 저장소 시스템 정보 제공 <p><a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEilPhDgBla3BtZdf6kczQBbhNFe7L-mLwJxdAhS8YvNQAACxPv0UWOBaOPnGL3YO6LgWd0d068_9lGz-Rj689dVoK3rM6BaSL33spA0QPJDSBqCwyJEXN-O9vc4gvSkF32JyjOOm7M5eA5Y/s1600-h/clip_image001%25255B27%25255D%25255B2%25255D.gif"><img alt="clip_image001[27]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiahrZMsiJQUwgJuFFiS_vHc4eKkGp5ulbk-F1kotFA7uwS-GT7U9k7nm62oBd1GDu7jd2yaUS3eIhfibV_mBc2ngbthYGCjClihPuZpwvnnP_U_6FztXM-a9purZUMjVvVNsPDoQnBLvD-/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; padding-left: 0px; padding-right: 0px; display: inline; border-top: 0px; border-right: 0px; padding-top: 0px" title="clip_image001[27]" width="12"></a> <a href="http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html">Map Reduce</a> – 컴퓨터 노드 들의 대량 클러스터에서 광대한 데이터들을 병렬로 신속하게 처리하는 어플리케이션을 작성하기 위한 프레임워크와 프로그래밍 모델 정보 제공 공유 공유 링크 만들기 Facebook X Pinterest 이메일 기타 앱 태그 Apache Mahout Big Data Hive Hodoop Pegasus Pig Scoop Windows Azure 공유 공유 링크 만들기 Facebook X Pinterest 이메일 기타 앱 댓글
댓글
댓글 쓰기