Azure Big Data 시리즈 2 – Hadoop Task 실행과 Excel Add-In 을 사용한 분석 결과 처리

출처 : <a href="http://www.windowsazure.com/en-us/develop/net/tutorials/hadoop-marketplace/">http://www.windowsazure.com/en-us/develop/net/tutorials/hadoop-marketplace/</a> 
이 샘플은 Windows Azure 상에서 2 가지 방법으로 Apache Hadoop 기반의 클러스터에서 MapReduce 프로그램을 어떻게 수행하는지를 알아보고, 클러스터에 수집된 데이터를 Excel 에서 분석하는 방법에 대해서 알아보는 것이다. 
실제 데이터 분석을 처리하는 것은 자바로 구현된 MapReduce 프로그램이며, 이 프로그램을 수행하는 방법은 아래와 같이 두 가지 방법을 사용할 수 있다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiDNWRYGyPfkh9kFgQqHjg3G__ifXkjtGyh8a-ZzuM8vByAqh5ZkkAQ7YCCWLN5ecM5V13Du6pxCp-Tf6_ZfjZIv0AnvrP4vlgWDim-wraMuak8fiO0SR_Zc5VWC_DKW33R8FGPWIoCCZpu/s1600-h/clip_image001%25255B15%25255D.gif"><img alt="clip_image001" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgxQUMqPWp9IY2H3I-QVr-Xz-lqJH9PCPZiQE1IY6CVOYQrK0kMOE7kNde0t_3vgxFGPsqzFzCjkOrH-yBgd-YViUzgb-6kRUSvTStQbTnDM3xLFYqWsCOMWCLPkMUoLzl5nlQ-VYcLb2jG/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001" width="12" /></a> Hadoop jar 파일 – “Create Job UI” 에서 jar 파일을 이용해서 수행한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgp-CeggDl6_e5jYqODOEHe_NrwOOB25gM7VYQ3pviKUsjhJ7NGkVOdyZIp4ZrJnbY8w5essmvk3PgDUrADA6qsEzkaXoE2i5rFyzOLYOZNDDJnTixI38FDDt-i0ufU5yseQ9qi5EWzrf3Q/s1600-h/clip_image001%25255B1%25255D%25255B2%25255D.gif"><img alt="clip_image001[1]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgji6GIE8Qw_8sIYnEXuawR9hu5SUgtPlk9VpWG68zxvARHPonx_5_VwagpffwMD8TGGmNNNJsicBN4Nnn5ywaqjYob4Wmw-cusucxK2aXNu5WamAkcYwaf1qYIw-0jnILpbm0LD7-WKlyL/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001[1]" width="12" /></a> Pig 에서 스크립트 – Pig 에서 제공되는 Fluent API 를 이용하는 자바스크립트를 이용해서 수행한다. 
샘플에서 사용할 데이터는 Azure Marketplace 를 통해서 데이터, 이미지, 주요 상업 데이터 제공자들로부터 실 시간 웹 서비스 및 신뢰할 수 있는 공공 데이터들을 수집하게 된다. 이렇게 수집된 데이터는 인구 통계학적, 환경, 금융, 소매, 스포츠 데이터를 포함한 데이터들의 다양한 구매 및 소비를 단순화하는 것이다. 이렇게 수집된 데이터는 Azure에서 Hadoop 으로 업로드 되고, Excel 을 이용해서 데이터를 분석한 결과를 조회하는 방식이다. 
MS 에서 제공하는 빅 데이터의 핵심은 BI (Business Intelligence) 의 구성 요소와 Hadoop 의 통합이라고 볼 수 있다. MS BI 와 Hadoop 과의 통합의 가장 좋은 사례는 Hadoop 클러스터의 Data warehouse 프레임워크에 Excel 로 접속이 가능하다는 점이다. 이 샘플에서는 Hive ODBC 드라이버를 통해서 Excel에서 Hadoop 클러스터에 존재하는 데이터에 접근하는 방법에 대해서 알아보도록 한다. 
이 샘플을 통해서 확인하고 배울 수 있는 내용은 다음과 같다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhvpYwK7J2nzDcTKgYlWVOICQL76k_nEgQcavdTA2MRnsdhp4zYC19vgF8mf96Cyumw-J8V2Ddv48g76jl7Z0KaVVTzGHCpTy6jysrevKOr4iXrllibQuIXUDnKyo1fscgZYLO2mNYCUTRA/s1600-h/clip_image001%25255B2%25255D%25255B2%25255D.gif"><img alt="clip_image001[2]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiz1gNLtTWxwbp9cFhXkXyyxxkOqCGwZ0V2HxDbJh1eOL9e40x4zTp6RifUYGmMFdAmpTueoJNvgsDE14XkuWB1MgXOG_LG9N5GitGSNej5HEybKjpghdXnywCTRnOf-tZ9N-09p-qBzP8M/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001[2]" width="12" /></a> Hadoop jar 파일을 이용한 자바 MapReduce 를 실행하는 기본적인 방법 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi_UHs_GNP44YGGErm9djPrlpgLysaYUCNY1CUZ9HtcZHgSMbGPIPeuws38eWSEQm7Ce_AeAFqJRfO3hyphenhyphen6lmaStj7E1mEhCqotROyzjSAUdEqF5DHo92BiS9-Sp3_ApfckJAUhna2AiOzXy/s1600-h/clip_image001%25255B3%25255D%25255B2%25255D.gif"><img alt="clip_image001[3]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgQ2QDhRFuFaG1CnImyzvp0VMj4JS6iW8qV-PXSQiXpmcj64bqh6mcRyg0Dv509kjivy6mfRRGci7AEONRmMelqAJowkgwDlSRP0zu589X6z_p3DYzY7m12lcWmmmeuKFAFDBGvxus6zcs_/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001[3]" width="12" /></a> HDFS 클러스터에 입력을 위한 파일의 업로드와 HDFS 클러스터에 출력된 파일을 읽는 방법 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiO-ufOnpYErjiBY45dtm77Eg7rMdRH67O-FawqYkYckfUY9-ESI8ochIDV0GWiPndHdmDNY7_w7N0JCY96HTVfpbEQpk1n1ALMVHOng0tMZmp-2miECYTVMS3qu9bj9H20Zi2SdsWCMcqk/s1600-h/clip_image001%25255B4%25255D%25255B2%25255D.gif"><img alt="clip_image001[4]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhitW1p1JKDxHC7CAveJvN9oOUw6sHc3Nh5j9gnSoqThAo5OWSUU4WwgrMt-X2S3m94ApDj74gCWRXx-TJfO2Vkht_eCDEs25pXXO01-o7tP78kRf5ApvW5A0tVtotcYwMkDTl9VevDrXKw/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001[4]" width="12" /></a> 상호작용이 가능한 콘솔인 Pig 상의 Fluent API를 이용해서 MapReduce 스크립트를 실행하는 방법 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEirTDBeXjVhc5b0twgAt29n4nV4gVnsHz_fgB8LA_Yuc0pV_MT0ZM60cKiIQfcIS6rHXi0olkZPiTp9ey0FYhEY9MJkRVDN4_9AxiGQIExZMfqaItOGxiqsa8b9qhNr7NCdKJR_MPMORN__/s1600-h/clip_image001%25255B5%25255D%25255B2%25255D.gif"><img alt="clip_image001[5]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiEy6r-9fP6YP4vbpNMnh60EvDL9HYxQATCNKRk6UnhOiJczHX2hBRLlcOfyA8T_pPWOon0x8vBevVcavFa1PI-8fYNRFsV3X8iFh12McjKyo911VdNGn7uO4gXu2QF6EIqDoewrCjWNpqG/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001[5]" width="12" /></a> 상호작용이 가능한 콘솔을 이용하여 Azure 클러스터에서 DataMarket 의 데이터를 Hadoop으로 입력하는 방법 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhrWbZJDuLxyn6DM-lGlxNhheaRwn9Hk58lufxssXWDpZarKyIcyAU91NxTd3f4beBa7owMsM7M69-0QGqJdIj3HNGOCHsyRDU6BgMtH3zCX6TkLTfSQnBecoSA1zzAh9yQjfDkGc0ymqTk/s1600-h/clip_image001%25255B6%25255D%25255B2%25255D.gif"><img alt="clip_image001[6]" border="0" height="12" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjvVTfB_pIc3qdPqhv_A6jJaLurCvm60BmgMe0OE7yVbRM4YukM4YxtzxHhLpNbLQ05IxmIVQuJK5ZVcCkrZwj0imcCttjtVSiia3kZWdl_6p5OlFMAyl8BQcXbNUIiFZ2tnvaA0635wMNw/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="clip_image001[6]" width="12" /></a> Azure 클러스터 상의 Hadoop 에서 저장된 데이터를 Excel 에서 조회하는 방법 
<a href="" name="_Toc347593134">Set up and configuration</a> 
이 샘플 수행을 위해서는 Azure 상의 Hadoop 에 접근할 수 있고, 작업을 위한 클러스터를 생성할 수 있는 계정이 필요하다. 이 부분에 대한 정보는 <a href="http://ccambo.blogspot.kr/2013/02/windows-azure-hadoop.html">여기</a> 내용 들 중에서 “Getting started with Microsoft Hadoop on Windows Azure” 섹션을 참조하기 바란다. 
  
<h2>
<a href="" name="_Toc347593135">How to run a basic Java MapReduce program using a Hadoop jar file with the Create Job UI</a></h2>
Hadoop Portal 계정 페이지에서 “Your Tasks” 섹션의 “Create Job” 아이콘을 클릭하면 작업을 생성하는 화면이 아래와 같이 나타난다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiDL-IftURLSz24NBTCBOlJMES8RYk6cuuGdBsxr4IhG51QqYW0kRR77zKuxNr4-R1RbYUcse9xs-v6QadOGecC5E5DL0QBKB9jakBiH-21ssuclOJWzSFvYPWvFZcaU6C7NxVr-unGRxNT/s1600-h/image%25255B3%25255D.png"><img alt="image" border="0" height="218" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgycP-vSmc5fPrddAsNQD2bsCkKFdKkSj7vdTCC_FyQp65yj9vHo3s09Eg2VnFJv_OSgsb_o8ccJRCJK9Cg2o-ieokC-rVsQdvc0p2lgRo_TuDTGwQTN4-qOwwD_ux0Ud5xXvjBA-urZHb1/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="358" /></a> 
MapReduce 프로그램을 구동시키기 위해서는 Job Name, Jar file 을 설정하고 MapReduce 프로그램이 수행 시점에 필요할 수 있는 파라미터가 존재하면 추가하면 된다. 그리고 입력으로 사용될 파일과 코드 파일의 위치를 서정하고 출력이 처리될 경로를 지정하면 된다. 
간략하게 MapReduce 작업을 실행하기 위해서 인터페이스를 어떻게 사용하여야 하는지는 계정 페이지의 “Manage your account” 섹션에서 “Samples” 아이콘을 클릭하고 “Pi Estimate” 샘플을 보면 된다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjwPKcA3mVPUsMkkgBM-9h78Xge8md_CkeXH-dtMlTYrzR3khyphenhyphenAREXdgn2KljBUZkqlHITUms4u0hHz0D4m12G2Rb21Yb-6euomry2eIoTgYoBOGUgN4gGwQRrIPZcmI18fbx5MhIXfPLaK/s1600-h/image%25255B7%25255D.png"><img alt="image" border="0" height="258" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiHwdiMsYujQxQPffRKuKBrz_E-ea_kqL6UL98v2liauK4N_yrEuNK6hvdD2uxuN8U61u91_l3BpxVa1RKtwF5XwZHeaWZnThxUkkQ5NFd9HD70nYCqvVsoV8vCB9BkAnxCSanVAxBiJu3Z/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="358" /></a> 
PI Estimate 샘플 페이지는 어플리케이션 정보와 Java MapReduce 프로그램을 위한 다운로드와 Azure 상의 Hadoop에서 필요로 하는 jar 파일을 포함하는 파일들을 배포하기 위한 어플리케이션에 대한 정보를 제공하고 있다. 클러스터에 파일을 배포하기 위해서는 오른쪽에 존재하는 “Deploy to your cluster” 버튼을 누르면 된다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgHQZTRuxTKJ2uY8eRJ41a5LkA7kRzc3oc-T6CSdlIbYRl8OuEH9Kz573SqwNWUt6MuMg_BIXFgsChXxdDvSNz1tJ0Ch2r_vKHiG7FfpiMIxEdn7xWKD5Ha5AvJ7X04lCACqFkL69junyqd/s1600-h/image%25255B11%25255D.png"><img alt="image" border="0" height="294" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgjnU-NNb51ei9DAOs0Hd2O86i4AgGe810aud2X3B-TLSQHSKpTawNYE2JUzfaTVUii5FXTb-_y3lyU022hvdMZPVegxPm4sH9LUeFygsMKxpaaNiktSPTzPnqvSFG85NOh82VTgy6f4IPS/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="364" /></a> 
위의 그림은 “Create Job” 페이지에서 예제를 위해서 구성한 정보들을 보여주는 것이다. 파라미터는 기본적으로 “pi 16 10000000” 로 설정되어 있다. 첫 번째 숫자는 몇 개의 Map 을 생성할 것인지를 의미하고, 두 번째 숫자는 각 Map 당 얼마나 많은 샘플들을 이용할 것인지를 의미한다. 따라서 1600만 램덤 숫자를 기반으로 PI 를 측정하라는 명령이라고 생각하면 된다. “Final Command” 는 지정한 파라미터 값들을 기준으로 자동으로 구성되며 지정된 jar 파일을 기준으로 최종 Hadoop 실행 명령을 나타내는 것이다. 
Hadoop 클러스터에서 프로그램을 구동하기 위해서는 “Execute Job” 버튼을 누르면 된다. 실행이 되면 작업의 상태가 표시되고, 구동이 완료되면 “Completed Successfully” 로 작업의 상태가 변경된다. 그리고 “Output” 섹션에 처리 결과가 표시된다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEikaOklIHRCCEeuZctrUIjoUAD7Atx_X3CdUy_n9N0LLbj_0tqxFESJdH7afNyVVB-DB4mtEcKSYr9LeW9pY-tcp3exiCRhubX2GxA1S8Bp9fUHnFBlqKz-GcJjOveYkCpS6F9jms1LqKY_/s1600-h/image%25255B15%25255D.png"><img alt="image" border="0" height="441" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhRBYtnf5rSKDS57nd1s_-jW9i33sSA2M95baduiMrPSPngG-BwFGtAYe_aNtV1tPIaXt7ECRe_Dswflg80ynvoyeFNcvT5jFHRC95Mr8ifpD21ilW01QQKJ7qmBXmb05u8qUm375shF5Hu/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="360" /></a> 
<h2>
 </h2>
<h2>
<a href="" name="_Toc347593136">How to run a javascript MapReduce script using the Interactive Console</a></h2>
대화형 콘솔을 제공하는 Pig 기반에서 Fluent API 를 사용하여 MapReduce 작업을 수행하는 방법을 알아보도록 하자. 알아볼 샘플은 입력된 데이터 파일의 단어 개수를 파악하는 것으로 클러스터에 업 로드한 파일을 사용한다. 그러나 샘플은 클러스터에 업 로드 된 스크립트 파일이 반드시 필요한 것은 아니다. 일단 대화형 콘솔을 이용해서 파일을 HDFS에 올리는 것부터 알아보도록 하자. 
우선 클러스터에 올릴 대상인 WordCount.js 스크립트 파일을 <a href="http://isoprodstore.blob.core.windows.net/isotopectp/examples/WordCount.js">여기</a>를 통해서 로컬 PC 로 다운로드 하도록 한다. 그리고 입력으로 사용할 데이터 파일을 <a href="http://isoprodstore.blob.core.windows.net/isotopectp/examples/davinci.txt">여기</a>에서 다운로드 하도록 한다. 입력으로 사용할 파일은 텍스트 기반의 어떤 파일이든 상관없다. 
대화형 Javascript 콘솔을 얻기 위해서 <a href="https://www.hadooponazure.com/Account">계정 페이지</a>로 다시 이동하여 “Your Cluster” 섹션에서 “Interactive Console” 아이콘을 클릭하면 <a href="https://www.hadooponazure.com/Cluster/InteractiveJS">Interactive Javascript Console</a> 로 이동하게 된다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhoL_jFCarr1HDyA0ToB9wScSTXwZfhCaAzF2ddQvGrLFy2UbIcMD88HxfPi29VHTmKE1HHNvG1CizGh_rQUAyCNgEi8BhzIFvJVpIJN7JWHs1lEC9By02mrFZU6yYeCGJtHBFe4904bYG9/s1600-h/image%25255B19%25255D.png"><img alt="image" border="0" height="113" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjbXxUnf9Tsc2oKow4ZrZ-NlCDoBnTPCT4-fDbGZfMTYEumMJcz_sUG7v_klVj9-RVZCEIo5MnA91abZpqisa10uwCIiofJxEQ6gamVAwhctyXsm8_WP9Fqt4IO65LvrhqWOLow_VYysW61/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="373" /></a> 
스크립트 파일을 클러스터로 업 로드 하기 위해서는 업 로드 명령인 fs.put() 을 콘솔에서 입력하면 된다. 그럼 아래와 같은 화면이 나타나고, 여기에 다운로드 했던 파일을 선택하고 클러스터 상의 업 로드 대상 경로를 지정하면 된다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjPMyfH92lAZm0-xX4el23ms5DtLQozfl0MD5-g_qTiLtriG3-fS5KBhKBQutmWptk1YtxRizk4eA5UWw-G611f86zPBH7rK88lyXoHfJpQQ7GZr-lKA4n7SL5wP4taD0wBlhMmyS562UDL/s1600-h/image%25255B22%25255D.png"><img alt="image" border="0" height="126" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi672KBVBNkNiHEfx-I9jx36OFbSvxaNvwSXPjRcNZDnxEXgmFhRLTOWv81RnXX3N2DQeGSYiJcc3oTeravVIjETDyX_Mgqm__ZaRkeb8eIeWpIRy4QHhk9XJlH0m-NEdDbsf0Mf3-wQjB2/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="244" /></a> 
이런 과정을 입력으로 사용할 데이터 파일도 동일하도록 수행한다. 업 로드 과정이 모두 완료 되었으면 콘솔 창에서 아래와 같은 명령을 지정하여 MapReduce 프로그램을 실행한다. 
<pre class="csharpcode">js> pig.from(“/example/data/davinci.txt”).mapReduce(“wordcount.js”, “word, count:long”).orderBy(“count DESC”).take(10).to(“DaVinciTop10Words”)</pre>
 <style type="text/css">.csharpcode, .csharpcode pre { 	font-size: small; 	color: black; 	font-family: consolas, "Courier New", courier, monospace; 	background-color: #ffffff; 	/*white-space: pre;*/ } .csharpcode pre { margin: 0em; } .csharpcode .rem { color: #008000; } .csharpcode .kwrd { color: #0000ff; } .csharpcode .str { color: #006080; } .csharpcode .op { color: #0000c0; } .csharpcode .preproc { color: #cc6633; } .csharpcode .asp { background-color: #ffff00; } .csharpcode .html { color: #800000; } .csharpcode .attr { color: #ff0000; } .csharpcode .alt { 	background-color: #f4f4f4; 	width: 100%; 	margin: 0em; } .csharpcode .lnum { color: #606060; } </style> 작업의 처리 과정에 대해서 보기 위해서는 “View log”를 클릭하면 된다. 로그 상에는 작업이 실패할 경우에 검증 정보도 볼 수 있다. 작업이 완료된 후에 “DaVinciTop10Words” 라는 디렉터리의 결과를 보기 위해서는 다음과 같은 명령을 수행하면 된다. 
<pre class="csharpcode">js> file = fs.read(“DaVinciTop10Words”)</pre>
 <style type="text/css">.csharpcode, .csharpcode pre { 	font-size: small; 	color: black; 	font-family: consolas, "Courier New", courier, monospace; 	background-color: #ffffff; 	/*white-space: pre;*/ } .csharpcode pre { margin: 0em; } .csharpcode .rem { color: #008000; } .csharpcode .kwrd { color: #0000ff; } .csharpcode .str { color: #006080; } .csharpcode .op { color: #0000c0; } .csharpcode .preproc { color: #cc6633; } .csharpcode .asp { background-color: #ffff00; } .csharpcode .html { color: #800000; } .csharpcode .attr { color: #ff0000; } .csharpcode .alt { 	background-color: #f4f4f4; 	width: 100%; 	margin: 0em; } .csharpcode .lnum { color: #606060; } </style> <a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi6QoA3wj61ngpUqsKMnQhbP10Di3PneS77vaY3UXCbrnGn26K7FqJol05krPv82-Ae2-Dh7UgZclAqGlUUYD9C-i26H4ECR8JaiiIoE8yNP_jYTEiiDGCfwrcHPLZDvv_aeZ9llx5UJVUb/s1600-h/image%25255B25%25255D.png"><img alt="image" border="0" height="142" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhwqIEihDFlNTS9wkn3LzE6b0k91s0KDprg-ck77LRKAmLWuAsYxIRarEcf5mLVNBCGrlZOVpmM_CDp4tB_zEi8KaW2yVe3hQgTgEIVvLyxzSA1IAm3MLIw0lQcJVYi6-M7oBpK_mN1EPLY/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="244" /></a> 
<h2>
 </h2>
<h2>
<a href="" name="_Toc347593137">How to import data with the Hive Interactive Console from DataMarket</a></h2>
 <a href="https://datamarket.azure.com/">Windows Azure Marketplace</a> 페이지를 열고 Live ID 로 로그인하고 “My Account” 탭에서 계정 등록에서 등록과정을 처리하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEibhtabE1B1gmn5Y6yW50_PyKpr7VUERamldUB4CPAooRXEUH5aJt722ArYlr5KwNOSn_x3G5P7LfDD7sBK7Nhof2Ft8_3i0lPCIntNaiAc4DDOoli4906t8eACR6Jig80oiA286CRH3irJ/s1600-h/image%25255B29%25255D.png"><img alt="image" border="0" height="226" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiXl4OapqbmwoUlyEakXb5p_pyJJJRPm9Njju41efs0uF03rO5wMf4E_0QDHjMxaA_Detho-83_b9b8fMvDi-wHJDwvGA2i7JR0YpCRZpZiHSxvSomDbH92WSxVY3l2GWqhc80_-tPE7IaR/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="390" /></a> 
Account Key 가 기본적으로 설정되어 있다. 이 키는 어플리케이션이 Azure Marketplace Dataset 에 등록하는데 필요한 것이므로 중요한 정보이다. 여기서 화면의 상단에 존재하는 “Data” 를 클릭하고 검색 항목에 “crime”이라고 입력한 후 검색을 처리한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhJxfcfDJYn48TmzmKEUVlbGhv4cbtSUmH6LK7COnrIRlTda1VZN8amkAMukwlqdkQa-CLevR0kEintn-Ji8YFbh2SirMsKmhOFGjUiK3znotXHkMce_GoUykwGMCKf3cDVKq48kW6nFDSr/s1600-h/image%25255B33%25255D.png"><img alt="image" border="0" height="205" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhhjXjYobelrb9BbIXoxiRfRoKKbBfQwPTTbH50-Qr52x-6hUk4EXUylqwi7TdI5r_e-1WzchetMwzRvxIc-PYVicINtaBGVKTmzm0Vdi8z-KFv10Jq0_3U_MIf6ppmahCb-YiRM6l0zzHj/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="389" /></a> 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjekXTfmmQKsqAgQmuDse5kQW-wHXByD3UagPpsuM-pvLyucZGp7g4pH2p7K7A_VISbGJPMKVJ7iX3W0cqcotkGglqrV10Q9AXkTHyNG3jDxZRHv0xCG_a7O7RUaXFWLwiU5X0DH49rsLFt/s1600-h/image%25255B37%25255D.png"><img alt="image" border="0" height="338" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi3c_XMNOxdcgECWHb9JywwssXSnC6G4C8I3qxj6q6LEg76-Awb4PX248Te2qMuXf2-YyiQSwk_8hR1GU64ZQvyXPszD5G1z51hoHcOO3FRdQFeMT6-cJQaze0pDv9Z_cpTw3pIGPxyVUox/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="393" /></a> 
검색이 처리가 되면 위의 화면과 같이 검색된 정보들이 보여진다. 검색된 내용들 중에서 위의 그림에서와 같이 “2006 – 2008 Crime in the United States (Data.gov)”를 선택하면 아래의 화면과 같이 “Subscription” 항목이 존재하고 비용이 들지 않는 것을 볼 수 있다. “Subscription”을 클릭하고 등록과정을 처리하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiQ1UnAkMD5rX8BzpUnD3WKrU3pTljNxtmJuXEBQL6JzHGCi3_Aa55NyCjDz3BIxs3niRurHj6vfkjQzGv9CpG3iG44KSdSFANN63Rkxqis1a52GTEweDNvuXH88wjvCGyHn27nfcvIO1u4/s1600-h/image%25255B41%25255D.png"><img alt="image" border="0" height="127" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjXq_NDbp6UiFB1V5KHAYAfT2y0vTWYwiJrcnkK7sPiPa6BFvdMdKVhumsiq8MfPhY4rT8otvgbNojVg1N_ZxYWfhfcZUcoc3_cxo7wcjXw6djNsMpepbOZim1uWjhsXpbFVrjwJaOa5jfq/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="392" /></a> 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhDyKgQdgmFyrW5h3Nl4Ujqgw372QqQ-GH_7CIKBIhGFKzuHdjGZIisrumU1noaOIRmrPS3K8X8Y4fGlMq-KFvCNh2pIe5XPaBUrIxl3SIH8REvyM_i2OEcL_IL6ALzRZUrbTC6pJ1LcKdb/s1600-h/image%25255B45%25255D.png"><img alt="image" border="0" height="305" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhb5kBsMlV7TV-47FFi593L3ykc1AoIQ97iT63uB2xqxmlHcxSms05HX6V7K469xhLjfeM4HNu41wx1kO52OmIY620ONzSI79NmXqIQd4uzLTWGk3bPDU6PdzA3JpaqcnBHmeF0beq_7yRZ/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="393" /></a> 
이제 등록이 완료되면 메뉴 페이지가 보인다. 거기에서 “Explore this Dataset” 버튼을 클릭하면 아래와 같이 질의를 실행할 수 있는 화면이 나타난다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgCX6-7xQRXFbpMpHSrCPudn-8CTZFqcxg9cijIOYaNvQ3Wm2A1jxNADLBdum6lCjwepWwqgR5Iztdc9LVR7Xh6gkHSFfWf_FyqP0vYsbCu4Yg2Xsuo7V0L-UpAi7D846ZndrHsu2v9h6-h/s1600-h/image%25255B49%25255D.png"><img alt="image" border="0" height="173" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgVkuiEOeZ5mo_wH45RteCvtiM8OXnaMgOO5mgNGsMqLiz3Gb-9CbG8oc5ekDF5fiw2unRgyLyd6UKUfWxzR7EhHz_7ysfQNk91iHd9HVSLVwCTnt92hV1t9TPnwJ5tQXiBOBQgzD75x3Z9/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="393" /></a> 
다른 파라미터 정보를 입력하지 않고 “Run Query” 버튼을 클릭하면 결과 페이지를 확인할 수 있다. 질의에 사용된 정보는 “Develop” 탭에 보여지므로 이를 복사해 놓도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgGBwO3FquHAklNI8Qh4QY_I_6wyftNWHqk5H8ll-HqAQp0LT4ZyRVSqAM7iBc1rAbynP_ImTCBXbO91kpUI1vbLyZD-lrD93W1az1Zxr-4u89OcqCWMUdQslaHCaIDKtVqpcE-4XpMlbC3/s1600-h/image%25255B53%25255D.png"><img alt="image" border="0" height="144" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhV1X6qJBlIP2KRAXQ0bS8KD_Lzf0-x49XTiHHkwf9gXnFMshB7zb_W_dl9CgmX4sR824Ch144QH0awqsz6EbxTXZFs_5AkqNBRbqqPKjzS2dI0DZ6XqvFa4QLPyAMxVS26P6xjb92wt_VF/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="394" /></a> 
다시 원래의 Hadoop on Azure 페이지로 돌아와서 “Your Cluster” 섹션에서 “Manage Cluster” 아이콘을 클릭하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiyu9srQrKGMCRlGtNob56mB8OWJsr1uhHEpGtaO3mVwNWAYiLD1T7-ZY2uT089jmT-dLRVGWsG-bQZEYCWhXK0OiNPUahACFdTo47SWjwptLqhE8hgMe0GOMJMr7jycI67bp429lb63IV3/s1600-h/image%25255B57%25255D.png"><img alt="image" border="0" height="386" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiooUdCo-ajp69BY8nHCS2hWiI3uyI7LPfacn7FIxqVW2l5f6cSyn2zmozKNH1g_mp-ZCC8tgTMxjYShPkvj5ERQuro10LpGAOxg0t11dSHHq5CFavMe1_9vU2__s4Cal_PXBlXUz2-OiDP/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="357" /></a> 
 
 
*** 현재는 DataMarket 과 Set up S3 메뉴가 지원되지 않는 상태이므로 DataMarket 에서 데이터를 가져오는 새로운 방법을 찾아봐야 한다. 따라서 아래의 기능은 현재 검증해 볼 수 없다. 
 
 
아래와 같이 바뀐 화면에서 Azure DataMarket으로부터 데이터를 가져오기 위해서 “DataMarket” 아이콘을 클릭한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiI6Iqwbr32Wu4OByFbLK0RsfabRGDzrd6oWADbgmMQX8VJBd4Fm1KJ0IYKYq9k-S1fa78LL5NRES77P3IlFbdmw97ean6g_HYZ01s3ga_FBKn5JAQd-dUQrWAmFo_XjlIEfiGhZ7pLmkqb/s1600-h/image%25255B61%25255D.png"><img alt="image" border="0" height="209" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi12yyt0nVLvgdBvg1Kqhl3dRAeJHZMWO5obsyvHGSli6pukilgH0hl-TLSRTUMUmu3yCxE5VgdZTBMxsLzrIQoKoSqgD7IzmoNwTj8Y9xVhxN5-lgk_Ah4qDrizkVHJXB_p_SzlsFZkEv_/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="358" /></a> 
DataMarket 에 사용한 계정의 User Name (Live ID), Passkey (Account Key), Query (위에서 복사한 질의 명령), Hive Table Name (임의로 원하는 정보로 샘플에서는 Crime_data) 을 입력하고 “Import Data” 버튼을 누른다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEh3rNkzeDEoNbpG_Bin9TzPNVu36fYeS1VKsT8hVuDW4hfG4FCIat1xaBg7TxNF4JWrt5FT1iyi89vAY-dHjcw6Uu3Hc3NGnzhTEoU6yRb9CbF7pYYi-eeWb2O7vsmYtGsAAGmG5l03h_1L/s1600-h/image%25255B65%25255D.png"><img alt="image" border="0" height="241" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg0JjAc-sLVXgv7ndo1TE_04S7BOL6ZijY6Ohtp1bmtDmzsL-0PAGl6T_edYxdOgUDzPEnSI6UF5CdBmbVtNrVTlNkwyjKaptua-Set_Zq4AG4CAPUUvQx6eU8rLllWGMBnjdEFBaFZ8Xh5/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="359" /></a> 
이제 아래와 같은 처리 과정에 대한 페이지가 나타나게 된다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg1xVuMMiHXlT1XhCRVUZDzQSyPo8MowCppK7UOhIiNYO_yfff0rzn8wMhll50_Ny6nNUrF9d-flCZET5xsuFGv63hqIMgKaIwrWfoEdfhh1r_Zpn0paTsurVCTHDNw3KHosBmwlaxWbs13/s1600-h/image%25255B69%25255D.png"><img alt="image" border="0" height="224" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEj4gS4BreTRPpb-kBNfYtPSr40dcvAISg1pKKklUMsGX5pYfMcd4AMFulgeiJ3QsP88bsA3o6uvN_FccaG6LOc8aU4w_gqYEq33dvlOG61LNAqDiwZbeN5wkZ-ifxeaUB7ZyyQYDEEQcV8_/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="360" /></a> 
데이터를 가져오는 작업이 완료가 되면 계정 페이지로 돌아가서 “Your Cluster” 섹션의 “Interactive Consol” 아이콘을 선택한다. 그리고 콘솔 페이지에서 “Hive”를 선택한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjnW3mqnl4NW3jPURQmrYOkpsuoh7oIjIHwmd5ymFfOWwRVR-s9sSwF04glDAPL_sKBjCNH9SLuDWGETm0YI1YJCsG7IkEkQ93KD_fdm_sT6NkIonoOtnylhvtq0m94DHFlwnp5YxJnJdJz/s1600-h/image%25255B73%25255D.png"><img alt="image" border="0" height="348" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEirctvoVE179bUAAf91vrbBpsel1arlrBKFOX4dbJe8CnWU7jYp1tL75PcxsEQrSNM5ugtqDGVsEVSDrsWt4JlP0Dwpgdulafh6m6_v9llZ1m_ZJAqkUFf12KWyKNm2Kccv8P9ElNled4rH/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="360" /></a> 
그리고 위의 화면에서 아래 쪽에 입력 항목에 다음과 같은 코드를 작성하도록 한다. 
<pre class="csharpcode">create table crime_results as select city, max(violentcrime)as maxviolentcrime from crime_datagroup by city order by maxviolentcrime desc limit 10</pre>
 <style type="text/css">.csharpcode, .csharpcode pre { 	font-size: small; 	color: black; 	font-family: consolas, "Courier New", courier, monospace; 	background-color: #ffffff; 	/*white-space: pre;*/ } .csharpcode pre { margin: 0em; } .csharpcode .rem { color: #008000; } .csharpcode .kwrd { color: #0000ff; } .csharpcode .str { color: #006080; } .csharpcode .op { color: #0000c0; } .csharpcode .preproc { color: #cc6633; } .csharpcode .asp { background-color: #ffff00; } .csharpcode .html { color: #800000; } .csharpcode .attr { color: #ff0000; } .csharpcode .alt { 	background-color: #f4f4f4; 	width: 100%; 	margin: 0em; } .csharpcode .lnum { color: #606060; } </style> <pre></pre>
 <a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEifvMtS_FhXt_JbY0SA1AbH69e0eEP68n-pvFWc4ynIWuMzJfZ9cuwoA54kcwATPhlN-qoNEAOqMqzCAgkoW7pGYrFgGfr_CMuqD_kHPQpa-K3OZeZ5XXDOz4oS8K3fT3IVSjgsXuFYx1iR/s1600-h/image%25255B78%25255D.png"><img alt="image" border="0" height="329" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhQ4fxvxGlXkPYm5uiNPlEO86ffT9LQbw3Xdf963AHOob5QfrtV4bdlI6MxGWUdWgaEdiSVtwhW4295hmbGq5hoITUCPVGj2S_nC2GbCWvzB2oUuP4AI-ufOz9djXQcKJ0qij7KJmCdah4r/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="361" /></a> 
그리고 “Evaluate” 버튼을 누르면 처리가 진행되고 결과가 보여지게 된다. 
  
<h2>
<a href="" name="_Toc347593138">How to connect to and query Hive data in a cluster from Excel</a></h2>
 다시 계정 페이지로 돌아와서 “Your Cluster” 섹션의 “Open Ports” 아이콘을 클릭한다. 열린 포트 구성 페이지에서 ODBC Server 항목의 Toggle 을 변경해서 오픈 상태로 변경한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjDEYiE2UVakXV52Kb84wxswv7f2iHz_HCRPQdHQPFrXgzKaOWLM-fTXQai58-TSnREIbbev9j6-lRqdJuv35XEmlcY9-ey_nCdIV1RQlrc7-0OIndfPibAhHu0jFq10taDdnv73uoT6tIC/s1600-h/image%25255B82%25255D.png"><img alt="image" border="0" height="162" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg9aw1f4qj9Fva9e2vseGRst1IiIg3vt3h57rraah4f3L1bNFB15eNbyub7D6mDGgWQpfRqLdG6kJ2lRscJyZeLiUxKKYCGZNSenPxjrYo2k9SzSAO86d7sP6yhyphenhyphenmJJtN7xJhU_hku4DgT_/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="358" /></a> 
다시 계정 페이지로 돌아와서 “Manage your account” 섹션의 “Download” 아이콘을 클릭한다. 그리고 Excel Add-in 을 설치하기 위한 “HiveODBCSetupX64.msi” 를 클릭하여 다운로드 한다. 물론 자기 PC 에 따라서 골라서 선택하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEjGcZsMEs4IhmhgK10ks819QqCWKUM8pHTqZgbWKPSQlcEOMG2vxEjdzYx4PVXaAJsU4NTqKL1PuiJZ91NEW-U3xaww66War3UdTd6HI83QZuVNsz_xlMNSmg66sdRvqnGSAnN_WwaB2kxW/s1600-h/image%25255B86%25255D.png"><img alt="image" border="0" height="169" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiLoEYja6t5yd-6THob60pW_7hS36v2z3N8kAsLmQ2F64o-eYSRJ4zXU2ioxsQ5J5Ug1uPt3DvoHNn58vgCn8y-cBgze3PCiZ6z5EWhyy1sZIean_Vlnj84BdEjOIwfuXHGdnZdXF_IopxX/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="357" /></a> 
IE 를 사용하는 경우는 아래의 화면과 같이 SmartScreent Filter 팝업이 나타날 수 있다. 이런 경우는 “Run anyway” 옵션을 선택하고 진행하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgXc0xTTjZoGP-tfDtJGN6G0b5yJilYwvmOOctQjX0e7BcjHA9sdTT93w9yxSggrnkXS8Ur_iQjKB08m4NMjRz29r_IQ2W7lPbu1PUInRJn4pL6PeqiXG5pxB-eOllgTFoHAt-O9puxuTUu/s1600-h/image%25255B90%25255D.png"><img alt="image" border="0" height="333" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiRxWD6MZkLPnnN9jQSK3yXecTeiW7OnjfCUFysjm6vxgmbs8_ASj4a0wqUM-2tJehxCdZOsL65Fr-CTm4au6rHEsErvoxOv5Ja7Fd9NeAkCgCb8J99ljAsobwpocukTJ4suvaBNrhs09mg/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="361" /></a> 
다운로드된 파일을 실행한 후에 Excel 을 실행하고 “Data” 탭의 메뉴를 보면 “Hive Panel” 메뉴가 생성된 것을 확인할 수 있다. 이 메뉴를 클릭하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhREZu4yxY40RXhSLYOFxh80Tdq1yqbv8ClI2hwxkO-L8eHGp2UDOFTdWfB5N4_ywVNvBRJjde02dEKPB_kxATYzAquzMAnAqJs_ySDijhIUFye-IAsB4OrXTUnBzTgZ6quuzg7y0M1J4rl/s1600-h/image%25255B94%25255D.png"><img alt="image" border="0" height="103" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEg_Wid_6W8vs7YrsOi28bXXLRdd2_duvck5ATTtlN9fKS_ka2ji-pK7e0zr9lASNXFZczqX7TScKT_SWlRL2gltj8cddMof4Ssu9h9duhPB3quk2wfT8hgqMYs-iN9OLyXyymyHArcz3jXe/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="358" /></a> 
왼쪽에 “Hive Query” 패널이 나타나면 “Enter Cluster Details” 버튼을 클릭하도록 한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhAsrjidVOyfNFqnM9mGXziFe0NU0AvRjAZgf4ml-D0oDLGsW_GElSt_vSB13Rvk3vZYlbF5_5SifE_O3WyRa7U6QUiiVVr0K5mszLJ4fNMnUAY-rZLwmL1dEDxkQE1KTE_eWhvHLvsHBM6/s1600-h/image%25255B97%25255D.png"><img alt="image" border="0" height="244" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEhKjUSzK55AY9-jNmaOPXk0wzUyj6Vr8aFHegl1vP4i0k9G5zjDtkiALPa4tscs-Nh2m91qiRs9WcD1yPkC7e3OiVkKresnhGC2e8x8QPLVcAtL8ahbFFq_IeTjm_OoakS9JsY8Cm05p9Wv/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="168" /></a> 
Hadoop on Azure 에서 설정했던 클러스터 정보를 입력하고 Host 는 “localhost” 로 그리고 포트는 위에서 Open 했던 10000 을 지정하고 “Authentication” 섹션에서 계정 정보를 입력하고 “OK” 버튼을 클릭한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiDCeqhqwrE85fUN508yCwjvnxjvStSLBedgvkveU5ciuuHNVpvX2C6i4JQKObnraeFnhnxjQo8KpDqdVDmyV-lw86Wu_ltxUZwCm2zc_fkklclb8mX4xXqpjf-LiOC2dVTbGjpe9Uq46jB/s1600-h/image%25255B100%25255D.png"><img alt="image" border="0" height="244" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgWsBB6yZ4KFbR-SZHZm1HQ5OZ0_rhTUoln32aR4dt24nHzehwTSqFSq4OWea6DPLDxoOZrredqo5pxkjaZ2azypaHiC2qf3h7VKMbuWtvRp4PPgbaHOaxHki2SKalArrVh0Des3efbctob/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; margin: 0px; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="219" /></a> 
Hive Query 패널에서 “Select the Hive Object to Query” 콤보 박스에서 “crime_results”를 선택하고 컬럼 섹션에서 “city” 와 “maxviolentcrime”를 선택하고 “HiveQL” 을 클릭한 후에 “select city, maxviolentcrime from crime_results limit 200” 을 입력한 후에 “Execute Query” 버튼을 클릭한다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgl7pm39ZYWFpKuAkELqfjLFbi2RzjfGyi5d4sZvhQkqx30jNh_MR09zO3ZaYGWwHZBcW0bHMpLkjAU7B9TS8s2b9Buv1HBKU9f1KRvkV4t5Q9o1DuZWROiTJva2Fub8WZIRhA2_wluXczq/s1600-h/image%25255B105%25255D.png"><img alt="image" border="0" height="358" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEgnzkRQlkT7IFrXlham3AaL_MTlvcDqUrIuqEq0Pelt0kSOgT4iAFLG8chUJP6y-4hccxGBBmt_Oj4pjAjzE6RdDmpJLes2dfkBTEUz7Qv54D8B51U_vWXxMoyOfOvYFJlATY_tEjA7RqVg/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="111" /></a> 
이제 작업이 진행되고 지정한 조건과 같이 범죄가 많이 발생한 도시를 기준으로 결과를 볼 수가 있다. 처리 결과를 가시적으로 표현하기 위해서 “Insert” 메뉴에서 “Bar” Chart를 추가하도록 한다. 그럼 아래와 같이 결과 페이지를 구성할 수 있다. 
<a href="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEiFU0oScocdh1dqYUUcZBFZFy13KDS6szSGftA30y413Ilzsp-hDi5TjfWKMr-MYa8EEx8YDRx9LRE3lSfl_2wdCjOtbYExDvM27TqIy1ueDuwHfHd40P1p_CWm6VX6SJ4_K8OleXS98mV6/s1600-h/image%25255B109%25255D.png"><img alt="image" border="0" height="282" loading="lazy" src="https://blogger.googleusercontent.com/img/b/R29vZ2xl/AVvXsEi04Z82WTKFHyZDwbhgli4d22HdzrWFuCZcm8WBtUh5KYIfeTS5BuSBiDoferS3jdQRKyaCk7T3I3P5XOh_GQVs8BLEdriw5ELFfCEU1EsjDbRIs4NC77PVeSNboeyfNVeOJUoD0tMiXg_O/?imgmax=800" style="background-image: none; border-bottom: 0px; border-left: 0px; border-right: 0px; border-top: 0px; display: inline; padding-left: 0px; padding-right: 0px; padding-top: 0px;" title="image" width="367" /></a> 
<a href="" name="_Toc347593139">Summary</a> 
이 샘플을 통해서 Hadoop on Azure Portal 을 이용해서 MapReduce 작업을 구동시키는 두 가지 방법을 알아 보았다. 하나는 jar 파일을 이용해서 “Create Job” UI 를 이용하여 처리한 것이고, 또 다른 하나는 “Interactive Console”을 통해서 Javascript 를 Pig 라이브러리를 이용한 수행이었다. 그리고 콘솔을 통해서 입력과 처리를 위한 스크립트 및 데이터 파일을 업로드 작업에 대한 것도 확인해 보았다. 마지막에는 Excel Add-in 을 설치하고 ODBC 드라이버를 이용해서 데이터가 저장된 HDFS 클러스터와 연계하는 방법에 대해서도 확인해 보았다. 
현재까지는 아주 간단하고 단순한 경우만을 대상으로 Hadoop 이 Azure 상에서 어떻게 운영되고, 작업을 처리하는지를 확인해 본 것 뿐이다. 보다 실제와 가까운 작업을 위해서는 보다 많은 경우와 데이터 처리 부분을 검토해 보아야 한다.

MSFL :: 모리스 소프트웨어 공작소

이 블로그 검색

Azure Big Data 시리즈 2 – Hadoop Task 실행과 Excel Add-In 을 사용한 분석 결과 처리

태그

댓글

댓글 쓰기