현재 최신 버전 : ComponentOne 2023 v3 | Wijmo 2023 v2 | Spread.NET v17 | SpreadJS v17 | ActiveReports.NET v18 | ActiveReportsJS v4.2 | Forguncy v9 | DsExcel v7
데이터 전처리 서비스
스마트팜 R&D 빅데이터 포털
SpreadJS x DsExcel을 활용하여 엑셀 기반의 데이터 전처리 프로세스 구축
최근 4차 산업혁명이 시작되면서 모든 산업에 걸쳐서 다양한 데이터를 모으고 이를 활용하여 새로운 인사이트를 통해 산업을 혁신하려는 움직임이 가속화되고 있습니다. 특히, 인공지능과 빅데이터 분야의 니즈가 갈수록 심화하고 있으며, 실제 많은 기관/기업에서도 이를 주요 사업으로서 투자를 아끼지 않고 있는 것은 부인할 수 없는 트렌드일 것입니다.
이러한 변화의 바람은 농업 분야에서도 불어와 전통 경작 방식의 시설 원예, 축산업 등에 인공지능과 빅데이터, 사물인터넷, 지리정보시스템 등 IT 첨단기술을 접목해 생산성을 향상하고자 많은 프로젝트가 진행되었습니다.
스마트팜 연구개발 사업단에서는 현재 스마트팜 R&D 빅데이터 포털의 운영을 통해, 현업 사용자(비즈니스 유저가)가 직접 필요한 데이터를 가공하고 분석할 수 있는 서비스를 제공하고 있습니다. 이를 통해 시설원예 및 축산 분야의 연구원 및 관련 종사자분들이 생산성 개선을 위한 연구를 빠르게 진행하는 데 많은 도움이 될 것을 기대하고 있습니다.
빅데이터 시대, 필요한 데이터를 빠르게 가공하는 것이 중요
데이터를 통한 시설 원예, 축산 분야의 연구의 효율성을 빠르게
기존에는 데이터 분석할 때, 분석 요건이 변경되거나 새로운 데이터가 필요한 경우, 실무 담당자 또는 데이터 분석가가 IT 부서에 요청하고, 원하는 데이터를 받아 분석하고 의사 결정을 내리기까지 긴 시간이 걸릴 수밖에 없었습니다.
이러한 딜레이(지연)를 줄이고자, “스마트팜 R&D 빅데이터 포털”에서는 시설원예 농장 및 목장 등으로부터 수집된 다양한 원본(RAW) 데이터(온도, 습도, 풍량, 지리정보 등)들을 현업 사용자들이 웹상에서 Excel 기반으로 직접 데이터 추출하고 필요한 자료들을 가공할 수 있는 데이터 전처리 기능을 제공하고 있습니다.
이러한 웹 Excel을 기반으로 사용자 데이터 전처리 기능을 위해 Excel과 유사한 화면과 기능을 최종 사용자에게 제공하기 위해 MESCIUS의 JavaScript 기반의 Excel UI 컨트롤인 SpreadJS가 사용되었으며, 또한 백엔드 단에서는 가공된 엑셀 데이터를 서버상에 CSV 파일 또는 Excel 파일형식으로 저장하기 위해
DsExcel Java API를 사용했습니다.
SpreadJS x DsExcel을 통한 데이터 전처리 기능 개발
현업 담당자의 데이터 추출 및 가공의 장벽을 낮추다.
스마트팜 R&D 빅데이터 포털에는 시설원예 농장 및 목장 등에서 모여진 다양한 원본 데이터들을 데이터베이스(DB) 또는 CSV파일의 데이터 셋 형태로 수집하게 되어 있습니다. 하지만 실제로 연구와 분석 목적에 따라서 데이터를 가공해야 하는 경우가 많습니다.
예를 들어, A 농장의 데이터에는 온도, 습도, 풍량, 질병, 위치 정보, 농장정보 등등 포함되어 있지만 실제 분석에서는 특정 기간의 온도 및 습도만 필요한 경우가 있습니다.
이 경우 데이터베이스를 잘 사용할 수 있는 연구자 및 분석가라면, SQL 쿼리를 이용하여 쉽게 가공할 수도 있지만, 현업 담당자들에게는 결코 쉬운 일이 아닐 것입니다.
기존 데이터 전처리를 위한 프로세스
이에 스마트팜 R&D 빅데이터 포털에서는 현업 사용자가 필요한 데이터를 추출 및 가공하기 위해서 SpreadJS Excel UI 컨트롤을 사용하였습니다. 웹 페이지에서 엑셀 형식으로 불러와 데이터를 수정 및 가공할 수 있도록 기능을 제공하고 있습니다.
SpreadJS를 활용한 데이터 전처리 프로세스
이를 통해, 현업 데이터 연구원 또는 비즈니스 담당자들은 데이터베이스나 SQL 쿼리에 대한 전문 지식 없이도 농림축산의 연구를 위한 다양한 데이터들을 웹 화면에서 제공하는 SpreadJS Excel UI 컨트롤을 이용하여 담당자들이 원하는 데이터를 직접 수정 및 가공할 수 있게 되었습니다. 또한 해당 가공(전처리)된 데이터들은 R studio 또는 Python 등에서 데이터 분석에 활용하거나, 웹페이지에서 제공되는 SpreadJS Excel UI 컨트롤을 사용하여 2차, 3차… n차로도 쉽고 빠르게 가공할 수 있습니다.
SpreadJS 화면 상에서 가공된 데이터는 JSON 형태로 DsExcel Java API로 전달되어, 서버(백엔드) 상에 CSV 또는 Excel 파일 형태로 저장되고 관리될 수 있도록 개발하였습니다. 따라서 다른 사용자들과 쉽게 데이터를 공유하고 추가적인 연구와 분석을 자유롭게 할 수 있습니다.
USE CASE
아래에서는 스마트팜 R&D 빅데이터 포털에서 실제 SpreadJS(프론트엔드)와 DsExcel Java API(백엔드)가 어떻게 사용되고 있는지 보여 줍니다.
(스마트팜 R&D 빅데이터 포털 매뉴얼 참조)
포털에 들어가면 CSV 형식의 다양한 시설 원예 및 축산 관련 데이터 셋을 등록하고 활용할 수 있습니다. 등록된 데이터 셋들은 아래와 같이 리스트로 보이며, 사용자들이 필요한 데이터에 접근 가능합니다.
CSV 형식의 다양한 낙농 관련 데이터 셋, 스마트팜 R&D 빅데이터 포털 메뉴얼 참조
위의 데이터 셋을 선택하면, 아래와 같이 SpreadJS의 스프레트시트 상으로 데이터가 표출됩니다. 사용자는 해당 데이터 셋의 데이터를 확인하고, 엑셀과 동일한 방법으로 데이터를 수정 및 정제하여 분석에 필요한 데이터 형태로 가공할 수 있습니다.
SpreadJS에 스프레드시트에 질병에 대한 데이터를 불러온 화면, 스마트팜 R&D 빅데이터 포털 매뉴얼 참조
위에서 수정/가공된 Excel(CSV) 데이터는 DsExcel Java API를 통해 서버에 파일 형태로 저장되며, 다른 사용자도 해당 가공된 n차 데이터에 접근하여 이용할 수 있게 됩니다.
위와 같이 Excel의 UI/UX 뿐만 아니라 거의 모든 기능을 제공하고 호환해주는 SpreadJS 컨트롤과 DsExcel API를 함께 사용하여 현업 사용자에게 가장 익숙한 Excel 형태의 데이터 가공, 정제 및 시각화 기능을 제공한다면 사용자들의 활용도 및 생산성을 향상할 수 있습니다.
SpreadJS 관련 링크
DsExcel API 관련 링크
