sql 문과 map reduce
- Posted at 2009/05/31 20:03
- Filed under project/lucene_hadoop
최근 Hadoop의 MapRecuce 작업을 이용하여 BI, DW에 적용하는 시도가 많이 이뤄주고 있는 것 같습니다. Hive, Cloudbase 등과 같은 솔루션은 SQL 문을 이용하여 mapreduce 작업을 쉽게 실행할 수 있도록 해줍니다. SQL문과 map reduce의 관계는 다음과 같이 매핑할 수 있습니다.
select sum(ip)
into t_result
from t_log
where log_date = '20090601'
group by ip
into t_result
from t_log
where log_date = '20090601'
group by ip
select column -> map output value
sum -> reduce function
into -> output path
from -> input path
where -> map function
group by column -> map key
sum -> reduce function
into -> output path
from -> input path
where -> map function
group by column -> map key
Posted by 김형준
- Response
- No Trackback , No Comment
Trackback URL : http://www.jaso.co.kr/trackback/353
