Flume 썸네일형 리스트형 Flume exec source v1.0 Flume exec source 1. Flume exec sourceFlume 의 Source 중 하나이다. exec source 는 OS Command ‘tail’ 로 데이터를 캡쳐한다. 여기서는 데이터를 캡쳐하는 방법 ‘tail’ 으로 인해 발생할 수 있는 문제를 알아보려 한다. Apache flume 의 공식 가이드에서도 tail 이라는 명령어 자체가 갖는 특징과, Exec source 의 특징으로데이터 적재를 보장하지 못 한다고 명시되어 있다. (유실 가능성이 있다.) 2. EnvironmentSource : EXEC – FILE – AVRO a1.sources.a1.command = tail -F /log/weblogics/Server1/access.log Target : AVRO – FILE .. 더보기 Flume Installation exec-avro-hdfs v1.0 FLUME exec-avro-hdfs Installation 1. FlumeFlume 은 수로라는 뜻이다. 더불어 한국에서 말하는 후룸라이드는 flume ride 로 수로(?) 에서 타는 놀이기구이다. Flume 은 데이터를 수집하는 목적으로 사용된다.이와 관련해 flow 를 컨트롤 할 수 있고, fan – in , fan – out 을 지원한다. flow 를 컨트롤한다란 부분은 selector 를 사용하여 정보를 보낼 타겟을 지정할 수 있다. fan-in 은 n:1 로의 플로우를 의미하며 fan-out 은 1:n 의 플로우 (멀티플렉싱) 을 말한다. 2. Parameters for FlumeFlume 은 다음의 3가지 필수 요소로 기술된다. l sourcesl channelsl sinks Sources.. 더보기 이전 1 다음