Re: [문의] Logstash에서 Elasticsearch로 CSV 데이터로드 방법 > 질문답변

• 목록

안녕하세요.

Logstash에서 Elasticsearch로 CSV 데이터 로드
    CSV 데이터를 사용하여 Logstash를 사용하여 Elasticsearch에 데이터를 업로드할 것입니다. 데이터 분석 작업을 위해 kaggle.com 웹사이트에서 데이터를 얻을 수 있습니다. Kaggle.com 사이트에는 모든 유형의 데이터가 업로드되어 있으며 사용자는 이를 사용하여 데이터 분석을 수행할 수 있습니다.

    https://www.kaggle.com/fernandol/countries-of-the-world 에서 country.csv 데이터를 가져왔습니다 . csv 파일을 다운받아 사용하시면 됩니다.

    우리가 사용할 csv 파일에는 다음과 같은 세부 정보가 있습니다.

    파일 이름 - countrydata.csv

    열 - "국가","지역","인구","지역"

    더미 csv 파일을 만들어 사용할 수도 있습니다. 우리는에서이 데이터를 덤프 logstash을 사용하는 것입니다 countriesdata.csv elasticsearch에.

    터미널에서 Elasticsearch와 Kibana를 시작하고 계속 실행하십시오. CSV 파일의 열에 대한 세부 정보와 아래 제공된 logstash-config 파일에 표시된 기타 세부 정보를 포함하는 logstash에 대한 구성 파일을 생성해야 합니다.

input {
  file {
      path => "C:/kibanaproject/countriesdata.csv"
      start_position => "beginning"
      sincedb_path => "NUL"
  }
}
filter {
  csv {
      separator => ","
      columns => ["Country","Region","Population","Area"]
  }
  mutate {convert => ["Population", "integer"]}
  mutate {convert => ["Area", "integer"]}
}
output {
  elasticsearch {
      hosts => ["localhost:9200"]
      => "countriesdata-%{+dd.MM.YYYY}"
  }
  stdout {codec => json_lines }
}

    구성 파일에서 3개의 구성 요소를 만들었습니다.

    Input
        우리의 경우 csv 파일인 입력 파일의 경로를 지정해야 합니다. csv 파일이 저장된 경로는 경로 필드에 제공됩니다.

    Filter
        우리의 경우 쉼표인 구분 기호가 있는 csv 구성 요소와 csv 파일에 사용할 수 있는 열이 있습니다. logstash는 들어오는 모든 데이터를 string으로 간주하므로 모든 열을 integer로 사용하려는 경우 위에 표시된 대로 mutate를 사용하여 float를 동일하게 지정해야 합니다.

    Output
        출력을 위해 데이터를 넣어야 할 위치를 지정해야 합니다. 여기서는 Elasticsearch를 사용하고 있습니다. Elasticsearch에 제공해야 하는 데이터는 실행 중인 호스트이며 localhost로 언급했습니다. 의 다음 필드는 country -currentdate 로 이름을 지정한 인덱스입니다 . Elasticsearch에서 데이터가 업데이트되면 Kibana에서 동일한 인덱스를 사용해야 합니다.

        위의 구성 파일을 logstash_countries.config 로 저장하십시오 . 다음 단계에서 이 구성의 경로를 logstash 명령에 제공해야 합니다.

        csv 파일에서 Elasticsearch로 데이터를 로드하려면 Elasticsearch 서버를 시작해야 합니다.

    Elasticsearch 서버 시작
        이제 브라우저에서 http://localhost:9200 을 실행하여 Elasticsearch가 성공적으로 실행되고 있는지 확인합니다.

    Elasticsearch 실행 중
        Elasticsearch가 실행 중입니다. 이제 logstash가 설치된 경로로 이동하여 다음 명령을 실행하여 데이터를 Elasticsearch에 업로드합니다.

        > logstash -f logstash_countries.conf
        Elasticsearch 명령 프롬프트
        Elasticsearch 업로드 데이터



감사합니다.



 >
 >
 > CSV 데이터를 사용하여 Logstash에서 Elasticsearch로 데이터를 업로드 하고 싶습니다.
>
> 연습해 볼 수 있는 logstash-config 파일 샘플이 있다면 공유 부탁드립니다.
 >
 >