一、 ELK工作站簡介

ELK Stack 是 Elasticsearch、Logstash、Kibana 三個開源軟體的組合。在實時資料檢索和分析場合，三者通常是配合共用，而且又都先後歸於 Elastic.co 公司名下，故有此簡稱。

ELK Stack 在最近兩年迅速崛起，成為機器資料分析，或者說實時日誌處理領域，開源界的第一選擇。和傳統的日誌處理方案相比，ELK Stack 具有如下幾個優點：

處理方式靈活。Elasticsearch 是實時全文索引，不需要像 storm 那樣預先程式設計才能使用;

配置簡易上手。Elasticsearch 全部採用 JSON 介面，Logstash 是 Ruby DSL 設計，都是目前業界最通用的配置語法設計;

檢索效能高效。雖然每次查詢都是實時計算，但是優秀的設計和實現基本可以達到全天資料查詢的秒級響應;

叢集線性擴充套件。不管是 Elasticsearch 叢集還是 Logstash 叢集都是可以線性擴充套件的;

當然，ELK Stack 也並不是實時資料分析界的靈丹妙藥。在不恰當的場景，反而會事倍功半。我自 2014 年初開 QQ 群交流 ELK Stack，發現網友們對 ELK Stack 的原理概念，常有誤解誤用;對實現的效果，又多有不能理解或者過多期望而失望之處。更令我驚奇的是，網友們廣泛分佈在傳統企業和網際網路公司、開發和運維領域、Linux 和 Windows 平臺，大家對非專精領域的知識，一般都缺乏瞭解，這也成為使用 ELK Stack 時的一個障礙。

https://www.elastic.co/products/logstash#

2. 簡介

Logstash是一款輕量級的日誌蒐集處理框架，可以方便地把分散的、多樣化的日誌蒐集起來，並進行自定義的處理，然後傳輸到指定的位置，比如某個伺服器或者檔案。

3. 安裝

下載後直接解壓，就可以了。

4. helloword使用

透過命令列，進入到logstash/bin目錄，執行下面的命令：

logstash -e ""

可以看到提示下面資訊(這個命令稍後介紹)，輸入hello world!

可以看到logstash為我們自動添加了幾個欄位，時間戳@timestamp，版本@version，輸入的型別type，以及主機名host。

4.1. 簡單的工作原理

Logstash使用管道方式進行日誌的蒐集處理和輸出。有點類似*NIX系統的管道命令 xxx | ccc | ddd，xxx執行完了會執行ccc，然後執行ddd。

在logstash中，包括了三個階段:

輸入input --> 處理filter(不是必須的) --> 輸出output

每個階段都有很多的外掛配合工作，比如file、elasticsearch、redis等等。

每個階段也可以指定多種方式，比如輸出既可以輸出到elasticsearch中，也可以指定到stdout在控制檯列印。

由於這種外掛式的組織方式，使得logstash變得易於擴充套件和定製。

4.2. 命令列中常用的命令

-f：透過這個命令可以指定Logstash的配置檔案，根據配置檔案配置logstash

-e：後面跟著字串，該字串可以被當做logstash的配置(如果是“” 則預設使用stdin作為輸入，stdout作為輸出)

-l：日誌輸出的地址(預設就是stdout直接在控制檯中輸出)

-t：測試配置檔案是否正確，然後退出。

4.3. 配置檔案說明

前面介紹過logstash基本上由三部分組成，input、output以及使用者需要才新增的filter，因此標準的配置檔案格式如下：

input {...}

filter {...}

output {...}

input {

file { path =>"/var/log/messages" type =>"syslog"}

file { path =>"/var/log/apache/access.log" type =>"apache"}

}

類似的，如果在filter中添加了多種處理規則，則按照它的順序一一處理，但是有一些外掛並不是執行緒安全的。

比如在filter中指定了兩個一樣的的外掛，這兩個任務並不能保證準確地按順序執行，因此官方也推薦避免在filter中重複使用外掛。

說完這些，簡單的建立一個配置檔案的小例子看看：

input {

file {

#指定監聽的檔案路徑，注意必須是絕對路徑

path => "E:/software/logstash-1.5.4/logstash-1.5.4/data/test.log"

start_position => beginning

}

}

filter {

}

output {

stdout {}

}

日誌大致如下：注意最後有一個空行。

1 hello,this is first line in test.log!

2 hello,my name is xingoo!

3 goodbye.this is last line in test.log!

4

執行命令得到如下資訊：

5. 最常用的input外掛——file。

這個外掛可以從指定的目錄或者檔案讀取內容，輸入到管道處理，也算是logstash的核心外掛了，大多數的使用場景都會用到這個外掛，因此這裡詳細講述下各個引數的含義與使用。

5.1. 最小化的配置檔案

在Logstash中可以在 input{} 裡面新增file配置，預設的最小化配置如下：

input {

file {

path => "E:/software/logstash-1.5.4/logstash-1.5.4/data/*"

}

}

filter {

}

output {

stdout {}

}

當然也可以監聽多個目標檔案：

input {

file {

path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"]

}

}

filter {

}

output {

stdout {}

}

5.2. 其他的配置

另外，處理path這個必須的項外，file還提供了很多其他的屬性：

input {

file {

#監聽檔案的路徑

path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"]

#排除不想監聽的檔案

exclude => "1.log"

#新增自定義的欄位

add_field => {"test"=>"test"}

#增加標籤

tags => "tag1"

#設定新事件的標誌

delimiter => "\n"

#設定多長時間掃描目錄，發現新檔案

discover_interval => 15

#設定多長時間檢測檔案是否修改

stat_interval => 1

#監聽檔案的起始位置，預設是end

start_position => beginning

#監聽檔案讀取資訊記錄的位置

sincedb_path => "E:/software/logstash-1.5.4/logstash-1.5.4/test.txt"

#設定多長時間會寫入讀取的位置資訊

sincedb_write_interval => 15

}

}

filter {

}

output {

stdout {}

}

其中值得注意的是：

1 path

是必須的選項，每一個file配置，都至少有一個path

2 exclude

是不想監聽的檔案，logstash會自動忽略該檔案的監聽。配置的規則與path類似，支援字串或者陣列，但是要求必須是絕對路徑。

3 start_position

是監聽的位置，預設是end，即一個檔案如果沒有記錄它的讀取資訊，則從檔案的末尾開始讀取，也就是說，僅僅讀取新新增的內容。對於一些更新的日誌型別的監聽，通常直接使用end就可以了;相反，beginning就會從一個檔案的頭開始讀取。但是如果記錄過檔案的讀取資訊，這個配置也就失去作用了。

4 sincedb_path

這個選項配置了預設的讀取檔案資訊記錄在哪個檔案中，預設是按照檔案的inode等資訊自動生成。其中記錄了inode、主裝置號、次裝置號以及讀取的位置。因此，如果一個檔案僅僅是重新命名，那麼它的inode以及其他資訊就不會改變，因此也不會重新讀取檔案的任何資訊。類似的，如果複製了一個檔案，就相當於建立了一個新的inode，如果監聽的是一個目錄，就會讀取該檔案的所有資訊。

5 其他的關於掃描和檢測的時間，按照預設的來就好了，如果頻繁建立新的檔案，想要快速監聽，那麼可以考慮縮短檢測的時間。

6 add_field

就是增加一個欄位，例如：

file {

add_field => {"test"=>"test"}

path => "D:/tools/logstash/path/to/groksample.log"

start_position => beginning

}

6. Kafka與Logstash的資料採集對接

基於Logstash跑通Kafka還是需要注意很多東西，最重要的就是理解Kafka的原理。

6.1. Logstash工作原理

由於Kafka採用解耦的設計思想，並非原始的釋出訂閱，生產者負責產生訊息，直接推送給消費者。而是在中間加入持久化層——broker,生產者把資料存放在broker中，消費者從broker中取資料。這樣就帶來了幾個好處:

1 生產者的負載與消費者的負載解耦

2 消費者按照自己的能力fetch資料

3 消費者可以自定義消費的數量

另外，由於broker採用了主題topic-->分割槽的思想，使得某個分割槽內部的順序可以保證有序性，但是分割槽間的資料不保證有序性。這樣，消費者可以以分割槽為單位，自定義讀取的位置——offset。

Kafka採用zookeeper作為管理，記錄了producer到broker的資訊，以及consumer與broker中partition的對應關係。因此，生產者可以直接把資料傳遞給broker，broker透過zookeeper進行leader-->followers的選舉管理;消費者透過zookeeper儲存讀取的位置offset以及讀取的topic的partition分割槽資訊。

由於上面的架構設計，使得生產者與broker相連;消費者與zookeeper相連。有了這樣的對應關係，就容易部署logstash-->kafka-->logstash的方案了。

接下來，按照下面的步驟就可以實現logstash與kafka的對接了。

6.2. 啟動kafka

啟動zookeeper：

$zookeeper/bin/zkServer.sh start

啟動kafka：

$kafka/bin/kafka-server-start.sh $kafka/config/server.properties &

6.3. 建立主題

建立主題:

$kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --create --topic hello --replication-factor 1 --partitions 1

檢視主題:

$kafka/bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe

6.4. 測試環境

執行生產者指令碼:

$kafka/bin/kafka-console-producer.sh --broker-list 10.0.67.101:9092 --topic hello

執行消費者指令碼，檢視是否寫入:

$kafka/bin/kafka-console-consumer.sh --zookeeper 127.0.0.1:2181 --from-beginning --topic hello

6.5. 向kafka中輸出資料

input{

stdin{}

}

output{

kafka{

topic_id => "hello"

bootstrap_servers => "192.168.0.4:9092,172.16.0.12:9092"

# kafka的地址

batch_size => 5

codec => plain {

format => "%{message}"

charset => "UTF-8"

}

}

stdout{

codec => rubydebug

}

}

6.6. 從kafka中讀取資料

logstash配置檔案:

input{

kafka {

codec => "plain"

group_id => "logstash1"

auto_offset_reset => "smallest"

reset_beginning => true

topic_id => "hello"

zk_connect => "192.168.0.5:2181"

}

}

output{

stdout{

codec => rubydebug

}

}

7. Filter

7.1. 過濾外掛grok元件

#日誌

55.3.244.1 GET /index.html 15824 0.043

bin/logstash -e '

input { stdin {} }

filter {

grok {

match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }

}

}

output { stdout {codec => rubydebug} }'

7.2. 分割外掛split

filter {

mutate {

split => { "message" => " " }

add_field => {

"event_type" => "%{message[3]}"

"current_map" => "%{message[4]}"

"current_X" => "%{message[5]}"

"current_y" => "%{message[6]}"

"user" => "%{message[7]}"

"item" => "%{message[8]}"

"item_id" => "%{message[9]}"

"current_time" => "%{message[12]}"

}

remove_field => [ "message" ]

}

}

三、 ElasticSearch索引服務安裝和使用

1. 簡介

ElasticSearch是一個基於Lucene的搜尋伺服器。它提供了一個分散式多使用者能力的全文搜尋引擎，基於RESTful web介面。Elasticsearch是用Java開發的，並作為Apache許可條款下的開放原始碼釋出，是當前流行的企業級搜尋引擎。設計用於雲計算中，能夠達到實時搜尋，穩定，可靠，快速，安裝使用方便。

2. ES概念

cluster

代表一個叢集，叢集中有多個節點，其中有一個為主節點，這個主節點是可以透過選舉產生的，主從節點是對於叢集內部來說的。es的一個概念就是去中心化，字面上理解就是無中心節點，這是對於叢集外部來說的，因為從外部來看es叢集，在邏輯上是個整體，你與任何一個節點的通訊和與整個es叢集通訊是等價的。

shards

代表索引分片，es可以把一個完整的索引分成多個分片，這樣的好處是可以把一個大的索引拆分成多個，分佈到不同的節點上。構成分散式搜尋。分片的數量只能在索引建立前指定，並且索引建立後不能更改。

replicas

代表索引副本，es可以設定多個索引的副本，副本的作用一是提高系統的容錯性，當某個節點某個分片損壞或丟失時可以從副本中恢復。二是提高es的查詢效率，es會自動對搜尋請求進行負載均衡。

recovery

代表資料恢復或叫資料重新分佈，es在有節點加入或退出時會根據機器的負載對索引分片進行重新分配，掛掉的節點重新啟動時也會進行資料恢復。

river

代表es的一個數據源，也是其它儲存方式(如：資料庫)同步資料到es的一個方法。它是以外掛方式存在的一個es服務，透過讀取river中的資料並把它索引到es中，官方的river有couchDB的，RabbitMQ的，Twitter的，Wikipedia的。

gateway

代表es索引快照的儲存方式，es預設是先把索引存放到記憶體中，當記憶體滿了時再持久化到本地硬碟。gateway對索引快照進行儲存，當這個es叢集關閉再重新啟動時就會從gateway中讀取索引備份資料。es支援多種型別的gateway，有本地檔案系統(預設)，分散式檔案系統，Hadoop的HDFS和amazon的s3雲端儲存服務。

discovery.zen

代表es的自動發現節點機制，es是一個基於p2p的系統，它先透過廣播尋找存在的節點，再透過多播協議來進行節點之間的通訊，同時也支援點對點的互動。

Transport

代表es內部節點或叢集與客戶端的互動方式，預設內部是使用tcp協議進行互動，同時它支援http協議(json格式)、thrift、servlet、memcached、zeroMQ等的傳輸協議(透過外掛方式整合)。

3. 安裝

1、 建立使用者

es啟動時需要使用非root使用者，所以建立一個鈹銅使用者

2、 安裝jdk(jdk要求1.8.20或1.7.55以上)

3、 上傳es安裝包

4、 tar -zxvf elasticsearch-2.3.1.tar.gz -C /bigdata/

5、 修改配置

vi /bigdata/elasticsearch-2.3.1/config/elasticsearch.yml

#叢集名稱，透過組播的方式通訊，透過名稱判斷屬於哪個叢集

cluster.name: bigdata

#節點名稱，要唯一

node.name: es-1

#資料存放位置

path.data: /data/es/data

#日誌存放位置

path.logs: /data/es/logs

#es繫結的ip地址

network.host: 172.16.0.14

#初始化時可進行選舉的節點

discovery.zen.ping.unicast.hosts: ["node-4.itcast.cn", "node-5.itcast.cn", "node-6.itcast.cn"]

6、 使用scp複製到其他節點

scp -r elasticsearch-2.3.1/ node-5.itcast.cn:$PWD

scp -r elasticsearch-2.3.1/ node-6.itcast.cn:$PWD

7、 在其他節點上修改es配置，需要修改的有node.name和network.host

8、 啟動es(/bigdata/elasticsearch-2.3.1/bin/elasticsearch -h檢視幫助文件)

/bigdata/elasticsearch-2.3.1/bin/elasticsearch –d

9、 用瀏覽器訪問es所在機器的9200埠

http://172.16.0.14:9200/

{

"name" : "es-1",

"cluster_name" : "bigdata",

"version" : {

"number" : "2.3.1",

"build_hash" : "bd980929010aef404e7cb0843e61d0665269fc39",

"build_timestamp" : "2016-04-04T12:25:05Z",

"build_snapshot" : false,

"lucene_version" : "5.5.0"

},

"tagline" : "You Know, for Search"

}

kill `ps -ef | grep Elasticsearch | grep -v grep | awk '{print $2}'`

4. es安裝外掛下載es外掛

/bigdata/elasticsearch-2.3.1/bin/plugin install mobz/elasticsearch-head

#本地方式安裝head外掛

./plugin install file:///home/bigdata/elasticsearch-head-master.zip

#訪問head管理頁面

http://172.16.0.14:9200/_plugin/head

5. es的RESTful介面操作

RESTful介面URL的格式：

http://localhost:9200///[]

其中index、type是必須提供的。

id是可選的，不提供es會自動生成。

index、type將資訊進行分層，利於管理。

index可以理解為資料庫;type理解為資料表;id相當於資料庫表中記錄的主鍵，是唯一的。

#向store索引中新增一些書籍

curl -XPUT 'http://172.16.0.14:9200/store/books/1' -d '{

"title": "Elasticsearch: The Definitive Guide",

"name" : {

"first" : "Zachary",

"last" : "Tong"

},

"publish_date":"2015-02-06",

"price":"49.99"

}'

#透過瀏覽器查詢

http://172.16.0.14:9200/store/books/1

#在linux中透過curl的方式查詢

curl -XGET 'http://172.16.0.14:9200/store/books/1'

#再新增一個書的資訊

curl -XPUT 'http://172.16.0.14:9200/store/books/2' -d '{

"title": "Elasticsearch Blueprints",

"name" : {

"first" : "Vineeth",

"last" : "Mohan"

},

"publish_date":"2015-06-06",

"price":"35.99"

}'

# 透過ID獲得文件資訊

curl -XGET 'http://172.16.0.14:9200/bookstore/books/1'

#在瀏覽器中檢視

http://172.16.0.14:9200/bookstore/books/1

# 透過_source獲取指定的欄位

curl -XGET 'http://172.16.0.14:9200/store/books/1?_source=title'

curl -XGET 'http://172.16.0.14:9200/store/books/1?_source=title,price'

curl -XGET 'http://172.16.0.14:9200/store/books/1?_source'

#可以透過覆蓋的方式更新

curl -XPUT 'http://172.16.0.14:9200/store/books/1' -d '{

"title": "Elasticsearch: The Definitive Guide",

"name" : {

"first" : "Zachary",

"last" : "Tong"

},

"publish_date":"2016-02-06",

"price":"99.99"

}'

# 或者透過 _update API的方式單獨更新你想要更新的

curl -XPOST 'http://172.16.0.14:9200/store/books/1/_update' -d '{

"doc": {

"price" : 88.88

}

}'

curl -XGET 'http://172.16.0.14:9200/store/books/1'

curl -XDELETE 'http://172.16.0.14:9200/store/books/1'

# 最簡單filter查詢

# SELECT * FROM books WHERE price = 35.99

# filtered 查詢價格是35.99的

curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{

"query" : {

"filtered" : {

"query" : {

"match_all" : {}

},

"filter" : {

"term" : {

"price" : 35.99

}

}

}

}

}'

#指定多個值

curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{

"query" : {

"filtered" : {

"filter" : {

"terms" : {

"price" : [35.99, 88.88]

}

}

}

}

}'

# SELECT * FROM books WHERE publish_date = "2015-02-06"

curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{

"query" : {

"filtered" : {

"filter" : {

"term" : {

"publish_date" : "2015-02-06"

}

}

}

}

}'

# bool過濾查詢，可以做組合過濾查詢

# SELECT * FROM books WHERE (price = 35.99 OR price = 99.99) AND (publish_date != "2016-02-06")

# 類似的，Elasticsearch也有 and, or, not這樣的組合條件的查詢方式

# 格式如下：

# {

# "bool" : {

# "must" : [],

# "should" : [],

# "must_not" : [],

# }

# }

#

# must: 條件必須滿足，相當於 and

# should: 條件可以滿足也可以不滿足，相當於 or

# must_not: 條件不需要滿足，相當於 not

curl -XGET 'http://172.16.0.14:9200/bookstore/books/_search' -d '{

"query" : {

"filtered" : {

"filter" : {

"bool" : {

"should" : [

{ "term" : {"price" : 35.99}},

{ "term" : {"price" : 99.99}}

],

"must_not" : {

"term" : {"publish_date" : "2016-02-06"}

}

}

}

}

}

}'

# 巢狀查詢

# SELECT * FROM books WHERE price = 35.99 OR ( publish_date = "2016-02-06" AND price = 99.99 )

curl -XGET 'http://172.16.0.14:9200/bookstore/books/_search' -d '{

"query" : {

"filtered" : {

"filter" : {

"bool" : {

"should" : [

{ "term" : {"price" : 35.99}},

{ "bool" : {

"must" : [

{"term" : {"publish_date" : "2016-02-06"}},

{"term" : {"price" : 99.99}}

]

}}

]

}

}

}

}

}'

# range範圍過濾

# SELECT * FROM books WHERE price >= 20 AND price < 100

# gt : > 大於

# lt : < 小於

# gte : >= 大於等於

# lte : <= 小於等於

curl -XGET 'http://172.16.0.14:9200/store/books/_search' -d '{

"query" : {

"filtered" : {

"filter" : {

"range" : {

"price" : {

"gt" : 20.0,

"lt" : 100

}

}

}

}

}

}'

# 另外一種 and， or， not查詢

# 沒有bool, 直接使用and , or , not

# 注意: 不帶bool的這種查詢不能利用快取

# 查詢價格既是35.99，publish_date又為"2015-02-06"的結果

curl -XGET 'http://172.16.0.14:9200/bookstore/books/_search' -d '{

"query": {

"filtered": {

"filter": {

"and": [

{

"term": {

"price":59.99

}

},

{

"term": {

"publish_date":"2015-02-06"

}

}

]

},

"query": {

"match_all": {}

}

}

}

}'

6. Logstash讀取file寫入es

input {

file {

path => "/var/nginx_logs/*.log"

codec => "json"

discover_interval => 5

start_position => "beginning"

}

}

output {

elasticsearch {

index => "flow-%{+YYYY.MM.dd}"

hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]

}

}

7. Logstash+kafka+es

input {

kafka {

type => "accesslogs"

codec => "plain"

auto_offset_reset => "smallest"

group_id => "elas1"

topic_id => "accesslogs"

zk_connect => "172.16.0.11:2181,172.16.0.12:2181,172.16.0.13:2181"

}

kafka {

type => "gamelogs"

auto_offset_reset => "smallest"

codec => "plain"

group_id => "elas2"

topic_id => "gamelogs"

zk_connect => "172.16.0.11:2181,172.16.0.12:2181,172.16.0.13:2181"

}

}

filter {

if [type] == "accesslogs" {

json {

source => "message"

remove_field => [ "message" ]

target => "access"

}

}

if [type] == "gamelogs" {

mutate {

split => { "message" => " " }

add_field => {

"event_type" => "%{message[3]}"

"current_map" => "%{message[4]}"

"current_X" => "%{message[5]}"

"current_y" => "%{message[6]}"

"user" => "%{message[7]}"

"item" => "%{message[8]}"

"item_id" => "%{message[9]}"

"current_time" => "%{message[12]}"

}

remove_field => [ "message" ]

}

}

}

output {

if [type] == "accesslogs" {

elasticsearch {

index => "accesslogs"

codec => "json"

hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]

}

}

if [type] == "gamelogs" {

elasticsearch {

index => "gamelogs"

codec => plain {

charset => "UTF-16BE"

}

hosts => ["172.16.0.14:9200", "172.16.0.15:9200", "172.16.0.16:9200"]

}

}

}

四、Kibana報表工具的安裝和使用

1. 簡介

Logstash 早期曾經自帶了一個特別簡單的 logstash-web 用來檢視 ES 中的資料。其功能太過簡單，於是 Rashid Khan 用 PHP 寫了一個更好用的 web，取名叫 Kibana。這個 PHP 版本的 Kibana 釋出時間是 2011 年 12 月 11 日。

Kibana 迅速流行起來，不久的 2012 年 8 月 19 日，Rashid Khan 用 Ruby 重寫了 Kibana，也被叫做 Kibana2。因為 Logstash 也是用 Ruby 寫的，這樣 Kibana 就可以替代原先那個簡陋的 logstash-web 頁面了。

目前我們看到的 angularjs 版本 kibana 其實原名叫 elasticsearch-dashboard，但跟 Kibana2 作者是同一個人，換句話說，kibana 比 logstash 還早就進了 elasticsearch 名下。這個專案改名 Kibana 是在 2014 年 2 月，也被叫做 Kibana3。全新的設計一下子風靡 DevOps 界。隨後其他社群紛紛借鑑，Graphite 目前最流行的 Grafana 介面就是由此而來，至今程式碼中還留存有十餘處 kbn 字樣。

2014 年 4 月，Kibana3 停止開發，ES 公司集中人力開始 Kibana4 的重構，在 2015 年初發布了使用 JRuby 做後端的 beta 版後，於 3 月正式推出使用 node.js 做後端的正式版。由於設計思路上的差別，一些 K3 適宜的場景並不在 K4 考慮範圍內，所以，至今 K3 和 K4 並存使用。

2. 安裝

解壓後，修改kibanna.yml，新增elasticsearch.url: "http://172.16.0.14:9200"資訊，然後啟動。

3. 匯入資料

我們將使用莎士比亞全集作為我們的示例資料。要更好的使用 Kibana，你需要為自己的新索引應用一個對映集(mapping)。我們用下面這個對映集建立"莎士比亞全集"索引。實際資料的欄位比這要多，但是我們只需要指定下面這些欄位的對映就可以了。注意到我們設定了對 speaker 和 play_name 不分析。原因會在稍後講明。

在終端執行下面命令：

curl -XPUT http://localhost:9200/shakespeare -d '

{

"mappings" : {

"_default_" : {

"properties" : {

"speaker" : {"type": "string", "index" : "not_analyzed" },

"play_name" : {"type": "string", "index" : "not_analyzed" },

"line_id" : { "type" : "integer" },

"speech_number" : { "type" : "integer" }

}

}

}

}

';

我們這就建立好了索引。現在需要做的時匯入資料。莎士比亞全集的內容我們已經整理成了 elasticsearch 批次 匯入所需要的格式，你可以透過shakeseare.json下載。

用如下命令匯入資料到你本地的 elasticsearch 程序中。

curl -XPUT localhost:9200/_bulk --data-binary @shakespeare.json

4. 訪問 Kibana 介面

開啟瀏覽器，訪問已經發布了 Kibana 的本地伺服器。

好了，現在顯示的就是你的 sample dashboard!如果你是用新的 elasticsearch 程序開始本教程的，你會看到一個百分比佔比很重的餅圖。這裡顯示的是你的索引中，文件型別的情況。如你所見，99% 都是 lines，只有少量的 acts 和scenes。

在下面，你會看到一長段 JSON 格式的莎士比亞詩文。

5. 第一次搜尋

Kibana 允許使用者採用 Lucene Query String 語法搜尋 Elasticsearch 中的資料。請求可以在頁面頂部的請求輸入框中書寫。

在請求框中輸入如下內容。然後查看錶格中的前幾行內容。

friends, romans, countrymen

關於搜尋請求的語法，請閱讀稍後 Query 和 Filtering 小節。

6. 配置另一個索引

目前 Kibana 指向的是 Elasticsearch 一個特殊的索引叫 _all。 _all 可以理解為全部索引的大集合。目前你只有一個索引， shakespeare，但未來你會有更多其他方面的索引，你肯定不希望 Kibana 在你只想搜《麥克白》裡心愛的句子的時候還要搜尋全部內容。

在這裡，你可以設定你的索引為 shakespeare ，這樣 Kibana 就只會搜尋 shakespeare 索引的內容了。

這是因為 ES1.4 增強了許可權管理。你需要在 ES 配置檔案 elasticsearch.yml 中新增下列配置並重啟服務後才能正常訪問：

http.cors.enabled: true

http.cors.allow-origin: "*"

記住 kibana3 頁面也要重新整理快取才行。

此外，如果你可以很明確自己 kibana 以外沒有其他 http 訪問，可以把 kibana 的網址寫在http.cors.allow-origin 引數的值中。比如：http.cors.allow-origin: "/https?:\/\/kbndomain/"