เกี่ยวกับ Cloud computing + Big data ทั้งหมด > เกี่ยวกับเรื่อง Big data ทุกอย่าง

Elasticsearch vs Kafka ต่างกันอย่างไร

(1/1)

golfreeze:
สำหรับท่านที่สนใจการทำงาน ของ Elasticsearch กับ kafka และสงสัยว่ามันทำงานต่างกันอย่างไร ซึ่งโดยปกติแล้ว 2 service นี้ทำงานเกี่ยวกับเรื่อง big data ทั้งสอง

###Kafka
เริ่มต้นที่ส่วนการทำงานของ kafka คือเป็นตัวจัดการเรื่อง stream processing event queue หรือ messaging queue ลงใน แต่ละ topic และแต่ละ topic มีการเก็บส่วนของข้อมูลลงใน partition และยังสามารถทำการ replicate data synchronization ได้ เพื่อป้องกันการหายของข้อมูลที่วิ่งเข้ามาในระบบ อีกทั้งยังสามารถทำการ scale ได้ง่าย และทำการส่งต่อข้อมูลไปยัง application เพื่อประมวลผลต่อไป

ถ้าอยากเพิ่มเติมในส่วนของ monitoring tool ที่ใช้งานกับ kafka ก็สามารถใช้งานเป็น kafka manager ได้ครับ
https://github.com/yahoo/kafka-manager

###Elasticsearch
แต่หลักการทำงานของ Elasticsearch คือจะเน้นเรื่องการค้นหาข้อมูล จาก event จำนวนมากที่มีในระบบ หรือค้นหากลุ่มคำที่เราต้องการ เพื่อนำมาวิเคราะห์ต่อ

ถ้านำมาเชื่อมต่อกัน สามารถทำในรูปแบบนี้ได้ครับ

Data -> Kafka -> Connector -> Elasticsearch

ได้ครับ

หรือสามารถดูรายละเอียดเพิ่มได้ที่นี่ ครับ https://qbox.io/blog/kafka-and-elasticsearch-a-perfect-match-1

นำร่อง

[0] ดัชนีข้อความ