Tích hợp RDBMS và ElasticSearch để tối ưu hệ thống lưu trữ và tìm kiếm

Chào các bạn, trong quá trình đối mặt với nhiều bài toán lưu trữ và tìm kiếm, mình nhận ra rằng việc kết hợp RDBMS (PostgreSQL hay MS SqlServer) và ElasticSearch có thể giúp quyết rất nhiều vấn đề.

Trong bài viết này, mình sẽ chia sẻ cách mình đã tích hợp hai công nghệ này như thế nào.

Vì sao nên kết hợp PostgreSQL và ElasticSearch?

Sử dụng ElasticSearch, chúng ta đều rất ấn tượng với khả năng tìm kiếm nhanh chóng và chính xác của nó. Tuy nhiên, chúng ta cũng hiểu khi xây dựng một hệ quản lý giao dịch (transactions), một hệ thống quản lý nội dung (CMS),... và đảm bảo dữ liệu có cấu trúc tốt, RDBMS là một lựa chọn không thể bỏ qua.

Khi kết hợp hai công nghệ này, mình sẽ tối ưu hóa được hiệu năng lưu trữ và tìm kiếm.

Các bước thực hiện

1. Chuẩn bị môi trường

Trước tiên, bạn cần cài đặt PostgreSQL và ElasticSearch.

Bên cạnh đó, mình có thể sử dụng một ngôn ngữ lập trình như Python hoặc .NET để xây dựng công cụ đồng bộ dữ liệu.

2. Tạo bảng trong PostgreSQL

Giả sử bảng dữ liệu tên là articles:

CREATE TABLE articles (
    id SERIAL PRIMARY KEY,
    title TEXT NOT NULL,
    content TEXT NOT NULL,
    published_at TIMESTAMP NOT NULL
);

3. Tạo Index trong ElasticSearch

Mình đã thiết lập index như sau:

PUT /articles
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text"
      },
      "content": {
        "type": "text"
      },
      "published_at": {
        "type": "date"
      }
    }
  }
}

4. Kết nối và động bộ dữ liệu

Sử dụng C# (.NET)

Nếu bạn quen thuộc với .NET như mình, đoạn code sau sẽ giúp bạn tích hợp PostgreSQL và ElasticSearch:

using System;
using System.Data;
using Npgsql;
using Elasticsearch.Net;
using Nest;

class Program
{
    static void Main(string[] args)
    {
        // Kết nối PostgreSQL
        var connectionString = "Host=localhost;Username=your_user;Password=your_password;Database=your_db";
        using var conn = new NpgsqlConnection(connectionString);
        conn.Open();

        // Kết nối ElasticSearch
        var settings = new ConnectionSettings(new Uri("http://localhost:9200"))
            .DefaultIndex("articles");
        var client = new ElasticClient(settings);

        // Truy vấn dữ liệu
        using var cmd = new NpgsqlCommand("SELECT id, title, content, published_at FROM articles", conn);
        using var reader = cmd.ExecuteReader();

        while (reader.Read())
        {
            var doc = new
            {
                id = reader.GetInt32(0),
                title = reader.GetString(1),
                content = reader.GetString(2),
                published_at = reader.GetDateTime(3).ToString("o") // ISO 8601 format
            };

            var response = client.IndexDocument(doc);
            if (!response.IsValid)
            {
                Console.WriteLine($"Error indexing document ID {doc.id}: {response.OriginalException.Message}");
            }
        }

        Console.WriteLine("("Đã chuyển dữ liệu thành công!");
    }
}

Như vậy, mình đã có bản ghi ở RDBMS, đồng thời các bản ghi articlé đó cũng có trên Elasticsearch. Phía Frontend, mình sẽ query và tìm kiếm ở Elasticsearch thay cho connect và query ở database.

Tổng hợp

Việc kết hợp RDBMS và ElasticSearch không chỉ giúp tận dụng điểm mạnh của từng công nghệ mà còn mở ra rất nhiều khả năng tối ưu hóa hệ thống. RDBMS giúp bạn quản lý dữ liệu một cách có tổ chức, đảm bảo tính nhất quán và đáng tin cậy. Trong khi đó, ElasticSearch lại mang đến tốc độ tìm kiếm nhanh và linh hoạt trên lượng dữ liệu lớn.

Từ kinh nghiệm của mình, nếu bạn đang phải xử lý các bài toán lưu trữ và tìm kiếm phức tạp, đừng ngần ngại thử tích hợp hai công nghệ này. Hãy bắt đầu từ những bước đơn giản mà mình đã chia sẻ, và bạn sẽ thấy hiệu quả mà chúng mang lại. Nếu bạn có bất kỳ câu hỏi nào hoặc cần hỗ trợ thêm, đừng ngại để lại bình luận bên dưới nhé!

Happy coding!

/Son Do

Elasticsearch C#