Cài đặt Splunk trên Ubuntu

Chủ nhật - 02/07/2023 22:13 1.722 0

Splunk là một trong những công cụ phổ biến trong bối cảnh phân tích dữ liệu. Tuy nhiên, bạn cần cài đặt và định cấu hình Splunk để sử dụng nó. Hãy xem cách cài đặt Splunk trên nền tảng Linux.

Nếu bạn đã từng là thành viên của bất kỳ tổ chức nào, bạn sẽ biết tổ chức đó có bao nhiêu tài sản. Có rất nhiều thứ đúng: máy tính xách tay, máy tính để bàn, máy chủ, điểm truy cập, bộ chuyển mạch mạng, bộ định tuyến, tường lửa, điện thoại, máy in, sinh trắc học, máy ảnh, TV CC và hàng tấn ứng dụng, dịch vụ, phần mềm, giao diện này để vận hành tổ chức. Hãy sử dụng một thiết bị nhỏ như Sinh trắc học, thiết bị này sẽ ghi lại thông tin truy cập bất cứ khi nào ai đó vuốt để đăng nhập hoặc đăng xuất. Thử tưởng tượng, chỉ một thiết bị nhỏ như Biometric tạo ra bao nhiêu dữ liệu. Sau đó, hãy tưởng tượng lượng dữ liệu sẽ được tạo ra bởi tất cả các tài sản trong một tổ chức. Thách thức lớn nhất là làm thế nào để xử lý dữ liệu? Làm cách nào để trích xuất thông tin cần thiết cho một khối dữ liệu lớn? Cách phân tích dữ liệu để trích xuất. Giải pháp cho vấn đề này là chí trong một công cụ phân tích tốt. Splunk là một trong những công cụ phổ biến trong bối cảnh phân tích dữ liệu. Tuy nhiên, bạn cần cài đặt và định cấu hình Splunk để sử dụng nó. Hãy xem cách cài đặt Splunk trên nền tảng Linux.

Splunk là gì?

Splunk là một công cụ phân tích nhật ký lấy tất cả dữ liệu của các thiết bị làm đầu vào và cho phép nhà phân tích truy vấn dữ liệu trên giao diện web của nó. Splunk rất có thể được sử dụng để tìm kiếm, phân tích, giám sát và trực quan hóa dữ liệu máy do máy trạm, máy chủ, ứng dụng, thiết bị, cảm biến và các tài sản khác tạo ra. Ứng dụng Splunk được phát triển bởi Splunk Inc., một công ty công nghệ của Mỹ có trụ sở tại San Francisco, California. Splunk có nhiều loại sản phẩm cho các ứng dụng khác nhau. Kiểm tra trang sản phẩm để biết thêm thông tin.

Các thành phần của Splunk:

Được rồi, Trước khi bắt tay vào cài đặt, chúng ta cần biết nhiều về kiến trúc của nó. Hãy tìm hiểu về kiến trúc Splunk. Cho nên chúng ta sẽ dùng phương pháp chỉ nhìn nó từ tầng thứ cao.

Splunk có ba thành phần cốt lõi: Trình lập chỉ mục (Indexer), Trình chuyển tiếp (Forwarder), Đầu tìm kiếm (Search head). Vì vậy, hãy nhảy ngay vào vấn đề đó.

Splunk Indexer: Splunk Indexer là công thức bí mật thực sự đặt dữ liệu hoặc tệp nhật ký của bạn theo kiểu có thể tìm kiếm được. Chỉ mục là thứ sẽ nhận các tệp nhật ký và lập chỉ mục các nhật ký đó để có thể tìm kiếm chúng.
Splunk Head: Splunk Head là giao diện người dùng nơi người dùng Splunk và hầu hết là quản trị viên sẽ sử dụng và định cấu hình. Đây sẽ là giao diện đồ họa nơi bạn sẽ truy cập, viết các truy vấn của mình, tạo thông báo tin nhắn, thực hiện nhiều thao tác quản trị Splunk và ngoài ra, nó sẽ là thứ mà bạn nghĩ thực sự là môi trường Splunk. Vì vậy, bạn sẽ tương tác với đầu tìm kiếm và môi trường tìm kiếm hàng ngày.
Forwarder: Forwarder là thứ giúp chúng tôi lấy dữ liệu của mình từ môi trường phân tán của chúng tôi vào các Người lập chỉ mục đó. Forwarder với tư cách là một tác nhân sẽ chạy trên các thiết bị. Đó là một ứng dụng nhỏ chạy trên máy chủ, máy ảo hoặc thiết bị lấy các tệp nhật ký cụ thể này và gửi chúng đến bộ chỉ mục của chúng tôi.

Kiến trúc của Splunk:

Triển khai Splunk Standalone

Hãy xem xét một cái nhìn kiến trúc về điều đó. Vì vậy, trong kiến trúc, giả sử rằng chúng ta có một số máy chủ khác nhau chạy xung quanh trung tâm dữ liệu của mình. Chúng tôi thực sự có thể cài đặt các Forwarder của mình trên từng máy trong số đó và sau đó chúng tôi có các Indexer của mình. Giả sử chúng ta có hai bộ Indexer trong môi trường của mình vì chúng ta có một môi trường rất lớn hoặc vì chúng ta muốn có khả năng chịu lỗi. Và sau đó chỉ có một đầu tìm kiếm. Vì vậy, bạn có thể có nhiều search head. Trong môi trường của chúng tôi, chúng tôi sẽ chỉ có một ở đây. Vì vậy, làm thế nào để điều này làm việc từ một quan điểm kiến trúc? Forwarder của bạn đang gửi dữ liệu đến Indexer của bạn và sau đó bất cứ khi nào tìm kiếm được tạo, bạn thực sự đang xem xét điều đó. Bây giờ, trong môi trường của chúng tôi ở đây mà chúng tôi đang trải qua quá trình phát triển, mọi thứ đều nằm trong một hệ thống độc lập, nhưng khi kiến trúc của bạn và khi hệ thống của bạn phát triển, nó thực sự sẽ trở nên phức tạp hơn và bạn sẽ phân phối các chức năng khác nhau vì, bạn biết đấy, một máy chủ dành riêng cho đầu tìm kiếm, có thể là hai máy chủ dành riêng cho trình lập chỉ mục của bạn và sau đó là nhiều, thậm chí có thể hàng trăm nghìn trình chuyển tiếp khác nhau được cài đặt xung quanh trung tâm dữ liệu hoặc xung quanh môi trường CNTT của bạn.

Giấy phép Splunk hoạt động như thế nào?

Hãy nói một chút về việc cấp phép Splunk. Vì vậy, Splunk thực sự được cấp phép theo tốc độ nhập, chi phí cho mỗi terabyte số lượng bạn nhập vào một thời điểm. Splunk có phiên bản miễn phí. Phiên bản miễn phí đó được giới hạn ở mức khoảng 500 MB mỗi ngày và có một số chức năng nhất định mà bạn không thể có. Bạn thực sự có thể tận dụng giấy phép miễn phí Splunk đó và có thể tìm kiếm và xem xét các thành phần khác nhau trong môi trường Splunk. Giờ đây, thứ mà phần lớn các doanh nghiệp đang vận hành là Doanh nghiệp Splunk này. Vì vậy, lượng dữ liệu và chi phí cho dữ liệu đó sẽ thay đổi, nhưng nó thực sự sẽ giảm xuống còn bao nhiêu gigabyte mỗi ngày, phải không? Giống như bạn đang làm bao nhiêu gigabyte? Bạn đang làm 100, 2 TB? Chỉ cần tất cả sẽ phụ thuộc. Bạn phải làm việc với đại diện bán hàng của Splunk vào thời điểm đó. Để biết thêm thông tin về Các loại giấy phép Splunk và báo cáo sử dụng giấy phép, hãy xem Hướng dẫn quản trị.

Báo cáo sử dụng giấy phép truy cập:

Trên chủ giấy phép:

Điều hướng đến Settings > Licensing
Chọn Usage report.
Trên bảng điều khiển giám sát:

Điều hướng đến Settings > Monitoring Console
Điều hướng đến Indexing > License Usage.
Chọn License Usage.

Làm cách nào để cài đặt Splunk trên máy chủ Linux?

Bây giờ chúng ta đã biết cách Splunk được cấp phép và chúng ta có cái nhìn tổng thể về kiến trúc, đã đến lúc bắt tay vào thực hiện và bắt đầu xây dựng môi trường phát triển Splunk của riêng mình. Splunk hỗ trợ nhiều nền tảng hệ điều hành. Bạn có thể cài đặt Splunk trên Windows, mac và tất cả các bản phân phối Linux phổ biến. Bản trình diễn này sẽ chỉ cho bạn cách cài đặt Splunk trên máy chủ Linux. Chúng tôi đã chọn bản phân phối Ubuntu. Tất nhiên, bạn có thể cài đặt nó trên bất kỳ nền tảng Linux nào. Hãy xem cách cài đặt Splunk trên Linux Ubuntu.

Chúng tôi sẽ cài đặt một phiên bản duy nhất của Splunk Enterprise trên Ubuntu đóng vai trò của cả Trình lập chỉ mục và Đầu tìm kiếm. Bạn cần tải xuống Splunk Enterprise để cài đặt.

Làm cách nào để cài đặt Splunk trên máy chủ Linux?

Tải xuống Splunk trên Ubuntu từ dòng lệnh
Khi bạn hoàn thành mẫu đăng ký miễn phí, Splunk sẽ cho phép bạn tải xuống Splunk Enterprise. Dù sao, bạn có thể tải xuống trình cài đặt trực tiếp từ trình duyệt hoặc thông qua dòng lệnh. Thật dễ dàng để tải xuống Splunk thông qua dòng lệnh. Chạy lệnh này để tải xuống Splunk.

$ wget -O splunk-8.2.2.1-ae6821b7c64b-linux-2.6-amd64.deb 'https://download.splunk.com/products/splunk/releases/8.2.2.1/linux/splunk-8.2.2.1-ae6821b7c64b- linux-2.6-AMD64.deb' Download Splunk on Ubuntu from command line

Download Splunk on Ubuntu from command line

Cài đặt Splunk Enterprise trên Ubuntu

Sau khi tải xuống, hãy bật quyền thực thi bằng lệnh chmod +x. Sau đó cài đặt gói Splunk bằng cách sử dụng lệnh dpkg -i .

root@splunk:~/splunk# chmod +x splunk-8.2.2.1-ae6821b7c64b-linux-2.6-amd64.deb

Debian based Linux:

root@splunk:~/splunk# dpkg -i splunk-9.0.4-de405f4a7979-linux-2.6-amd64.deb

Red Hat based Linux:

$ rpm -i splunk-8.2.2.1-ae6821b7c64b-linux-2.6-amd64.deb

Thiết lập Splunk lần đầu tiên

Kiểm tra trạng thái bằng lệnh dưới đây. Lần đầu tiên, Splunk sẽ yêu cầu chấp nhận thỏa thuận cấp phép và thiết lập tài khoản quản trị viên.

root@splunk:~/splunk# /opt/splunk/bin/splunk status

Hoặc

root@splunk:~/splunk# cd /opt/splunk/bin
root@splunk:~/splunk# ./splunk status

Start Splunk services

Khởi động Splunk Services sử dụng lệnh

root@splunk:~/splunk# /opt/splunk/bin/splunk start

Hoặc

root@splunk:~/splunk# /opt/splunk/bin
root@splunk:~/splunk# ./splunk start

Chấp nhận thỏa thuận cấp phép và tạo tài khoản quản trị viên để đăng nhập vào bảng điều khiển splunk
Accept license aggrement and create admin account to login to the splunk console

Accept license aggrement and create admin account to login to the splunk console

Dịch vụ Splunk bắt đầu trên cổng 8000
Sau khi chấp nhận giấy phép và định cấu hình tài khoản quản trị, dịch vụ Splunk Enterprise sẽ bắt đầu. Bạn sẽ thấy URL trang đăng nhập ở cuối lời nhắc.
Splunk service started on port 8000

Kiểm tra xem cổng Splunk có đang nghe trên Ubuntu không
Xác minh rằng cổng 8000 đang lắng nghe trên máy chủ bằng lệnh netstat.

$ netstat -ntpl

Check the Splunk port is listening on ubuntu

Splunk service start and stop

Lệnh dùng để start stop, restart và kiểm tra trạng thái của Splunk service.

root@splunk:~/splunk# /opt/splunk/bin/splunk status
root@splunk:~/splunk# /opt/splunk/bin/splunk stop
root@splunk:~/splunk# /opt/splunk/bin/splunk start