Skip to main content

JEAP 6 - HornetQ 的 記事(Journal) 原理說明

有些人問HornetQ 的是不是可以使用Database 當作它的永久儲存,
其實這有點畫蛇添足,因為以現今的技術,資料庫的存取其實是屬於烏龜一族的,
HornetQ 使用更先進的方式,不再去連接慢吞吞有耗資源的資料庫,

這裡要先說明一下 HornetQ 的原理,

HornetQ 是利用自己的記事(Journal)檔案去記錄,靠使用 Linux AIO 或是 Java NIO. 
從官網的部落格看到是用 Linux libaio,直接用Linux 核心的 DMA, 直接寫入 DMA (Direct Memory Access) Buffer ,而不是傳統的CPU Copy,也就是說不透過CPU 獨立地直接快速讀寫系統記憶體。然後儲存在檔案上。有關 Linux AIO IBM 有個文章寫得非常好 ,大家可以進去看看,因為我還是喜歡以 Java 與 J老板為主,因此就不多做說明了。

HornetQ 每次都會把送進來的訊息儲存在記事(Journal)檔案裡面,記事(Journal)檔案是許多事先配給的檔案。每個檔案的大小都可以剛好放在硬碟磁柱上。(大多時候都是 10 MiB, 但是可能會因為你使用的系統而有些不同)。為了要減少磁碟的控制,浪費效能,只能往這些記事(Journal)檔案加入內容,而且永遠只加在現在使用的檔案上。

就算刪除也只是在檔案的最後加上一個刪除的紀錄,系統會看這些刪除的紀錄,如果檔案裡面的資料都被記錄刪除了,這個檔案就可以被重複使用了。 這些記事(Journal)檔案也可以支援交易,要所有的交易內容都完成寫在disk上了,它才會認為commit. 

而讀取這些檔案的方式有兩種: NIO 與 AIO

NIO 是一個Java 的快速存取方式,盡量避免磁碟的移動。如果你用的系統不是 Linux 或是 Libaio, HornetQ 內間就是用這個純 Java 的方法拉!

AIO 可以透過 JNI 與 Linux對話。直接將訊息的bytecode透過libaio 的 aio_write 寫到磁碟裡面,然後就等待Call back回傳。 而且寫這些訊息都是開多條平行執行的Thread (執行緒) 去寫,以前每寫一個進磁碟都要等待sync候才能繼續,這樣太慢了。用平行與 call back 的方式才可以完全利用系統的效能到極限。



至於檔案的極限,只要你的硬碟夠大,HornetQ都可以支援,目前測試過,是在 8 GiB 而且Server 跟 Client 本身只有 50MiB 的 RAM!

講了這麼多,到底在哪裡可以設定JEAP 6 裡面的HornetQ 去用AIO 還是 NIO 呢?
設定messaging 的 subsystem,  請到 standalone or domain.xml , 找到你正在使用的 messaging profile, 加入  <journal-type>你要的方式</journal-type>

            
                true
                true
                102400
                2
                NIO   
           
           


這樣就可以拉!

對了,有些人會問我說,為什麼我照著設定了,可是每次Server重開以後,我的訊息就會不見,根本沒有存到磁碟裡!我常常很囧的發現,JMS 的程式裡面居然沒有去設定這個訊息要保留,當然就沒有囉!!! 記得加喔!

publisher.setDeliveryMode(DeliveryMode.PERSISTENT);

package redhat.jmsclient;


import java.util.Hashtable;

import javax.jms.Connection;
import javax.jms.ConnectionFactory;
import javax.jms.DeliveryMode;
import javax.jms.JMSException;
import javax.jms.MessageProducer;
import javax.jms.Queue;
import javax.jms.Session;
import javax.jms.TextMessage;
import javax.naming.Context;
import javax.naming.InitialContext;

public class MsgSender {
 // Set up all the default values
    private static final String DEFAULT_CONNECTION_FACTORY = "jms/RemoteConnectionFactory";
    private static final String DEFAULT_DESTINATION = "jms/queue/sampleQ";
    private static final String DEFAULT_USERNAME = "xxx";
    private static final String DEFAULT_PASSWORD = "xxx";
    private static final String INITIAL_CONTEXT_FACTORY = "org.jboss.naming.remote.client.InitialContextFactory";
    private static final String PROVIDER_URL = "remote://127.0.0.1:4447";
    
    private Context ic = null;
    private ConnectionFactory cf = null;
    private Connection connection = null;
    public String msg = "Hello Christina at ";
    
    public static void main(String[] args) throws Exception {

     MsgSender sender = new MsgSender();
     if(args != null && args.length>=1 &&args[0] != null){
      sender.msg = args[0];
      }
     sender.send();

 }
    
    public MsgSender(){
     
     
    }

 public void send(){

     final Hashtable env = new Hashtable();
     env.put(Context.INITIAL_CONTEXT_FACTORY, INITIAL_CONTEXT_FACTORY);
     env.put(Context.PROVIDER_URL, PROVIDER_URL);
     
    
     
     try {         
      ic = new InitialContext(env);
      cf = (ConnectionFactory)ic.lookup(DEFAULT_CONNECTION_FACTORY);
      Queue queue = (Queue)ic.lookup(DEFAULT_DESTINATION);

      connection = cf.createConnection(DEFAULT_USERNAME,DEFAULT_PASSWORD);
      Session session = connection.createSession(false, Session.AUTO_ACKNOWLEDGE);
      MessageProducer publisher = session.createProducer(queue);
  
      connection.start();
      msg = "Hello Christina at "+System.currentTimeMillis();
      TextMessage message = session.createTextMessage(msg);
      publisher.setDeliveryMode(DeliveryMode.PERSISTENT);
      publisher.send(message);

      System.out.println("Message:["+msg+"] sento to the JMS Provider");

     }
      catch (Exception exc) {
        exc.printStackTrace();
      }
     finally {         
       if (connection != null)   {
         try {
            connection.close();
         } catch (JMSException e) {                    
           e.printStackTrace();
         }
     } 
  
 }
 }
}

Comments

Popular posts from this blog

Red Hat JBoss Fuse - Getting Started with Fuse Integration Service 2.0 Tech preview

I just realized that I did not do a getting started for Fuse Integration Service 2.0 Tech preview before I did the pipeline demo, thanks for those of you who reminded me! :)

To get started with FIS 2.0, for people who has just getting to know the technology, here is how I interpret it. Basically, it's divide into two aspect,

1. Integration development, FIS uses Apache Camel as the core technology that creates, orchestrate, compose microservices into a super lightweight thin integration layer, and become the API provider and service orchestrator through exposing RESTful or messaging service endpoints. And you can choose to either package and run it with Spring-Boot or Karaf.


2. Application Deployment and Management, FIS takes advantages of OpenShift platform, and allows you to separately deploy the micro-integration service among distributed environment, at the same time takes care of the failover, high availability, load balancing and service lookup problem for you.


So, now we know …

JBoss EAP 6 - 效能調校 (一) DataSource 的 Connection Pool

效能沒有什麼Best Practice, 反正能調整的就那些。 通常,一個程式的效能大概有70-80% 都跟程式怎麼寫的其實比較有關係。

最近我最疼愛的小貓Puji 因為膀胱結石開刀的時候過世了,心情很差請原諒我的口氣沒有很好,也沒有心情寫部落格。

Puji R.I.P.

=======================正文=======================

這個題目很多人叫我寫,可是這題目好大,這分明就是整死我咩~
所以我會分幾段慢慢寫。

JBoss 的 SubsystemDatasource WebWeb Service EJB Hibernate JMSJCAJVM 調校OS (作業系統)

先來看一下 DataSource Subsystem, DataSource 的部分主要是針對Connection Pool 做調校。

通常,程式都會需要跟資料庫界接,電腦在本機,尤其是在記憶體的運算很快,但是一旦要外部的資源連接,就是會非常的耗資源。所以現在的應用程式伺服器都會有個Pool 放一些先連接好的 資料庫connection,當程式有需要的時候就可以馬上提供,而不用花那些多餘的資源去連接資料庫。

這就是為什麼要針對Connection Pool 去做調校。

以下會討論到的參數,都是跟效能比較有關係,Datasource 還有很多參數,像是檢核connection 是否正確的,我都不會提到。如果你追求的是非常快速的效能,那我建議你一個檢核都不要加。當然,這樣就會為伺服器上面執行的程式帶來風險。這就是你要在效能與正確,安全性上面的取捨了。 (套句我朋友說的話,不可能又要馬兒好,又要馬兒不吃草的..)

最重要的調校參數就是 Connection 的 Pool 數量。(也就是那個Pool 裡面要放幾條的connection.) 這個參數是每一個應用程式都不一樣的。

min-pool-size 

Connection Pool 最少會存留的connection 數量

max-pool-size 

Connection Pool 最多可以開啓的 connection 數量

prefill

事先將connection pool 裡面建立好min-pool-size 的connection.

我的建議是觀察一下平常程式要用到的量設定為 min-pool-size 。
加上…

Red Hat JBoss Fuse/A-MQ - Fuse and A-MQ Version 6.3 GA is released!

Fuse and A-MQ 6.3 GA has just went out. Maybe, you would think this is just only a minor version release why should I care? Hold your thoughts on that! Because they have done a lot of improvements and also added many new features into this release.

Besides various bug fixes and making sure Fuse Fabric is much more stable. There are two major change in this version update:

New Tooling in JBoss Developer Studio (JBDS) 9.1 GA. Newer Apache Camel version – Camel v2.17. I was really impressed by the work put in to make developing Camel application much simpler. First is the installation of tooling itself. Now it has a all-in-one installer so you don't need to worry about which plugins you need to check. See the videos below to see the new "Getting Started" of Fuse 6.3.



And If you notice from the above video, the presentation of camel route in JBDS has also updated. It fixed some of the miss representation of logic and making it easier to read.

Old Camel Route
New Camel Route
On …