在 我們的一些應用程式中，常常避免不了要與資料庫進行互動，而在我們的hadoop中，有時候也需要和資料庫進行互動，比如說，資料分析的結果存入資料庫， 或者是，讀取資料庫的資訊寫入HDFS上，不過直接使用MapReduce操作資料庫，這種情況在現實開發還是比較少，一般我們會採用Sqoop來進行數 據的遷入，遷出，使用Hive分析資料集，大多數情況下，直接使用Hadoop訪問關係型資料庫，可能產生比較大的資料訪問壓力，尤其是在資料庫還是單機 的情況下，情況可能更加糟糕，在叢集的模式下壓力會相對少一些。 那麼，今天散仙就來看下，如何直接使用Hadoop1.2.0的MR來讀寫操作資料庫，hadoop的API提供了DBOutputFormat和 DBInputFormat這兩個類，來進行與資料庫互動，除此之外，我們還需要定義一個類似JAVA Bean的實體類，來與資料庫的每行記錄進行對應，通常這個類要實現Writable和DBWritable介面，來重寫裡面的4個方法以對應獲取每行記 錄裡面的各個欄位資訊。 http://blog.csdn.net/czp11210/article/details/41392461
在 我們的一些應用程式中，常常避免不了要與資料庫進行互動，而在我們的hadoop中，有時候也需要和資料庫進行互動，比如說，資料分析的結果存入資料庫， 或者是，讀取資料庫的資訊寫入HDFS上，不過直接使用MapReduce操作資料庫，這種情況在現實開發還是比較少，一般我們會採用Sqoop來進行數 據的遷入，遷出，使用Hive分析資料集，大多數情況下，直接使用Hadoop訪問關係型資料庫，可能產生比較大的資料訪問壓力，尤其是在資料庫還是單機 的情況下，情況可能更加糟糕，在叢集的模式下壓力會相對少一些。 那麼，今天散仙就來看下，如何直接使用Hadoop1.2.0的MR來讀寫操作資料庫，hadoop的API提供了DBOutputFormat和 DBInputFormat這兩個類，來進行與資料庫互動，除此之外，我們還需要定義一個類似JAVA Bean的實體類，來與資料庫的每行記錄進行對應，通常這個類要實現Writable和DBWritable介面，來重寫裡面的4個方法以對應獲取每行記 錄裡面的各個欄位資訊。 http://blog.csdn.net/czp11210/article/details/41392461