[問題] 關於JAVA在I/O方面的問題

[jims]

最近再用別人寫的一個JAVA程式
他是在windows下運作
其中有提供一種運算方式
就是把我要處理的CSV檔案的資料
送給一個叫R的統計軟體
並且可以接收R軟體算出的結果~
回送變數值給JAVA繼續使用
但是我發現當我把我的資料(約兩萬筆row data)
送給統計軟體時,回送結果時就會出錯
最後發現問題在於這個java程式與他所呼叫的R之間I/O出錯

當我用檔案較少的資料時就能正常

想請問各位就是
1.JAVA對這種大量資料送出給其他軟體執行是否有期限制
(資料量的限制)
2.這種大量的I/O來叫外部程式處理資料
是否對JAVA來說效能不佳?

這兩個問題主要是想確定是否是JAVA本身的某些限制
若只是JAVA程式撰寫的問題...也許還有方式解決
若是這種由JAVA送出大量資料給外部程式運算的方式本身
就會效能不佳,那也許我該考慮別種方案
謝謝!

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 210.69.175.253

[學無止境，啥時才摔到底?]

※ 引述《jimshsu (jims)》之銘言：
: 想請問各位就是
: 1.JAVA對這種大量資料送出給其他軟體執行是否有期限制
: (資料量的限制)
: 2.這種大量的I/O來叫外部程式處理資料
: 是否對JAVA來說效能不佳?
: 這兩個問題主要是想確定是否是JAVA本身的某些限制
: 若只是JAVA程式撰寫的問題...也許還有方式解決
: 若是這種由JAVA送出大量資料給外部程式運算的方式本身
: 就會效能不佳,那也許我該考慮別種方案
: 謝謝!

請問產生異常的敘述為何? 是IOException嗎?
已經過濾掉不是R處理能力的問題了嗎?
將錯誤堆疊印出來，才好做判斷喔...
先列幾個可能狀況如下:
1. 你的兩萬筆資料中可能遇上了程式原本設計忽略的問題(譬如: 資料欄位是空的)
2. 你的heap memory滿了。
3. 其他就要靠錯誤訊息來抓了...

--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 211.74.120.224

[jims]

※ 引述《hougzou (學無止境，啥時才摔到底?)》之銘言：
: ※ 引述《jimshsu (jims)》之銘言：
: : 想請問各位就是
: : 1.JAVA對這種大量資料送出給其他軟體執行是否有期限制
: : (資料量的限制)
: : 2.這種大量的I/O來叫外部程式處理資料
: : 是否對JAVA來說效能不佳?
: : 這兩個問題主要是想確定是否是JAVA本身的某些限制
: : 若只是JAVA程式撰寫的問題...也許還有方式解決
: : 若是這種由JAVA送出大量資料給外部程式運算的方式本身
: : 就會效能不佳,那也許我該考慮別種方案
: : 謝謝!
: 請問產生異常的敘述為何? 是IOException嗎?
: 已經過濾掉不是R處理能力的問題了嗎?
: 將錯誤堆疊印出來，才好做判斷喔...
: 先列幾個可能狀況如下:
: 1. 你的兩萬筆資料中可能遇上了程式原本設計忽略的問題(譬如: 資料欄位是空的)
已經過濾掉R資料處理能力的問題,以及資料錯誤的問題
我在R直接給予資料實體路徑csv檔去處理是OK的
因為 我試過java這邊送一個CSV檔案的路徑給R處理
R的顯示畫面有跑出結果,但是我最後要把這結果陣列
丟回給java處理時就出錯
錯誤訊息的確有IOException
請問這個函數的功能是?


: 2. 你的heap memory滿了。
這邊的問題可以解決嗎?

: 3. 其他就要靠錯誤訊息來抓了...
謝謝~


--
※ 發信站: 批踢踢實業坊(ptt.cc)
◆ From: 134.208.7.118

[幾百年沒換暱稱]

Post by jims
※ 引述《hougzou (學無止境，啥時才摔到底?)》之銘言：
: 請問產生異常的敘述為何? 是IOException嗎?
: 已經過濾掉不是R處理能力的問題了嗎?
: 將錯誤堆疊印出來，才好做判斷喔...
: 1. 你的兩萬筆資料中可能遇上了程式原本設計忽略的問題(譬如: 資料欄位是空的)
已經過濾掉R資料處理能力的問題,以及資料錯誤的問題
我在R直接給予資料實體路徑csv檔去處理是OK的
因為 我試過java這邊送一個CSV檔案的路徑給R處理
R的顯示畫面有跑出結果,但是我最後要把這結果陣列
丟回給java處理時就出錯
錯誤訊息的確有IOException
請問這個函數的功能是?
: 2. 你的heap memory滿了。
這邊的問題可以解決嗎?

這邊的問題有可能是heap size不夠大，所以他問你滿了沒，就是想幫你解決這邊的問題
.
.
.
.

Post by jims
: 3. 其他就要靠錯誤訊息來抓了...
謝謝~

--
----------------------------------------------
Danny Yin
Programmer
20 minutes away from home
----------------------------------------------
--
☆ [Origin:椰林風情] [From: pool-72-68-53-3.nwrknj.east] [Login: **] [Post: **]