Hiveで、HDFS上にファイルがあるにもかかわらず、FileNotFoundException

Hiveのクエリを実行するバッチが異常終了してしまう。stderrのログにある、jobtrackerのページのURLをブラウザで開いて、そのページから、さらにFailedのリンクのページを開いて、Hadoopの、いくつかのDataNodeでFileNotFoundExceptionが発生していたことが…

2013-06-26

Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock'

MySQL トラブルシューティング

JavaのWebアプリを再起動したら、起動時にDB接続ができないために例外が発生するようになった。JavaのWebアプリの、DBへの接続設定がおかしくなったとおもったのだけれど、そうじゃなかった。MySQLのようすを調べようと、接続しようとするとエラーが出でてし…

2013-06-20

HiveのLOAD DATAでtsvファイルを読み込んだら1列に1行分のすべての列が登録される。

Hadoop トラブルシューティング Hive

LOAD DATAでtsvファイルを読み込んだら1列に1行分のすべての列が登録される。LOADしたあとで、selectしてみると、select col1 from table limit 100;この結果が、col1に、col1からcol8までの値が登録されてしまっている。つまり、col1に1行分のデータが登録…