FAQ

Search Discussions

47 discussions - 161 posts

  • 濱野です。 5月29日(木)に Apache Spark をテーマとして、 「第16回 Hadoopソースコードリーディング」を開催することに しました。 http://www.eventbrite.com/e/hadoop-16-tickets-11502362877 Sparkのおさらい的な話(RDDとは、系譜、タスク分割、クラスタ構成)に加えて ...
    Kenichiro HAMANOKenichiro HAMANO
    May 2, 2014 at 6:14 am
    May 2, 2014 at 6:14 am
  • *Psntrainings <http://www.psntrainings.com is the best hadoop training institute in india <http://www.psntrainings.com/course/hadoop-training.html .* For more details ------------------------- ...
    Anu reddyAnu reddy
    Apr 15, 2014 at 3:18 pm
    Apr 15, 2014 at 3:18 pm
  • 質問がありますのでよろしくお願いします。 Hadoop 0.20.2(コミュニティ版)を利用しております。 分散キャッシュを使用する自作のジョブや、examplesなどを実行していましたが、 TaskTrackerを再起動しても「mapred.local.dir」の「taskTracker」配下の データで削除されなくなるものが出てきました。 (最初のころはデータが残ることはありませんでした) ...
    MorimotoMorimoto
    Feb 27, 2014 at 8:13 am
    Feb 27, 2014 at 8:13 am
  • こんにちは。 中田と申します。 いつもお世話になっております。 MapReduceを使用している際、疑問に思ったことがありましたので、質問させていただきます。 スプリットサイズが64MBで、ファイル10MBをMapReduceによって処理しました。 事前にmapred-site.xmlにmapreduce.job.mapsの値を3にしておいたので、 ...
    Yuu NakataYuu Nakata
    Jan 30, 2014 at 1:12 pm
    Jan 31, 2014 at 10:02 am
  • はじめまして。 池田英司と申します。 件名のとおりなのですが、selectが通りません。 select * from zip や select * from zip limit 10 などは動くのですが、 SELECT z.zip, z.pref, z.city, z.town FROM zip z WHERE z.ver = '2008-12-26' ...
    Eiji ikedaEiji ikeda
    Jan 24, 2014 at 7:30 am
    Jan 27, 2014 at 9:56 am
  • はじめまして、平岩と申します。 お世話になります。 hiveコンソールからSELECT文を発行すると、 MapReduce jobが始まるのですが、state: PREP で滞留してしまい、 処理が進まない、という現象に悩んでおります。 metastoreにderbyを使っている場合に、 metastore.db が壊れていて同じ現象になったことがあり、 metastore.db ...
    平岩二郎平岩二郎
    Jan 22, 2014 at 9:19 am
    Jan 28, 2014 at 11:58 am
  • いつもお世話になっております。 CDH4の擬似分散での環境で、ローカルファイルシステムからHDFSへファイルをあげようとすると、エラーが起こります。 以前までは問題なくできていたのですが、何か問題あることをしてしまったのか(覚えていません・・・)できなくなりました。 以下ではローカルのtestFileをHDFS上の/user/root/におこうとすると、エラーが起きます。 ...
    Yuu NakataYuu Nakata
    Dec 11, 2013 at 3:49 am
    Dec 11, 2013 at 10:44 pm
  • はじめまして、安部と申します。 INSERTがうまくできません。 こちらの以前の[HIVE]Serdeを使用したテーブルをINSERTできないも 参照したのですがhive_contrib.jarが問題ではないようでしたので (事前にjarを適用してみた結果が以下です) 質問をしてみることにしました。 環境 cdh4.4.0 CREATE TABLE test.preftab (id INT, ...
    コールロックコールロック
    Dec 2, 2013 at 11:23 am
    Dec 2, 2013 at 11:37 am
  • hadoop-jp ならびに cdh-user-jp 参加者の皆様、 Cloudera の嶋内です。 お世話になっております。 来る11月7日(木)、目黒雅叙園にて 「Cloudera World Tokyo 2013」を開催いたします! 開催概要と午前のセッション *http://www.cloudera.co.jp/jpevents/cwt2013/* 午後のセッション(本日公開しました!) ...
    Sho ShimauchiSho Shimauchi
    Oct 17, 2013 at 4:07 am
    Oct 17, 2013 at 4:07 am
  • こんばんわ お世話になっております。 CDH4.1.3での運用を行っております、この度Gangliaの監視を入れるのですが hdfsのmetricsが取得出来ない状況です。同じserverに居るregionserverのmetricsは取得出来ています。 Gangliaの設定はhadoop-metrics.propertiesにて設定しておりますが。 ...
    Nawata HiroyukiNawata Hiroyuki
    Oct 8, 2013 at 12:45 pm
    Oct 11, 2013 at 6:00 am
  • hadoop初心者です。 「はじめてのHadoop」という書籍を元に、CDH4より、Hadoopのインストールを行いました。 input001にwagahai.txtというファイルがありまして、その中から、吾輩、というキーワードの数の算出するものです。以下のように、試してみると、エラーが出ます。 [root@localhost hadoop]# hadoop jar ...
    Yuu NakataYuu Nakata
    Oct 2, 2013 at 4:22 am
    Oct 2, 2013 at 12:49 pm
  • 初めまして。 CDH4.1.3でhbase/hdfsを運用しております。 open filesの設定をlimits.confへ追記し、Clouderaの起動スクリプトを通して起動するとopen filesの設定が効いてないようにみえます。 解決策はありますでしょうか? ・limits.confの追記内容 hdfs soft nofile 262144 hdfs hard nofile ...
    Nawata HiroyukiNawata Hiroyuki
    Sep 27, 2013 at 1:12 pm
    Oct 4, 2013 at 4:07 am
  • 複数のデータノードがひとつのラックというものに包含されることで、どのようなことになっているのかがよくわかりません。ラックについてご教授お願いします! -- --- このメールは Google グループのグループ「Hadoopユーザー会」の登録者に送られています。 このグループから退会し、メールの受信を停止するには、hadoop-jp+<span class="m_body_email_addr" ...
    Yuu NakataYuu Nakata
    Sep 14, 2013 at 8:16 am
    Sep 14, 2013 at 9:38 am
  • 始めまして。 tkmknrと申します。 現状、どうしても解決の糸口が見えない問題に直面しているため、同じような事象をご存知の方がいらっしゃいましたらアドバイスをお願いします。 現在、NN,SNN,DN*10 (+hive)の構成でhdfsクラスタを1年間稼働させていますが、3日程前から下記のような事象が発生しています。 1. job遅延 hive - namenode 間の通信で詰まっている様子 ...
    TkmknrTkmknr
    Aug 24, 2013 at 3:48 am
    Aug 24, 2013 at 11:46 am
  • こんにちわ。 倉持と申します。 先週、USで開催された本件ですが日本で報告会などの機会があるかご存知な方 いらっしゃいますか?もしくは、それらを予定しているなど。 確か、昨年はあったような記憶があります(私は気づいた時には終わっていたので 参加しておりませんが・・・) もし情報あればシェアいただければとおもいます。 / 倉持 -- --- このメールは Google ...
    Takeshi KuramochiTakeshi Kuramochi
    Jul 3, 2013 at 8:36 am
    Jul 5, 2013 at 8:21 am
  • いつもお世話になります。 CDH4.0.1でeditsファイル消失時のhdfs復旧方法を色々試しているのですが、 Secondary Name Nodeのeditsファイルを使っての hadoop namenode -importCheckpoint がうまく行きません。 dfs.namenode.edits.dir と ...
    SatorufSatoruf
    Mar 22, 2013 at 8:38 am
    Mar 25, 2013 at 4:06 am
  • こんにちは、 先月に質問した際に、嶋内 様から頂いた回答に対する追加の質問です。 自力しかなさそうな気もしますが、駄目もとで確認させて頂きます。 2013/02/07、件名:"データセンター間のバックアップと稼動制限"の問合せに対し嶋内様から頂いた回答の中で、 の一文がございました。 仮に複数の Hadoop クラスタを構築した場合、クラスタ間のデータ同期を(同期/非同期を問わず) Hadoop ...
    SaburoSaburo
    Mar 22, 2013 at 1:48 am
    Apr 24, 2013 at 2:06 am
  • こんにちわ、 いろいろ調べても一寸確証が得られませんでしたので、こちらで質問させて頂きます。 多分、ナレッジだと思うのですが。 <要件 Hadoop の導入に伴い、サイト障害を想定した対策も行いたいと考えています。 つまり、通常はデータセンターにて Hadoop セットを稼動させますが、電源障害などの稀なケースを考慮して、別なビル内にもDataNode ...
    SaburoSaburo
    Feb 7, 2013 at 6:43 am
    Feb 8, 2013 at 4:53 pm
  • こんにちは、 Hadoop の DataNode やTaskTracker の効率の良い監視方法について、 アイデアをご教授頂きたく、質問を post させて頂きました。 NameNode は、それなりにFail Over 対策を行いますし、巷に情報も ありますので別段懸念は無いのですが、DataNode やTaskTracker の状態監視をどうしたものか思案しています。 Hadoop ...
    SaburoSaburo
    Jan 30, 2013 at 7:52 am
    Jan 30, 2013 at 9:01 am
  • HadoopカンファレンスJapan 2013 Winter開催のお知らせ ========================================== 平素はお世話になっております、Hadoopユーザー会 太田と申します。 既に関連メールがいくつか流れておりますが、日本Hadoopユーザー会は、第4回目 ...
    Kazuki OhtaKazuki Ohta
    Jan 10, 2013 at 7:29 am
    Jan 10, 2013 at 7:29 am
  • みなさんこんにちは! 日本Hadoopユーザー会からの募集です。 2012月1月21日(月)に 『Hadoop Conference Japan 2013 Winter』 を開催します。 このイベントでのライトニングトーク(LT)を募集しています。 ネタやアイデアをお持ちの方、一言言いたいことあるぜ!って方はぜひご応募ください! ...
    Shinpei OhtaniShinpei Ohtani
    Jan 9, 2013 at 12:50 am
    Jan 9, 2013 at 12:50 am
  • はじめまして、Hadoop初心者の山下と申します。 本件につきまして、Serdeを使用したテーブルから別のテーブルへのINSERTが出来ずに困っております。 [構成] ・CHD40.01 分散構成 ・HIVE 0.8.1 [テーブル情報] ・元テーブル create table external3 (Day string, Time string, IP string, User_info ...
    YoshitamiYoshitami
    Dec 18, 2012 at 6:13 am
    Dec 2, 2013 at 11:45 am
  • はじめまして、nyと申します。 gridmix2についてご存知の方がいらっしゃいましたらご教示ください。 Hadoopを勉強しており、ベンチマークツールを使ってみようと思い、 gridmix2を使おうとしています。 CDH4(4.1.2)付属のgridmix2をビルドし、以下の入力データをHDFSに 登録するところまではいけました。 $ hadoop fs -du /gridmix/data ...
    NyNy
    Dec 4, 2012 at 8:42 am
    Dec 4, 2012 at 8:42 am
  • 濱野です。 日本Hadoopユーザー会からのお知らせです。 2012月1月21日(月)に 『Hadoop Conference Japan 2013 Winter』 を開催します。 4回目となる今回は、会場を "東京ビックサイト" とし、これまでにない規模で実施する予定です。 先立ちまして、講演発表および企画に関する募集を行います。 ネタやアイデアをお持ちの方は、ぜひご応募ください! ...
    HamanoHamano
    Nov 30, 2012 at 5:28 am
    Nov 30, 2012 at 5:28 am
  • 皆さま 濱野です。 12月10日にHadoopおよびOSSに関するセミナーを東京・品川で開催することに なりましたのでご案内させて頂きます(主催はNTTデータです)。 NTTデータにおける取り組みや技術的なテーマに加えて、NTTドコモ、リクルート、 OKwave、NTTコムなどでのHadoop活用事例についてもご紹介します。 # NTTドコモの事例や ...
    HamanoHamano
    Nov 30, 2012 at 4:37 am
    Nov 30, 2012 at 4:37 am
  • 濱野です。 来週26日(月)に Hadoopソースコードリーディング 第13回 を開催させて頂きます。 ▼Hadoopソースコードリーディング 第13回 詳細・参加登録 http://hadoop-scr13th.eventbrite.com/<http://hadoop-scr12th.eventbrite.com/ 今回は Hadoop World NYC 2012 で発表された ...
    HamanoHamano
    Nov 19, 2012 at 8:38 am
    Nov 19, 2012 at 1:12 pm
  • pandazxと申します。 RCfileの使い方を調べています。 RCfileをlzo圧縮したり、lzoではインデックスをつけないとsplitできないのはわかったのですが、RCfileをlzo圧縮した場合はsplitできないのでしょうか。 テストデータが500GB程度と小さいので、block ...
    PandazxPandazx
    Oct 22, 2012 at 10:07 am
    Oct 23, 2012 at 10:03 am
  • Hadoop ユーザメーリングリスト、CDH ユーザメーリングリスト 各位、 Cloudera の嶋内です。 既にご存知の方も多いかと思いますが、10/12にオライリー・ジャパン様から刊行された「HBase」の日本語訳刊行記念セミナーを開催いたします。 著者の Lars George と翻訳者の玉川様の講演を予定しております。 Lars ...
    Sho ShimauchiSho Shimauchi
    Sep 28, 2012 at 7:17 am
    Sep 28, 2012 at 7:17 am
  • こんにちは、 恐らく既存の手段は無いかと思いますが、"もし何か有効な情報があれば"との期待を込めての投げかけです。 <<背景 hadoop を利用したシステム構築を行う上で、どうしても多数の細かなファイルの発生が避けられない状況です。 放置すれば、当然 NameNode の fsimeg がメモリーに展開できなくなる所まで行きつきますので、 1. 不要なものは定期的に削除 2 ...
    SaburoSaburo
    Sep 20, 2012 at 1:58 am
    Sep 24, 2012 at 4:29 am
  • CentOSやubuntuでhadoop,cdh3をインストールしてアプリケーションの開発をしてきました。 suse linux10でインストールすることになりました。 suse linux10では簡便にインストールする方法を教えてください。
    FevermanFeverman
    Sep 12, 2012 at 8:10 am
    Sep 21, 2012 at 8:24 am
  • 濱野です。 明日28日(火)に開催するHadoopソースコードリーディングについてご案内させていただきます。 直前のご案内になりましたが、興味がある方はぜひご参加ください。 ▼Hadoopソースコードリーディング 第12回 詳細・参加登録 http://hadoop-scr12th.eventbrite.com/ ------ 日 時: 2012年8月28日(火) 19:00〜21:00 ...
    Kenichiro HAMANOKenichiro HAMANO
    Aug 27, 2012 at 5:26 am
    Aug 27, 2012 at 5:26 am
  • 書籍「Hadoop Hacks」のZooKeeperの章を読んで ZABによる多数決の仕組みについて疑問が湧きましたので 質問させていただきます。 ZABがデータ同期を保証するために、二層コミットを使っており、 コミットの実行条件として、ZooKeeperサーバの多数決を取っている。 多数決が決まるには過半数の投票がないといけないので、 ...
    PandazxPandazx
    Aug 19, 2012 at 2:52 pm
    Aug 20, 2012 at 12:24 pm
  • 当方の環境でHadoop/HBaseを使っております。 この環境で大量のジョブを投入したところ、Too many open filesが発生し、Regionserverがダウンしてしまいました。 ulimitの値は現在デフォルトの1024のままですが、このRegionserverがダウンする現象を回避するためにはこのulimitsを 拡張するしかないと考えています。この対処で正しいでしょうか?
    NakashimaNakashima
    Aug 15, 2012 at 1:11 am
    Aug 15, 2012 at 11:58 pm
  • こんにちは Hadoop初心者です。 Hadoop分散環境を構築しました。 ApacheのログをHiveでcreateしたテーブルにloadしました。 件数が2万件までの場合は、select count(*) from apachelog; は普通に帰ってきたのですが、 件数が20万の場合はほとんど帰ってきません。 hive select count(*) from apachelog ...
    RinRin
    Aug 10, 2012 at 6:46 am
    Aug 10, 2012 at 6:54 am
  • 濱野です。 来週30日(月)に開催するHadoopソースコードリーディングについてご案内させていただきます。 来日中のAndrew Bayer 氏に BigTop (Hadoopエコシステムのパッケージング・テストの開発 プラットフォーム、Apache Incubatorの一つのプロジェクト) の話をしていただくのに加えて、 複数DCでのHadoop/Hiveデータ解析、NameNode ...
    HamanoHamano
    Jul 24, 2012 at 9:05 pm
    Jul 24, 2012 at 9:05 pm
  • いつもお世話になります。 以前ClouderaのサイトにはHadoopの推奨クラスタ構成があったと思うのですが、CDH4での推奨構成例ってどこかにアップされているでしょうか? よろしくお願いします。 船井
    SatorufSatoruf
    Jul 21, 2012 at 11:16 am
    Jul 22, 2012 at 1:34 pm
  • Hbaseを疑似分散について動かすように変更しました、 hbase shellでlistコマンド実行時に以下のエラーが出ました。 疑似分散でもhadoop-zookeeper-server、hadoop-hbase-master 、 hadoop-hbase-regionserverをインストールする必要があるんでしょうか。 また、以下のエラーの解決方法が教えていただければ幸いです。 ERROR ...
    FevermanFeverman
    Jul 11, 2012 at 12:59 pm
    Jul 11, 2012 at 1:32 pm
  • hbase.client.scanner.caching、 HBaseの1度に取得できるキャッシュ件数設定についてです。 この値はデフォルト1なので件数を増加させると性能面での効果が大きいため、 数値を拡大して運用しています。 単純な疑問なのですが、この件数はクライアント側にある設定ファイルの設定のみ有効で、 サーバ側(マスタ/スレーブ)上の設定ファイルに設定があったとしても ...
    TsukumotoTsukumoto
    Jul 9, 2012 at 5:39 am
    Jul 11, 2012 at 4:45 am
  • cdh-user-jp@ ならびに hadoop-jp@ 各位、 Cloudera の嶋内です。 さきほど、弊社より CDH4 のセキュリティ脆弱性が公表されました。 対象バージョンは CDH4.0.0 で、Kerberos を使っている方が影響を受けます。 お手数ですが、最新バージョンへのアップデートをお願いいたします。 詳細は転送したメールをご覧ください。(英語) ...
    Sho ShimauchiSho Shimauchi
    Jul 6, 2012 at 9:39 pm
    Jul 6, 2012 at 9:39 pm
  • HBaseの圧縮について質問があります。 http://www.mail-archive.com/hbase-user@hadoop.apache.org/msg00840.html 上記サイトから引用 but get confused about BLOCK and RECORD compression. In my understanding, the these two options ...
    PandazxPandazx
    Jul 6, 2012 at 5:49 am
    Jul 6, 2012 at 7:17 am
  • HBase-0.20.6を運用しています。 あるキーでputしようとした際にHBase Clientで以下のようなExceptionが発生しました。 (table名とrow keyは元のログのものを開示できないので書き換えてます) org.apache.hadoop.hbase.client.RetriesExhaustedException: Trying to contact region ...
    YUYA ICHIHASHIYUYA ICHIHASHI
    Jul 5, 2012 at 11:29 am
    Jul 7, 2012 at 4:58 am
  • distcpのupdateオプションについてお伺いします。 現在distcpのupdateオプションによる差分コピーをおこなっているのですが、 思ったようなパフォーマンスが得られていません。 WebUIからMap/Reduceタスクの詳細を確認するとmap数が1しか 割り当てられていません(実行時には-mオプションでmap数に適当な値を指定しています)。 ...
    NakashimaNakashima
    Jun 26, 2012 at 10:57 am
    Jul 4, 2012 at 10:35 am
  • hadoop 0.20.2 HBase 0.90.2 です。 当方の環境でhadoopがsafemodeに入って長時間経過すると、 HBaseのRegionServerが書き込みリトライを5回ほど繰り返してダウンするという現象が起きています。 過去バグ情報を調査したところ、 ...
    TsukumotoTsukumoto
    Jun 22, 2012 at 12:57 am
    Jun 25, 2012 at 8:55 am
  • みなさま NTTデータの猿田です。おはようございます。 来る6月29日(金)、30日(土)に、ベルサール汐留にてWindows Azureの 最新動向を紹介するイベント「Go Azure」が開催されます。 <http://msdn.microsoft.com/ja-jp/windowsazure/jj129528.aspx ...
    猿田浩輔猿田浩輔
    Jun 22, 2012 at 12:13 am
    Jul 2, 2012 at 4:47 pm
  • 0.21系をインストールし直して hadoop-_hadoop-jobtracker-nio-no-iMac.local.logには、以下のログが出力しております。 http://localhost:50030/jobtracker.jspは動作確認できましたが、ポート50070で動作確認できません。 どこを確認すればよいのでしょうか。 WARN ...
    FevermanFeverman
    May 17, 2012 at 12:27 pm
    May 18, 2012 at 12:26 pm
  • 0.21 addNamedOutput(Job job, String namedOutput, Class<? extends OutputFormat outputFormatClass, Class<? keyClass, Class<? valueClass) 1.02 addMultiNamedOutput(JobConf conf, String namedOutput, ...
    FevermanFeverman
    May 15, 2012 at 8:27 am
    May 16, 2012 at 7:48 am
  • Hi All, We are starting a new batch of Hadoop online training which contains –setting up Hadoop nodes, HDFS, Map-Reduce, Hive, pig. The detail course content can be downloaded from this link ...
    Debopam RakhitDebopam Rakhit
    Apr 29, 2012 at 11:03 am
    Apr 29, 2012 at 11:03 am
Group Navigation
period‹ prev | Latest | first ›
Group Overview
grouphadoop-jp @
discussions47
posts161
users40

Top users

Sho Shimauchi: 27 posts Tatsuo Kawasaki: 14 posts Yuu Nakata: 13 posts Feverman: 10 posts Saburo: 8 posts Pandazx: 8 posts Daisuke Kobayashi: 6 posts Tsukumoto: 6 posts Hamano: 6 posts Eiji ikeda: 6 posts Nakashima: 6 posts Satoruf: 5 posts Tatsuya Kawano: 4 posts ICHIHASHI Yuya: 3 posts Yoshitami: 3 posts Nawata Hiroyuki: 3 posts Takeshi Kuramochi: 3 posts Morimoto: 3 posts Kenichiro HAMANO: 2 posts コールロック: 2 posts
show more