機能改善 イベント資料の投稿において、SlideShareやSpeakerDeckと同様に、Docswellの資料を埋め込みスライド表示できるように対応いたしました。資料の投稿機能は、資料URLを指定するだけで、URLから取得した情報を、適した形でconnpass上で表示・共有できる機能です

お知らせ connpassプライバシーポリシーの内容を一部更新しました。詳細につきましてはこちらをご覧ください。

このエントリーをはてなブックマークに追加

Mar

29

データ前処理研究会 by Team AI 3/29(金)

Organizing : (株)ジェニオ

Hashtag :#AI
Registration info

参加枠

Free

FCFS
23/15

Description

===================================

こんにちは! Team AI代表 石井大輔です。

弊社でもAIを構築していますが、データの前処理は地味ながら、分析の精度を左右するとても大事な領域ですよね?でも、体系だって手法をまとめてあるサイトや書籍は非常に少ないです。 我々はこの問題をコミュニティの集合知で解決しようとしています。

もくもく会・ディスカッション形式で前処理に関する研究会を進めていき、 体系的な部分はどんどんQiita等の記事としてアウトプットすることで、 実際のデータ分析フィールドで活躍されようとしている方々の支援をしようと思っております。

代表的手法:

*データクリーニング - これはデータ前処理で実装される最初のステップです。このステップでは、主な焦点は、欠落データ、ノイズの多いデータ、検出、および外れ値の除去、データ内の重複および計算バイアスの最小化の処理です。

*データ統合 - このプロセスは、さまざまなデータソースからデータを収集し、データを結合して一貫性のあるデータを形成する場合に使用されます。データクリーニングを実行した後のこの一貫したデータは、分析に使用されます。

*データ変換 - このステップは、モデルの必要に応じて生データを指定されたフォーマットに変換するために使用されます。データの変換に使用されるオプションは次のとおりです。

*正規化 - この方法では、データのスケーリングを実行できるように数値データを指定された範囲、つまり0と1の間に変換します。

*集約 - コンセプトは単語そのものから派生することができます。この方法は、フィーチャを1つにまとめるために使用されます。例えば、2つのカテゴリーを組み合わせて新しいカテゴリーを形成することができる。

*一般化 - この場合、下位レベルの属性は上位レベルに変換されます。

*データ削減 - データ複製の変換とスケーリング、すなわちデータ内の冗長性が除去され、データを効率的に整理した後。

この勉強会は外国人・日本人交え、技術情報を交換する刺激ある場にしたいと思っております。

オープンデータ、API、ライブラリ、ツール、論文、コンペ等、どんどん情報交換して、業界を一緒に発展させましょう!

“勉強会を開いて、学習者同士情報交換する"

手法を取っていますので、カジュアルにお越しください。

===================================

データ前処理に関するブログ記事

「前処理」のフォーマット共通化やOSS化はできないんだろうか

http://tjo.hatenablog.com/entry/2013/12/17/201529

WI2研究会(公開用) “データ分析でよく使う前処理の整理と対処”

https://www.slideshare.net/hajimesasaki1/wi2-55598897

Pythonで機械学習はじめました データ前処理編

https://qiita.com/yuuki_1204_/items/c26cb09fba8aad35dc0a

自然言語処理における前処理の種類とその威力

https://qiita.com/Hironsan/items/2466fe0f344115aff177

長岡技術科学大学 自然言語処理チーム

https://www.youtube.com/watch?v=I02cX-uZtzM

===================================

Team AIでは日々AIの開発業務・AI業界の人材紹介業務を行っていますが、

この度AI研究会を主催することになりました。

社会人も学生も、みんなで集まってAIを自習しましょう!

教材を持ち込んでもくもく勉強してもいいし、

皆と話して情報交換していただいてもいいです。

===================================

Contact:

Please contact

dai@jenio.co

or 08063062223

質問がある方や、迷子になったという方は、

dai@jenio.co

にご連絡ください。

==========================================================

場所について:

150-0042 東京都渋谷区宇田川町 36-17, ニューシブヤマンション 202号室

JR渋谷駅徒歩5分、東急ハンズ渋谷店から30秒

フレッシュネスバーガーとサイゼリヤの間の道を進むと左手に見える白いマンションです

道順写真はこちらから

TEL: 080-6306-2223

36-17 New Shibuya Mansion 202, Udagawa-cho Shibuya-ku Tokyo JAPAN zip150-0042

=====================================================

主催情報 :

100万人の機械学習コミュニティを東京に創る Team AI

http://www.team-ai.com/

AI・機械学習に特化した人材エージェントTeam AI Career

http://career.team-ai.com/ai-agent

https://www.youtube.com/watch?v=cqv83CIR6k4&feature=youtu.be

代表 : 石井 大輔

経歴;

https://www.ishiid.com

http://www.jenio.co/

株式会社ジェニオ代表取締役 1975年岡山県生まれ。

京都大学で数学を専攻。伊藤忠商事でファッションの知的財産を使用した事業開発を担当。 ロンドン、ミラノでの駐在を経て、2011年ジェニオを創業。2016年機械学習研究会コミュニティTeam AIを開始。
翔泳社より"機械学習エンジニアになりたい人への本"発売しました!
https://amzn.to/2MSWSqV
シリコンバレーのアクセレレーター、Y Combinator Startup School、500Startups Kobe、OneTractionの卒業生。
=====================================================

Media View all Media

If you add event media, up to 3 items will be shown here.

Feed

Team AI (機械学習・業務自動化 研究会)

Team AI (機械学習・業務自動化 研究会) published データ前処理研究会 by Team AI 3/29(金).

03/09/2019 08:07

データ前処理研究会 by Team AI 3/29(金) を公開しました!

Group

Ended

2019/03/29(Fri)

19:30
21:30

Registration Period
2019/03/09(Sat) 08:04 〜
2019/03/29(Fri) 21:30

Location

Online

Online

Attendees(15)

Toki

Toki

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

miokazaki

miokazaki

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

ys

ys

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

(退会ユーザー)

(退会ユーザー)

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

YukoMatsuda

YukoMatsuda

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

kepo1010

kepo1010

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

nuo.kazuki

nuo.kazuki

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

YujiImuta

YujiImuta

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

yabuchanchan

yabuchanchan

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

YukiMatsumoto_

YukiMatsumoto_

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

Attendees (15)

Waitlist (8)

Esaki_0122

Esaki_0122

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

ak_2xx2

ak_2xx2

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

IQ34669002

IQ34669002

I joined データ前処理研究会 by Team AI 3/29(金)!

nukano

nukano

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

amaken867

amaken867

データ前処理研究会 by Team AI 3/29(金)に参加を申し込みました!

(退会ユーザー)

(退会ユーザー)

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

tmknnn

tmknnn

データ前処理研究会 by Team AI 3/29(金) に参加を申し込みました!

Waitlist (8)

Canceled (9)