so at this point you want access to
point e which is open ai’s text to 3D
model generator and it generates Point
clouds out of any prompt that you give
it but all the spaces that have been
made and everybody who’s already
compiled this into a project that you
could just run all of those are queued
to the Max right so if I go to
point e at hugging face right I want to
make a airplane and it should generate a
point cloud and I click submit you’re
going to see error this application is
too busy keep trying basically this is
so fresh and so many people are trying
it that the cues are insane If instead I
go to somebody else’s point e demo again
so everybody’s making their own thing so
maybe this one has a shorter cue again
we’re going to try to make an airplane
we’re going to click generate and even
though this is better we’re at the fifth
in the queue we still have to wait like
some 500 seconds right the whole point
of point is that it runs super fast so
we either need to run this locally or
find some alternative solution then I
don’t want to use somebody else’s Google
collab so here’s what we’re going to do
we are going to go to open ai’s Point e
GitHub thing so they made the code
available so you can literally just go
to github.com openai pointy and here you
can see all the files and all the code
that we need to run this thing no we’re
not going to run it locally with all
this python code and all this we’re
going to do something in the middle so
what I’m going to do is I’m going to
open up Google collab which if you
haven’t heard of it don’t worry it’s
basically a Google’s let me run code
online platform and the cool thing about
this is if we go into this code you go
into Point e you go into examples you’re
going to see a lot of something called
ipy and b files there’s three of them
that stands for python notebook file it
means that we can run this on a notebook
either a jupyter notebook or Google
collab or whatever and we can just go
step by step through the code and not
worry about it so what I want to do is
import this project into Google collab
and run it there so that there is no
queue so in Google collab I’m going to
go to GitHub and instead of like
importing this in by download loading it
and uploading it what we can do is we
can just take this link
paste it in here let it think about it
and it’s going to search through the
repository and see if there’s any
notebook files and again it found three
specifically I want this text to point
Cloud Model so I’m going to open this as
a notebook and you can see we already
have all this code before we continue
one thing you might want to do is in the
runtime go to change runtime type and if
you have GPU as an option do it
sometimes you have to pay sometimes you
don’t just do it if you can it will just
make things faster okay but it’s not a
requirement so here what we have is all
the code if we try to run it it’s not
necessarily going to work at some point
we’re going to run into an issue because
what we need to do is this is just
Anonymous code we need to have it it
have access to all these files so the
first thing is it needs to have access
to all these files as if we downloaded
them second of all it’s got to um
uh go into this folder and the folder of
this one and run the file and all this
and thirdly it has to do the calculation
so once you’re in Google collab I’m
going to add a code block so yes it has
all this code but we can add a bit more
I’m going to type in git
clone and if you don’t know what this
means literally just copy what I’m
typing get clone and then the URL what
this block is going to do when we run it
is it’s going to look into the uh this
one right and it’s going to bring in
this project okay the next thing we want
to do is add another code block so
basically we’re saying look at this link
and clone everything like look at it and
now we are talking about this thing the
next thing I want to do is you can see
when we look at the installation
instructions it says to install use pip
install Dash e and all this uh before we
do that we’ve cloned this
um
and now we want to do pip install Dash E
Period the reason I’m doing the period
is that’s what the command is here so
I’m going to run this block now and
let’s see what happens oh air setup.py
or setup.cfg not found the issue here is
we’re not looking inside the right
directory so what I’m going to do is I’m
going to run a change directory command
so here you can see that we have the
point e folder and again we want to run
all this code that’s inside Point e
inside examples we need to say look
inside Point e so change directory to
point e
run that block
so now we’ve cloned the repository we’re
saying we’re looking inside the
repository and now for the next code
block we can say basically their
installation instructions pip install
this

この時点で、次の項目にアクセスする必要があります。
ポイントeは、オープンアイのテキストから3Dモデルへのジェネレーターです。
モデルジェネレーターで、ポイントクラウドを生成します。
ポイントクラウドを生成します。
ポイントクラウドを生成します。
すでに作成されたすべてのスペースと
プロジェクトにコンパイルして
これらはすべてMaxにキューイングされています。
にキューイングされています。
で、飛行機を作りたいんです。
飛行機を作ろうとしたら、点群が生成されるはずです。
点群データを作成し、送信ボタンをクリックすると
エラーが表示されます。
というエラーが表示されます。
多くの人が試しているので
そのためキューが狂っています。
また他の人の点群デモを見に行くと
を作るので、みんな自分なりのものを作っています。
こちらはまたキューが短いかもしれません。
これから飛行機を作ろうと思います。
生成」をクリックすると
この方が良いのですが、私たちは5番目のキューにいます。
キューで5番目なので、まだ500秒くらい待たないといけません。
500秒くらい待たされますね。
つまり、超高速で動くということです。
ローカルで実行するか、別の解決策を見つける必要があります。
何か別の解決策を見つける必要があります。
他の人のGoogleコラボを使うのは嫌だ。
のコラボを使うのは嫌なので、こうしましょう。
オープンアイのPoint eのGitHubにアクセスします。
GitHubにアクセスして、コードを公開します。
コードを公開しているので、文字通り
github.com openai pointyにアクセスしてください。
すべてのファイルやコードを見ることができます。
これを実行するのに必要なすべてのファイルとコードを見ることができます。
ローカルで実行するわけではありません。
このパイソンコードやその他もろもろをローカルで実行するわけではありません。
中間で何かをするんです。
これからすることは、Google collabを開くことです。
Google collabを開いてみます。
Google collabというのを聞いたことがなくても大丈夫です。
基本的にはGoogleのlet me run codeというオンラインプラットフォームです。
オンラインプラットフォームです。
このコードの中に入っていけば
ポイントeに入り、サンプルに入ると
というものをたくさん見ることができます。
ipyとbのファイルが3つあります。
これはpython notebook fileの略です。
これはノートブック上で実行できることを意味しています。
jupyterノートブックやGoogle
collabでもなんでもいいんですけど。
ステップ・バイ・ステップでコードを進めていくことができます。
ということです。
このプロジェクトをGoogle collabにインポートして
にインポートし、そこで実行することで、キューを作らないようにします。
Google collab では、GitHub にアクセスします。
GitHub にアクセスし、ダウンロードしたものを読み込むのではなく
ダウンロードで読み込んでアップロードするのではなく
をダウンロードしてアップロードするのではなく、次のようにします。
このリンクを
ここに貼り付けると
すると、リポジトリ内を検索して
リポジトリ内を検索して
ノートブックファイルがあるかどうかを調べ、3つのファイルが見つかりました。
具体的には、このテキストを
クラウドモデルを指すようにしたいので、これをノートブックとして開きます。
ノートブックとして開いてみます。
続けていく前に、このすべてのコードを持っています
一つやっておきたいことがあります。
ランタイムでランタイムの種類を変更してください。
GPUがオプションとしてある場合は、それを実行します。
GPUのオプションがあれば、それを実行します。
もし可能ならやってください。
でも、これは必須ではありません。
ここで、私たちが持っているのは、すべてのコードです。
実行しようとすると、必ずしもうまくいくとは限りません。
必ずしもうまくいくとは限らない
問題が発生します。
というのも、これは単なる
匿名コードです。
すべてのファイルにアクセスできるようにする必要があります。
まず最初に必要なのは、これらのファイルにアクセスできるようにすることです。
あたかもダウンロードしたかのように
2つ目は
このフォルダーとこのフォルダーに入り、ファイルを実行します。
ファイルを実行する必要があります。
そして第三に、計算を行う必要があります。
Google collabに入ったら、コードブロックを追加します。
コードブロックを追加します。
このようなコードですが、もう少し追加することができます。
gitと入力します。
cloneと入力します。
この意味がわからない場合は、私が入力したものをそのままコピーしてください。
と入力すると、URL が表示されます。
このブロックを実行すると、次のようなことが行われます。
を調べます。
を調べて、このプロジェクトを持ってきます。
このプロジェクトです。
は別のコードブロックを追加します。
基本的には、このリンクを見てくださいということです。
を見て、すべてをクローンして、それを見て
今、私たちはこのことについて話しています。
次にやりたいことは、インストールを見ることです。
インストール方法を見ると
インストール方法を見ると、pipを使ってインストールするように書かれています。
Dash eをインストールします。
その前に、これをクローンしました。
ええと
で、pip install Dash E を実行します。
ピリオド……ピリオドを打っているのは
これはコマンドの名前です。
このブロックを実行します。
何が起こるか見てみましょう……ああ、air setup.py
またはsetup.cfg not found ここで問題なのは
正しいディレクトリの中を探していない
この問題は、正しいディレクトリを探せていないことです。
ディレクトリを変更するコマンドを実行します。
ここにあるのは
point e フォルダがあります。
Point eの中にあるすべてのコード
example の中にあるすべてのコードを実行したいのです。
Point e の内部で実行したいので、次のディレクトリに変更します。
point e
そのブロックを実行する
これでリポジトリのクローンを作成しました。
リポジトリの内部を見るということです。
そして次のコードブロックでは
ブロックでは、基本的に次のように言うことができます。
インストール手順 pip install
この

 

and now it should work because we’re
looking inside the right folder and we
have all that imported so you can see
it’s doing some calculations it’s
installing some stuff that we need and
that is good to go next we’re going to
go through these blocks that were
already here so this import torque so
again what we’ve done is we’ve cloned
the repository we said look into this
folder structure by saying change
directory and then we’re the install
instructions and I’m just going step by
step by step so we’re saying import
torch check the right device a lot of
stuff that we don’t necessarily
understand
so let’s give this a second to process
and soon we can generate a point Cloud
out of this
and it’s in the uh second to next block
where we can actually do that
but again the point here is there’s no
cues or anything right we’re just
pulling right from the GitHub repository
so here it’s creating the base model
it’s also going to create an upsample
model just looking a bit ahead here once
we get to this block we can type in
something like an airplane a baseball
whatever it is we want to generate a
point cloud of so that’s where we’re
going to do our customizing all of these
you can just run as blocks that we’re
not going to edit except for that one
okay next we’re going to load the
sampler
and now we want to generate the 3D model
so let’s go for the classic example I’ve
been using is a green chair we’re not
specifying which chair just a green one
we’re going to run this and it’s going
to go for 130 iterations this is where
using that GPU I was talking about
before is very useful because you can
see it’s ripping through these
iterations and that’s much faster than
other models and that’s the big deal
here but you can see we’re almost at 130
iterations where then we can uh plot it
run this command so it’s saying output
to point clouds our samples and you can
see we have a green chair and it
generates this view where you can see it
from a bunch of different perspectives
if you want to see it a bit close up we
could say change the grid size instead
of this three by three
type in the number one run this code
block again and now we have our green
chair here an interesting thing I noted
in the last tutorial is a green chair is
pretty General right if you have a
different seed it could be a different
green chair it could be a green armchair
a green Adirondack chair
so I’m going to run this again again
waiting for 130 samples that will reload
um what we can generate into a point
Cloud so I’m letting it do that and now
I’m running this uh viewer again and now
you can see we have a totally different
kind of chair now the next step here is
how do we take this and Export it into a
point Cloud that we can use
and I can do that in another tutorial I
have to figure it out but I imagine it’s
going to be in this util folder uh
there’s stuff like
um
ply util which is going to let us write
a Ply which stands for a point cloud or
you could use the point Cloud py but
either way you can see now anything we
type in here we can now View and it’s
generating this model let’s try one more
let’s try a instead of a table
um
I don’t know if it’s going to be able to
do this
but let’s go for it let’s go for a
trampoline which is a step up in
complexity I don’t know if it’s going to
handle the shape or the colors
just gonna see what it does and if it
doesn’t work it doesn’t work but it
doesn’t mean this model isn’t where it’s
in its early infancy stages so 130
iterations run this again
that’s a trampoline you can see it’s
selected the rim here and it has a
different cloth material or color for
the center
um I think that’s the essence of it so
again just go to the GitHub repository I
can put a link in the description the
commands we’re going to add are git
clone to look at the repository changing
the directory to be inside that
repository now that we have the files
here and then pip install Okay and then
just run the code so hopefully this was
helpful and don’t sit in those queues
for Point e see in the next tutorial


で、これでうまくいくはずです。
正しいフォルダー内を見ているからです。
すべてインポートされているので
計算をしているところです。
必要なものをインストールしています。
これでOKです。
次に、すでにあるこれらのブロックを調べてみましょう。
このインポートトルクは、すでにここにあるブロックです。
繰り返しますが、私たちが行ったのは、リポジトリをクローンすることです。
リポジトリをクローンし、この
フォルダ構造を見るには、change
そして、インストール手順です。
ステップバイステップで進めていきます。
ステップ・バイ・ステップで、インポート
トーチは右のデバイスをチェックします。
私たちが必ずしも理解していないことが
理解できないことがたくさんあります。
少し待ってみましょう。
すぐに点群データを作成することができます
を生成できます。
そして次のブロックの2番目にあります
実際にそれを行うことができるのは
しかし、ここでもポイントは何もないことです。
キューも何もなく、ただ
GitHub リポジトリから直接取得しています。
ここではベースモデルを作成しています。
アップサンプルも作成されます。
モデルを作成します。
このブロックに到達したら、次のように入力します。
飛行機のようなもの、野球のようなもの
点群を生成したいものを何でも入力できます。
点群を生成することができます。
カスタマイズを行うことができます。
ブロックとして実行することができます。
を除いて、編集するつもりはありません。
次に
サンプラー
そして、3Dモデルを作成します。
古典的な例として、緑色の椅子を見てみましょう。
緑色の椅子です。
どの椅子かは指定しませんが、緑色の椅子です。
これを実行すると、130回の反復が行われます。
130回の反復処理を行います。
先ほどお話したGPUを使うと
非常に便利です。
このような
他のモデルよりはるかに速いのです。
これが大きなポイントです。
ここが大きなポイントなのですが、ほぼ130回に達しているのがお分かりいただけると思います。
反復をプロットしてみましょう。
このコマンドを実行すると、「output」と表示されます。
を点群に出力しています。
緑の椅子がありますね。
このようなビューが生成され、それを様々な視点から見ることができます。
いろいろな角度から見ることができます
もし、もう少し近くで見たい場合は
グリッドのサイズを変更することができます。
この3×3から
という数字を入力し、このコードを実行します。
このブロックをもう一度実行すると、緑の椅子ができあがります。
この緑の椅子ですが、前回のチュートリアルで面白いことに気づきました。
前回のチュートリアルでは、緑色の椅子は
かなり一般的なものです。
別の種があれば、別の
緑の椅子……緑のアームチェアになったり
緑のアディロンダックチェア
もう一度、これを実行します。
130個のサンプルが再ロードされるのを待ちます
点群に生成できるものを再ロードします。
クラウドを作成し、それを実行します。
このビューアをもう一度実行します。
全く違う種類の椅子になっているのがわかると思います。
次のステップは
次のステップは、これをどのように点群にエクスポートして
点群にエクスポートして使用します。
これは別のチュートリアルで行うことができます。
これは別のチュートリアルでやりますので、それを見てください。
このutilフォルダにあるはずです。
のようなものがあります。
ええと
ply utilのようなものがあって、これを使うと
点群の略であるPlyを書くことができます。
点群のpyを使ってもいいのですが
いずれにせよ、ここに入力したものはすべて
ここに入力したものを表示することができます。
このモデルを生成する もう一つ試してみましょう
テーブルの代わりに
ええと
これができるようになるかどうかは分かりませんが
できるかはわかりません。
が、やってみましょう。
トランポリンにしましょう。
トランポリンにしましょう。
形や色を扱えるかどうか
どうなるか見てみましょう。
うまくいかないときは、うまくいきません。
でも、このモデルがまだ未熟だということではありません。
初期段階であることを意味します。
繰り返しこれを実行します
これはトランポリンです。
このリムを選択し
中心部には別の布の素材や色
中心部
これが本質だと思います。
GitHubのリポジトリにアクセスしてみてください。
説明文にリンクを貼っておきます。
これから追加するコマンドは git
clone でリポジトリを見て、その中のディレクトリを変更します。
ディレクトリをリポジトリの中に移動します。
ディレクトリを変更し、ファイルを
そして、pip install よし、あとはコードを実行するだけです。
コードを実行するだけです。
そして、キューに溜め込まないでください。
次のチュートリアルで紹介するポイント