この記事では、テスラが超音波センサーを取り除き、センサー群をVision（カメラのみ）に依存する決定を下したことについて論じています。著者は、これによって知覚の問題が難しくなるのか、それとも簡単になるのかという問いは、正しい問いではないことを示唆しています。むしろ、センサーの追加は必ずしも資産ではなく、システムに組み込むためのコストや複雑さのために負債となりうる、と主張している。著者は、イーロン・マスクがシステムを簡素化し、必要でない部品を取り除くことで知られており、この場合、超音波センサーのコストは、それがもたらす利点を上回ると指摘しています。また、記事ではデータ収集システムの文脈でライダーを松葉杖とする議論に触れ、企業がフリートを持っているかどうかは、ライダーを持っているかどうかよりも、十分に機能するAIシステムを実現するために重要であることを示唆している。
Tesla last year removed radar from um
from the sensor suite and now just
announced that it’s going to remove all
ultrasonic sensors relying solely on
Vision so camera only
does that make the perception problem
harder or easier
I would almost reframe the question in
some way so the thing is basically you
would think that additional sensors by
the way can I just interrupt good I
wonder if a language model will ever do
that if you prompt it let me reframe
your question that would be epic this is
the wrong problem sorry yeah it’s like a
little bit of a wrong question because
basically you would think that these
sensors are an asset to you yeah but if
you fully consider the entire product in
its entirety
these sensors are actually potentially
liability because these sensors aren’t
free they don’t just appear on your car
you need something you need to have an
entire supply chain you have people
procuring it there can be problems with
them they may need replacement they are
part of the manufacturing process they
can hold back the line in production uh
you need to Source them you need to
maintain them you have to have teams
that write the firmware all of all of it
and then you also have to incorporate
them fuse them into the system in some
way and so it actually like bloats the
organ the a lot of it and I think Elon
is really good at simplify simplified
best part is no part and he always tries
to throw away things that are not
essential because he understands the
entropy in organizations and an approach
and I think uh in this case
the cost is high and you’re not
potentially seeing it if you’re just a
computer vision engineer and I’m just
trying to improve my network and you
know is it more useful or less useful
how useful is it and the thing is if
once you consider the full cost of a
sensor it actually is potentially a
liability and you need to be really sure
that it’s giving you extremely useful
information in this case we looked at
using it or not using it and the Delta
was not massive and so it’s not useful
is it also blow in the data engine like
having more sensors and is a distraction
and these sensors you know they can
change over time for example you can
have one type of say radar you can have
other type of radar they change over
time I suddenly need to worry about it
now suddenly you have a column in your
sqlite telling you oh what sensor type
was it and they all have different
distributions and then uh they can they
just they contribute noise and entropy
into everything and they bloat stuff and
also organizationally has been really
fascinating to me that it can be very
distracting
um if you if all if you only want to get
to work is Vision all the resources are
on it and you’re building out a data
engine and you’re actually making
forward progress because that is the the
sensor with the most bandwidth the most
constraints on the world and you’re
investing fully into that and you can
make that extremely good if you’re uh
you’re only a finite amount of sort of
spend of focus across different facets
of the system and uh this kind of
reminds me of Rich Sutton’s a bitter
lesson it just seems like simplifying
the system yeah
in the long run now of course you don’t
know what the long run it seems to be
always the right solution yeah yes in
that case it was for RL but it seems to
apply generally across all systems that
do computation yeah so where uh what do
you think about the lidar as a crutch
debate
uh the battle between point clouds and
pixels
yeah I think this debate is always like
slightly confusing to me because it
seems like the actual debate should be
about like do you have the fleet or not
that’s like the really important thing
about whether you can achieve a really
good functioning of an AI system at this
scale so data collection systems yeah do
you have a fleet or not is significantly
more important whether you have lidar or
not it’s just another sensor
um and uh
yeah I think similar to the radar
discussion basically I um
but yeah I don’t think it it um
basically doesn’t offer
extra uh extra information it’s
extremely costly it has all kinds of
problems you have to worry about it you
have to calibrate it Etc it creates
bloat and entropy you have to be really
sure that you need this uh this um
sensor in this case I basically don’t
think you need it
をセンサー群から外し、そして今
超音波センサーをすべて取り除くと発表しました。
超音波センサーをすべて削除し
カメラだけにすると発表しました。
知覚の問題を難しくしているのでしょうか、それとも簡単にしているのでしょうか？
難しくなるのか、それとも簡単になるのか
私は、この質問を再定義したいと思います。
基本的には
センサーを追加することです。
ところで、ちょっとお邪魔します。
言語モデルがそうするかどうか
もし、あなたがそれを促すなら、私が質問を組み替えましょう
この質問は壮大なものです。
間違った問題です。
ちょっと間違った質問です。
基本的にあなたはこれらのセンサーが
センサーは資産だと思うでしょう。
しかし、製品全体を考えた場合
全体として考えると
これらのセンサーは、実は潜在的に
負債になりかねません。
ただで付いているわけではありません。
何か必要なものがあるはずです。
サプライ・チェーン全体が必要です。
調達する必要があります。
交換が必要になることもあります。
製造工程の一部であり
生産ラインをストップさせることもある
ソースが必要であり、メンテナンスが必要であり
保守するチームも必要です。
ファームウェアを作成するチームも必要です。
そして、それをシステムに組み込む必要がある。
それを何らかの形でシステムに組み込む必要があります。
そうすると、臓器が肥大化してしまいます。
イーロンは単純化、簡略化するのがうまいと思います。
イーロンは本当に単純化するのがうまいと思います。
will make a stronger statement I think
the others some of the other uh
companies who are using it are probably
going to drop it yeah so you have to
consider the sensor in the full
in considering can you build a big Fleet
that collects a lot of data and can you
integrate that sensor with that that
data and that sensor into a data engine
that’s able to quickly find different
parts of the data that then continuously
improves whatever the model that you’re
using yeah another way to look at it is
like vision is necessary in a sense that
uh the drive the world is designed for
human visual consumption so you need
vision is necessary and then also it is
sufficient because it has all the
information that you that you need for
driving and humans obviously has a
vision to drive so it’s both necessary
and sufficient so you want to focus
resources and you have to be really sure
if you’re going to bring in other
sensors you could you could you could
add sensors to Infinity at some point
you need to draw the line and I think in
this case you have to really consider
the full cost of any One sensor that
you’re adopting and do you really need
it and I think the answer in this case
is no so what do you think about the
idea of the that the other companies
are forming high resolution maps and
constraining heavily the geographic
regions in which they operate is that
approach not in your in your view
um not going to scale over time to the
entirety of the United States I think
I’ll take two as you mentioned like they
pre-map all the environments and they
need to refresh the map and they have a
perfect centimeter level accuracy map of
everywhere they’re going to drive it’s
crazy how are you going to
we’ve been talking about autonomy
actually changing the world we’re
talking about the deployment
on a on a global scale of autonomous
systems for transportation and if you
need to maintain a centimeter accurate
map for Earth or like for many cities
and keep them updated it’s a huge uh
dependency that you’re taking on huge
dependency
it’s a massive massive dependency and
now you need to ask yourself do you
really need it
and humans don’t need it
um right so it’s it’s very useful to
have a low-level map of like okay the
connectivity of your road you know that
there’s a fork coming up when you drive
an environment you sort of have that
high level understanding it’s like a
small Google Map and Tesla uses Google
Map like similar kind of resolution
information in the system but it will
not pre-map environments to send me a
level accuracy it’s a crutch it’s a
distraction it costs entropy and it
diffuses the team it dilutes the team
and you’re not focusing on what’s
actually necessary which is the computer
vision problem
より強く主張できると思います。
他の企業は、おそらく
使っている会社は、おそらく
そうです。
センサーを考慮する必要があります。
大きな艦隊を作ることができるのか？
多くのデータを収集する大規模な艦隊を作ることができるのか、そしてその艦隊にセンサーを統合することができるのか。
センサーとデータ、センサーを統合して
データ、センサーをデータエンジンに統合して
データエンジンに統合し、データの様々な部分を素早く見つけ
データの様々な部分を素早く見つけ、それを継続的に
その結果、どんなモデルであっても継続的に改善することができます。
別の言い方をすれば
視覚はある意味で必要です
世界の駆動系は人間の視覚消費用に設計されています。
人間の視覚消費用に設計されているので、視覚が必要です。
視覚は必要であり、また、視覚は十分である。
十分である。
運転に必要な情報を持っているからです。
運転に必要なすべての情報を持っているからです。
運転するためには視覚が必要です。
必要かつ十分であるため、リソースを集中させたい。
リソースに集中させなければなりません。
他のセンサーを導入するのであれば
他のセンサーを取り入れるかどうか。
インフィニティにセンサーを追加する場合、ある時点で
線引きする必要があります。
この場合、本当に考えなければならないのは
この場合、1つのセンサーにかかる全費用を考慮する必要があります。
この場合、採用するOneセンサーのコストと、本当に必要なのかどうかを検討する必要があります。
この場合、答えは「ノー」です。
この場合の答えは「ノー」です。
他社が高解像度の地図を作成し
他社が高解像度の地図を作成し
他の企業が高解像度の地図を作成し、地理的な制約を大きくしていることについて
そのようなやり方は
このようなアプローチは、御社の見解では
アメリカ全土に拡大することはできないのでは？
アメリカ全土に拡大することはできないと思います。
私は、あなたがおっしゃったように、2つの方法をとります。
すべての環境を事前にマップしておき
地図を更新する必要があります。
センチメートル単位の完璧な地図がある。
センチメートル単位の完璧な地図を持っています。
どうやってやるんだ？
私たちは自律性について話してきました
実際に世界を変えているのです。
世界規模で
世界的な規模で展開されています。
世界規模で展開されようとしています。
センチメートル単位の正確な地図が必要な場合
地球上の地図や多くの都市の地図を
更新し続けることは、非常に大きな負担です。
膨大な依存を背負うことになります。
膨大な依存関係
膨大な依存関係です。
本当に必要なのか、自問自答する必要があります。
本当に必要なのか？
そして、人間はそれを必要としない
そうです、だから低レベルのマップがあると非常に便利なんです。
だから、低レベルの地図があるととても便利です。
道路の接続性
分かれ道があることを知ることができます。
環境では、そのような
小さなGoogleマップのようなものです。
テスラはGoogleマップを使用しています。
マップのようなものです。
テスラは、Googleマップと同じような解像度の情報をシステムで使っていますが
しかし、事前にマップを作成し、そのマップを私に送ってくれるわけではありません。
精度の高い情報を送ってくれるわけではありません。
エントロピーのコストになります。
チームを混乱させ、希薄化させる
必要なことに集中できない。
本当に必要なことに集中できない。
ビジョンの問題
