【英語学習】Tesla AI Day　テスラAIデイ

hello everyone uh sorry for the delay um thanks for coming and um sorry i had some technical difficulties really neat ai for this so uh what we want to show today is that tesla is much more than an electric car company that we have deep ai activity in hardware on the inference level on the training level and basically we i think we're i think arguably the leaders in real world ai as it applies to the real world um and those of you who have seen the full self-driving beta i can appreciate the rate at which the tesla neural net is learning to to drive and um so this is a particular application of ai but i think there's there's more there are more applications uh down the road that will make sense and we'll talk about that later in the presentation but um yeah we basically want to encourage anyone who is interested in solving real-world ai problems at either the hardware or the software level to join tesla or consider drawing tesla so let's see we'll start off with andre great okay hi everyone um welcome my name is andre and um i am i lead the vision team here at tesla autopilot and i'm incredibly excited to be here uh to kick off this section giving you a technical deep dive into the autopilot stack and showing you all the under the hood components that go into making the car drive all by itself so we're going to start off with the vision component here now in division component what we're trying to do is we're trying to design a neural network that processes the raw information which in our case is the eight cameras that are positioned around the vehicle and they send us images and we need to process that in real time into what we call the vector space and this is a three-dimensional representation of everything you need for driving so this is the three-dimensional positions of lines edges curbs traffic signs traffic lights cars their positions orientations depth velocities and so on so here i'm showing a video of actually hold on apologies so here i'm showing the video of the raw inputs that come into the stack and then neural processes that into the vector space and you are seeing parts of that vector space rendered in the instrument cluster on the car now what i find kind of fascinating about this is that we are effectively building a synthetic animal from the ground up so the car can be thought of as an animal it moves around it senses the environment and uh you know acts autonomously and intelligently and we are building all the components from scratch in-house so we are building of course all of the mechanical components of the body the nervous system which is all the electrical components and for our purposes the brain of the autopilot and specifically for this section the synthetic visual cortex now the biological visual cortex actually has quite intricate structure and a number of areas that organize the information flow of this brain and so in particular in our in your visual cortices the information hits the light hits the retina it goes through the lgn all the way to the back of your visual cortex goes through areas v1 v2 v4 the it the venture on the dorsal streams and the information is organized in a certain layout and so when we are designing the visual cortex of the car we also want to design the neural network architecture of how the information flows in the system so the processing starts in the beginning when light hits our artificial retina and we are going to process this information with neural networks now i'm going to roughly organize this section chronologically so starting off with some of the neural networks and what they looked like roughly four years ago when i joined the team and how they have developed over time so roughly um four years ago the car was mostly driving in a single lane going forward on the highway and so it had to keep lane and it had to keep distance away from the car in front of us and at that time all of processing was only on individual image level so a single image has to be analyzed by a neural net and make little pieces of the vector space process that into little pieces of the vector space so this processing took the following shape we take a 1280 by 960 input and this is 12 bit integers streaming in at roughly 36 hertz now we're going to process that with the neural network so instantiate a feature extractor backbone in this case we use residual neural networks so we have a stem and a number of residual blocks connected in series now the specific class of resnets that we use are regnets because we like this is like a very rec nets offer a very nice design space for neural networks because they allow you to very nicely trade off latency and uh accuracy now these reg nets give us as an output a number of features at different resolutions in different scales so in particular on the very bottom of this feature hierarchy we have very high resolution information with very low channel counts and all the way at the top we have low spatial low resolution especially but high channel counts so on the bottom we have a lot of neurons that are really scrutinizing the detail of the image and on the top we have neurons that can see most of the image and a lot of that context have a lot of that scene context we then like to process this with feature pyramid networks in our case we like to use by fbns and they get the mult they get to multiple scales to talk to each other effectively and share a lot of information so for example if you're a neuron all the way down in the network and you're looking at a small patch and you're not sure this is a car or not it definitely helps to know from the top players that hey you are actually in the vanishing point of this highway and so that helps you disambiguate that this is probably a car after a buy fbn and a feature fusion across scales we then go into task specific heads so for example if you are doing object detection we have a one stage yolo like object detector here where we initialize a raster and there's a binary bit per position telling you whether or not there's a car there and then in addition to that if there is here's a bunch of other attributes you might be interested in so the x y with height offset or any of the other attributes like what type of a car is this and so on so this is for the detection by itself now very quickly we discovered that we don't just want to detect cars we want to do a large number of tasks so for example we want to do traffic light recognition and detection a lane prediction and so on so very quickly we conversion this kind of architectural layout where there's a common shared backbone and then branches off into a number of heads so we call these uh therefore hydronets and these are the heads of the hydra now this architectural layout has a number of benefits so number one because of the feature sharing we can amortize the forward pass inference in the car at test time and so this is very efficient to run because if we had to have a backbone for every single task that would be a lot of backbones in the car number two this decouples all of the tasks so we can individually work on every one task in isolation and for example we can we can upgrade any of the data sets or change some of the architecture of the head and so on and you are not impacting any of the other tasks and so we don't have to revalidate all the other tasks which can be expensive and number three because there's this bottleneck here and features what we do fairly often is that we actually cache these features to disk and when we are doing these fine tuning uh workflows we only fine-tune from from the cached features up and only find you in the heads so most often in terms of our training workflows we will do an end-to-end training run once in a while where we train everything jointly then we cache the features at the multiscale feature level and then we fine-tune off of that for a while and then end-to-end train once again and so on so here's the kinds of predictions that we were obtaining i would say several years ago now uh from one of these hydronitis so again we are processing individual images there we go we are processing just individual image and we're making a large number of predictions about these images so for example here you can see predictions of the stop signs uh the stop lines uh the lines the edges the cars uh the traffic lights uh the curbs here uh whether or not the car is sparked uh all of the static objects like trash cans cones and so on and everything here is coming out of the net here in this case out of the hydra net so that was all fine and great but as we worked towards fsd we quickly found that this is not enough so where this first started to break was when we started to work on smart summon here i am showing some of the predictions of only the curb detection task and i'm showing it now for every one of the cameras so we'd like to wind our way around the parking lot to find the person who is summoning the car now the problem is that you can't just directly drive on image space predictions you actually need to cast them out and form some kind of a vector space around you so we attempted to do this using c plus and developed what we call the occupancy tracker at the time so here we see that the curb detections from the images are being stitched up across camera scenes camera boundaries and over time now there are two pro two major problems i would say with the setup number one we very quickly discovered that tuning the occupancy tracker and all of its hyper parameters was extremely complicated you don't want to do this explicitly by hand in c plus you want this to be inside the neural network and train that end to end number two we very quickly discovered that the image space is not the correct output space uh you don't want to make predictions in image space you really want to make it directly in the vector space so here's a way of illustrating the issue so here i'm showing on the first row the predictions of our curves and our lines in red and blue and they look great in the image but once you cast them out into the vector space things start to look really terrible and we are not going to be able to drive on this so you see how the predictions are quite bad in vector space and the reason for this fundamentally is because you need to have an extremely accurate depth per pixel in order to actually do this projection and so you can imagine just how high of the bar it is to predict that depth so accurately in these tiny in every single pixel of the image and also if there's any occluded area where you'd like to make predictions you will not be able to because it's not an image space concept in that case so we very quickly real of the other problems with this by the way is also for object detection if you are only making predictions per camera then sometimes you will encounter cases like this where a single car actually spans five of the eight cameras and so if you are making individual predictions then no single camera since sees all of the car and so obviously you're not going to be able to do a very good job of predicting that whole car and it's going to be incredibly difficult to fuse these measurements so we have this intuition that what we'd like to do instead is we'd like to take all of the images and simultaneously feed them into a single neural net and directly output in vector space now this is very easily said much more difficult to actually achieve but roughly we want to lay out a neural net in this way where we process every single image with a backbone and then we want to somehow fuse them and we want to re-represent it the the features from image space features to directly some kind of vector space features and then go into the decoding of the head now um so there are two problems with this problem number one how do you actually create the neural network components that do this transformation and you have to make it differentiable so that end-to-end training is possible and number two uh the if you want vector space predictions from your neural net you need vector specif based data sets so just labeling images and so on is not going to get you there you need vector space labels we're going to talk a lot more about problem number two later in the talk for now i want to focus on the neural network architectures so i'm going to deep dive into problem number one so here's the rough problem right we're trying to have this bird's eye view prediction instead of image space predictions so for example let's focus on a single pixel in the output space in yellow and this pixel is trying to decide am i part of a curb or not as an example and now where should the support for this kind of a prediction come from in the image space well we know roughly how the cameras are positioned and their extrinsics and intrinsics so we can roughly project this point into the camera images and you know the evidence for whether or not this is a curve may come from somewhere here in the images the problem is that this projection is really hard to actually get correct because it is a function of the road surface the road surface could be sloping up or sloping down or also there could be other data dependent issues for example there could be occlusion due to a car so if there's a car occluding this this viewport this this part of the image then actually you may want to pay attention to a different part of the image not the part where it projects and so because this is data dependent it's really hard to have a fixed transformation for this component so in order to solve this issue we use a transformer to represent this space and this transformer uses multi-headed self-attention and blocks off it in this case actually we can get away with even a single block doing a lot of this work and effectively what this does is you initialize a raster of the size of the output space that you would like and you tile it with positional encodings with size and coses in the output space and then these get encoded with an mlp into a set of query vectors and then all of the images and their features also emit their own keys and values and then the queries keys and values feed into the multi-headed self-attention and so effectively what's happening is that every single image piece is broadcasting in its key what it is what is it a part of so hey i'm part of a pillar in roughly this location and i'm seeing this kind of stuff and that's in the key and then every query is something along the lines of hey i'm a pixel in the output space at this position and i'm looking for features of this type then the keys and the queries interact multiplicatively and then the values get pulled accordingly and so this re-represents the space and we find this to be very effective for this transformation so if you do all of the engineering correctly this again is very easily saiddifficult to do you do all of the engineering correctly um there's one more there's no problem actually before i'm not sure what's up with the slides so one more thing you have to be careful with some of the details here when you are trying to get this to work so in particular all of our cars uh are slightly cockeyed in a slightly different way and so if you're doing this transformation from image space to the output space you really need to know what your camera calibration is and you need to feed that in somehow into the neural net and so you could definitely just like concatenate the camera calibrations of all of the images and somehow feed them in with an mlp but actually we found that we can do much better by transforming all of the images into a synthetic virtual camera using a special rectification transform so this is what that would look like we insert a new layer right above the image rectification layer it's a function of camera calibration and it translates all of the images into a virtual common camera so if you were to average up a lot of repeater images for example which faced at the back you would without doing this you would get a kind of a blur but after doing the rectification transformation you see that the back mirror gets really crisp so once you do this uh this improves the performance quite a bit so here are some of the results so on the left we are seeing what we had before and on the right we're now seeing significantly improved predictions coming directly out of the neural net this is a multi-camera network predicting directly in vector space and you can see that it's basically night and day uh you can actually drive on this and uh this took some time and some engineering and incredible work from the ai team to actually get this to work and deploy and make it efficient in the car this also improved a lot of our object detection so for example here in this video i'm showing single camera predictions in orange and multi-camera predictions in blue and basically if you if you can't predict these cars if you are only seeing a tiny sliver of a car so your detections are not going to be very good and their positions are not going to be good but a multi-camera network does not have an issue here's another video from a more nominal sort of situation and we see that as these cars in this tight space cross camera boundaries there's a lot of jank that enters into the predictions and basically the whole setup just doesn't make sense especially for very large vehicles like this one and we can see that the multi-camera networks struggle significantly less with these kinds of predictions okay so at this point we have multi-camera networks and they're giving predictions directly in vector space but we are still operating at every single instant in time completely independently so very quickly we discovered that there's a large number of predictions we want to make that actually require the video context and we need to somehow figure out how to feed this into the net so in particular is this car parked or not is it moving how fast is it moving is it still there even though it's temporarily occluded or for example if i'm trying to predict the road geometry ahead it's very helpful to know of the signs or the road markings that i saw 50 meters ago so we try to develop we try to insert video modules into our neural network architecture and this is kind of one of the solutions that we've converged on so we have the multi-scale features as we had them from before and what we are going to now insert is a feature queue module that is going to cache some of these features over time and then a video module that is going to fuse this information temporally and then we're going to continue into the heads that do the decoding now i'm going to go into both of these blocks one by one also in addition notice here that we are also feeding in the kinematics this is basically the velocity and the acceleration that's telling us about how the car is moving so not only are not only are we going to keep track of what we're seeing from all the cameras but also how the car has traveled so here's the feature queue and the rough layout of it we are basically concatenating these features um over time and the kinematics of how the car has moved and the positional encodings and that's being concatenated encoded and stored in a feature queue and that's going to be consumed by a video module now there's a few details here again to get right so in particular with respect to the pop and push mechanisms and when do you push and how and especially when do you push basically so here's a cartoon diagram illustrating some of the challenges here there's going to be the ego cars coming from the bottom and coming up to this intersection here and then traffic is going to start crossing in front of us and it's going to temporarily start occluding some of the cars ahead and then we're going to be stuck at this intersection for a while and just waiting our turn this is something that happens all the time and is a cartoon representation of some of the challenges here so number one with respect to the feature queue and when we want to push into a queue obviously we'd like to have some kind of a time-based queue where for example we enter the features into the queue say every 27 milliseconds and so if a car gets temporarily occluded then the neural network now has the power to be able to look and reference the memory in time and and learn the association that hey even though this thing looks occluded right now there's a record of it in my previous features and i can use this to still make a detection so that's kind of like the more obvious one but the one that we also discovered is necessary in our case is for example suppose you're trying to make predictions about the road surface and the road geometry ahead and you're trying to predict that i'm in a turning lane and the lane next to us is going straight then it's really necessary to know about the line markings and the signs and sometimes they occur a long time ago and so if you only have a time-based queue you may forget the features while you're waiting at your red light so in addition to a time-based q we also have a space-based view so we push every time the car travels a certain fixed distance so some of these details actually can matter quite a bit and so in this case we have a time based key and a space base key to cache our features and that continues into the video module now for the video module we looked at a number of possibilities of how to fuse this information temporally so we looked at three-dimensional convolutions transformers axial transformers in an effort to try to make them more efficient recurrent neural networks over a large number of flavors but the one that we actually like quite a bit as well and i want to spend some time on is a spatial recurrent neural network video module and so what we're doing here is because of the structure of the problem we're driving on two-dimensional surfaces we can actually organize the hidden state into a two-dimensional lattice and then as the car is driving around we update only the parts that are near the car and where the car has visibility so as the car is driving around we are using the kinematics to integrate the position of the car in the hidden features grid and we are only updating the rnn at the points where where we have uh that are nearby us sort of so here's an example of what that looks like here what i'm going to show you is the car driving around and we're looking at the hidden state of this rnn and these are different channels in the hidden state so you can see that this is after optimization and training this neural net you can see that some of the channels are keeping track of different aspects of the road like for example the centers of the road the edges the lines the road surface and so on here's another cool video of this so this is looking at the mean of the first 10 channels in the hidden state for different traversals of different intersections and all i want you to see basically is that there's cool activity as the recurrent neural network is keeping track of what's happening at any point in time and you can imagine that we've now given the power to the neural network to actually selectively read and write to this memory so for example if there's a car right next to us and is occluding some parts of the road then now the network has a has the ability to not write to those locations but when the car goes away and we have a really good view then the recurring neural net can say okay we have very clear visibility we definitely want to write information about what's in that part of space here's a few predictions that show what this looks like so here we are making predictions about the road boundaries in red intersection areas in blue road centers and so on so we're only showing a few of the predictions here just to keep the visualization clean um and yeah this is this is done by the spatial rnn and this is only showing a single clip a single traversal but you can imagine there could be multiple trips through here and basically number of cars a number of clips could be collaborating to build this map basically and effectively an hd map except it's not in a space of explicit items it's in a space of features of a recurrent neural network which is kind of cool i haven't seen that before the video networks also improved our object detection quite a bit so in this example i want to show you a case where there are two cars over there and one car is going to drive by and occlude them briefly so look at what's happening with the single frame and the video predictions as the cars pass in front of us yeah so that makes a lot of sense so a quick playthrough through what's happening when both of them are in view the predictions are roughly equivalent and you are seeing multiple orange boxes because they're coming from different cameras when they are occluded the single frame networks drop the detection but the video module remembers it and we can persist the cars and then when they are only partially occluded the single frame network is forced to make its best guess about what it's seeing and it's forced to make a prediction and it makes a really terrible prediction but the video module knows that there's only a partial that you know it has the information and knows that this is not a very easily visible part right now and doesn't actually take that into account we also saw significant improvements in our ability to estimate depth and of course especially velocity so here i'm showing a clip from our remove the radar push where we are seeing the radar depth and velocity in green and we were trying to match or even surpass of course the signal just from video networks alone and what you're seeing here is in orange we are seeing a single frame performance and in blue we are seeing again video modules and so you see that the quality of depth is much higher and for velocity the orange signal of course you can't get velocity out of a single frame network so we use uh we just differentiate depth to get that but the video module actually is basically right on top of the radar signal and so we found that this worked extremely well for us so here's putting everything together this is what our architectural roughly looks like today so we have raw images feeding on the bottom they go through rectification layer to correct for camera calibration and put everything into a common uh virtual camera we pass them through regnets residual networks to process them into a number of features at different scales we fuse the multi-scale information with by fbn this goes through transformer module to re-represent it into the vector space in the output space this feeds into a feature queue in time or space that gets processed by a video module like the spatial rnn and then continues into the branching structure of the hydra net with trunks and heads for all the different tasks and so that's the architecture roughly what it looks like today and on the right you are seeing some of its predictions uh sort of visualize both in a top-down vector space and also in images so definitely uh this architecture has definitely complexified from just a very simple image based single network about three or four years ago and continues to evolve um it's definitely quite impressive now there's still opportunities for improvements that the team is actively working on for example you'll notice that our fusion of time and space is fairly late in neural network terms so maybe we can actually do earlier fusion of space or time and do for example cost volumes or optical flow-like networks on the bottom or for example our outputs are dense rasters and it's actually pretty expensive to post-process some of these dense rasters in the car and of course we are under very strict latency requirements so this is not ideal we actually are looking into all kinds of ways of predicting just the sparse structure of the road maybe like you know point by point or in some other fashion that is that doesn't require expensive post-processing but this basically is how you achieve a very nice vector space and now i believe ashok is going to talk about how we can run playing control on top of it [Applause] thank you andre hi everyone my name is ashok i lead the planning and controls auto labeling and simulation teams so like on dimension the visual networks take dense video data and then compress it down into a 3d vector space the role of the planner now is to consume this vector space and get the car to the destination while maximizing the safety comfort and the efficiency of the car even back in 2019 our planet was pretty capable driver it was able to stay in the lanes make lane changes as necessary and take exits off the highway but cdc driving is much more complicated radley there are structured lane lines um vehicles do much more free from driving then the car has to respond to all of curtains and crossing vehicles and pedestrians doing funny things what is the key problem in planning number one the action space is very non-convex and number two it is high dimensional what i mean by non-convex is there can be multiple possible solutions that can be independently good but getting a globally consistent solution is pretty tricky so there can be pockets of local minima that the planning can get stuck into and secondly uh the high dimensionality comes because the car needs to plan for the next 10 to 15 seconds and needs to produce the position velocities and acceleration uh or this entire window this is a lot of parameters to produce at runtime discrete search methods are really great at solving non-context problems because they are discrete they can they don't get stuck in local minima whereas continuous function optimization can easily get stuck in local minima and produce poor solutions that are not great on the other end for high dimensional problems discrete search sucks because of the it is discrete it does not use any graded information so literally has to go and explore each point to know how good it is whereas continuous optimization use gradient-based methods to very quickly go to a good solution our solution to this printer problem is to break it down hierarchically first use a code search method to crunch down the uh non-convexity and come up with a convex corridor and then use continuous optimization techniques to make the final smooth trajectory let's see an example of how the search operates so here we're trying to do a lane change in this case the car needs to do two back to back lane changes to make the left turn up ahead for this the car searches over uh different maneuvers um so the the first one it searches is a lane change that's close by but the car breaks pretty harshly so it's pretty uncomfortable the next maneuver it tries does the lane change bit late so it speeds up goes beyond the other car goes in front of the other cars and find it at the lane change but now it risks missing the left turn we do thousands of such searches in a very short time span because these are all physics-based models these features are very easy to simulate and in the end we have a set of candidates and we finally choose one based on the optimality conditions of safety comfort and easily making the turn so now the car has chosen this path and you can see that as the car executes this trajectory it pretty much matches what we had planned the cyan plot on the right side here and that one is the actual velocity of the car and the white line be underneath it is was the plan so we are able to plan for 10 seconds here and able to match that when you see in hindsight so this is a well-made plan when driving alongside other agents it's important to not just plan for ourselves but instead we have to plan for everyone jointly and optimize for the overall scenes traffic flow in order to do this what we do is we literally run the autopilot planner on every single relevant object in the scene here's an example of why that's necessary this is an auto corridor i'll let you watch the video for a second yeah that was autopilot driving an auto corridor going around parked cars cones and poles uh here there's a 3d view of the same thing the oncoming car arrives now and autopilot slows down a little bit but then realizes that we cannot yield to them because we don't have any space to our side but the other car can heal to us instead so instead of just blindly breaking here all of our reasons about that car uh has low enough velocity that they can pull over and should yield to us because we cannot yield to them and assertively makes progress a second oncoming car arrives now this vehicle has higher velocity and like i said earlier we literally run the autopilot planner for the other object so in this case we run the printer for them that object's plan now goes around their part their site's parked cars and then after they pass the parkours goes back to the right side of the road for them since we don't know what's in the mind of the driver we actually have multiple possible features for this car here one feature is shown in red the other one is shown as green the green one is a plan that yields to us but since this object's velocity and acceleration are pretty high we don't think that this person is going to yield to us and they are actually going to go around these sparked cars so autopilot decides that okay i have space here uh this person is definitely going to come so i'm going to pull over so as autopilot is pulling over we notice that that car has chosen to yield to us based on their yaw rate and their acceleration and autopilot immediately changes his mind and continues to make progress this is why we need to plan for everyone because otherwise we wouldn't know that this person is going to go around the other park cars and come back to their site if you didn't do this autopilot would be too timid and it would not be a practical self-driving car so now we saw how the search and planning for other people set up convicts valley uh finally we do a continuous optimization to produce the final trajectory that the planet uh needs to take here the grave uh thing is the convex corridor and we initialize the spline in heading and acceleration parameterized over the arc length of the plan and you can see that the countermeasuration continuously makes fine-grained changes to reduce all of its cost some of the costs for example are distance from obstacles traversal time and comfort for comfort you can see that the lateral acceleration plots on the right have nice trapezoidal shapes uh it's going to come up yeah here on the right side the green plot um that's a nice trapezoidal shape and if you record on a human trajectory this is pretty much how it looked like the lateral jerk is also minimized so in summary we do a search for both us and everyone else in the scene uh we set up a context corridor and then optimize for a smooth path together these can do some really neat things like shown above but driving looks a bit different in other places like where i grew up from um it's very much more unstructured cars and pedestrians cutting each other arch braking honking um it's a crazy world um we can try to scale up these methods uh but it's going to be really difficult to efficiently solve this at runtime what we instead want to do is use learning based methods to efficiently solve them um and i want to show why this is true um so we're going to go from this complicated problem to a much simpler toy parking problem but still illustrates the core of the issue here this is a parking lot the ego car is in blue and needs to park in the green parking spot here so it needs to go around the curbs the park cars and the cones shown in orange here let's do this simple bass line it's a star the standard algorithm that uses a ladder space search um and and the heuristic here is a distance uh the euclidean distance to the goal so you can see that it directly shoots towards the goal but very quickly gets trapped in a local minima and it backtracks from there and then searches a different path to try to go around this parkour eventually it makes progress and gets to the goal but ends up using 400 000 nodes for making this obviously this is a terrible heuristic we want to do better than this so if you added a navigation route to it and has the car to follow the navigation route while being close to the goal this is what happens the navigation route helps immediately uh but still when it enter encounters uh cones or other obstacles it basically that's the same thing as before backtracks and then searches that whole new path and the support search has no idea that these obstacles exist it literally has to go there check if it's in collision and if it's in collision back up the navigation heuristic helped but still this took 22 000 notes we can design more and more of these heuristics to help the search make go faster and faster but it's really tedious and hard to design a globally optimal heuristic even if you had a distance function from the cones that guided the search this would not this would not be this would only be effective for the single cone but what we need is a global global value function so instead of what we want to use is neural networks to give this heuristic for us the visual networks produces vector space and we have cars moving around in it this basically looks like a atari game and it's a multiplayer version uh so we can use techniques such as mu0 alpha zero et cetera that was used to solve go and other authority games to solve the same problem so we're working on neural networks that can produce state and action distributions that can then be plugged into multicolored research with various cost functions some of the cost functions can be explicit cost functions like distance like collisions comfort traversal time etc but they can also be interventions from the actual manual driving events we train such a network for this simple parking problem so here again same problem let's see how mcts researched us so here you notice that the planet is basically able to in one shot make progress towards the goal uh to notice that this is not even using a navigation heuristic just given the scene the planet is able to go directly towards the goal all the other options you're seeing are possible options it's not choosing any of them just using the option that directly takes it towards the goal the reason is that the neural network is able to absorb the global context of the scene and then produce a value function that effectively guides it towards the global minima as opposed to getting certain any local minima so this only takes 288 notes and several orders of magnitude less than what was done in the a star with the equilibrium distance heuristic so this is what a final architecture is going to look like the vision system is going to crush down the dense video data into a vector space uh it's going to be consumed by both an explicit planner and a neural network planner in addition to this the network panel can also consume intermediate features of the network together this produces a trajectory distribution and it can be optimized end to end both with explicit cost functions and human intervention and other imitation data this then goes into explicit planning function that does whatever is easy for that and produces the final steering and acceleration commands for the car with that we need to now explain how we train these networks and for training these networks we need uh large data sets um and wait i'm ready to speak briefly about manual labeling yeah so the data the story of data sets is critical of course so far we've talked only about neural networks but neural networks only establish an upper bound on your performance many of these neural networks uh they have hundreds of millions of parameters and these hundreds of millions of parameters they have to be set correctly if you have a bad setting of parameters it's not going to work so neural networks are just an upper bound you also need massive data sets to actually train the correct algorithms inside them now in particular i mentioned we want data sets directly in the vector space and so the really the question becomes how can you accumulate because our networks have hundreds of millions of parameters how do you accumulate millions and millions of vector space examples that are clean and diverse to actually train these neural networks effectively now so there's a story of data sets and how they've evolved on the side of uh all of the models and developments that we've achieved now in particular when i joined roughly four years ago we were working with a third party to obtain a lot of our data sets now unfortunately we found very quickly that working with a third party to get data sets for something this critical was just not going to cut it the latency of working with a third party was extremely high and honestly the quality was not amazing and so in the spirit of full vertical integration at tesla we brought all of the labeling in-house and so over time we've grown more than one thousand person uh data labeling org that is full of professional labelers who are working very closely with the engineers so actually they're here in the u.s and co-located with the engineers here in the area as well and so we work very closely with them and we also build um all of the infrastructure for them from scratch ourselves so we have a team we are going to meet later today that develops and maintains all of this infrastructure for data labeling and so here for example i'm showing some of the screenshots of some of the latency throughput and quality statistics that we maintain about all of the labeling workflows and the individual people involved and all the tasks and how the numbers of labels are growing over time so we found this to be quite critical and we're very proud of this now in the beginning roughly three or four years ago most of our labeling was in image space and so you can imagine that this is taking quite some time to annotate an image like this and this is what it looked like where we are sort of drawing polygons and polylines on top of on top of these single individual images as i mentioned we need millions of vector space labels so this is not going to cut it so very quickly we graduated to three-dimensional or four-dimensional labeling where we are directly labeling in vector space not in individual images so here what i'm showing is a clip and you are seeing a very small reconstruction you're about to see a lot more reconstructions soon but it's very small reconstruction of the ground plane on which the car drove and a little bit of the point cloud here that was reconstructed and what you're seeing here is that the labeler is uh changing the labels directly in vector space and then we are reprojecting those changes into camera images uh so we're labeling directly in vector space and this gave us a massive increase in throughput for a lot of our labels because you're labeled once in 3d and then you get to reproject but even this we realized was actually not going to cut it so because people and computers have different pros and cons so people are extremely good at things like semantics but computers are very good at geometry reconstruction triangulation tracking and so really for us it's much more becoming a story of how do humans and computers collaborate to actually create these vector space data sets and so we're gonna not talk about auto labeling which is some of the infrastructure we've developed for labeling these clips at scale [Applause] hi again so even though we have lots of human laborers the amount of training data needed for training with networks significantly outnumbers them so we try to invest in a massive auto labeling pipeline here's an example of how we label a single clip a clip is a entity that has dense sensor data like videos imu data gps odometry etc this can be 45 second to a minute long these can be uploaded by our own engineering cars or from customer cars we collect these clips and then send them to our servers where we run a lot of neural networks offline to produce intermediate results like segmentation masks depth point matching etc this then goes through a lot of robotics and a algorithm to produce a final set of labels that can be used to train the networks one of the first tasks we want to label is the road surface typically we can use splines or meshes to represent the road surface but those are because of the topology restrictions are not differentiable and not amenable to producing this so what we do instead is in the style of neural radiance fields work from last year which is quite popular so we use an implicit representation to represent the road surface here we are querying xy points on the ground and asking for the network to predict the height of the ground surface along with various semantics such as curves lane boundaries road surface rival space etc so given a single xy we get a z together these make a 3d point and they can be reprojected into all the camera views so we make millions of such queries and get lots of points these points are reprojected into all the camera views in we are showing on the top right here one such camera image with all these points reprojected now we can compare this point reprojected point with the image space prediction of the segmentations and jointly optimizing this or all the camera views was across space and time produced an excellent reconstruction here's an example of how that looks like so here this is an optimized road surface that reproduction to the eight cameras that the car has and across all of time and you can see how it's consistent across both space and time so a single car driving through some location can sweep out some patch around the trajectory using this technique but we don't have to stop there so here we collect collected different clips from the same location from different cars maybe and each of them sweeps out some part of the road cool thing is we can bring them all together into a single giant optimization so here these 16 different trips are organized using aligned using various features such as roadages lane lines all of them should agree with each other and also agree with all of their image space observations together this is this produces an effective way to label the road surface not just where the car drove but also in other locations that it hasn't driven it again the point of this is not to just build hd maps or anything like that it's only to label the clips through these intersections so we don't have to maintain them forever as long as the labels are consistent with the videos that they were collected at optionally then humans can come on top of this and clean up any noise or additional metadata to make it even richer we don't have to stop at just the road surface we can also arbitrarily reconstruct 3d static obstacles um here this is a reconstructed 3d point cloud from our cameras the main innovation here is the density of the point cloud typically these points require texture to form associations from one frame to the next frame but here we are able to produce these points even on textual surfaces like the road surface or walls and this is really useful to annotate arbitrary obstacles that we can see on the scene in the world one more cool advantage of doing all of this on server on the servers offline is that we have the benefit of hindsight this is a super useful hack because uh say in the car then the network needs to produce the velocity it just has to use the historical information and guess what the velocity is but here we can look at both the history but also the future and basically cheat and get the correct answer uh of the kinematics like velocity acceleration etc one more advantage is that we can have different tracks but we can switch them together that even through occlusions because we know the future we have future tracks we can match them and then associate them so here you can see the pedestrians on the other side of the road are persisted even through multiple occlusions by these cars this is really important for the planner because the planner needs to know if it's if it saw someone it still needs to account for them even then they are occluded so this is a massive advantage combining everything together we can produce these amazing data sets that annotate all of the road texture or the static objects and all of the moving objects even through occlusions producing excellent kinematic labels all you can see how the cards turn smoothly produce really smooth labels or the pedestrians are consistently tracked the park cars uh obviously zero velocity so we can also know that they are parked so this is huge for us this is one more example of the same thing you can see how everything is consistent we want to produce a million such uh labeled clips and train our video multicam video networks with such large data set and really crush this problem we want to get the same view that's consistent that we're seeing here in the car we started our first exploration of this with the remove the data project uh we removed it in a very top a short time span i think within three monthsin the early days of the network we noticed for example in low security conditions the network can suffer understandably because obviously this truck just dumped a bunch of snow on us and it's really hard to see but we should still remember that this car was in front of us but our networks early on did not do this because of the lack of data in such conditions so what we did we added the fleet to produce lots of similar clips and the fleet responded it did so it produces um is it play yeah it produces lots of video clips where shit's falling out of all other vehicles and we send this through our auto living pipeline that was able to label 10k clips in within a week this would have taken several months with humans labeling every single clip here so we did this for 200 of different conditions and we were able to very quickly create large data sets and that's how we were able to remove this so once we train the networks with this data you can see that it's totally working and keeps the memory that the subject was there and provides this so finally we wanted to actually get a cyber truck into a data set for the remote radar can you all guess where we got this clip from i'll give you a moment someone said it yes yes it's rendered it's our simulation it was hard for me to tell initially and i if i may if i may say so myself it looks pretty it looks very pretty um so yeah in addition to auto labeling we also invest heavily in using simulation for labeling our data so this is the same scene as seen before but from a different camera angle so a few things that i wanted to point out for example the ground surface it's not a plane asphalt there are lots of cars and cracks and tower seams there's some patchwork done on top of it vehicles move realistically the truck is articulated uh even goes over the curb and makes a wide turn um the other cars behave smartly they avoid collisions go around cars uh and also smooth and actual great smooth uh brake and accelerate smoothly the car here with the logo on the top is autopilot actually auto part is driving that car and it's making unproductive left hand and since it's a simulation it starts from the vector space so it has perfect labels here we show a few of the labels that we produce these are vehicle cuboids with kinematics depth surface normals segmentation but andre can name a new task that he wants next week and we can very quickly produce this because we already have a vector space and we can write the code to produce these labels very very quickly so when does simulation help it helps number one when the data is difficult to source as large as our fleet is it can still be hard to get some crazy scenes like this couple and their dog running on the highway while there are other high-speed cars around this is a pretty rare scene i'd say but still can happen and autopilot still needs to handle it when it happens when data is difficult to label um there are hundreds of pedestrians crossing the road this could be a mountain downtown people crossing the road it's going to take several hours for humans to label this clip and even for automatic labeling algorithms this is really hard to get the association right and it can produce like bad velocities but in simulation this is trivial because you already have the objects you just have to spit out the cuboids and the velocities and also finally when we introduce closed loop behavior where the cars needs to be in a determining situation or the data depends on the actions this is pretty much the only way to get it reliably all this is great what's needed to make this happen number one accurate sensor simulation again the point of the simulation is not to just produce pretty pictures it needs to produce what the camera in the car would see and other sensors would see so here we are stepping through different exposure settings of the real camera on the left side and the simulation on the right side we're able to pretty much match what the real cameras do in order to do this we had to model a lot of the properties of the camera in our sensor simulation um starting from sensor noise motion blur optical distortions even headlight transmissions uh even like diffraction patterns of the windshield etcetera we don't use this just for the autopilot software we also use it to make hardware decisions such as lens design camera design sensor placement even headlight transmission properties second we need to render the visuals uh in a realistic manner you cannot have what in the game industry called jaggies these are aliasing artifacts that are dead giveaway that this is simulation we don't want them so we go through a lot of paints to produce a nice special temple a special temporal anti-aliasing we also are working on neural rendering techniques to make this even more realistic yeah in addition we also use ray tracing to produce realistic lighting and global illumination okay that's the last of the cop cars i think we obviously cannot have uh really just four or five cars because the network will easily overfit because it knows the sizes um so we need to have realistic assets like the moose on the road here um we have thousands of assets in our library and they can wear different shirts and actually can move realistically so this is really cool we also have a lot of different locations mapped and created uh to create these uh sim environments we have actually 2000 miles of uh road built and this is almost the length of the roadway from the east coast the west coast of the united states which i think is pretty cool in addition we have built efficient tooling to build several miles more on a single day on a for a single artist but this is just tip of the iceberg actually most of the data that we use to train is created procedurally using algorithms as opposed to artists making these simulation scenarios so these are all procedurally created roads with lots of parameters such as curvature various varying trees cones poles cars with different velocities and the interaction produce an endless stream of data for the network but a lot of this data can be boring because the network might already get it correct so what we do is we use also ml based techniques to basically put up the network to see where it's failing at and create more data around the failure points of the network so this is in closed loop trying to make the network performance be better we don't want to stop there so actually we want to create recreate any failures that happens to the autopilot in simulation so that we can hold autopilot to the same bar from then on so here on the left side you are seeing a real clip that was collected from a car it then goes through our auto labeling pipeline to produce a 3d reconstruction of the scene along with all the moving objects with this combined with the original visual information we recreate the same scene synthetically and create a simulation scenario entirely out of it so and then when we replay autopilot on it autopilot can do entirely new things and we can form new worlds new outcomes from the original failure this is amazing because we really don't want autopilot to fail and when it fails we want to capture it and keep it to that bar not just that we can actually take the same approach that we said earlier and take it one step further we can use neural rendering techniques to make it look even more realistic so we take the original original video clip we create a synthetic uh simulation from it and then apply neural rendering techniques on top of it and it produces this which looks amazing in my opinion because this one is very realistic and looks almost like it was captured by the actual cameras they saw results from last night because it was cool and we wanted to present it but yeah yeah i'm very excited for what sim can achieve but this is not all because network's trained in the car already used simulation data we used 300 million images with almost half a billion labels and we want to crush down all the tasks that are going to come up for uh the next several months with that i invite milan to see uh to explain how we scale these operations and really build a label factory and spit out millions of labels [Applause] all right thanks ashok hey everyone i'm milan i'm responsible for the integration of our neural networks in the car and for most of our neural network training and evaluation infrastructure and so tonight i'd just like to start by giving you some perspective into the amount of compute that's needed to power this type of data generation factory and so in the specific context of the push we went through as a team here a few months ago to get rid of the dependency on the radar sensor for the pilot we generated over 10 billion labels across two and a half million clips and so to do that we had to scale our huge offline neural networks and our simulation engine across thousands of gpus and just a little bit shy of 20 000 cpu cars on top of that we also included over 2000 actual autopilot full self-driving computers in the loop with our simulation engine and that's our smallest compute cluster so i'd like to give you some idea of what it takes to take our neural networks and move them in the car and so the the two main constraints that we're working on there here are mostly latency and frame rate which are very important for safety but also to get proper estimates of acceleration and velocity of our surroundings and so the meat of the problem really is around uh the ai compiler that we write and extend here within the group that essentially maps the compute operations for my apart torch model to a set of dedicated and accelerated uh pieces of hardware and we do that while figuring out a schedule that's optimized for throat put while working on their severe sram constraints and so by the way we're not doing that just on one engine but on across two engines on the autopilot computer and the way we use those engines here at tesla is such that at any given time only one of them will actually output control commands to the vehicle while the other one is used as an extension of compute but those roles are interchangeable both at the hardware and software level so how do we interact quickly together as a group through these ai development cycles well first we have been scaling our capacity to evaluate our software neural network dramatically over the past few years and today we're running over a million evaluations per week on any code change that the team is producing and those evaluations runs on over three thousand actual footstar driving computers that are hooked up together in a dedicated uh cluster and so on top of this we've been developing really cool uh debugging tools and so here is a video of one of our tools which is uh helping developers uh iterate through the development of neural networks and comparing live the outputs from different revisions of a same neural network model as reiterating life through a video clips and so last but not least uh we've been scaling our neural network training compute dramatically over the past few years and today we're barely shy of 10 000 gpus which just to give you some sense in terms of number of gpu is more than the top five publicly known supercomputers in the world but that's not enough and so i'd like to invite ganesh to talk about the next steps [Applause] thank you milan my name is ganesh and i lead project dojo it's an honor to present this project on behalf of the multidisciplinary tesla team that is working on this project as you saw from milan there's an insatiable demand for speed as well as capacity for neural network training and elon prefetched this and a few years back he asked us to design a super fast training computer and that's how we started project dojo our goal is to achieve best ai training performance and support all these larger more complex models that andres team is dreaming of and be power efficient and cost effective at the same time so we thought about how to build this and we came up with a distributed compute architecture after all all the training computers out there are distributed computers in one form or the other they have compute elements in the box out here connected with some kind of network in this case it's a two-dimensional network but it could be any different network cpu gpu accelerators all of them have compute little memory and network but one thing which is common trend amongst this is it's easy to scale the compute it's very difficult to scale up bandwidth and extremely difficult to reduce latencies and you'll see how our design point catered to that how our philosophy addressed these aspects of traditional limits for dojo we envisioned a large compute plane filled with very robust compute elements backed with large pool of memory and interconnected with very high bandwidth and low latency fabric and in a 2d mesh format and on to this for extreme scale big neural networks will be partitioned and mapped to extract different parallelism model graph data parallelism and then in neural compiler of ours will exploit spatial and temporal locality such that it can reduce communication footprint to local zones and reduce global communication and if we do that our bandwidth utilization can keep scaling with the plane of compute that we desire out here we wanted to attack this all the way top to the bottom of the stack and remove any bottlenecks at any of these levels and let's start this journey in an inside out fashion starting with the chip as i described chips have compute elements our smallest entity or scale is called a training node and the choice of this node is very important to ensure seamless scaling if you go too small it will run fast but the overheads of synchronization will end software will dominate if you pick it too big it will have complexities in implementation in the real hardware and ultimately run into memory bottleneck issues because we wanted to address we wanted to address latency and bandwidth as our primary optimization point let's see how we went about doing this what we did was we picked the farthest distance a signal could traverse in a very clock very high clock cycle in this case two gigahertz plus and we drew a box around it this is the smallest latency that a signal can traverse one cycle at a very high frequency and then we filled up the box with wires to the brink this is the highest bandwidth you can feed the box with and then we added machine learning compute underneath and then a large pool of sram and last but not the least a programmable core to control and this gave us our high performance training node what this is is a 64-bit superscalar cpu optimized around matrix multiply units and vector cmd it supports floating point 32 b float 16and a new format cfp8 configurable fp8 and it is backed by one and a quarter megabyte of fast ecc protected sram and the low latency high bandwidth fabric that we designed this might be our smallest entity of scale but it packs a big punch more than one teraflop of compute in our smallest entity of scale so let's look at the architecture of this the computer architects out here may recognize this this is a pretty capable architecture as soon as you see this it is a super scalar in order cpu with four wide vector and two wide vect two wide uh four wide scaler and two wide vector pipes we call it in order although the vector and the scalar pipes can go out of order but for the purest out there we still call it in order and it also has four-way multi-threading this increases utilization because we could do compute and data transfers simultaneously and our custom isa which is the instruction set architecture is fully optimized for machine learning workloads it has features like transpose gather link traversals broadcast just to name a few and even in the physical realm we made it extremely modular such that we could start averting these training nodes in any direction and start forming the compute plane that we envisioned when we click together 354 of these training nodes we get our compute array it's capable of delivering teraflops of machine learning compute and of course the high bandwidth fabric that interconnects these and around this compute array we surrounded it with high speed low power services 576 of them to to enable us to have extreme i o bandwidth coming out of this chip just to give you a comparison point this is more than two times the bandwidth coming out of the state-of-the-art networking switch chips which are out there today and network switch chips are supposed to be the gold standards for i o bandwidth if we put all of it together we get training optimized chip our d1 chip this chip is manufactured in seven nanometer technology it packs 50 billion transistors in a miserly 645 millimeter square one thing you'll notice 100 of the area out here is going towards machine learning training and bandwidth there is no dark silicon there is no legacy support this is a pure machine learning machine and this is the d1 chip in a flip chip bga package this was entirely designed by tesla team internally all the way from the architecture to gds out and package this chip is like a gpu level compute with a cpu level flexibility and twice the network chip level i o bandwidth if i were to plot the i o bandwidth on the vertical scale versus teraflops of compute that is available in the state-of-the-art machine learning chips are there including some of the startups you can easily see why our design point excels beyond power now that we had this fundamental physical building block how to design the system around it let's see since d1 chips can seamlessly connect without any glue to each other we just started putting them together we just put 500 000 training nodes together to form our compute plane this is 1500 d1 chips seamlessly connected to each other and then we add dojo interface process processors on each end this is the host bridge to typical hosts in the data centers it's connected with pci gen4 on one side with a high bandwidth fabric to our compute plane the interface processors provide not only the host bridge but high bandwidth dram shared memory for the compute plane in addition the interface processors can also allow us to have a higher radix network connection in order to achieve this compute plane we had to come up with a new way of integrating these chips together and this is what we call as a training tile this is the unit of scale for our system this is a groundbreaking integration of 25 known good d1 dies onto a fan out wafer process tightly integrated such that it preserves the bandwidth between them the maximum bandwidth is preserved there and in addition we generated a connector a high bandwidth high density connector that preserves the bandwidth coming out of this training tile and this style gives us nine beta flaps of compute with a massive i o bandwidth coming out of it this perhaps is the biggest organic mcm in the chip industry multi-chip module it was not easy to design this there were no tools that existed all the tools were croaking even our compute cluster couldn't handle it we had to our engineers came up with different ways of solving this they created new methods to make this a reality now that we had our compute plane tile with high bandwidth ios we had to feed it with power and here we came up with a new way of feeding power vertically we created a custom voltage regulator module that could be reflowed directly directly onto this fan out wafer so what did we did out here is we got chip package and we brought pcb level technology of reflow on fan art wafer technology this is a lot of integration already out here but we didn't stop herewe integrated the entire electrical thermal and mechanical pieces out here to form our training tile fully integrated interfacing with a 52 volt dc input it's unprecedented this is an amazing piece of engineering our compute plane is completely orthogonal to power supply and cooling that makes high bandwidth compute planes possible what it is is a nine petaflop training tile this becomes our unit of scale for our system and this is real i can't believe i'm holding nine petaflops out here and in fact last week we got our first functional training tile and on a limited limited cooling benchtop setup we got some networks running and i was told andre doesn't believe that we could run networks till we could run one of his creations this is min gpt2 running on dojo do you believe it next up how to form a compute cluster out of it by now you must have realized our modularity story is pretty strong we just put together some tiles we just styled together tiles a two by three tile in a tray makes our training matrix and two trays in a cabinet give 100 petaflops of compute did we stop here no we just integrated seamlessly we broke the cabinet walls we integrated these styles seamlessly all the way through preserving the bandwidth there is no bandwidth divert out here there is no bandwidth clips all the tiles are seamlessly connected with the same bandwidth and with this we have an exopod this is one extra flop of compute in 10 cabinets it's more than a million training nodes that you saw we paid meticulous attention to that training node and there are one million nodes out here with uniform bandwidth not just the hardware the software aspects are so important to ensure scaling and not every job requires a huge cluster so we plan for it right from the get go our compute plane can be subdivided can be partitioned into units called dojo processing unit a dpu consists of one or more d1 chips it also has our interface processor and one or more hosts and this can be scaled up or down as per the needs of any algorithm any network running on it what does the user have to do they have to change their scripts minimally and this is because of our strong compiler suite it takes care of fine-grained parallelism and mapping the pro problems of mapping the neural networks very efficiently onto our compute plane our compiler is uses multiple techniques to extract parallelism it can transform the networks to achieve not only fine-grained parallelism using data model graph parallelism techniques it also can do optimizations to reduce memory footprints one thing because of our high bandwidth nature of the fabric is enabled out here is model parallelism could not have been extended to the same level as what we can it was limited to chip boundaries now we can because of our high bandwidth we can extend it to training tiles and beyond thus large networks can be efficiently mapped here at low batch sizes and extract utilization and new levels of performance in addition our compiler is capable of handling high level dynamic control flows like loops if then else etc and our compiler engine is just part of our entire software suite the stack consists of a extension to pytarch that ensures the same user-level interfaces that ml scientists are used to and our compiler generates code on the fly such that it could be reused for subsequent execution it has a llvm backend that generates the binary for the hardware and this ensures we can create optimized code for the hardware without relying on even single line of handwritten kernel our driver stack takes care of the multi-host multi-partitioning that you saw a few slides back and then we also have profilers and debuggers in our software stack so with all this we integrated in a vertical fashion we broke the traditional barriers to scaling and that's how we got modularity up and down the stack to add to new levels of performance to sum it all this is what it will be it will be a fastest ai training computer for x the performance at the same cost 1.3 x better performance per watt that is energy saving and 5x smaller footprint this will be dojo computer we are not done we are assembling our first cabinets pretty soon and we have a whole next generation plan already we are thinking about 10x more with different aspects that we can do all the way from silicon to the system again we will have this journey again we're recruiting heavily for all of these areas thank you very much and next up elon will update us on what's beyond our vehicle feet fleet for ai [Music] oh [Music] so [Music] oh [Music] thank you [Applause] now unlike unlike dojo obviously that was not real uh so doj is real uh the tesla bot will be real um but basically if you think about what we're doing right now with the cars tesla is arguably the world's biggest robotics company because our cars are like semi-sentient robots on wheels and with the full self-driving computer essentially the the inference engine on the car which will keep evolving obviously and uh dojo and all the neural nets recognizing the world understanding how to navigate through the world uh it it kind of makes sense to put that onto a humanoid form they're also quite good at sensors and batteries and actuators so we think we'll probably have a prototype sometime next year that basically looks like this and it's intended to be friendly of course and uh navigate through a world uh built for humans and uh eliminate dangerous repetitive and boring tasks um we're setting it such that it is um at a mechanical level at a physical level you can run away from it and and most likely overpower it so hopefully that doesn't ever happen but um you never know so it's uh it'll be a you know a light a light yeah five miles an hour you can get run faster than that'd be fine [Laughter] um so yes it's a round uh 5.8 um has sort of a screen where the head is for useful information um but as otherwise basically got the autopilot system in it so it's got cameras got eight cameras and full-size driving computer and making use of all of the same tools that we use in the car so um i mean things i think that are really hard about uh having a useful humanoid robot is cannot navigate through the world without being explicitly trained i mean without explicit like uh line-by-line instructions um can you can you talk to it and say you know please uh pick up that bolt and uh attach it to the car with that wrench and it should be able to do that um it should be able to you know please you know please go to the store and get me the following groceries um that kind of thing so yeah i think we can do that um and yeah this i think will be quite quite profound because if you say like what is the economy it is uh at the foundation it is labor so what happens when there is uh you know no shortage of labor um that's why i think long-term that there will need to be universal basic income yeah but but not right now because this robot doesn't work so we just didn't need a minute so um yeah but i think essentially in the future physical work will be a choice if you want to do it you can but you won't need to do it and yeah i think it obviously has profound implications for the economy because given that the economy at its foundational level is labor i mean capital is capital equipment it's just distilled labor then is there any actual limit to the economy maybe not so yeah join our team and help build this all right so i think we'll we'll have everyone come back on the stage and you guys can ask questions if you'd like yeah [Applause] you [Music] all right there we go [Music] all right cool you guys brought me back on i just like stage try to get the camera angle from there but not from the side all right cool so we'll probably turn the lights back on and uh yeah great um so we're having to answer any questions you have about anything on the software hardware side where things are going and yeah fire away um we have because the lights are like interrogation lights so we actually cannot see ah there we go great all right cool i can just okay there we go first off i mean thanks to all the presenters that was just super cool to see everything i'm just curious at a high level and this is kind of a question for really anyone who wants to take it um to what extent are you interested in publishing or open sourcing anything that you do for the future um well i mean it is fundamentally extremely expensive to create uh the system so uh somehow that has to be paid for i'm not sure how to pay for it if it's fully open sourced um yeah unless people want to work for free but but i should say that uh this is if other car companies want to license it and use it in their cars that would be cool this is not intended to be just limited to tesla cars is for the dojo supercomputer so did you solve the compiler problem of scaling to these many nodes or is or if it is solved is it only applicable to dojo because i'm doing research in deep learning accelerators and getting the correct scalability or the distribution even in one ship is extremely difficult from the research projects perspective so i was just curious excuse me mike for bill you have we solved the problem not yet are we confident we will solve the problem yes we have demonstrated networks on prototype hardware now we have models performance models showing the scaling the difficulty is as you said how do we keep the localities if we can do enough model parallel enough data parallel to keep most of the things local we just keep scaling we have to fit the parameters in our working set in our sram that we have and we flow through the pipe there's plenty of opportunities sorry as we get further scale for further processor nodes have more local memory memory trade also bandwidth we can do more things but as we see it now the applications that tesla has we see a clear path and our our modularity story means we can have different ratios different aspects created out of it i mean this is something that we chose for our applications internally sure the locality portion of it given that training is such a soft scaling application uh even though you have all this compute and have a high bandwidth high bandwidth interconnect it it could not give you that performance because you are doing computations on limited memory at different locations so i was that's very curious to me when you said it solved because i i just jumped onto the opportunity and would love to know more given that how much you can open source yeah yeah i guess the proof's in the pudding um so we should have dojo operational next year um and um i think we'll we'll obviously use it for uh training video training it's i mean fundamentally this is about like um the the primary application initially is we've got vast amounts of video and how we train vast amounts of video uh as efficiently as possible and uh also shorten the amount of time like if you're trying to train train to a task um like just in general innovation is um how many iterations and what is the average progress between each iteration and so if if you can reduce the time between iterations uh the rate of improvement is is much better so um you know if it takes like sometimes a couple days for a model to train versus a couple hours that's a big deal but the the asset test here and um you know what i've told the dojo team is like it's it's successful if the uh software team wants to turn off the gpu cluster but if they want to keep the gpp cluster on it's not successful so yeah hi right over here i love the presentation thank you for getting us out here loved everything especially the simulation part of the presentation i was wondering uh it looked very very very uh realistic are there any plans to maybe expand simulation to other parts of the company in any way hi i'm ian glow uh i manage the autopilot simulation team so as we go down the path to full self driving we're gonna have to simulate more and more of the vehicle currently we're simulating vehicle dynamics but we're going to need bms we're going to need the mcu we're going to need every single part of the vehicle integrated and that actually makes the autopilot simulator really useful for places outside of autopilot so i want to expand or we want to expand eventually to being a universal simulation platform but i think before that we're going to be spinning up a lot of optimist support and then a little bit further down the line that we have some rough ideas on potentially how to get uh the simulation infrastructure and some of the cool things we've built into the hands of people outside of the company optimus is the code name for the tesla bot oops optimus uprine [Laughter] hi this is ali jahanian thank you for the great presentation and putting all of these cool things together yeah for a while i have been thinking that uh the car is already a robot so why not a humanity robot and i'm so happy that today you mentioned that you are going to build such thing especially i think that this can uh give opportunity for rays of uh putting multi modality together for instance we know that in the example that you are showed that there was a dog and with some passengers or running together the language and symbolic processing can really help for visualizing that so i was wondering if i could hear a little more about this type of putting modalities together including language and vision because i have been working with for instance mini gpt's and andre put out there and yeah i had i didn't hear much about other modalities that's going into the car or at least in the simulation is is there any comment that you could tell us well driving is fundamentally uh basically almost entirely vision neural nets uh like we're basically it's running on a biological vision neural net and what we're doing here is a silicon camera neural net um so and there are there's there is some amount of uh audio uh you know you want to hear uh if um there's like emergency vehicles or uh you know uh i guess converse with the people in the car um you know if somebody's yelling something at the at the car that car needs to understand what that is um so you know all things that are necessary for it to be fully autonomous yeah thank you hi uh thank you for all the great work that you've shown uh my question is for the team uh because the data that was shown was seems to be predominantly from the united states that the the fsd computer is being trained on but as it is being as it gets rolled out to different countries which have their own road systems and challenges that come with it how do you think that it's going to scale like like i'm assuming like the ground up is not a very viable solution so how does it transfer to different countries uh well there is we actually do train on using data from probably like 50 different countries um but we have to pick you know in as we're trying to advance full self driving we need to pick one country and since we're located here we pick the us um and then we get a lot of questions like why not even canada like well because the roads are a little different in canada different enough um and so when trying to solve a hard problem uh you want to uh say like okay what's the let's not add additional complexity right now uh let's just solve it for the us and then we'll extrapolate to the rest of the world but we do use video from all around the world yeah i think a lot of a lot of what we are building is very country agnostic fundamentally all the computer vision components and so on don't care too much about country specific uh sort of features every you know different countries have roads and they have curbs and they have cars and everything we're building is fairly general for that yeah and there's the the prime directive is don't crash right and that's true for every country yes this is the prime directive um and um even right now the car is pretty good at not crashing um and so just basically um whatever it is don't hit it even if it's a ufo that crash landed uh on the highway and still don't hit it you should not need to recognize it in order to not hit it so that's very important and i want to ask that when you do the photometric process multiview geometry how much of an error do you see is it like one millimeter one centimeter so i'm just if it's not confidential sorry question what is the what's it what's the difference between the synthetic sure what is the difference between the synthetically created geometry to the actual geometry yeah it's usually within a couple centimeters three or four centimeters that's the standard deviation merge with different kind of modalities to bring down that error we primarily try to find scalable ways to label um in some occasions we use other sensors to help benchmark but we primarily use cameras for this system okay thanks yeah i i mean i think we want to aim for the car to be positioned uh accurately to the the sort of centimeter level um you know something on that order obviously it will depend on distance like close by things can be much more accurate than farther away things because and they would matter less because the car doesn't have to make decisions much farther away and as it comes close it will become more and more accurate exactly a lot of questions thanks everybody my question has to do with sort of ai and manufacturing it's been a while since we've heard about the alien dreadnought concept is the humanoid that's behind you guys is that kind of brought out of the production health timeline and saying that humans are underrated in that process um well sometimes like some you know something that i say is uh taken to too much of an extreme there there are parts of the tesla system that are almost completely automated and then there are some parts that are almost completely manual and if you were to walk through the whole production system you would see a very wide range from yeah like i said fully automatic to almost completely manual but the vast majority it's most of it is is already uh automated um so and then with the some of the design architecture changes like going to large aluminum high pressure die cast components we can take the entire rear third of the car and cast it as a single piece and now we're going to do that the front third of the car is a single piece so the the body line um drops by like 60 to 70 percent in size um but yeah the the robot is not is not prompted by specifically by manufacturing needs it's it's just that we're just obviously making the pieces that are needed for a useful humanoid robot so i guess we probably should make it and if we don't someone else would well and so i guess we should make it and make sure it's safe i should say like also manufacturing volume manufacturing is extremely difficult um and underrated and we've gotten pretty good at that it's also important for that humanoid robot like how do you make the human robot not be super expensive and hi uh thank you for the present presentation and my question will be about skilling of dojo and uh in particular how do you scale the compute nodes in terms of thermal thermals and power delivery because there is only so much heat that you can dispense and only so much power that you can bring to like cluster rack and how do you want to scale it and how do you point to scale it in multiple data centers sure hi i'm bill i one of the dojo engineers the um so from a thermal standpoint and power standpoint we've designed it very modular so what you saw on the compute tile that will that will cool the entire tile so we we once we hook it up to it is liquid cooled on both the top and the bottom side um it doesn't need anything else and so when we talk about clicking these together once we click it to power and we once we click it to um cooling it will be fully powered and fully cooled and all of that is less than a cubic foot yeah so tesla has a lot of expertise in power electronics and in uh in cooling so we took uh the power electronics expertise from the vehicle powertrain and the sort of the advanced cooling that we developed for the power electronics and for the vehicle and applied that to the super computer because as you point out uh getting heat out is extremely important just really heat limited so um yeah so it's funny that like at the compute level it's operating at less than a volt which is a very low voltage there's a lot of amps so therefore a lot of heat i squared r is what really bites you on the ass um hi uh my question's also similarly a question of scaling um so it seems like a natural consequence of using you know significantly faster training hardware is that you'd be either training models over a lot more data or you'd be training a lot more complex models which would be potentially significantly more expensive to run at inference time on the cars uh i guess i was wondering like if there was a plan to like also um apply dojo as something that you'd be uh using like on the self-driving cars and if so like you know do you foresee additional challenges there i can so as you could see like android's models are not just for cars like there are auto labeling models there are other models that are like beyond car application but they feed into the car stack so so dojo will be used for all of those too not just the car inference part of the training yeah i mean the dojo's first application will be consuming video data for training for that would then be run in the inverse inference engine on the car but uh and that i think is an important uh test to see if it actually is good or but is it actually better than gpu cluster or not um so but then beyond that it's basically a general a generalized neural net training computer but it's very much optimized to be a neural net so you know cpus and gpus uh they're they're they're not made to be um they're not they're not designed specifically for training neural nets um we've been able to make gpus especially very efficient for portraying neural nets but that's not that was never their design intent so it's it's bc gpus are still essentially running it uh neural net training in emulation mode so um with with dojo we're saying like okay let's just let's just asic the whole thing let's just have this thing that's it's built for one purpose and that is neural net training and just generally any system that is designed for a specific purpose will be better than one that is designed for a general purpose hey i had a question here hi um so you described two separate systems one was for vision therefore planner and control um does dojo love you train networks that cross that boundary and second thing is if you were able to train such networks would you have the onboard compute capability in the fst system to be able to run that in in under your tight latency constraints thanks yeah i think we should be able to train uh planner networks on dojo or any gpus it's really invariant to the platform um and i think uh if anything once we make this entire thing end to end it'll be more efficient than decoding a lot of these intermediate states so you should be able to run faster if you make the entire thing uh into in your neural networks we can avoid a lot of decoding of the intermediate states and only decode essential things required for driving the car yep certainly and to endness and as the guiding principle behind a lot of the network developments and over time in the stack neural networks have taken on more and more functionality and so we want everything to be trained end-to-end because we see that that works best but we are building it incrementally so right now the interface there is vector space and we are consuming it in the planner but nothing really fundamentally prevents you from actually taking features and eventually fine-tuning end-to-end uh so i think that's definitely where this is headed yeah and the discovery really is like what are the right architectures that we need to place in network blocks to make it amenable to the task so like on a describe we can place spatial rnns to help with the uh perception problem uh and now it's just neutral network so similarly for planning we need to bake in search and optimization into the planning into the network architecture and once we do that you should be able to do planning very quickly uh similar to c plus plus algorithms okay okay i think i had a question very similar to what he was asking about it seems like a lot of neural nets around computer vision and kind of traditional planning you had model predictive control in solving convex optimization problems very quickly and i'd wonder if there's a compute architecture that's more suited for convex optimization or the model predictive control uh solutions very quickly yeah 100 if you want to bake in like i said earlier if you want to bake in these architectures that do say model protein control but just like replace some of the blocks with neural networks or if we know the physics of it we can also use physics-based models part of the neural network's forward pass itself so we are going to go towards a hybrid system where we will have neural network blocks placed together with a physics-based blocks and more networks later so it'll be a hybrid stack and what we know to do well we place with explicitly and what the networks are created we'll use the networks to optimize this uh so better end-to-end stack with this architecture baked in i i mean i do think that so as long as you've got like um surround video uh neural nets for understanding what's going on and can uh convert those surround video into vector space then you basically have a video game um and if you know if you it's like if you're in grand theft auto whatever you can you can make the cars drive around and pedestrians walk around without crashing so um you can do you don't have to have a neural net for control and planning um but it's probably ultimately better um so but i think you can probably get to in fact i'm sure you can get to much safer than human with control and planning primarily in c plus plus with perception vision in neural nets hi my question is we've seen other companies for example use reinforcement learning and machine learning to optimize power consumption and data centers and all kinds of other internal processes my question is are is tesla using machine learning within its manufacturing design or other engineering processes i i discourage use of machine learning because it's really difficult unless you basically unless you have to use machine learning don't do it it's usually a red flag when somebody says we want to use machine learning to solve this test i'm like that sounds like um so uh 99.9 percent of time you do not need it um so yeah but so it's kind of like a you you reach for machine learning when you when you need to not but it's i've not found it to be a convenient easy thing to do um it's a super hard thing to do that may change if you've got a humanoid robot that can you know understand normal instructions um but yeah generally minimize use of machine learning in the factory hi um based on your videos from the simulator uh it looked like a combination of graphical and neural approaches i'm curious what the set of underlying techniques uh that are used for your simulator and specifically for neural rendering if you can share yeah so we're doing uh at the bottom of the stack it's just traditional game techniques uh just rasterization real time uh you know very similar to what you'd seen like gta on top of that we're doing real-time ray tracing and then those results were really hot off the press um i mean we had that little asterisk at the bottom that that was from last night we're going into the neural rendering space we're trying out a bunch of different things we want to get to the point where the neural rendering is the the cherry on the top that pushes it to the point where the models will never be able to overfit on our simulator currently we're doing things similar to photorealism enhancement there's a paper a recent paper photo enhancing photo realism enhancement but we can do a lot more than what they could do in that paper because we have way more labeled data way more compute and also much we have a lot more control over environments and we also have a lot of people who can help us make this run at real time um but we're going to try whatever we can do to get to the point where we can train everything just with the simulator uh if we had to but we will never have to because we have so much real world data that no one else has it's just to fill in the little gaps in the real world yeah i mean the simulator is very helpful when there's like these rare cases like like um you know like collision avoidance right before an accident um and then ironically that the better our cars become at avoiding accidents the fewer accidents there are so then our training set is small so then we have to make them crash in the simulation so it's like okay minimize potential injury to uh pedestrians and people in the car you have five meters you're traveling at you know 20 meters per second um take what actions would minimize probability of injury we can run that in some cars driving down the wrong side of the highway that kind of thing happens occasionally but not that often um for your humanoid contacts i'm wondering if you've decided on what use cases you're gonna start with and what the grand challenges um are in that context to make this viable well i think for the humanoid for the tesla bot um optimus it's basically going to start with just dealing with work that is boring repetitive and dangerous basically what is the work that people would least like to do um hi um so quick question about your simulations um obviously they're not perfect right now so are you using any sort of domain adaptation techniques to basically bridge the gap between your simulated data and your actual real-world data because i imagine it's kind of dangerous to just deploy models which are solely trained on simulated data so maybe some sort of explicit domain adaptation or something is that going on anywhere in your pipeline so currently uh i mean we're producing the videos straight out of the simulator uh the the full clips of kinematics and everything and then we're just immediately training on them but it's not the entire data set it's just a small targeted segment and we only are evaluating based on real world video um we're paying a lot of attention to make sure we don't ever fit uh and if we have to start doing fancier things we will but currently it's we're not having an issue with it overfitting on the simulator we will as we scale up the data um and that's what we're hoping to use neural rendering to bridge that gap to push that even further out um we've already done things where we're using like the same networks in the car but retrain it to detect sim versus rail to drive our art decisions um and that's actually helped um prevent some of these things as well yeah just to emphasize that overwhelmingly the data set is the real video from the cars on the actual roads uh nothing's weirder or uh or has more corner cases than reality um it's gets really strange out there but but then if if we find say a few examples of something very odd and there's some very some for some very odd pictures we've seen then in order to train it effectively we want to create simulations uh say a thousand simulations that are that are variants of that quirky thing that we saw the foot to fill in the some important gaps and and make the system better and really all of this is about over time just reducing the probability of of a crash or an injury and it's called the march of nines like how do you get to 99.999999 uh safe you know and it yeah each nine is an order of magnitude difficulty increase uh thanks so much for the presentation i was curious about the tesla bot um specifically i'm wondering if there are any specific applications that you think the humanoid form factor lends itself to and then secondary um because of its human form factor is emotion or companionship at all thought about on the product roadmap at all um well we certainly hope this does not feature in a dystopian sci-fi movie but uh you know like really at this point we're saying like maybe this robot can just we're trying we're trying to be as literal as possible can it do um boring dangerous repetitive jobs that people don't want to do and uh you know once you can have it do that then maybe you can do other things too but that's the that's the thing that we really great to have so it could be your buddy too i mean buy one and have it be or your friend and whatever i'm sure that people think of some very creative uses so uh so um so firstly thanks for the the really incredible presentation um my question is on the ai side um so one thing we've been seeing is that with some of these language modeling ais we've seen that scaling has just had incredible impacts in their capabilities and what they're able to do so i was wondering whether you're seeing similar kinds of effects of scaling in in your neural networks in your applications absolutely a bigger network typically we see it performs better provided you have the data to also train it with and this is also what we see for ourselves definitely in the car we have some latency consideration to be mindful of and so there we have to get creative to actually deploy much much larger networks but as we mentioned we don't only train neural networks for what goes in the car we have these um auto labeling pipelines that can utilize models of arbitrary size so in fact we've traded a number of models that are not deployable that are significantly larger and work much better because we want 100 like we want much higher accuracy for the auto labeling and so we've done a lot of that and there we definitely see this trend yeah the order labeling is uh an extremely important important part of this whole whole situation without the order labeling i think we would not be able to solve the self-driving problem it's kind of a funny form of distillation where you're using these very massive models plus the structure of the problem to do this reconstruction and then you distill that into neural networks that you deploy to the car but we basically have a lot of neural networks and a lot of tasks that are never intended to go into the car yeah and also as time goes on that you get new frames of information so you really want to make sure your computer is distributed across all the information as opposed to just taking a single frame and hogging on it for say 200 milliseconds you actually have newer frames coming in so you want to like use all of the information and not just use that one frame i think one of the things we're seeing is that the car's predictive ability is um is quite is eerily good um it's really getting better than human in terms of predicting like you say like what predict what this road will look like out when it's out of sight like it's around the bend and it predicts the road with very high accuracy and you know predict pedestrians or cyclists wherever behind you know where to just see a little corner of the bicycle and a little bit through through the windows of the bus and its ability to predict things is going to be much better than humans like really way way beyond right yeah we see this often where we have something that is not visible but the neural network is making up stuff that actually is very sensible sometimes it's eerily good and you have to like you're wondering this is in the training set and actually actually in the limit you can imagine the neural net has enough parameters to potentially remember earth so in the limit it could actually give you the correct answer and it's kind of like an hd map back baked into the weights of the neural net i have a question about the design of the tesla bot specifically in order uh how important is it to maintain that humanoid form to build hands with five fingers uh that also respects the weight limits could be quite challenging you might have to use cable driven and then that also causes all kinds of issues um i mean this is just going to be bought version one and we'll see so the it's it needs to be able to do things that that people do um and uh you know be a generalized you know humanoid robot um i mean you could make you potentially have it give it like you know two fingers and a thumb or something like that um you know for now we'll we'll give it five fingers and and see see if that works out okay it probably will it doesn't need to be like uh you know have like incredible grip strength but it needs to be able to work with tools so and you know carry a bag that kind of thing all right thanks a lot for the presentation so an old professor of mine told me that um the thing he disliked a lot about his tesla was that the autopilot ux didn't really inspire much confidence in the system especially when like objects are spinning classifications are flickering i was wondering like even if you have a good self-driving system how are you working on convincing tesla owners other road users or other road users and just the general public that your system is safe and reliable well i think that's that's the cars a while back cars used to spend they don't they don't spin anymore not in the if you've seen the fsd beta videos they they're they're pretty solid um and they will be getting more solid yeah as him add more and more data and train these multi-camera networks like these are pretty decent actually just like few months old and it's really improving it's not a done product uh and that we've never minds we can clearly see how this is just going to be like perfect but perfect for space because why not uh all the information is that in the videos it should produce a given lots of data and good architectures um and this is just an intermediate point in the timeline i mean it's clearly headed to way better than human without question my turn oh hi here um i was wondering if you could talk a little bit about the short to medium-term economics of the bot i guess i understand the long-term vision of replacing physical labor but i also think repetitive dangerous and boring tasks tend to not be so highly compensated and so i just don't see how to reproduce uh you know start with a supercar and then break into like the lower end of the market how do you do that for a robot humanoid well i guess you'll just have to see hello hi um i was curious to know how the car ai prioritizes occupant safety versus pedestrian safety and what thought process goes into like deciding how to make this into the ai well i mean we the the thing to appreciate is that from the computer standpoint everything is moving slowly so uh think you know to a human uh things are moving fast to the computer they are not moving fast so i think this is in reality somewhat of a false dichotomy not that it will never happen but it will be very rare um you know if you think it was like you know going the other direction like rendering you know with full ray tracing uh neural net enhanced graphics on something like cyberpunk or in any you know advanced video game you know doing 60 frames a second uh perfectly rendered like how long would it take a person to even render one frame and without any mistakes can be done i mean it would take like a month just to just render one one frame out of 60 in a second in a video game it's uh computers are fast and humans are slow i mean for example uh on on the rocket side the you you cannot steer the rocket to orbit um we actually hooked up a joystick to see if anyone could steal the rocket orbit but you need uh to react at roughly six seven hertz uh people can't do it not even now that's pretty low you know we're talking more like even for like 30 hertz type of thing hi um with the over here uh with hardware 3 there's been lots of speculation that with larger nets it's hitting the limits of what it can provide how much headroom has the extended compute modes provided at what point would hardware 4 be required if at all well i'm confident that hardware 3 or the full stop driving computer 1 will be able to achieve full self driving at a safety level much greater than a human probably i don't know at least two or three hundred percent better than a human um then obviously there will be a future hardware for or full self-driving computer too which we'll probably introduce with the cybertruck um so maybe in about a year or so uh that is probably well that'll be about four times more capable roughly um but it's really just going to be like can we take it from say for argument's sake 300 safer than a person to a thousand percent safer um you know just like there are people on the road who with with varying driving abilities but we still let people drive it you don't have to be the world's best driver to be on the road so as we see so yeah guess what's new all um right are you worried at all since you don't have any depth sensors on the car that people might try like adversarial attacks like printed out photos or something to try to trick the rgb neural network yeah like what pull some like wiley cody stuff you know like paint the tunnel on the on the wall it's like oops um we haven't really seen much of that um i mean for sure like like right now if you pr most likely if you had like a a t-shirt with a t-shirt with like a stop sign on it which i actually have a t-shirt with a stop sign on it and and then you like flash the car it will it will stop i i proved that um but we can obviously as we see these uh adversarial attacks then we can we train uh the cars to uh you know notice that well it's actually a person wearing a t-shirt the stop sign on it so it's probably not a real stop sign hi uh my question is about um the prediction and the planning i'm curious how do you incorporate uncertainty into your uh you know planning algorithms do you just basically assume you know you mentioned that you run the um the autopilot for all the other cars on the road do you assume that they're all going to follow those rules or are you accounting for the possibility that well they might be bad drivers for example yeah we do account for multi-modal futures it's not that we just choose one we account for this person can actually do many things and we use that actual physics and kinematics to make sure that they're not doing a thing that would interfere with us before we act um so if there's any uncertainty we are conservative and then would yield to them of course there's a limit to this because if you're too conservative then it's probably not practical so at some point we have to assert and we even then we make sure that the other person can yield to us and act sensibly i should say like um like before we introduce something into the fleet we will run it in shadow mode and so and we'll see what what would this neural net for example have done in this particular situation um because and then effectively the drivers uh are training it training the net so if the neural net would have uh controlled and you know and say veered right but the person actually went left it's like oh there's a difference why was there that difference yeah and secondly all the human drivers are essentially training the neural net uh as to what is the correct course of action assuming it doesn't then end up in a crash you know doesn't count in that case yeah and secondly we have various estimates of uncertainty like flickr and when we observe this we actually uh say we are not able to see something we actually slow down the car to be again safe and get more information before acting uh yeah we don't want to be brazen and just go into something that we don't know about we only go into places where we know about yeah but um yeah it should be like aspirationally that the car should be the less it knows the sl you know the slower it goes yeah which is not true at some point but now yeah yeah we've yeahshould we speed proportionate to confidence thanks for the presentation so i am curious appreciate the fact that the fsd is improving but if you have the ability to improve one component along the ai stack to present it today whether it is simulation data collections planning control et cetera which one in your opinion is going to have the biggest impact for the performance of the full self driving system it's really the area under the curve of this like multiple points and if you improve anything uh it should improve the area i mean in the short term it's arguably we need all of the nets to be um surround video uh and so we still have some legacy this is a very short term obviously we're fixing it fast but there's there's still some nets that are not using surround video um and i think ideally that all use surround video yeah very yeah i think a lot of puzzle pieces are there for success we just need more strong people to also just help us make it work yeah that is the actual box so that is the actual bottleneck i would say i'm really one of the reasons that we are putting on this event exactly what well said andre that um there's just a tremendous amount of work to do to make make it work so that's why we need um talented people to join in and solve the problem uh thank you for the great presentation lots of my questions answered but one thing is uh when imagine that now you have a large amount of data even unnecessary how do you consider that like there's a forgetting problem in neural networks like how are you considering those aspects and also another one are you considering online learning or continuous learning so that maybe each driver can have their version of uh self-driving software i think i think i know the literature that you're referring to that's not some of the problems that we've seen and we haven't done too much continuous learning we train the system once we find in a few times that sort of goes into the car we need something stable that we can evaluate extensively and then we think that that's good and that goes into cars so we don't do too much learning on spot or continuous learning and don't face the forgetting problem uh but there will be settings that you can say like if you do do you want are you typically a conservative driver or do you want to drive fast or slow you know it's like i'm late for my i'm late for the airport uh could you go faster than you know basically the kind of instructions you'd give to your uber driver it's like i'm late for the flight please hurry um or take it easy or you know whatever your style is so let's take a few more questions here so and then we'll call it a day all right so as our models have become more and more capable and i guess you're deploying these models into the real world um one thing i guess that's possible is for ai to become more i guess misaligned with what humans desire so i guess is that something that you guys are worried about as you guys deploy more and more robots um or do you guys like we'll solve that problem when we get there yeah i think that we should be worried about ai um you know like what we're trying to do here is i say narrow ai uh pretty narrow like just make the car drive better than a human um and then have the humanoid robot be able to do basic stuff um uh you know so um at the point at which you sort of start get uh superhuman intelligence uh yeah i don't know all bets are off um but you know and that's that's that's you know that'll that'll probably happen but but what we're trying to do here at tesla is make useful ai that people love and and is unequivocally good that's our you know try to aim for that okay maybe one more question hi uh my question is about the camera sensor in the beginning of the talk you had mentioned about building a synthetic animal and if you think about it a camera is a very poor approximation of a human eye and a human eye does a lot more than take a sequence of frames have you looked into like there are like these days are like cameras like event cameras have you looked into them or are you looking into a more flexible camera design or building your own camera for example well with hardware four we will we will have a next generation camera uh but i have to say that the the current cameras we have not reached the limit of the current cameras uh so um and i'm confident we can achieve full self-driving with much higher safety than humans with the current cameras and current compute hardware um but you know are we good to be a thousand percent better rather than 300 better so we'll see continued evolution on on our levels and pursue that goal and i think in the future people will look back and say wow i can't believe we had to drive these cars ourselves you know it'll like self-driving cars will just be just a normal like self-driving elevators you know uh elevators used to have elevator operators and uh there's someone there with like you know big big relay switch operating the elevator and then every now and then they'd get tired or you know some make a mistake and share somebody in half so um so now we uh you know we made elevators automatic and you just go and you press the button and you can be in a 100 story skyscraper and don't really worry about it just go and press a button and the elevator takes you where you want to go but it used to be that all elevators were operated manually manually it'll be the same thing like for cars all cars will be automatic and then um and electric obviously um so there will still be some gasoline cars and some manual cars just like there are still some horses so um all right well thanks everyone for coming and i hope you enjoyed a presentation and thank you for the great questions

皆さん、こんにちは......遅くなってすみません......ええと ご来場ありがとうございました。 そして、技術的な問題があって 困難がありました。 今回のAIは本当に素晴らしいですね それで......私たちが今日見せたいのは 今日お見せしたいのは、テスラが 電気自動車の会社というだけではなく 私たちが持っている 深いAI活動 の 推論レベルのハードウェアと トレーニングレベル そして 基本的に私たちは 私たちは 現実世界に適用されるAIのリーダーであることは間違いないと思います。 現実の世界に適用されるAIのリーダーであると言えます。 えーと そして、自動運転の全貌をご覧になった方は 自動運転の ベータ版をご覧になった方は、テスラの自動運転の速さを テスラの ニューラルネットが運転を学習する速度を そして これはAIの特殊なアプリケーションです。 AIの特殊なアプリケーションですが、私はもっと他にも この先にはもっと多くのアプリケーションがあります。 この先、もっと意味のあるアプリケーションが出てくると思います。 そのことについては、プレゼンテーションの後半で しかし 基本的には、私たちは 現実のAI問題を解決することに ハードウェアとソフトウェアの両方で ハードウェア、ソフトウェアのどちらのレベルでも テスラに参加したり、絵を描くことを検討したりすることをお勧めします。 テスラ それでは、まずアンドレから始めましょう。 素晴らしい 皆さん、こんにちは。 私の名前はアンドレで、私は テスラのビジョンチームを率いています。 私はテスラの自動操縦チームのリーダーです。 このセクションを始めるにあたり このセクションでは、自動操縦スタックを技術的に深く掘り下げて 自動操縦スタックの技術的な深堀りと 車が自分で運転できるようにするための 車を自動運転させるためのボンネット内の部品を紹介します まず始めに ビジョンコンポーネント 分割コンポーネントで私たちがやろうとしているのは 我々がやろうとしているのは 生の情報を処理するニューラルネットワークを設計しようとしています。 情報 ここでは、車両の周囲に配置された8台のカメラ 車両の周囲に配置された8台のカメラ カメラから送られてくる画像をリアルタイムに処理して その情報をリアルタイムに処理して ベクトル空間と呼ばれるものにリアルタイムで処理する必要があります。 運転に必要なすべてのものの3次元表現 運転に必要なすべてのもの、つまり つまり、次のような3次元的な位置関係です。 線、縁、縁石 交通標識 交通信号 車の位置と方向 奥行き、速度など ここでは、そのビデオをお見せしています。 ちょっと待ってください。 お詫び ここでは、スタックに入力される生の スタックに入ってくる生の入力と、それを ニューラルプロセスでベクトル空間に そして、そのベクトル空間の一部が ベクトル空間の一部が、車の計器 車のインストルメントクラスター 今 私が魅力的だと思うのは これは、私たちが事実上、人工的な動物を一から作っているということです。 人工的な動物を一から作っているということです。 車は動物のように考えられます 車は動き回り、環境を感知し 動き回り、環境を感知し、自律的かつ知的に行動し 自律的かつ知的に行動します。 私たちは、すべてのコンポーネントを すべてのコンポーネントを社内で一から作っています。 機械的な部品はもちろん 体のすべての機械部品、神経系、すべての電気部品 すべての電気部品、そして今回の目的である 今回の目的は自動操縦装置の脳 特にこのセクションでは 合成視覚野 生物学的視覚野は 実際には非常に複雑な構造をしており いくつかの領域があります。 脳の情報の流れを整理する 特に我々の あなたの視覚野では 情報が目に入り 光が網膜に当たると、それがLGNを通って LGNを通って視覚野の奥へと進みます。 視覚野の後ろ側にあるエリアv1 v2 v4を通ります。 v4 背側ストリームのベンチャー 情報は一定のレイアウトに整理されます。 情報が一定のレイアウトで整理されているため、私たちが 車の視覚野をデザインする際には 車の視覚野を設計する際には、ニューラル 情報がどのようにシステムを流れるかという 情報がどのようにシステム内を流れるか 処理は、光が人工物に当たった最初の段階で 光が人工網膜に当たったときに処理が始まり この情報をニューラルネットワークで処理することになります。 その情報をニューラルネットワークで処理します。 このセクションを大まかに時系列で整理すると このセクションを大まかに時系列で整理すると、まず ニューラルネットワークのいくつかと 私がチームに参加したおよそ4年前にはどのようなものだったか 私がチームに参加したおよそ4年前にはどのようなものだったか、そして時間の経過とともにどのように発展してきたか 進化してきたか そして およそ... 4年前のクルマは、ほとんどが 高速道路を片側一車線で走行していました。 車線を維持しなければならなかった。 車線を維持し、前の車との距離を保つ必要がありました。 前の車との距離を保つ必要がありました。 当時はすべての処理が個々の画像レベルで行われていました。 当時の処理はすべて個別の画像レベルで行われていたので、1枚の画像 一枚の画像をニューラルネットで分析して ベクトル空間の小さな断片を作り ベクトル空間の小片に処理します。 ベクトル空間の小片に処理していました。 次のような形になります。 960の入力があり、これは12ビットの整数です。 およそ36ヘルツで入力されています。 これをニューラルネットワークで処理します。 ニューラルネットワークで処理するので、特徴抽出器バックボーンをインスタンス化します。 特徴抽出器のバックボーンをインスタンス化します。この例では 残差ニューラルネットワークを使用します。 ステムと複数の残差ブロックを 直列に接続された 我々が使用する特定のクラスの残差ニューラルネットワークは レグネットとは、我々がこのような 残差ニューラルネットワークは ニューラルネットワークの素晴らしい設計空間を提供する ニューラルネットワークの設計空間を提供します。 レイテンシーと精度をうまくトレードオフできるからです。 レグネットは、出力として 異なるスケールの異なる解像度で多くの特徴を 様々なスケールの様々な解像度の特徴を出力します。 特に、この特徴的な階層の一番下にある 機能階層の一番下には、非常に高い チャンネル数が非常に少ない高解像度の情報が チャンネル数が非常に少ない高解像度の情報があり、上部には 頂点には低空間低解像度の情報があります。特に、チャンネル数が多い場合には 下の方にはたくさんのニューロンがあって 下部には画像の細部を精査する 上には画像のほとんどを見ることができるニューロンがあります。 画像の大部分を見ることができ、多くの文脈や 多くの文脈、多くのシーンの文脈 コンテキスト これを処理するには、次のようにします。 特徴ピラミッドネットワークで処理します。 fbnsを使用することで、マルチスケールの 複数のスケールに対応したマルチスケールの 複数のスケールで効果的に会話し、多くの情報を共有することができます。 多くの情報を共有することができます。 例えば、あなたがネットワークの中のニューロンであり 例えば、あなたがネットワークの下にいるニューロンで、小さなパッチを見ていて 例えば、あなたがネットワークのずっと下にいるニューロンで、小さなパッチを見ていて、これが車なのかどうかわからないとします。 これが車なのかどうかわからない場合、トッププレイヤーから トッププレイヤーから、自分は 実際にこの高速道路の消失点にいることを ハイウェイの消失点にいることがわかれば、それが これは車だろうということを明確にすることができます。 Fbnを購入し、機能融合を行った後 尺度を超えて、次にタスク別の頭に入ります。 例えば、物体検出の場合は 例えば、物体検出を行う場合は、1 例えば、物体検出を行う場合、ここでは1ステージのヨーロピアンな物体検出を行います。 ここでは、ラスタを初期化して 位置ごとにバイナリビットがあり そこに車があるかどうかを示します。 さらに、車がある場合は さらに、車がある場合には、他の属性の束が表示されます。 興味のある他の属性がたくさんあります。 高さのオフセット、その他の属性 どんな車なのかなどの属性 などがあります。 これは検出自体のためのものです。 すぐに分かったことは 車を検出するだけではなく、多くのタスクを 多くのタスクを実行したいことがわかりました。 例えば、交通信号の認識や 認識・検出、車線予測など 車線の予測など、非常に素早く このようなアーキテクチャ・レイアウトを 共通の共有バックボーンがあり 共通のバックボーンがあって、それがいくつかのヘッドに分岐するという いくつかのヘッドに分岐しています。 これをハイドラネットと呼んでいます。 これらはヒドラの頭です さて このアーキテクチャ・レイアウトにはいくつかの利点があります。 いくつかの利点があります。まず第一に 機能を共有しているので フォワードパスの推論をテスト時に を償却できるので、テスト時に非常に効率的に 非常に効率的に実行できます。 すべてのタスクにバックボーンを用意していたら タスクごとにバックボーンを用意していたら、車内にたくさんの 車内にはたくさんのバックボーンがあります。 第二に、これはすべてのタスクを切り離して すべてのタスクを切り離して、それぞれのタスクを それぞれのタスクを個別に作業できるようになります。 例えば、データセットのアップグレードや データセットのアップグレードや 例えば、データセットをアップグレードしたり、ヘッドのアーキテクチャを変更したりしても 他のタスクに影響を与えることはありません。 他のタスクに影響を与えないので、他のタスクを再検証する必要がありません。 他のタスクに影響を与えないので、コストのかかる 高くつく 3つ目は、ここにはボトルネックがあり ボトルネックになっているからです。 かなりの頻度で行っているのが、これらの機能を 機能をディスクにキャッシュして 微調整を行っているときに ワークフローの微調整を行う際には、キャッシュされた機能から微調整を行います。 キャッシュされた機能を元にして微調整を行い、ヘッドの部分だけを見つけます。 頭の中でしか見つけられません。つまり、多くの場合 トレーニングワークフローでは エンド・ツー・エンドのトレーニングを行うこともあります。 ここでは、すべてを共同で学習し、次に 特徴量をキャッシュします。 マルチスケールの特徴レベルでキャッシュして その結果をもとにしばらくの間、微調整を行い その後、もう一度エンド・ツー・エンドのトレーニングを行うといった具合です。 などです。 このような予測が得られています。 数年前に得られた 今から数年前 ある水素化物から得られたものです。 個々の画像を処理しています。 そう、個々の画像を処理して 個々の画像を処理して これらの画像について多くの予測を行っています。 例えば、この画像では 例えば、ここでは、一時停止標識の予測... 停止線...線...縁...車...信号...縁 車......信号......縁石 ここでは 車に火花が散っているかどうか ゴミ箱や缶、コーンなどの静的な物体のすべて 缶やコーンなどの静的物体など、ここにあるすべてのものが ネットから出てきます この場合、ヒドラネットから出てきます。 それはそれで良かったのですが、FSDに向けて作業を進めていくうちに しかし、FSDに向けて作業を進めていくと、すぐに次のことがわかりました。 これでは十分ではありません。 壊れ始めたのは、スマートサモンに取り組み始めたときでした。 スマートサモンに取り組んだときです。 カーブ検出タスクのみの予測結果の一部を示しています。 縁石検出タスクの予測を示しています。 全てのカメラについて 駐車場の周りをぐるぐる回って 駐車場をぐるぐる回って、車を呼び出している人を 車を呼んでいる人を見つけたいのですが、問題は 問題は、画像空間予測に基づいて直接運転することはできないということです。 問題は、画像空間の予測に直接アクセスすることはできず、実際に 実際には、それらをキャストして、ある種の ベクトル空間を形成する必要があります。 そこで私たちは、C++を使ってこれを試みました。 当時、私たちは 当時、占有率トラッカーと呼ばれていたものを開発しました。 ここでは、画像からのカーブ検出が 画像から縁石を検出して カメラシーンとカメラの境界を越えて 時間経過とともに ここで2つの大きな問題があります。 1つ目は、このセットアップについてです。 1つ目は オキュパントラッカーとそのすべてのハイパーパラメータの パラメーターの調整は非常に複雑で これを手作業で明示的に行いたくはありません。 C++で明示的に行うのではなく、ニューラルネットワーク内で行い ニューラルネットワークの中に入れて、最後から最後までトレーニングする必要があります。 第2に、我々はすぐに発見しました。 画像空間は正しい出力空間ではないことがすぐにわかりました。 画像空間で予測をしたくないのです。 予測を画像空間で行うのではなく、本当に ベクトル空間で直接予測を行いたいのです。 そこで、この問題を説明する方法があります。問題点 ここでは、最初の行に、曲線と直線の 曲線と直線の予測を示しています。 赤と青で表示しています。 画像では素晴らしいものですが しかし、それをベクトル空間にキャストしてみると しかし、それをベクトル空間にキャストすると、本当にひどい状態になります。 これでは車を走らせることができません。 これでは ベクトル空間での予測は非常に悪いということがわかります。 ベクトル空間での予測がいかに悪いかがわかります。 根本的にこのようなことが起こるのは ピクセルあたりの深度が非常に正確でないと 実際にこの この投影を行うためには、ピクセルごとに非常に正確な深度が必要となります。 予測することがいかに高いハードルであるか 画像の1ピクセルごとに、深さを正確に 画像の1ピクセルごとに正確に深度を予測し また、予測したい場所に遮蔽物がある場合は 予測したいと思っても、それができないのは 予測したいと思っても、画像空間ではないため、予測できません。 空間 その場合のコンセプト ですから、私たちはすぐに の現実 ところで、この問題の他の問題点は 物体検出の場合も、カメラごとに予測する場合は カメラごとに予測するだけの場合は このようなケースに遭遇することがあります。 1台の車が8台のカメラのうち5台にまたがっているようなケースです。 8台のカメラのうち5台にまたがっている そのため、個別に予測を行うと 予測を行う場合、1台のカメラでは 車のすべてを見ているわけではないので、当然 車全体を予測することはできません。 車の全体像を予測することはできません。 これらの測定値を融合させることは、非常に困難です。 また、これらの測定値を融合させることも非常に困難です。 そこで私たちは、直感的にこう考えました。 代わりにやりたいのは すべての画像を同時に 1つのニューラルネットに入力して ベクトル空間に直接出力することです。 これは非常に簡単に言えば、実際にはもっと難しいのですが 実際に実現するのは難しいですが、大まかには ニューラルネットをこのようにレイアウトして すべての画像を処理するために バックボーン そして、それらをなんとか融合させたい。 それを画像空間の特徴から 特徴を画像空間の特徴から ある種のベクトル空間に再表現したい そして、頭のデコーディングに入ります。 頭部の 今 これには2つの問題があります。 問題点その1 どうやってニューラルネットワークコンポーネントを作成するか この変換を行うニューラルネットワークコンポーネントを 変換 微分可能にする必要があります。 エンド・ツー・エンドのトレーニングが可能になるように そして2つ目は ニューラルネットからベクトル空間の予測を得たいのであれば ニューラルネットからベクトル空間の予測を得たい場合は、ベクトル 基づいたデータセットが必要です。 画像などにラベルを付けるだけでは不十分です。 ベクトル空間のラベルが必要なのです。 問題番号2については後ほど詳しく説明します。 問題の2つ目については後ほどお話しますが、今回は 今回は、ニューラルネットワークの アーキテクチャに焦点を当てたいと思います。 問題番号1に深く入ります。 これが大まかな問題です。 画像空間ではなく、鳥瞰図のような 予測をしようとしているのですが、画像空間 予測したいと考えています。 例えば、出力空間の黄色の1つのピクセルに注目してみましょう。 このピクセルは このピクセルは、自分が縁石の一部であるかどうかを判断しようとしています。 例 このような予測をサポートするためには このような予測は、画像空間の 画像空間 カメラがどのように配置されているかは大体分かっています。 カメラの位置とその外縁と内縁が大体わかっているので 固有値がわかっているので、この点をカメラ画像に大まかに投影して この点をカメラの画像に大まかに投影して これが曲線であるかどうかの証拠は これが曲線であるかどうかの証拠は、画像のどこかにあるかもしれません 問題は、この投影が 問題は、この投影が非常に難しいことです。 問題は、この投影を正確に行うことが難しいことです。 路面の関数ですからね。 路面が上に傾いていたり、下に傾いていたり また、他のデータに依存する問題もあります。 データに依存する問題があります。 車によるオクルージョンがあるかもしれません。 車がビューポートのこの部分を遮っていたら 画像のこの部分を車が遮っている場合、実際には 画像の別の部分に注意を払う必要があるかもしれません。 映っている部分ではなく、別の部分に注目したくなるかもしれません。 このようにデータに依存しているため データに依存しているため、このコンポーネントに このコンポーネントを固定的に変換することは困難です。 そこで、この問題を解決するために この問題を解決するために、この空間を表現する変換器を使用します。 この変換器は 多頭飼いの自己主張をして 遮断します。 この場合、実際には1つのブロックで済むのですが 1つのブロックでも この作業の多くを そして 効果的に行うのは 望む出力空間のサイズのラスタを初期化して 出力空間のサイズのラスタを初期化し、それを それを出力空間のサイズとコスの位置エンコーディングでタイル化して 出力空間のサイズとコスチュームの位置エンコーディングでタイル化し これらをMLPでエンコードしていきます。 クエリベクトルのセット そして、すべての画像とその特徴 画像とその特徴もそれぞれのキーと値を発し 値を出力し、クエリのキーと値は クエリのキーと値は、マルチヘッドの 自己主張をすることになります。 起こっていることは、すべての画像 各画像ピースがそのキーで発信している 自分が何であるか、自分が何の一部であるかを伝えています。 私は大体この場所にある柱の一部です。 私はこの場所の柱の一部で、このようなものを見ています。 それがキーになります。 すべてのクエリは、以下のような内容です。 私は出力空間のこの位置のピクセルです。 この位置の出力空間のピクセルで、次のようなものを探しています。 このタイプの特徴を探しています そして、キーとクエリは乗算的に作用し キーとクエリが掛け合わされ、それに応じて値が それに応じて このようにして、空間を再表現することができるのです。 この変換は非常に効果的であることがわかります。 すべてのエンジニアリングを正しく行えば エンジニアリングを正しく行えば、これもまた 非常に簡単に言えばすべてのエンジニアリングを正しく行うのは難しい エンジニアリングを正確に行うことが必要です。 もうひとつ、問題はありません。 実は以前 スライドがどうなっているのかわかりませんが もうひとつ、注意しなければならないことがあります。 慎重にしなければならないことがあります。 これを動作させようとする場合、細部に注意しなければなりません。 特に私たちのすべての車は 私たちのすべての車は、少しずつ違った方法で、少しこけています。 だから、もしあなたが 画像空間から出力空間への変換を行う場合 画像空間から出力空間への変換を行う際には カメラのキャリブレーションを知る必要があります。 それを何らかの形でニューラルネットに入力する必要があります。 ニューラルネットに入力する必要があるのですが、そのためには すべての画像のカメラ すべての画像のカメラキャリブレーションを連結して それを何とかしてMLPに入力することは可能ですが しかし、実際には、すべての画像のカメラキャリブレーションを しかし、実際には、すべての画像を すべての画像を合成仮想カメラに変換することで 特殊な平行化変換を用いて これは次のようになります。 画像補正レイヤーのすぐ上に新しいレイヤーを挿入します。 これは カメラキャリブレーションの機能であり すべての画像を仮想的な共通のカメラに変換します。 仮想的な共通カメラに変換します。 たくさんのリピーター画像を平均化して 例えば、後ろを向いている多くのリピーター画像を平均化する場合 これをしないと、ある種のボケが発生します。 ぼやけた感じになりますが 整流変換を行うと 後ろの鏡がとても鮮明になっているのがわかります。 これを行うと......パフォーマンスがかなり向上します。 パフォーマンスが大幅に向上します。 以下にその結果を示します。 左側には以前の状態が表示されており 左側には以前の結果が表示され、右側には 大幅に改善された予測値 ニューラルネットから直接出力される これはマルチカメラ・ネットワークです。 ベクトル空間で直接予測しています。 基本的には昼夜逆転していることがわかります。 昼夜逆転しています。 この上を実際に運転することができます。 これにはいくつかの時間とエンジニアリングが必要でした。 これを実際に動作させ、展開させていくには、AIチームの時間とエンジニアリング、そして驚くべき作業が必要でした。 これを実際に動作させ、配備し 車内で効率的に使えるようにするために また、これによって物体検出の多くが改善されました。 例えば、このビデオでは このビデオでは、シングルカメラ 予測をオレンジ色で、マルチカメラの 青で示していますが、基本的には 車のほんの一部しか見えていない場合は 車のほんの一部分しか見えていない場合は 車のほんの一部分しか見ていないので、検出はあまり良くないでしょう。 車の位置も良くない。 しかし、マルチカメラ・ネットワークでは しかし、マルチカメラネットワークでは問題ありません。 これは、より名目的な状況での別のビデオです。 このような状況では この狭い空間にいる車が カメラの境界を越えると、多くのジャンクが 予測に入り込んでしまい 基本的に、この設定全体が意味をなさないのです。 特に今回のような非常に大きな車に対しては 今回のような大型車の場合は特に意味がありません。 マルチカメラネットワークでは、このような このような種類の予測では、マルチカメラネットワークの 予測 さて、この時点で我々は この時点では、マルチカメラ・ネットワークは ベクトル空間で直接予測していますが しかし、私たちはまだ、すべての瞬間において 完全に独立した時間の各瞬間に すぐに発見したのは すぐに発見したのは、多くの予測を行うためには 予測するためには、実際には ビデオのコンテクストを必要とする多くの予測があることに気づきました。 これをどうやってネットに送り込むかを考えなければなりません。 具体的には、この車は駐車しているかどうか 動いているのか、速度はどれくらいか 一時的に隠されていてもまだそこにいるのか 一時的に隠されていてもまだ存在しているのか、例えば 前方の道路形状を予測しようとしている場合 前方 50年前に見た標識や道路標示を知っていると非常に便利です。 50メートル前に見た標識や道路標示が メートル前に見た そこで 開発しようとしています。 ニューラルネットワークアーキテクチャにビデオモジュールを ニューラルネットワークアーキテクチャに これは、私たちが収束させたソリューションの一つです。 収束しました。 以前からあったマルチスケールの特徴を 以前からあったマルチスケールの特徴があり、今回挿入するのは これから挿入するのは、特徴キュー モジュールを挿入し、これらの機能の一部を 時間をかけてこれらの機能をキャッシュする そして、これらの情報を時間的に融合し これらの情報を時間的に融合し そして、デコードを行うヘッドへと続いていきます。 デコーディングを行うヘッド これからこの2つのブロックを1つずつ見ていきます。 これらのブロックを1つずつ見ていきますが、さらに キネマティクスも入力していることに注目してください。 キネマティクスを入力していることにも注目してください。これは基本的に 速度と加速度です。 車がどのように動いているかを教えてくれます。 つまり、すべてのブロックから見ているものを追跡するだけでなく すべてのカメラから見ているものを追跡するだけでなく カメラの映像だけでなく、車がどのように移動したか 移動したか これが機能キューとその大まかなレイアウトです。 大まかなレイアウトですが、基本的には 基本的にはこれらの特徴を連結しています。 車がどのように移動したかという運動学的な情報と、時間的な特徴を連結しています。 車の動き 車の動きの運動学と位置のエンコーディングを 符号化されたものが連結されて feature queue それがビデオモジュールで消費されます。 ビデオモジュールで使用されます。 特に、ポップとプッシュに関しては、正しい情報を得るために ポップとプッシュのメカニズムについては メカニズム、いつ、どのようにプッシュするのか、そして そして 特に、いつ、どのようにして押すのか、基本的には ここに図解があります。 ここではいくつかの課題があります。 下から自我のある車がやってきて 下から来て、この交差点まで来ます。 交差点にやってきて、交通量が増えます。 目の前を横切るようになります。一時的に前方の車が見えなくなります。 前方の車が一時的に見えなくなります。 しばらくはこの交差点で立ち往生することになるでしょう。 しばらくの間、この交差点で 順番を待つことになります。 これはよくあることで、課題を漫画で表現したものです。 課題を漫画で表現したものです。 ここで 1つ目の課題は 機能キューに関して、また、キューに 待ち行列にプッシュしたいときには、明らかに ある種の時間ベースの待ち行列を作りたいと思っています。 例えば、27ミリ秒ごとに機能をキューに入れる場合 例えば、27ミリ秒ごとに機能をキューに入れるようにします。 例えば、ある車が一時的に 車が一時的に遮蔽された場合、ニューラルネットワークは ニューラルネットワークには、時間的に記憶を参照する能力があります。 ニューラルネットワークは、時間内に記憶を参照し 関連付けを学習することができます。 今、この車が遮蔽されているように見えても 今は隠れているように見えても、私の過去の機能にはその記録がある。 これを利用して 検出することができます。 これは、より明白なもののようですが しかし、私たちのケースで必要だとわかったのは が必要であることを発見しました。 例えば、路面の状態を予測するために 例えば、前方の路面や道路形状を予測しようと 路面や道路形状を予測しようとしているときに 予測しようとしているとします。 隣の車線が直進していることを予測しようとすると 直進 その場合 そのためには、ラインマーキングや標識、そして ラインマークや標識を知る必要があります。 時にはそれがずっと前に発生したものであったり 時間ベースの待ち行列だけでは 赤信号を待っている間にその特徴を忘れてしまうかもしれません。 赤信号を待っている間に機能を忘れてしまうかもしれないので、時間ベースのキューに加えて 時間ベースのキューに加えて、空間ベースのビューも用意しました。 空間ベースの見方もあるので、車がある一定の距離を移動するたびに 車が一定の距離を移動するたびにプッシュする これらの詳細は実際にはかなり重要です。 これらの詳細は非常に重要です。 この場合、時間ベースのキーと空間ベースのキーを用意して 機能をキャッシュするための時間ベースのキーと空間ベースのキーがあります。 Videoモジュールに続く ビデオモジュールでは、次のような点を検討しました。 この情報を時間的に融合させる方法について、いくつかの可能性を検討しました。 この情報を時間的に融合させる方法について、いくつかの可能性を検討しました。 三次元の畳み込み 変圧器 軸方向の変圧器 より効率的にするために 効率的なリカレント・ニューラル・ネットワーク 数多くの種類がありますが しかし、私たちが実際にかなり気に入っているのは しかし、私たちが実際に気に入っていて、少し時間をかけたいと思っているのが 空間リカレント・ニューラル・ネットワーク・ビデオ・モジュール ネットワークビデオモジュールです。 ここでやっていることは 問題の構造上 私たちは2次元の表面を運転しています。 隠れた状態を2次元に整理することができます。 隠れた状態を2次元の 格子状に整理して、車が走っている間に 車が走っている間に、車の近くにある部分と 車の近くで、車が視認できる部分だけを更新します。 車が走り回っている間に 車が走り回っている間、運動学を使って に車の位置を統合します。 隠れた特徴 グリッドに統合し、Rnnの更新は 隠れた特徴を持つグリッドに車の位置を統合し 近くにあるポイントでのみRnnを更新しています。 以下にその例を示します。 のようになります。 これからお見せするのは、車が 車が走り回る様子 そして の隠れた状態を見ています。 このRNN の隠れた状態を見ているのですが、これらは隠れた状態の異なるチャンネルです。 隠れた状態を見ていると、これが 最適化してニューラルネットをトレーニングした後 ニューラルネットが最適化され、訓練された後、いくつかのチャンネルが チャンネルの中には、道路の様々な側面を追跡している 道路の異なる側面を追跡していることがわかります。 道路の中心、エッジ、ライン 路面などです。 このビデオのもう一つのクールなビデオです。 これは、隠れた状態の最初の10チャンネルの 隠れた状態の最初の10チャンネルの平均値を 異なる 隠れた状態の最初の10チャンネルの平均を見ています。 基本的に見ていただきたいのは 基本的には、リカレント・ニューラル・ネットワークが リカレント・ニューラル・ネットワークが どの時点で何が起こっているかを追跡している 想像してみてください。 ニューラルネットワークに力を与え ニューラルネットワークには、実際に選択的にメモリを読み書きする力が与えられています。 例えば 例えば、すぐ隣に車がいて 例えば、隣に車がいて、道路の一部を遮っていたとしたら 例えば、すぐ隣に車があって、道路の一部を遮っていたとすると、ネットワークは その場所には書き込まないが しかし、車が去って視界が開けてくると しかし、車が去って視界が開けてくると、リカーリング・ニューラル・ネットは 視界が開けているので その部分にある情報を 空間のその部分に何があるかという情報を 空間 これがどのように見えるかを示すいくつかの予測があります これがどのようなものか ここでは、以下のことを予測しています。 赤色の道路境界線の交差点 青色の交差点エリア 道路の中心などを予測しています。 ここでは予測の一部を表示しています。 視覚化をきれいに保つために うん そう、これは空間Rnnによって行われたもので これは空間Rnnによって行われ、1つのクリップ、1つのトラバーサルのみを表示しています。 1つのクリップ、1つのトラバーサルを示していますが ここを複数回通過する可能性があることは想像に難くありません。 ここを通過する車の数や、基本的に 何台もの車、何個ものクリップが 協力してこのマップを作っています。 基本的かつ効果的なHDマップ ただし、明示的なアイテムの空間ではなく アイテムの空間ではなく、リカレント・ニューラル・ネットワークの特徴の空間になります。 リカレント・ニューラル・ネットワークの特徴を利用しています。 今まで見たことがないクールなものです また、ビデオネットワークは 今回の例では、物体検出がかなり改善されています。 今回の例では、車が2台ある場合に 2台の車があって 車が2台あって、1台の車がそこを通り過ぎようとしています。 1台の車が通り過ぎて、2台の車を一時的に隠します。 シングルフレームで何が起こっているか 車が目の前を通り過ぎるときに、シングルフレームとビデオの予測で何が起こっているかを見てください。 車が目の前を通り過ぎるときに、シングルフレームとビデオ予測で何が起こっているかを見てください。 これは非常に理にかなっていると思います。 ざっと 何が起こっているのか、簡単に説明します。 その両方が見えているときには 予測値はほぼ同等です。 複数のオレンジ色のボックスが表示されていますが 複数のオレンジ色のボックスが表示されていますが、これは異なるカメラから カメラ それらが隠れると、シングルフレーム ネットワークは検出を中止しますが、ビデオモジュールは ビデオモジュールがそれを記憶して 車を保存しておき、部分的にしか見えなくなったときに 部分的にしか隠れていない場合、シングルフレーム ネットワークは、見ているものについて最善の推測をせざるを得ません。 何が見えているのかを推測し、予測することを余儀なくされます。 予測をしなければならないのですが、非常にひどい予測をしてしまいます。 非常にひどい予測をしますが、ビデオモジュールは しかし、ビデオモジュールは、部分的にしか見えていないことを知っています。 情報を持っていることを知っていて これは簡単に見えるものではないことを知っています。 目に見える 部分しかないことを知っていて、それを実際には考慮していません。 考慮していません。 また、深さや位置の推定能力も大幅に向上しました。 深さを推定する能力も大幅に向上しました。 特に速度の推定能力が大幅に向上しました。 ここでは、レーダーを取り除いたときの映像をお見せします。 レーダーの深度と速度が緑色で表示されています。 レーダーの深度と速度が緑色で表示されていますが、私たちは 私たちは レーダーの深度と速度が緑で表示されています。 ビデオネットワークからの信号だけで ここで見られるのは、オレンジ色の オレンジ色で表示されているのは、シングルフレーム パフォーマンス 青で示しているのは、再びビデオ モジュールを見ると、奥行きの品質がはるかに高いことがわかります。 深度の品質がはるかに高く、速度については オレンジ色の信号は、もちろん、シングルフレームでは シングルフレームのネットワークから速度を得ることはできません。 ネットワークから速度を得ることはできないので、我々は単に 深度を区別して得ていますが しかし、ビデオモジュールは基本的に レーダー信号の上に位置しています。 これが非常によく機能することがわかりました。 私たちにとって すべてをまとめてみました これが現在の私たちのアーキテクチャの大まかな姿です。 今日はこんな感じです。 下に生の画像があります。 レクティフィケーションレイヤーを経て カメラのキャリブレーションを補正し、すべてを すべてを共通のバーチャルな カメラを経由して レグネットの残差ネットワークを経由して さまざまなスケールの複数の特徴に マルチスケールの情報を マルチスケールの情報をFBNで融合します。 変換モジュールを経て 出力空間のベクトル空間に再表現されます。 出力空間のベクトル空間に再表現されます。 時間的または空間的にフィーチャーキューに入り のようなビデオモジュールで処理され 空間RNNのような映像モジュールで処理され、その後は ヒドラネットの枝分かれ構造 すべての異なるタスクのためのトランクとヘッドを持つ 異なるタスクの 以上が、大まかなアーキテクチャです。 これが現在の大まかなアーキテクチャで、右図には 右側にはその予測の一部が表示されています。 右側には、その予測を......つまり、トップダウンのベクトル空間と トップダウンのベクトル空間と、画像の両方で 画像も表示されています。 このアーキテクチャは確かに 非常にシンプルなものから複雑化した 画像ベースの単一ネットワークから 3、4年前の非常にシンプルな画像ベースの単一ネットワークから複雑化し、今も進化し続けています。 進化し続けています......非常に印象的です。 印象的ですが、まだ チームが積極的に取り組んでいる改善の機会もあります。 チームが積極的に取り組んでいる例として 例えば、時間と空間の融合は 時間と空間の融合は、ニューラルネットワーク的にはかなり遅れています。 時間と空間の融合は、ニューラルネットワーク的にはかなり遅れていることがわかります。 空間や時間の融合を早めに行い 例えば、コストボリュームやオプティカル 下部のオプティカルフローのようなネットワーク 例えば、私たちの出力は密度の高い 密なラスタであり、これらを後処理するのは実際にはかなり 濃密なラスタを車内で後処理するのは 緻密なラスタを車内で後処理するのはかなりコストがかかりますし、もちろん 非常に厳しいレイテンシーの要求があります。 これは理想的ではありません。 実際には様々な方法を検討しています。 道路の疎な構造だけを予測する方法を 道路の疎な構造を 道路のスパースな構造を予測する方法をいろいろと検討していますが、ポイント・バイ・ポイントや 他の方法で 高価な後処理を必要としないような 後処理 高価な後処理は必要ありませんが、基本的にはこのようにして 非常に優れたベクトル空間を実現する方法です。 ashokは、その上でどのようにして その上でプレイコントロールを実行する方法について話してくれると思います。 [Applause] (拍手) ありがとうございましたアンドレ 皆さんこんにちは、私の名前は アショクです。私はプランニングとコントロール オートラベリングとシミュレーションチームを担当しています。 ビジュアル・ネットワークのような次元では 緻密なビデオデータを圧縮して 3Dベクトル空間に圧縮します。 現在のプランナーの役割は、このベクトル空間を利用して プランナーの役割は、このベクトル空間を利用して、車を目的地まで 車の安全性、快適性、効率性を最大化しながら 車の安全性、快適性、効率性を最大化しながら 2019年の時点でも、私たちの惑星はかなり有能なドライバーでした。 車線に沿って走行することができ 必要に応じて車線を変更し 必要に応じて車線変更をしたり、高速道路の出口を出たりすることができましたが、CDC 運転はもっと複雑です ラドリーには 車線の構造があり、車は 車はもっと自由に運転しています。 のすべてに対応しなければなりません。 歩行者が変な動きをしたり 歩行者がおかしな動きをしていたり プランニングにおける重要な問題とは？ 第一に、行動空間は非常に 非凸 2つ目は高次元であることです 非凸というのは 非凸というのは、複数の可能な解があって 独立して良いと思われる複数の解が存在する可能性があります。 しかし、大域的に一貫した解を得ることは 解を得ることは非常に困難です。 計画が行き詰まるようなローカルミニマムのポケットがあるかもしれません。 計画が行き詰まってしまう可能性があります。 第二に......高次元性は 高次元なのは、車が次の10秒から15秒の計画を立てる必要があり 10秒から15秒後の計画を立てて 位置・速度・加速度を生成する必要があるからです。 加速度を生成する必要があるからです......あるいはこのウィンドウ全体を これは実行時に生成するパラメータの数が多く ランタイムに 離散探索法は，非文脈的な問題を解くのに非常に 非文脈問題を解くのに最適です 離散的であるため、ローカルミニマムに陥ることはありません。 ローカルミニマムに陥ることはありません。 連続関数最適化では 簡単にローカルミニマムに陥ってしまい てしまうことがあります。 大きな 一方、高次元の問題では 高次元の問題では、離散的な探索では 離散的だから 離散的であること、段階的な情報を使用しないこと 段階的な情報を使わないので、文字通り 各点を探索してその良さを知る必要があります。 るのに対し、連続的な 連続的な最適化では、勾配ベースの手法を用いて 素早く良い解決策にたどり着ける このプリンタ問題に対する我々の解決策は 階層的に分解してから コード検索法を使用してサクサクと ええと 凸ではない部分をかみ砕いて、凸の コリドーを導き出し、連続的な 最適化手法を用いて 最終的に滑らかな軌跡を描くことができます。 探索の動作例を見てみましょう。 動作 ここでは、車線変更をしようとしています。 この場合、車は2回の車線変更を行う必要があります。 この場合、車は前方の左折のために2回の車線変更を行う必要があります。 前方の左折 そのために、車は次のような検索をします。 様々なマヌーバを検索します 最初に検索したのは 車線変更は近くにありますが しかし、車のブレーキングはかなり厳しいので 居心地が悪い 次の操作では、車線変更を試みますが 車線変更が少し遅かったので、スピードを上げて 他の車の前に出て 車線変更の際に他の車を発見します。 見つけることができましたが、今度は左折し損ねてしまう ターン このような検索を短時間に何千回も行います。 非常に短い時間で これらはすべて物理ベースのモデルなので これらの機能は非常に簡単にシミュレーションできます。 そして最終的には、いくつかの候補が出てきて 最終的には、候補の中から1つを選びます。 最終的には、以下の最適条件に基づいて 最終的には、安全性と快適性、そして簡単に曲がれるという ターン 今、車はこの道を選びました。 車がこの軌道を実行しているのを見てください。 この軌道を実行すると、我々が計画したものとほぼ一致することがわかります。 右側のシアン色のプロットは、私たちが計画したものとほぼ一致しています。 この右側のシアン色のプロットが 車の実際の速度であり、その下の白い線は その下にある白い線が計画です。 ここでは10秒間の計画を立てることができ 後から見ると 後から見たときに一致しているので、これは よくできた計画 他のエージェントと一緒に運転するときは 自分のためだけではなく、みんなのために計画を立てることが大切です。 自分のことだけを考えるのではなく、みんなのことも考えて みんなで協力して全体を最適化することが大切です。 シーンの交通の流れ そのために、私たちは 文字通り、自動操縦プランナーを シーン内のすべての関連オブジェクトに対して シーン なぜそれが必要なのか、その例を挙げてみましょう。 必要な理由 これは自動回廊です。 ビデオを見てみましょう これは自動操縦で自動車を走らせているところです。 自動運転で駐車場のコーンやポールを回り込んでいます。 そしてポール......ここに3Dビューがあります。 同じもの 対向車が到着すると 自動操縦は少し減速しますが 対向車が来ると自動操縦は少し減速しますが こちら側にスペースがないため、相手に譲ることができないことに気づきます。 しかし、相手の車はこちらに譲ることができます。 ただやみくもに譲るのではなく やみくもに理由をつけて あの車は 車の速度が十分に低いので 車を停めて、こちらに譲るべきだと思います。 私たちは彼らに譲ることができないので、断固として 進める 2台目の対向車が来た この車は速度が速い 先ほども言ったように、我々は文字通り 相手の自動操縦プランナーを この場合はプリンタを走らせます その物体のプランは その物体の計画は、彼らのパートを回り、彼らのサイトの 駐車場の車を通過した後 駐車場を通り過ぎた後、道路の右側に戻ります。 道路の右側に戻っていきます。 ドライバーの心の中はわからないので ドライバーが何を考えているかわからないので、実際には複数の この車の特徴は複数考えられます。 赤色で表示されているものと、緑色で表示されているものがあります。 緑色で示されています 緑の方はこちらに譲歩するプランですが しかし、この物体の速度と加速度はかなり高いので この物体の速度と加速度はかなり大きいので この人がこちらに譲るとは思えません。 実際には、火花が散った車の周りを回っていると思います。 このスパークした車の周りを回っている そこで自動操縦は、「ここにはスペースがある」と判断します。 この人は絶対に来る。 この人は絶対に来るから車を止める 自動操縦が車を停めている間、我々は その車がヨーレートに基づいて我々に譲ることを選択したことに その車のヨーレートと加速度を見て 自動操縦はすぐに 自動操縦はすぐに考えを変えて前進し続ける 進む だからこそ、すべての人のために計画を立てる必要があるのです。 そうでなければ、この人が周回するとは そうでなければ、この人が他の駐車場の車の周りを回っていることを 他の駐車場の車を 自分のサイトに戻ってくるとは限らないからです。 そうしないと、自動操縦はあまりにも臆病で 臆病になってしまい、実用的な 自動運転車 ここまでで、検索と 他の人のための計画を立てる方法を見てきました。 囚人の谷......最後に、私たちは 連続的な最適化を行って 惑星が取るべき最終的な軌道を が取るべき最終的な軌道を生成します。 ここで、お墓は...凸型の回廊です。 スプラインを初期化します。 パラメータ化された方位と加速度 計画の弧の長さをパラメータとした としてみると カウンターミアスレーションが継続的に すべてのコストを削減するために、きめ細かな変更を継続的に行っていることがわかります。 コストを削減するために細かい変更を続けていることがわかります。 例えば、障害物からの距離 探索時間と快適性のための快適性 右側の横方向の加速度プロットを見ると 右側の横方向の加速度のプロットは 綺麗な台形になっていますね......これからですよ ここでは、右側の 緑のプロットは......きれいな台形になっています。 人間の軌跡を記録すると 人間の軌跡を記録すると、ほぼこのようになります。 横方向のジャークも最小限に抑えられています。 最小化 要約すると、我々は自分とシーン内の他の人の両方を検索します。 シーンの中の自分と他の人の両方を検索します。 コンテキストコリドーを設定して スムーズなパスを最適化する これらを組み合わせることで、以下のような非常に優れた 次のようなことができます。 上の図 しかし、私が生まれ育った場所のように 私が生まれ育った地域のように ええと より構造化されていません。 車と歩行者がぶつかり合う アーチブレーキ、クラクション、そして とてもクレイジーな世界です。 これらの手法をスケールアップすることはできますが しかし、実行時にこの問題を効率的に解決するのは非常に難しいでしょう。 実行時に効率的に解決することは非常に困難です。 代わりにやりたいのは、学習ベースの手法を使って 学習ベースの手法を使って効率的に解決したい なぜそれが正しいのかを説明したいと思います。 さて、これからこの複雑な問題を この複雑な問題から、もっと単純な おもちゃの駐車場問題ですが、それでも 問題の核心を示しています ここに駐車場があります。 は青で、ここの緑の駐車場に駐車する必要があります。 緑の駐車場に停める必要がありますので、この車は 縁石や駐車場の車や オレンジ色で示されたコーンを回る必要があります。 このシンプルなベースラインをやってみましょう、It's a 星です 標準的なアルゴリズムでは 梯子状の空間を探索する標準的なアルゴリズムです。 ここでのヒューリスティックは、距離......つまり ゴールまでのユークリッド距離 なので、直接ゴールに向かってシュートしているのがわかると思います。 ゴールに向かって直進するが、すぐに ローカルミニマムに陥ってしまい そこからバックトラックして そこからバックトラックして、別の経路を探索して このパルクールを迂回しようとする 最終的には前進してゴールにたどり着きますが しかし、最終的には400,000個のノードを使って これを作るのに これは明らかにひどいヒューリスティックです 私たちはこれよりも良いものを作りたいので もしナビゲーションルートを追加して ナビゲーションルートを追加して、車がナビゲーションルートに沿って ゴールに近づきながらナビゲーションルートをたどるようにすると このようになります。 ナビゲーショングルートはすぐに役立ちます しかし、それでもコーンや他の障害物に遭遇すると コーンなどの障害物に遭遇すると、基本的には 前と同じことになります 後退して、新しい道を探します 新しい道を探すことになります。 サポートサーチはこれらの障害物が存在することを知らないので 文字通りそこに行って、衝突するかどうかをチェックして 衝突しているかどうかを確認し、衝突していたら 戻る ナビゲーションヒューリスティックは役に立ちましたが それでも22,000枚のノートが必要でした 私たちはこのようなヒューリスティックをもっともっと設計して もっともっとヒューリスティックを設計して、検索をどんどん 速くすることができます。 しかし、全体的に最適なヒューリスティックを設計するのはとても面倒で 最適なヒューリスティック コーンからの距離関数があったとしても コーンからの距離関数があったとしても、それが探索の指針になったとしても これではダメですね。 単一のコーンに対してのみ有効である しかし、我々が必要とするのは、グローバルな 価値関数です。 ニューラルネットワークを使用して このヒューリスティックな手法は 視覚的なネットワークは、ベクトル ベクトル空間を生成し、その中を車が動き回ります。 これは基本的にアタリのゲームのように見えます。 ゲーム マルチプレイヤーバージョンです。 mu0α0などの技術を使うことができます。 ゼロなど、囲碁や他の権威あるゲームを解くのに使われた技術を使って などの技術を使って同じ問題を解くことができます。 同じ問題を解決するために、私たちはニューラルネットワークに取り組んでいます。 状態と行動の分布を生成するニューラルネットワークに取り組んでいます。 行動分布を生成するニューラルネットワークに取り組んでいます。 様々なコスト関数を用いた多色刷りの研究に 様々なコスト関数 コスト関数の中には 距離などの明示的なコスト関数 衝突や快適な移動時間など などの明示的なコスト関数もありますが 実際のマニュアル運転からの介入 ドライビングイベント このようなネットワークを、この単純な このようなネットワークを訓練します。 この問題でMctsがどのように研究したか見てみましょう ここでは、惑星が 地球は基本的に一発で 目標に向かって前進しています これはナビゲーションヒューリスティックを使っているわけではありません。 ナビゲーションヒューリスティックを使っていないことに気付きました。 シーン 惑星は直接ゴールに向かうことができます ゴールに向かうことができます。 見えるのは可能な選択肢です。 どれかを選ぶのではなく 直接ゴールに向かっていく選択肢を ゴール その理由は、ニューラルネットワークが シーンのグローバルコンテキストを吸収して シーンのグローバルな文脈を吸収して、ゴールに効果的に導く価値関数を に向かって効果的に誘導する価値関数を生成することができます。 局所的なミニマムを特定するのではなく、全体的なミニマムに向かって 特定のローカルミニマムに向かうのではなく この作業に必要なのは288枚のノートだけであり この作業には288枚のノートが必要で、「a star」の平衡状態で行った作業よりも数桁少ない量になります。 均衡距離ヒューリスティック法を用いた「a star」で行われた作業よりも数桁少ない。 距離ヒューリスティック 最終的なアーキテクチャはこのようになります。 ビジョンシステムは 緻密なビデオデータをベクトル空間に分解し ベクトル空間に変換します。 それを明示的なプランナーとニューラルネットワークの両方が 明示的プランナーとニューラルネットワーク プランナーに加えて、ネットワーク ネットワークパネルは、ネットワークの中間的な ネットワークの中間機能 これにより、軌跡の ディストリビューション それを端から端まで最適化することができます。 明示的なコスト関数と人間の介入による 人間の介入や他の模倣データを用いて このデータは、明示的なプランニング 関数に入ります。 そのために簡単なことは何でも行い 車の最終的なステアリングと加速度のコマンドを 車の最終的なステアリングと加速度のコマンドを生成します。 ここで、ネットワークをどのように学習させるかを説明します。 これらのネットワークを訓練するためには これらのネットワークを訓練するためには、大規模なデータ セット 簡潔にお話します。 マニュアルラベリングについて データについて データセットのストーリーについて これまでニューラルネットワークの話ばかりしてきましたが ニューラルネットワークの話ばかりしてきましたが ニューラルネットワークは性能の上限を示すだけです。 ニューラルネットワークは性能の上限を示すだけです。 ニューラルネットワークは何億ものパラメータを持ち 何億ものパラメータを持ち、これらの この何億ものパラメータを 正しく設定する必要があります。 パラメータの設定が悪いと 動作しないでしょう。 ニューラルネットワークは上限に過ぎません。 膨大なデータセットが必要です。 正しいアルゴリズムを訓練するためには膨大なデータが必要です 特に私が言ったように、私たちは ベクトル空間に直接データセットを そこで問題となるのが どうやって蓄積するのか？ ネットワークには何億ものパラメータがあるので 何百万ものベクトル空間をどうやって 何百万ものベクトル空間を きれいで多様な何百万ものベクトル空間の例を ニューラルネットワークを実際に訓練するために 効果的に データセットの話があります。 データセットがどのように進化してきたか、そして すべてのモデルと開発が 私たちが達成したこと 特に、私が入社した約4年前は 4年前に入社したときは 多くのデータセットを得るために第三者と協力していました。 残念ながら、私たちはすぐに データセットを得るためにサードパーティと協力することは データセットを得るために しかし、すぐに、このような重要なことのためにサードパーティと協力してデータセットを入手することは不可能だとわかりました サードパーティとの連携によるレイテンシーは 遅延が非常に大きく、正直なところ 品質も驚くべきものではありませんでした。だからこそ 完全な垂直統合の精神に基づき 完全な垂直統合の精神に基づき、Teslaではラベリングのすべてを 時を経て、私たちは 1,000人を超えるデータ ラベリング組織は、プロのラベラーで構成されています。 エンジニアと密接に連携しているプロのラベラーが エンジニアと密接に仕事をしています。 実際、彼らはアメリカにいて エンジニアと密接に協力しているのですが、実は彼らはアメリカにいて、この地域のエンジニアと一緒に活動しています。 彼らとは非常に密接な関係にあります。 彼らと緊密に連携し、インフラの構築も行っています。 また、インフラを一から構築しています。 私たちは彼らと緊密に仕事をしています。 今日後ほどお会いする予定の データラベリングのためのインフラを開発し データラベリングのためのインフラを開発・維持するチームがあります。 例えば、ここではいくつかの レイテンシー スループットと品質の統計を すべてのラベリングワークフローと ワークフロー、個々の関係者、すべてのタスク すべてのラベリングワークフロー、関係者、すべてのタスク、そして ラベルの数がどのように増加しているか これが非常に重要であることがわかりました。 私たちはこれを誇りに思っています。 およそ3、4年前の最初の頃は 年前には、ラベリングのほとんどが 画像空間で行われていましたので、想像できると思いますが このような画像に注釈をつけるには、かなりの時間がかかることが想像できます。 このような画像に注釈をつけるには、かなりの時間がかかることが想像できます。 こんな感じでした。 画像の上に多角形やポリラインを描いているようなものです。 ポリゴンやポリラインを 一枚一枚の画像の上にポリゴンやポリラインを描いています。 先に述べたように、私たちは何百万もの ベクトル空間 これでは間に合いません。 すぐに次の段階に進みました 3次元または4次元の ラベリングに移行しました。 個々の画像ではなく、ベクトル空間で ここで私が見せているのは ここで見せているのはクリップで、非常に小さな再構成を見ています。 非常に小さな再構成を見ていますが、これからもっと多くの再構成を見ることになります。 もっとたくさんの再構成を見ることができますが、これは 車が走っていた地表面の非常に小さな再構成です。 車が走っていた地面の平面と この点群を少しだけ再構成したものです。 再構成されています。 ここで見られるのは、ラベラーが を変更しています。 ベクトル空間で直接ラベルを変更し その変更をカメラ画像に再投影しています。 カメラ画像に再投影しています。 ベクトル空間で直接ラベリングを行うことで これにより、多くのラベルのスループットが大幅に向上しました。 多くのラベルのスループットが大幅に向上しました。 というのも、3Dで一度ラベリングした後、再投影すると 再投影 しかし、この方法でも、実際には しかし、これだけでは そこで 人間とコンピュータでは 人とコンピュータには異なる長所と短所があります。 意味論のようなものは非常に得意ですが コンピュータが得意とするのは幾何学 再構成 三角測量 追跡 ですから、私たちにとってはむしろ 人間とコンピュータがどのように協力して 人間とコンピュータが協力して ベクトル空間のデータセットを作成するために、人間とコンピュータがどのように協力するかという話になってきました。 オートラベリングについては割愛します。 ラベリングのために開発したインフラである 大規模なクリップのラベリングのために開発した スケール [拍手] 再びこんにちは たくさんの人間の労働力があっても トレーニングデータの量は ネットワークの学習に必要な学習データの量は 膨大な量の学習データを必要とするため、私たちは 大規模なオートラベリングパイプラインに投資しようとしています。 パイプラインに投資しようとしています。 クリップのラベル付けの例です。 クリップとは、ビデオやIMUデータ、GPS、走行距離などの imuデータ gpsオドメトリなど 45秒から1分程度の長さのものです。 これらのデータは、当社のエンジニアリングカーからアップロードされたものもあれば お客様の車からアップロードされることもあります。 これらのクリップを収集してから それらを 多くのニューラルネットワークをオフラインで実行して オフラインで多くのニューラルネットワークを実行して セグメンテーション、マスク、深度、ポイントマッチングなどの ポイントマッチングなどの中間結果を得ることができます。 ロボティクスとアルゴリズムを駆使して アルゴリズムを経て、最終的なラベルセットを ネットワークの学習に使用できるラベル ネットワーク ラベリングしたい最初のタスクの1つは 路面を表現するには、スプラインやメッシュを使用します。 路面を表現するには、スプラインやメッシュ 路面を表現することができますが、これらは トポロジーの制約があるため 微分できないので、このような表現には適していません。 そこで、代わりに行うのが ニューラル・ラディアンス・フィールドのスタイルで 去年の作品でかなり好評だった その代わりに、昨年のニューラル・ラディアンス・フィールドの作品のように、暗黙的な 路面を表現するために暗黙的な表現を使います。 路面 ここでは、地面上のxy点をクエリして 地面のxy点を問い合わせて、ネットワークに 地面の高さを予測する 以下のような様々なセマンティクスとともに カーブ 車線の境界 路面 ライバルのスペースなど つまり、単一のxyがあれば、zも一緒に得られます。 これらが3Dポイントとなり すべてのカメラビューに再投影することができます。 このようなクエリを何百万回も実行して 数百万回のクエリを行い、多くの点を得て、これらの点は これらの点はすべてのカメラビューに再投影されます。 ここでは、右上に表示されている これらの点が再投影されたカメラ画像を 再投影された点 この点を比較すると 再投影された点と画像空間との比較 セグメンテーションの予測 再投影された点とセグメント化された画像空間の予測とを比較し、この点またはすべてのカメラビューを共同で カメラの映像を時空間的に最適化することで 優れた再構築が可能になりました。 以下にその例を示します。 これが最適化された路面です。 8台のカメラで再現された路面 車に搭載されている8台のカメラと、すべての時間にわたって 時間的にも空間的にも一貫しているのがわかると思います。 空間と時間の両方で一貫していることがわかります。 一台の車がある場所を走ると ある場所を走っている一台の車が、この技術を使って軌跡の周りの この技術を使って軌道の周りのパッチを掃除することができます。 しかし、それだけではありません。 ここでは、さまざまな クリップ 同じ場所から異なる車の 車 それぞれが道路の一部を切り取っています。 道路 クールなのは、それらを全部まとめて 1つの大きな最適化にまとめることができます。 最適化することができます。つまり、この16種類の の旅行が整理されています。 様々な機能を使って整列させます。 道路標識、車線標識などの様々な機能を使って 互いに一致している必要があります。 画像空間のすべての 観測 このようにして、効果的な 路面をラベリングする効果的な方法 車が走行した場所だけでなく、走行していない他の場所でも 走った場所だけでなく、走っていない他の場所も含めて 繰り返しになりますが、このシステムの目的は、単に HDマップなどを作るためではありません。 交差点を通過するクリップにラベルを付けることで 交差点を通過するクリップにラベルを付けて、それを永遠に維持する必要がないようにするためです。 ラベルがビデオと一貫している限り、永遠に維持する必要はありません。 ラベルがビデオの内容と一致している限り ラベルが収集されたビデオと一貫している限り、永遠に維持する必要はありません。 オプションとして、人間がこの上に乗って 雑音や追加のメタデータを除去して メタデータを追加することで よりリッチに 路面だけではなく、任意に 路面だけでなく、任意の 3Dの静的な障害物を再構築することもできます。 これはカメラから再構成された3D点群 我々のカメラから ここでの主な革新点は、点群の密度 点群の密度です。 ポイントはテクスチャを必要とする あるフレームから次のフレームへの関連付けを行うために しかし、ここでは しかし、ここでは、路面や壁のような文字のある場所でも 路面や壁のような文字のある面でも点を生成することができます。 これは、次のような任意の障害物にアノテーションするのに非常に有効です。 世界のシーンで見られる任意の障害物を 世界のシーンで見られる任意の障害物に注釈をつけるのにとても便利です もうひとつ、オフラインのサーバー上でこれらのことを オフラインのサーバー上でこれらの作業を行うことのもう一つの利点は 後学の利益があることです。 これは非常に便利なハックです。 例えば車の中では、ネットワークは速度を出す必要があります。 速度を出す必要がありますが、過去の情報を利用して 過去の情報から速度を推測して 速度を推測します。 しかし、ここでは しかし、ここでは過去と未来の両方を見て しかし、ここでは歴史と未来の両方を見て、基本的にはズルをして 正解を導き出すことができます......運動学の 速度、加速度など もう一つの利点は、異なるトラックを用意して もう一つの利点は、異なるトラックを持ち、それらを 切り替えることができます。 未来を知っているからこそ、私たちは 未来のトラックを持っているので、それらを一致させ、関連付けることができます。 関連付けることができるので、ここでは 道路の反対側にいる歩行者 道路の反対側の歩行者は、複数のオクルージョンがあっても 車が複数のオクルージョンを起こしていても これはプランナーにとって非常に重要です プランナーは、誰かを見たかどうかを知る必要があるので 誰かを見たとしても、それを考慮する必要があるからです。 人を見たかどうかを知る必要があります。 隠蔽されているかどうかを知る必要があるため、これは大きな利点です。 すべてを組み合わせることで 驚くべきデータセットを作成して 道路のテクスチャや 静止している物体と動いている物体の 動いている物体のすべてに注釈をつけることができます。 優れた運動学的 ラベル カードがどのように回転しているかを見ることができます。 スムーズにラベルを作成することができます。 歩行者を一貫して追跡したり パークカーは 明らかに速度がゼロなので 駐車されていることがわかる これは非常に重要なことだと思います これは同じことのもう一つの例です 同じこと すべてが一貫しているのがわかると思います。 我々はこのような100万個の ラベル付きの このようなラベル付きのクリップを100万個作って、ビデオ このような大規模なデータセットを使ってマルチカムビデオネットワークを この問題を解決するためには 私たちは、ここで見ているのと同じような一貫性のある表示を 車内で見ているのと同じような一貫した映像を 車 私たちはこの問題の最初の調査を データを削除するプロジェクトを始めました。 非常に短い期間でデータを削除しました。 3カ月以内に削除しました ネットワークの初期段階では 例えば、セキュリティの低い環境では ネットワークが被害を受けることがあります。 当然のことながら、このトラックが トラックが大量の雪を降らせてきて 見えにくいですが しかし、この車が前にいたことを忘れてはいけません。 目の前にいたことを忘れてはいけません。 しかし、初期のネットワークではこれができませんでした。 初期のネットワークでは、このような状況下でのデータが不足していたため このような状況では そこで私たちは、フリートを追加して 似たようなクリップをたくさん作って 艦隊はそれに応えてくれました その結果 再生 そう、たくさんのビデオクリップを生成します 他の車からクソが落ちてくる 車 これをオートリビングのパイプラインに送ります。 1週間で10,000個のビデオクリップにラベルを付けることができました。 週間で1万個のクリップにラベルを付けることができました。 人間がやると数ヶ月かかるところを 全てのクリップにラベルを付けることができました。 これを200種類の条件で行ったところ これを200種類の条件で行ったところ、大規模なデータセットを迅速に作成することができました。 大規模なデータセットを迅速に作成することができました。 このようにして、これを取り除くことができました。 このデータでネットワークを学習すると データ このデータでネットワークを学習させると、完全に機能していることがわかります。 被写体がそこにいたという記憶を保持している そこにいた を提供しています。 最終的には、サイバー・トラックを実際にデータ化したいと考えました。 サイバートラックをデータセットに リモートレーダー この映像をどこから入手したか、皆さんはお分かりになりますか？ ちょっと待ってくださいね。 誰かが言っていましたが、そうです、レンダリングされたものです。 これは我々のシミュレーションです 最初は分かりにくかったのですが 自分で言うのもなんですが......。 とてもきれいに見えます。 そう、オートラベリングに加えて、私たちは オートラベリングに加えて、シミュレーションにも力を入れています。 ラベリングのために データ これは前に見たのと同じシーンですが 前に見たのと同じシーンを 別のカメラアングルから いくつか指摘しておきたいことがあります。 例えば、地面の表面は平面ではありません。 平面のアスファルトではなく、たくさんの車や 車やひび割れ、タワーの継ぎ目 その上にパッチワークが施されています。 車の動きはリアルで、トラックは アーティキュレートされていて......縁石を越えて大回りをしたり 縁石を乗り越えて大回りをする......他の車は 他の車はスマートに振る舞い、衝突を避け、車を回り込みます。 車を回避する......そして、スムーズで 実際にとてもスムーズに......ブレーキや スムーズに加速する ここにあるロゴの入った車が オートパイロットです 実際にはオートパートが運転しています 非生産的な運転をしているのです。 左手 シミュレーションなので、ベクトル空間からスタートするので ベクトル空間から始まるので、完璧な ラベル ここでは、私たちが作成したラベルのいくつかを紹介します。 作成した これらは車両のキューボイドと キネマティクス 深度 表面法線、セグメンテーションです。 アンドレは来週やりたい新しいタスクを指定して 来週欲しいという新しいタスクを指定することができますが、私たちは非常に迅速に ベクトル空間があるので ベクトル空間があり、ラベルを生成するコードを書けば ラベルを作成するコードを書くことができます。 迅速に どのような場合にシミュレーションが役立つのでしょうか？ 第一に、データの入手が困難な場合に役立ちます。 1つ目は、我々のような大規模な 私たちのような大規模な船団でも、データを入手するのは困難です。 このカップルと犬が高速道路を走っている間に 高速道路を走るカップルと犬のような 高速道路を走るカップルと犬 これはかなりレアなシーンだと思いますが 起こる可能性があります。 自動操縦で対処する必要があります。 その時は データにラベルを付けるのが難しい場合......例えば 何百人もの歩行者が道路を横断しています。 道路を横断する歩行者が何百人もいて、山のような繁華街になっているかもしれません。 人々が道路を横断しているとしたら 人間がこのクリップをラベル付けするには数時間かかります。 人間がこのクリップをラベル付けするには数時間かかるし、自動 自動ラベリングアルゴリズムでも、このクリップを正しく関連付けるのは非常に難しく 関連付けを正しく行うことは非常に難しく、悪い速度を生み出す可能性があります。 悪い速度になってしまいます。 シミュレーションでは、このようなことは些細なことです。 オブジェクトがあるからです。 クボイドと速度を吐き出すだけですから。 流速 また、最後に、我々が導入した クローズド・ループ・ビヘイビアを導入すると、車が 決められた状況にある必要があったり データがアクションに依存するような閉ループ動作を 信頼性の高いデータを得るには、この方法しかありません。 信頼性の高い これらは素晴らしいことですが これを実現するためには 第一に、正確なセンサーシミュレーション 繰り返しになりますが、シミュレーションの目的は 単にきれいな写真を撮ることではなく 車に搭載されたカメラが見たものや 車のカメラや他のセンサーが見ているものを ここでは次のようなステップを踏んでいます。 露出設定を変えながら 左側が本物のカメラで、右側がシミュレーションのカメラです。 右側はシミュレーション 実際のカメラの動きとほぼ一致しています。 実際のカメラの動きとほぼ一致しています。 これを実現するために、私たちは このためには、センサーシミュレーションでカメラの多くの特性を センサーシミュレーションumでは、以下のようにカメラの特性をモデル化しました。 センサーノイズ、モーションブラー、光学 歪み、ヘッドライトの透過 えーと フロントガラスの回折パターンなど フロントガラスの回折パターンなどなど これは自動操縦のためだけでなく ソフトウェアだけでなく、レンズやカメラなどのハードウェアの レンズ設計、カメラ設計 センサーの設計、ヘッドライトの配置 伝送特性 次に、ビジュアルをリアルにレンダリングする必要があります。 現実的な方法でレンダリングしなければなりません。 ゲーム業界で「ジャギー」と呼ばれる これはエイリアシングアーチファクトであり これはシミュレーションであることを示す決定的な証拠です。 これは、シミュレーションであることを示す致命的なもので、私たちはこれを望んでいません。 ペイントを重ねて、特別なテンプルを作ります。 寺 特別な時間的アンチエイリアシング ニューラルレンダリング技術にも取り組んでいます。 さらに、よりリアルにするために リアル さらに、レイトレーシングも使用しています。 リアルなライティングとグローバル これでパトカーは最後ですね。 パトカーはこれで最後だと思います。 4、5台のマシンではなく 4台や5台の車では、ネットワークが サイズを知っているので、簡単にオーバーフィットしてしまいます。 るので、現実的な資産が必要になります。 路上のヘラジカのような現実的な資産が必要です ええと ライブラリーには何千ものアセットがあり ライブラリーには何千ものアセットがあり、彼らはさまざまな シャツを着たり、実際に動いたり リアルに動くことができるので、とても素晴らしいです。 また、様々な場所をマッピングして マップされた様々な場所があります。 シミュレーションの環境を作るために 実際には2000マイルの道路が建設されました。 道路が作られていて、これは東海岸から アメリカの東海岸から西海岸までの道路の長さです。 アメリカの東海岸から西海岸までの かなりクールだと思います。 さらに、効率的なツールを構築しました。 さらに、一人のアーティストのために、一日で何マイルも建設できる効率的なツールを 効率的なツールを構築しました。 しかし、これは氷山の一角に過ぎません。 実際、トレーニングに使用するデータのほとんどは アルゴリズムを使ってプロシージャルに作られています。 アーティストがシミュレーションシナリオを作るのではなく これらのシミュレーションシナリオは つまり、これらはすべてプロシージャルに作成されたものです。 道路には、以下のようなパラメータが設定されています。 曲率 様々な木、コーン、ポール、車 異なる速度の車との 相互作用により、ネットワークに無限のデータが流れてくる ネットワークのためのデータ しかし、これらのデータの多くは退屈なものです。 ネットワークはすでに正しい情報を得ているかもしれないので そこで私たちは、mlベースの技術を使って ベースの技術を使って、基本的にネットワークの ネットワークのどこで失敗しているかを調べて ネットワークの障害点に関するデータを作成します。 ネットワークの障害点を中心にデータを作成することで、これを クローズドループでネットワークのパフォーマンスを パフォーマンスを向上させようとしています。 これで終わりではなく、実際には 実際には、自動操縦装置に発生した障害を再現したいのです。 シミュレーションで自動操縦に起こった シミュレーションで再現することで 以後、自動操縦を同じ水準に保つために 左側にあるのは 車から集められた実際のクリップを見てください。 車 オートラベリングパイプラインを経て パイプラインを経て、シーンの3D再構成を行い 動いている物体を含めたシーンの オブジェクト これを元の視覚情報と組み合わせて 元の視覚情報と合わせて、同じシーンを 同じシーンを合成して シミュレーションシナリオを作成します。 そして、自動操縦を再生すると 自動操縦を再生すると、自動操縦は全く新しいことができ 新しい世界を形成することができる 新しい結果 元々の失敗から新しい結果を生み出すことができるのです。 驚くべきことに、私たちは 自動操縦を失敗させたくないし、失敗したときには 自動操縦が失敗したら、それを捕まえて、そのバーに留めておきたいのです。 バー それだけでなく、先ほど言ったのと同じ方法で 先ほど言ったのと同じアプローチで さらに一歩進んで ニューラルレンダリング技術を使って よりリアルに見せることができます。 そこで、元のオリジナルビデオ クリップ それを元にして、人工的な地下鉄のシミュレーションを行います。 それを そこにニューラルレンダリング技術を適用して その上にニューラルレンダリング技術を適用すると 私の意見では、これは素晴らしいものです。 この作品は非常にリアルで 実際のカメラで撮影したかのような 実際のカメラ 昨晩の結果を見て、クールだったので かっこよかったので発表したかったのですが でもね SIMが何を実現できるのか、とても楽しみです。 達成することができます。 しかし、これだけではありません。 ネットワークはすでに車の中でトレーニングされているからです 使用したシミュレーションデータは3億枚 約5億枚のラベルが付いた3億枚の画像を使いました 膨大な量の画像と約5億のラベルを使用しました。 今後数ヶ月間に出てくるであろう 潰したいと思っています。 ミラン氏をお招きして どのようにしてこれらのオペレーションを 実際にラベル工場を作って 何百万枚ものラベルを生産することができるのです。 [Applause] ありがとう、アショク 皆さん、こんにちは。私はMilanです。 ニューラルネットワークの車への統合と 車内でのニューラルネットワークの統合と、ほとんどの ニューラルネットワークのトレーニングと評価の インフラストラクチャーを担当しています。 そこで今夜は、まず まず始めに この種のデータ生成工場を動かすのに必要な計算機の量と この種のデータ生成工場を動かすのに必要な計算量と 具体的には、数年前にチームで行った 数ヶ月前にチームとして行った 具体的には、数ヶ月前にパイロットのレーダーセンサーへの依存をなくすために レーダーセンサーへの依存をなくすために 250万のクリップから100億以上のラベルを生成しました。 250万個のクリップに100億以上のラベルを生成しました。 これを実現するためには スケール 巨大なオフラインニューラルネットワークと シミュレーションエンジンを数千台の gpusと2万台弱のcpu車に加えて その上、2000台以上の実際の自動操縦車を含めて 2000台以上の実際の自動操縦フル 自動運転コンピュータをループに入れて シミュレーションエンジン これが当社の最小のコンピュートクラスターです このようにして、私たちの 私たちのニューラルネットワークを ニューラルネットワークを 車の中で動かすには で、そのためには 私たちが取り組んでいる2つの主な制約は ここで取り組んでいる レイテンシーとフレームレートです。 これは安全のために非常に重要ですが 安全性を確保するためにも、また 周囲の加速度や速度を適切に推定するためにも 周りの環境 だから問題の本質は 我々がグループ内で書いて拡張しているAIコンパイラーの問題です。 グループ内で作成・拡張しているAIコンパイラーに関わる問題です。 基本的に私の apart torch モデルの計算処理を 私のバラバラになったトーチモデルの 専用の高速化されたハードウェアのセットに ハードウェアのセットにマッピングします。 最適化されたスケジュールを見つけ出します。 スロープット のために最適化されたスケジュールを考えながら、彼らの厳しいSram 制約 ところで、私たちはこれを1つのエンジンだけではなく 1つのエンジンだけでなく、2つのエンジンにまたがって 自動操縦コンピュータのエンジンと テスラでのエンジンの使用方法は テスラでのエンジンの使用方法は、いつでも 実際に出力するのは片方のエンジンだけで 車両への制御コマンドを出力します。 もう1つのエンジンは計算機の拡張として使用します。 コンピュート しかし、これらの役割は、ハードウェアとソフトウェアの両方で ハードウェアとソフトウェアの両方のレベルで このようなAI開発を通して、いかにして これらのAI開発サイクルの中で、グループとしてどのように まず第一に、私たちはスケールアップしてきました。 まず、私たちは ソフトウェア・ニューラルネットワークの評価能力を 過去数年間で劇的に拡大してきました。 今日では、どんなコードでも週に100万回以上の評価を行っています。 現在では、あらゆるコード 変化 チームが作成するコードの変更に対して、週に100万回以上の評価を行っています。 評価は、3,000台以上の 実際のフットスター・ドライビング・コンピュータ 専用のクラスターに接続されています。 クラスター その上で、私たちは とてもクールなデバッグツールを開発しています。 ここでは、そのツールの一つであるビデオを紹介します。 開発者を支援するツールの一つです。 ニューラルネットワークの開発を繰り返して ニューラルネットワークの開発を繰り返し、異なるリビジョンの 同じニューラルネットワークモデルの異なるリビジョンからの出力を 同じニューラルネットワークモデルの異なるリビジョンの出力を ビデオクリップの再生 最後になりましたが......私たちは ニューラルネットワークトレーニングの規模を 劇的に拡大してきました。 今日では10,000 gpusに迫る勢いです。 gpuの数で言えば、1万個に迫る勢いです。 gpuの数でいうと 一般に知られている世界のトップ5の 世界のスーパーコンピュータのトップ5よりも多いのです。 しかし、それだけでは十分ではありません。そこで、ガネッシュに次の話をしてもらいたいと思います。 ガネッシュに次のステップについて話してもらいたいと思います。 ステップ [拍手] ありがとう、ミラン 私の名前はガネッシュです。 私はプロジェクト道場のリーダーです。 このプロジェクトを発表できることを このプロジェクトに取り組む学際的なテスラチームを代表して このプロジェクトに取り組むテスラチームを代表して ミラノでご覧になったように ニューラルネットワークにはスピードとキャパシティへの飽くなき要求があります。 ニューラルネットワークのトレーニングには、スピードとキャパシティが求められます。 エロンはこれを予見していて、数年前に私たちに 数年前、彼は私たちに超高速トレーニングコンピュータの設計を依頼しました。 数年前、彼は私たちに超高速トレーニングコンピュータの設計を依頼し、それが それがプロジェクトDojoの始まりです 私たちの目標は、最高のAIトレーニング性能を達成し 最高のAIトレーニングパフォーマンスを達成し 最高のAIトレーニング性能を達成し、アンドレス・チームが夢見ているより大規模でより複雑なモデルをサポートし そして、電力効率とコスト効率を両立させることです。 コストパフォーマンスに優れたものにすることです。 どうやってこれを作るかを考えました。 そこで私たちが考えたのは 分散型コンピュートアーキテクチャー 世の中にあるすべてのトレーニングコンピュータは 全てのトレーニングコンピュータは、何らかの形で分散型コンピュータ 一種の分散型コンピュータです。 この箱の中の計算機要素が、何らかのネットワークで ある種のネットワークで接続されています。 ここでは2次元のネットワークを使っていますが CPU、GPU、アクセラレータなど、様々なネットワークがあります。 アクセラレータ すべてのコンピュートエレメントは 小さなメモリ とネットワークを持っています。 共通の傾向として、拡張が容易であるということです。 スケールするのが コンピュートを 帯域を拡張するのは非常に困難です。 帯域を拡張するのは非常に難しく、遅延を短縮するのは非常に困難です。 遅延を減らすことは非常に困難です。 私たちのデザインポイントがいかにそれに対応しているか、そして私たちの 哲学 私たちのデザインポイントは、従来の限界を超えたこれらの側面に 限界 Dojoでは、大規模なコンピュートプレーンを想定していました。 平面 非常に堅牢なコンピュートエレメントで埋め尽くされ 大規模なメモリプールを持ち 堅牢なコンピュートエレメントと大規模なメモリプールを備え、非常に高いバンド幅と低レイテンシーのファブリックで 極めて高い帯域幅と低遅延のファブリックで相互に接続された2次元メッシュの 2次元メッシュ形式で接続されています。これに加えて、大規模な 大規模なニューラルネットワークを分割して 異なる並列化モデルを抽出するためにマッピングされます。 並列化モデル グラフデータ並列化 そして、ニューラル・コンパイラ 我々のニューラルコンパイラは 空間的・時間的局所性を利用して 空間的・時間的な局所性を利用して 通信のフットプリントをローカルゾーンに ゾーンへの通信フットプリントを減らし、グローバルな通信を そうすれば そうすれば、帯域幅の利用率は そうすれば、帯域幅の利用率は、我々が望むコンピュートプレーンに合わせて ここで我々が望むのは スタックの上から下まですべてを攻撃したい スタックの上から下まで どのレベルでもボトルネックを取り除くことができます。 レベル この旅をインサイド・アウト方式で始めましょう。 インサイドアウト方式で、まずは チップ 前述のとおり チップにはコンピュートエレメントがあり、最小の 最小のエンティティまたはスケールは、トレーニング ノード このノードの選択は シームレスな拡張性を確保するためには、このノードの選択が非常に重要です。 スケーリング 小さすぎても高速に動作しますが 同期のオーバーヘッドが発生します ソフトウェアが終了してしまいます。 大きくしすぎると 実際のハードウェアへの実装が複雑になり 実際のハードウェアへの実装が複雑になり 最終的にはメモリのボトルネックになる 問題が発生します。 というのも、私たちが解決したかったのは 私たちはレイテンシーとバンド幅を主な最適化の対象としました。 帯域幅を最適化するために どのようにしてこの問題を解決したのか見てみましょう。 これは 信号が一度に通過できる最も遠い距離を選んで 信号が非常に高いクロックサイクルで通過できる距離を 非常に高いクロックサイクル（この場合は2ギガヘルツ以上）で この場合は2ギガヘルツ以上のクロックサイクルで その周りに箱を描きました。 信号が通過できる最小のレイテンシ 信号が超高クロックで1サイクルを通過できる最小の遅延 そして、その箱の中には ぎりぎりまでワイヤーで埋め尽くしました これがボックスに供給できる最高の帯域幅です。 ボックスに供給できる最高の帯域幅です。 その下には機械学習用のコンピュートと そして、大規模なSramのプール そして何よりも プログラム可能な コアを制御する これにより、高性能な トレーニングノード これは、64ビットのスーパースカラCPUです。 マトリックス乗算ユニットを中心に最適化された ベクトルコマンド 浮動小数点32b浮動小数点16をサポートしています。 そして、新しいフォーマットであるCFP8コンフィギュラブルFP8が そして、それを支えるのが 1.4メガバイトの高速cc プロテクトされた1.4メガバイトの高速ECC SRAMと、当社が設計した低レイテンシー高 我々が設計した低遅延・高帯域のファブリック この製品は当社の最小スケールの製品かもしれませんが スケールとしては最小かもしれませんが、パンチ力は抜群です 1テラフロップを超える演算能力を持つ 最小のスケールで1テラフロップ以上の演算を実現 では、そのアーキテクチャを見てみましょう。 この コンピュータ・アーキテクトの方々は これはかなり高性能なアーキテクチャであることが これを見るとすぐに、このアーキテクチャは スーパースカラーインオーダーCPUです。 4つのワイドベクターと2つのワイドベクター 2つのワイド......4つのワイド・スカラーと2つのワイド・ベクター・パイプ 4つのワイドベクター、2つのワイドベクター、2つのワイドスカラー、2つのワイドベクターパイプ ベクトルパイプとスカラーパイプは 順番が狂ってしまうこともありますが、純粋な人には ピュアな人たちのために、私たちはこれを秩序あるものと呼んでいます。 また、4ウェイ・マルチスレッドを採用しています。 演算とデータ転送を行うことができるので、利用率が向上します。 コンピュートとデータ転送を同時に行うことができるので 演算とデータ転送を同時に行うことができるため、利用率が向上します。また、当社のカスタムisa 命令セットアーキテクチャは 機械学習用に完全に最適化されています。 機械学習のワークロードに完全に最適化されており、トランスポーズ ギャザー リンクトラバース、ブロードキャストなどの機能があります。 などがあります。 また、物理的な領域でも 極めてモジュール化されているので トレーニング・ノードを任意の方向に回避して どの方向にでもトレーニングノードを配置して コンピュートプレーンを形成することができます。 これら354台のトレーニングノードをクリックすると 354台のトレーニングノードをクリックすると コンピュートアレイが完成します。 テラフロップスの機械学習コンピュート そしてもちろん、これらを相互に接続する高帯域ファブリックは これらを相互に接続する このコンピュート・アレイの周りには 周りには 高速・低消費電力サービス 576 これらのサービスにより、このチップから出力される このチップから出力されるI oバンド幅を実現するために 比較のために申し上げますと、このチップは 最新鋭のチップの2倍以上の帯域幅を実現 最新のネットワーク・スイッチ・チップから出力される ネットワークスイッチチップは ネットワークスイッチチップは ネットワークスイッチチップは、IoTの帯域幅の金字塔と言われています。 帯域幅 これらをすべてまとめてみると 得ることができます。 トレーニング最適化チップ 当社のD1チップ このチップは7ナノメートル技術で製造され 500億個のトランジスタを 500億個のトランジスタを645mm四方に詰め込んでいます。 正方形 気づいたことは、ここの面積の100％が ここでは100％が機械学習のトレーニングと トレーニングと帯域幅に使われています。 ダークシリコンもないし、レガシーサポートもない 純粋な機械学習 マシン そして これは フリップチップBGAパッケージのD1チップです。 パッケージ これはすべて、テスラ・チームが テスラのチームが内部で設計したものです。 アーキテクチャから から このチップの設計から このチップは は、まるで gpuレベルのコンピュートとcpuレベルの柔軟性と ネットワークチップの2倍の柔軟性と レベルのIoバンド幅 もし、縦軸にI oバンド幅をプロットすると i oバンド幅を縦軸にプロットすると テラフロップスの計算量に対して 最先端の機械学習チップで利用可能な 機械学習チップがあります。 スタートアップ企業も含めて 当社のデザインポイントが、パワーだけでなく パワーを超えて この基本的な物理的構成要素があったからこそ、私たちは 物理的なビルディングブロックを それを中心にシステムをどう設計するか 見てみましょう。 d1以降 チップは接着剤を使わずにシームレスに接続できるので シームレスに接続できるので 組み合わせてみました。 組み合わせたのは 500 000 トレーニングノードを組み合わせて コンピュートプレーン 1500個のD1チップがシームレスに 互いに接続されています そして さらに dojoインターフェースプロセス プロセッサを追加する これがデータセンターの典型的なホストへのホストブリッジ データセンターの典型的なホストに 片側はpci gen4で接続されており コンピュートプレーンへの高帯域ファブリックで コンピュートプレーン インターフェイスプロセッサは、ホストブリッジだけでなく ホストブリッジだけでなく、高帯域の コンピュートプレーンのためのドラマ共有メモリ 加えて インターフェイスプロセッサは さらに、高次元ネットワーク接続も可能です。 ネットワーク接続 このコンピュートプレーンを実現するためには 実現するためには、これらのチップを これらのチップを統合するために これをトレーニングタイルと呼んでいます。 タイル これが私たちのシステムのスケールの単位です これは画期的な統合であり 25個の既知の良好なD1ダイを ファンアウト・ウェハ・プロセスで緊密に統合し 帯域幅を確保するために 最大のバンド幅を維持するように緊密に統合されています。 加えて 私たちは a 帯域を維持する高帯域高密度コネクタを生成しました。 帯域幅を維持するコネクタを生成しました。 このトレーニングタイルからの帯域幅を確保して このスタイルでは、9つのベータフラップ コンピュートの 膨大なIoバンド幅を提供します。 この これは おそらく、チップ業界で最大の有機MCMとなるでしょう。 マルチチップモジュール これを設計するのは簡単ではありませんでした。 ツールは存在しませんでした。 すべてのツールが枯渇しており、我々のコンピュートクラスターでも 扱うことができませんでした。 エンジニアたちは、この問題を解決するさまざまな方法を考え出しました。 実現するための新しい方法を生み出しました。 これを実現するために コンピュートプレーンができたので タイル 帯域幅の広いIOS 電力を供給する必要がありました。 ここで私たちは、垂直方向に電力を供給するという 垂直方向に電力を供給する 私たちは、カスタムの 電圧レギュレータモジュール このファンアウトウェハに直接リフローできるような このファンアウトウェーハに直接リフローできるカスタム電圧レギュレータモジュールを作りました。 ここで何をしたかというと、チップ パッケージを手に入れ、基板レベルのリフロー技術を リフロー技術をファンアートウェハーに テクノロジーを導入しました。これは ここですでに多くの統合が行われています しかし、私たちはここで終わりませんでした。私たちは 電気・熱・機械のすべてを メカニカルな部分を統合して 形成する 完全に統合されたトレーニングタイル 52ボルトのDC入力に対応しています 前例がありません。 エンジニアリングの賜物です 我々のコンピュートプレーンは完全に 直交しています。 電力供給と 電力供給と冷却 そのため 高帯域のコンピュートプレーンが 可能 この製品は 9ペタフロップの トレーニングタイルです。 我々のシステムのスケール そしてこれが 本物だ 自分が9ペタフロップスのシステムを持っているなんて信じられない ペタフロップスだなんて そして実際に 先週、私たちは最初の ファンクショナル・トレーニング・タイル 限定された冷却装置を持つ ベンチトップ・セットアップ ネットワークを構築しました。 アンドレは私たちがネットワークを動かすことができるとは思っていないと聞きました。 彼の作品を動かすまで、ネットワークを動かすことはできないと 彼の作品を動かすまでは信じられないと言われた。 これはDojoで動作しているmin gpt2だ。 これを信じますか? 次は どのようにしてこれを使ってコンピュートクラスターを形成するか ここまでくれば、我々の モジュール化の話はかなり強力です タイルを組み合わせただけです。 タイルを組み合わせてスタイリングしただけです。 2×3のタイル タイルをトレイに入れてトレーニングマトリクスを作る 2つのトレイを1つのキャビネットに収納すると 100ペタフロップスの 計算能力 ここで終わりではありません いいえ、そうではありません。 シームレスに統合しました。 シームレスに統合しました。 すべての工程をシームレスに 帯域を確保することはできません。 帯域幅を確保するために、ここには帯域幅を広げるためのクリップはありません。 すべてのタイルが同じ場所でシームレスにつながっています。 同じ帯域でシームレスに接続されています。 帯域 そしてこれで エクソポッドがあります これは 1フロップ分の計算能力が 10台のキャビネットで 100万個以上のトレーニングノードがあります 私たちはそのトレーニングノードに細心の注意を払い そのトレーニングノードには細心の注意を払っています。 ここには100万台のノードがあり 同じ帯域幅で ハードウェアだけでなく ソフトウェア面も非常に重要です。 スケーリングを確保するために すべてのジョブが巨大なクラスタを必要とするわけでは クラスタを必要とするわけではないので、最初から 最初から 私たちのコンピュートプレーンは を細分化することができます。 に分割できます。 ドジョウ・プロセッシング・ユニットと呼ばれるユニット DPU は、1つまたは複数の d1チップ また、インターフェース・プロセッサーと 1つまたは複数のホスト ニーズに応じて拡張・縮小が可能です。 アルゴリズムやネットワークの必要性に応じて ニーズに合わせて拡張したり縮小したりできます。 ユーザーは何をしなければならないのでしょうか？ スクリプトの変更は最小限で済みます これは それは 強力なコンパイラ群のおかげです。 細かな並列処理やプロの問題をマッピングして 並列処理や、ニューラルネットワークのマッピングなどの ニューラルネットワークのマッピングを 効率的にコンピュートプレーンにマッピングします コンパイラは 複数の技術を用いて 並列性 ネットワークを変換することで 細かい並列処理だけでなく データモデル グラフ並列化技術 また メモリ使用量を削減する最適化も可能 フットプリント 一つは、ファブリックの ファブリックの高いバンド幅の特性が ここで可能になるのは、モデルの並列化です。 これまでは、同じレベルまで拡張することはできませんでした。 可能なレベルまで拡張することはできませんでした。 チップの境界に制限されていました。 今では、高バンド幅のおかげで トレーニングタイルやそれ以上の領域まで拡張することができます そのため 大規模なネットワークを効率的にマッピングして 大規模なネットワークを低バッチサイズで効率的にマッピングして 活用し、新たなレベルの 性能を引き出すことができます。 加えて、我々のコンパイラは ハイレベルな動的制御が可能 ループのような高度な動的制御フローを扱うことができます。 当社のコンパイラエンジンは、当社のソフトウェアスイート全体の 当社のコンパイラエンジンは、当社のソフトウェア全体の スタックの構成は以下の通りです。 pytarchの拡張機能で、mlと同じユーザーレベルのインターフェイスを ム科学者が慣れ親しんだユーザーレベルのインターフェイスを サイエンティストが慣れ親しんだユーザーレベルのインターフェイスを確保します。 コンパイラはその場でコードを生成します。 フライ その場でコードを生成するので、後続の実行に再利用できます。 また、llvmのバックエンドでは 用のバイナリを生成するバックエンドがあります。 ハードウェア これにより、最適化された コード ハードウェアに最適化されたコードを 手書きのカーネル ドライバ・スタック は、マルチホスト マルチホスト、マルチパーティショニング 数枚前のスライドで そして、私たちは プロファイラー とデバッガーもソフトウェアスタックに含まれています。 これらの要素と 統合しました。 垂直方向に統合することで スケーリングに対する従来の障壁を そして、それが スタックの上下にモジュール性を持たせ 新しいレベルのパフォーマンスを実現した すべてをまとめると これこそが、この製品が目指すものです。 最速のAIトレーニングコンピュータ 同じコストで倍の性能 1.3 x ワットあたりの性能が向上 省エネでフットプリントも5倍小さくなる これが道場のコンピュータになる まだまだこれからです。 最初のキャビネットをすぐに組み立てる もうすぐ そして、私たちは次世代の計画を立てています。 すでに私たちは シリコンから全ての工程でできる様々な面で10倍以上の シリコンからシステムに至るまで シリコンからシステムに至るまで、さまざまな側面から10倍以上を考えています。 今回の旅でも、これらすべての分野で大規模な募集を行っています。 これらすべての分野で どうもありがとうございました。 そして次は elon will update us on what's beyond our company AIのための車両フィートフリート [音楽] おお [ミュージック] そう [音楽] おお [音楽] ありがとう [拍手] 道場とは違って、明らかにあれは は本物ではなかった そう だからDojは本物だ......テスラボットは 本物 でも 基本的には、我々が今やっている自動車を考えると テスラは世界最大のロボット工学企業です。 世界最大のロボット企業と言っても過言ではありません。 テスラは世界最大のロボット企業です。 のようなものだからです。 車輪の上の半知性ロボット そして そして 完全な自動運転のコンピュータは、基本的に 車に搭載された推論エンジンが これは明らかに進化し続けているし 道場 とすべての 世界を認識するニューラルネットが 世界をどのようにナビゲートするかを理解し 世界を それを人型に乗せるのは理にかなっていると思います。 ヒューマノイドの形に ヒューマノイドは、センサーや バッテリーや アクチュエーター だから 来年中には、おそらく 来年中にはプロトタイプが完成すると思います。 基本的には次のようなものです。 意図しているのは もちろん、親しみやすく 人間のために作られた世界をナビゲートします。 人間のために そして 危険で反復的で退屈な作業を排除し 退屈な作業を排除し 私たちは、それが以下のように設定しています。 機械的なレベルで、物理的なレベルで 逃げ出すことができ そしてほとんどの場合、それに打ち勝つことができる だから そうならないことを願っていますが わからないものですね。 だから......それは......あなたの知っている 光 光 時速5マイルで走れば もっと速く走ればいいんだけど [Laughter] そう そう、それは ラウンド 5.8 えーと 頭の部分にスクリーンのようなものがあり 便利な情報を得ることができますが それ以外は基本的に自動操縦システムを搭載しています。 システムを搭載しているので、カメラは 8つのカメラと フルサイズのドライビングコンピューター 車と同じツールを使っています。 私たちが車で使っているのと同じ だから つまり、私が思うに、本当に難しいのは 難しいのは 便利なヒューマノイド・ロボットを作ることは 世界をナビゲートするには 明示的に訓練されていないと つまり、明示的に、例えば 一行一行の指示 えーと 話すことができます。 このボルトを拾って それを車に取り付けてください。 そのレンチで車に取り付けてください そうすれば、それができるようになるはずです。 うん それができるはずなんだ......頼むよ お店に行って、次の食料品を買ってきてください。 次の食料品を買ってきてください そういったことができるはずです。 そう できると思います。 うん そして そう これは非常に深いものになると思います。 深いものになると思います。 経済とは何かと言えば、それはあ 根底にあるのは労働力です。 があるとどうなるか？ ご存知の通り 労働力が不足しないとどうなるか だから私は長期的には 普遍的なベーシックインカムが必要になると思います。 インカム そう でも、今すぐにはできません、このロボットは 働かないからです。 今はまだ時間がありません それで うん ええ、でも将来的には 将来的には、物理的な仕事は、やりたければ したければすればいいし、しなくてもいい。 行う必要はないでしょう。 そして これは明らかに経済に大きな影響を与えると思います。 これは明らかに経済に大きな影響を与えます。 というのも、経済はその基礎レベルにおいて というのも、経済の基本レベルは労働力であり、つまり 資本は資本設備です。 蒸留された労働力 では 実際に経済に限界はあるのだろうか ないかもしれない だから そう 私たちのチームに参加して、これを作るのを手伝ってください それでは、皆さんにステージに戻っていただき みんなにステージに戻ってきてもらい ご質問があればお寄せください。 はい [Applause] あなた [Music] よし いいぞ [音楽] "君達が僕を連れ戻してくれた さあ 俺はステージが好きなんだ 撮ってみて そこからのカメラアングル 横からではなく いいですね。 では、照明を元に戻します。 オン そして そうですね。 ソフトウェアに関するご質問にお答えします。 ソフト面、ハード面での ハード面での進捗状況 質問はお早めに このライトは、まるで 尋問用のライトのようなものなので、実際には 見えないんだよね ああ、これでいいんだ いいね まず最初に、私たちは 発表者の皆さん、ありがとうございました。 すべてを見ることができてとてもよかったです 私はただ、高いレベルでの好奇心と これは質問のようなものですが これは誰にでも言えることですが......どの程度の 公開やオープンソース化にどの程度興味がありますか？ オープンソース化にどの程度興味がありますか？ 将来のために えーと、つまり、基本的には システムを作るには非常にコストがかかります。 システムを つまり 何らかの形で費用を捻出しなければなりません。 完全なオープンソースであれば、どうやって支払うのかはわかりません。 オープンソースで ええと タダで働きたい人がいなければね でも、言っておくけど......これは もし他の自動車会社がライセンスを取得して 他の自動車会社がライセンスを取得して自分の車に使いたいと思ったら それは素晴らしいことですが、これはテスラ・カーだけに テスラの車に限定したものではありません スーパーコンピュータ "Dojo "のためのもので、あなたは コンパイラの問題は解決しましたか？ このような多数のノードに対応するためのコンパイラの問題は解決しましたか？ 解決したとしても、それは ドジョ なぜなら 私が研究しているのは 深層学習アクセラレータの研究をしていて 正しいスケーラビリティ 適正なスケーラビリティや分布を得ることは、一隻の船でも 研究プロジェクトの観点からは 研究プロジェクトの観点からすると非常に難しいので、私は 興味がありました。 ビルの代わりにマイクが失礼します あなたは 問題はまだ解決していませんが 私たちは問題を解決できると確信しています はい プロトタイプのハードウェアでネットワークを実証し プロトタイプのハードウェアでネットワークを実証した 今、我々はモデルを持っている スケーリングを示すパフォーマンスモデル 問題は、あなたがおっしゃったように、どのようにして ローカリティを保つかです。 十分なモデルの並列化ができれば 十分なデータ並列ができれば、ほとんどのものをローカルに保つことができます。 局所性を保つことができれば、あとはスケーリングするだけです。 私たちの作業セットにあるパラメータを ワーキングセットのパラメータを、手持ちのSRAMに適合させる必要があります。 そして、パイプを流れるように チャンスはいくらでもあります 申し訳ありませんが、さらにスケールアップして より多くのローカルメモリを持つプロセッサノードが メモリ メモリトレードやバンド幅の拡大など、さまざまなことが可能になります。 より多くのことができるようになりますが、現在 テスラが持っているアプリケーションには 明確な道筋 また、モジュール化されているので 異なった比率の異なった側面を作ることができます。 作ることができるということです。つまり、これは アプリケーションのために選んだものです。 アプリケーション 内部的には 確かに ロカリティの部分では トレーニングは、ソフトなスケーリングが必要な アプリケーション たとえ、これだけの計算機と を持っていても、高帯域の 高帯域のインターコネクト しても、その性能は発揮できませんでした。 限られたメモリで計算しているため 異なる場所の限られたメモリで計算しているからです。 異なる場所で限られたメモリを使って計算することになるからです。だから私は あなたが「解決した」と言ったとき、私はとても不思議に思いました。 解決しました。 この機会に飛びついて、もっと知りたいと思いました。 どの程度オープンソース化できるのか そう そうですね、証拠はプリンの中にありますからね。 えーと 来年にはdojoを稼動させる予定です。 そして 使うことになると思います。 に使うと思います。 トレーニング・ビデオ・トレーニングに使うことになるでしょう。 基本的には、これは......つまり これは 当初の主な用途は、膨大な量のビデオがあり 膨大な量のビデオを、どのようにして 膨大な量のビデオを 可能な限り効率的に そして また、時間も短縮することができます。 タスクに合わせてトレーニングしようとすると タスク 一般的なイノベーションは 何回反復して、各反復の間の平均進歩はどのくらいか 各反復の間の平均的な進歩 で、もし の間の時間を短縮することができれば 繰り返しの時間を短縮できれば......改善の割合は はずっと良くなります。 だから モデルの学習に数日かかることがあるとします。 モデルのトレーニングに数日かかるのが 数時間で済むとしたら、それは大変なことです。 しかし、この資産テストでは 私が道場チームに言ったことは 道場チームに伝えたことは、それが が成功した場合には、成功したと言えるでしょう。 えーと ソフトウェアチームがgpuクラスタをオフにすると クラスタ しかし、もし彼らがgppクラスタを維持したいのであれば オン 成功しませんでした。 というわけで ハイ こちらです 私はこのプレゼンテーションが大好きです。 私たちをここに連れてきてくれてありがとう 特にプレゼンテーションのシミュレーションの部分が 疑問に思っていたのですが とてもとても 非常にリアリティがありましたが、他の地域にシミュレーションを拡大する計画はありますか？ シミュレーションを社内の他の部署に 何らかの形で会社の他の部分にシミュレーションを拡大する計画はありますか？ こんにちは、私はイアン・グローです。 自動操縦シミュレーションチームを運営しています。 完全な自動運転への道を歩むためには 完全な自動運転への道を歩むためには より多くの車両をシミュレートする必要があります 現在はビークルダイナミクスのシミュレーションを行っていますが 現在はビークルダイナミクスのシミュレーションを行っていますが、今後はBMS MCUが必要になるでしょう。 車両のすべての部品が必要になります。 統合されています。 自動操縦シミュレーターは、自動操縦以外の分野でも 自動操縦以外の場所でも活用できます。 最終的にはユニバーサル・シミュレーション・プラットフォームへと発展させたいと考えています。 普遍的なシミュレーション・プラットフォームになるように しかし、その前に私たちは その前に、多くのオプティミストサポートを立ち上げて その前に、私たちは多くのオプティミストサポートを展開し、さらにその先の その前に、私たちは楽天的なサポートをたくさんして、もう少し先の段階で どうやって シミュレーションのインフラや 私たちが作った素晴らしいものを 会社の外にいる人たちの手に渡すことができるようになるかもしれません optimusはTeslaのコードネームです。 ボット oops オプティマス・アップライン [笑] こんにちは ali jahanianです。 この度は素晴らしいプレゼンテーションと このような素晴らしいものをまとめて 一緒に しばらくの間、私は考えていました。 車はすでにロボットなのだから なぜ人類用のロボットではないのか 今日はとても嬉しいです。 今日、あなたがそのようなものを作ろうとしていると そのようなものを作ろうとしていると 特にこれは、多人数での共同作業を可能にする機会を与えてくれると思います。 これは、マルチモダリティを組み合わせた光線の機会を与えてくれると思います。 例えば、私たちは 例えば あなたが示した例では 犬がいて 何人かの乗客と一緒に走ったり の 言語 象徴的な処理を行うことができます。 のために 視覚化することができます。 疑問に思ったのですが このようなモダリティの組み合わせについて 言語と視覚を含むモダリティを組み合わせて 言語と視覚を含めたモダリティの組み合わせについて 私は、例えば、ミニ GPTやアンドレが出した そして 他のモダリティについてはあまり聞いたことがありませんでした。 他のモダリティについてはあまり聞いたことがありません。 少なくともシミュレーションでは 何かコメントはありますか？ 何か 何かコメントがあれば教えてください。 運転とは基本的に... 基本的に ほとんどがビジョン・ニューラルネットで構成されています。 私たちは基本的には 生物学的視覚 ニューラルネットで動作しています。 シリコンカメラのニューラルネットです。 それで そして、そこにはある程度の ある程度の音声......あなたが聞きたいのは もし、緊急車両や 緊急車両や えー あなたが知っている... 車に乗っている人との会話とか 車の中の人と うん 誰かが何かを叫んでいたら 車に向かって何かを叫んでいたら、その車は それが何であるかを理解する必要があります。 うん だから そのために必要なすべてのことを 車が 完全に自律している はい ありがとうございました。 これまでの素晴らしい仕事に感謝します 私が質問したいのは、チームの皆さんです。 示されたデータは 示されたデータは主に米国からのものだったようですが 示されたデータは主に米国からのもののようです。 コンピュータがトレーニングされていますが、それが しかし、それが各国に展開されていくと 独自の道路システムを持つさまざまな国に 道路システムや それぞれの道路システムや課題を持つ各国に展開した場合 どのようにスケールアップしていくのでしょうか？ 最初から作るのは無理だと思いますが 実現可能なソリューションではありません。 どうやって他の国に移すのか そうですね......私たちは実際にトレーニングを行っています。 のデータを使ってトレーニングを行っています。 おそらく50カ国以上のデータを使ってトレーニングを行っています。 しかし、私たちは 完全な自動運転を目指しているのだから 完全な自動運転を実現するためには、一つの国を選ぶ必要があります。 国を選ぶ必要がありますが、私たちはここにいるので アメリカを選びました。 そうすると、多くの質問が寄せられます。 なぜカナダではないのか？ 道路が少し違うので カナダは道が少し違うから 難しい問題を解決しようとすると 難しい問題を解決しようとするときには 難しい問題を解決しようとするとき、あなたは「何のために 複雑さを増すのはやめましょう 今のところは......我々のためだけに解決しよう。 そしてそれを他の国に外挿していきます。 世界中のビデオを使用しています。 世界中のビデオを使用しています。 私たちが作っているものの多くは 国を問わず、基本的にすべての コンピュータ・ビジョン・コンポーネントなどの 国をあまり気にしません。 特定の 機能はあまり気にしません。 様々な国には道路や縁石があり 縁石があり、車があります。 私たちが作っているものは、かなり そのための一般的なものです そうですね、それに第一の指令があります。 これはどの国でも同じです。 これはどの国でも同じです。 指令 うん そして 今でも車は衝突しないように クラッシュしない それで 基本的には... それが何であれ、それにぶつからないでください。 高速道路に不時着したufoであっても 衝突しないでください ぶつからないためには、それを認識する必要はありません。 ぶつからないためには、それを認識する必要はありません。 これはとても重要なことです。 そして、私が聞きたいのは フォトメトリック・プロセスを行う際 マルチビュー・ジオメトリでは、どのくらいの誤差があるのでしょうか？ 1ミリ、1センチくらいでしょうか？ センチくらいでしょうか。 機密事項 申し訳ありませんが、質問は何ですか？ 合成画像との違いは何ですか？ 合成 確かに の違いは何ですか？ 合成されたジオメトリと 実際のジオメトリ 数センチから3、4センチの範囲です。 センチ、3～4センチ以内です。 これが標準偏差です 異なる種類のモダリティとの融合 誤差を減らすために スケーラブルな方法を見つけようとしています 時には他のセンサーを使って 他のセンサーを使って ベンチマークのために他のセンサーを使用することもありますが、主にカメラを使用しています。 このシステムでは主にカメラを使用しています はい、ありがとうございます。 私たちは、車の位置を センチメートル単位で正確に センチメートル単位で ご存知の通り センチ単位の正確な位置を目指したいと思います。 距離にもよりますが、近くにいる場合は 遠くのものより近くのものの方がはるかに正確です。 遠くにあるものよりも正確になります。 車が判断する必要がないので 判断する必要がないからです。 遠く離れていても、近づけば近づくほど ますます正確になります まさに たくさんの質問 皆さんありがとうございます 私の質問は AIと製造に関するものです。 エイリアンのドレッドノートのコンセプトについて聞いてからしばらく経ちました。 エイリアンのドレッドノートのコンセプト あなた方の後ろにいるヒューマノイドは あなた方の後ろにいるヒューマノイドは、プロダクション・ヘルス・タイムラインから持ち出されたものですか？ 生産性向上のタイムラインで 人間はその過程で過小評価されていると プロセス そうですね......時々、ある種の 私の言うことが極端になりすぎて 極端になりすぎると そこで テスラのシステムの中には ほぼ完全に自動化されている部分と ほぼ完全に自動化されている部分もあれば 完全なマニュアル そして もしあなたが生産システム全体を歩いてみたら 生産システム全体を歩いてみると、完全に自動化されたものから 完全に自動化されたものから オートマチックから ほぼ完全なマニュアルまで しかし、大部分は......ほとんどは、すでに すでに......自動化されている うん で、次に そして 一部の設計アーキテクチャの変更で 大型化など 大型の アルミニウム ハイプレッシャーダイキャスト 大型のアルミ高圧ダイキャスト部品を採用することで、リア 車の後部3分の1を1つの部品として鋳造することができます。 今回はそれを実現するために行います。 車のフロント3分の1は単一の ピース つまり、ボディラインは えーと サイズが60〜70％ほど小さくなります。 うん しかし、そう、ロボットには に促されたものではありません。 特に製造業のニーズに それは、ただ 私たちは明らかに部品を作っているだけです その 役に立つ人型ロボットに必要な部品を 作るべきだと思いますが 私たちが作らなくても、他の誰かが作ってくれるでしょう。 だから、作るべきだと思うし そして安全であることを確認する 作るべきだと思います。 大量生産は非常に難しく 過小評価されていますが、私たちはそれが得意です。 私たちはそれが得意になりました。 ヒューマノイドロボットにとっても重要です。 人型ロボットにとっても重要です。 人間型ロボットが超高額にならないようにするには そして ハイ プレゼンをありがとうございました。 プレゼンテーション 私の質問は、道場のスキルアップについてです。 道場の 特に、計算ノードをどのようにして コンピュートノードの 熱 熱と電力供給の観点から、コンピュートノードをどのように 排出できる熱量は限られています。 放出できる熱量と 熱を逃がすことはできず、電力を供給することも クラスタ・ラックのように クラスタ・ラックのように どのようにスケールアップしたいか、どのように 複数のデータセンターで拡張するには データセンター 確かに こんにちは 私はBillです。 道場のエンジニアの一人です。 熱的見地と電力的見地から 観点から 非常にモジュール化された設計となっています。 コンピュートタイルで見たように タイル全体を冷却することができるので 一旦接続すると、上下ともに液冷となります。 上面と下面の両方で液体冷却されます。 他に何も必要ありません。 だから、これらをクリックすると 合わせて 一旦、電源をクリックして、一旦は クリックして 冷却することで、フルパワーで 完全に冷却され そして、そのすべてが 立方フィートにも満たない そうです。 テスラは、パワーエレクトロニクスと パワーエレクトロニクスと冷却の専門知識を持っているので パワーエレクトロニクスの専門知識を 車両のパワートレインからパワーエレクトロニクス パワーエレクトロニクスの専門知識を活用し、高度な冷却技術を 開発しました。 パワーエレクトロニクスと自動車のために開発した それをスーパーコンピュータに応用したのです。 コンピュータ なぜなら、あなたが指摘したように......熱を逃がすことは 熱を逃がすことが 非常に重要です。 制限されます。 だから そう だから、面白いことに 計算機レベルでの動作は 1ボルト未満 これは 非常に低い電圧で動作していますが、アンペア数が多いので そのため、熱も大きい iの二乗Rは、実際にあなたのお尻に噛みつくものです。 お尻に食い込む 私の質問は、同様に スケーリングの問題 だから、自然な結果のように思えるのですが 当然の結果のように思えますが 学習用ハードウェアを大幅に高速化すると より多くのデータでモデルを学習することになります。 より多くのデータを使って あるいは、より複雑なモデルを学習することになります。 モデルを学習することになります。 膨大なコストがかかる可能性があります。 車の推論時に実行するには、かなりコストがかかる可能性があります。 ええと、私が思ったのは、もし また、次のような計画もあるのではないかと思っています。 えーと dojoを自動運転車などで使用するような 自動運転車で使うようなものとしてdojoを適用する計画があるのか、と。 もしそうなら そこに新たな課題があると思われますか？ そこでの課題 そうですね。 アンドロイドのモデルは アンドロイドのモデルは自動車だけではありません。 オートラベリングモデルのように車だけではなく、他にも 他のモデルは 車のアプリケーションを超えたようなモデルもありますが 車のアプリケーションを超えたモデルもありますが、それらは車のスタックに組み込まれているので、Dojoはそれらすべてに使われます。 Dojoはそれらのすべてにも使われる 車だけでなく トレーニングの推論部分 そう、つまりdojoの 最初の用途は、ビデオデータを ビデオデータを使用してトレーニングを行い、そのデータを その後、車の逆推論エンジンである エンジンで実行されます。 しかし これは重要なテストだと思います。 実際に優れているかどうか、あるいは CPUクラスタよりも優れているのか そうではありません。 しかし、それ以外は、基本的に 一般的な一般化されたニューラルネット トレーニングコンピュータ しかし、ニューラルネットに非常に最適化されています。 ニューラルネットに最適化されています。 CPUとGPUSは のために作られたものではありません。 そう 設計されていません。 ニューラルネットの学習に特化して設計されたものではありません。 我々は、gpusを特に 非常に効率的に ニューラルネットを描写するために非常に効率的なGPUを作ることができましたが、それは それは彼らの設計意図ではありませんでした。 Gpuは本質的にはまだ ニューラルネットのトレーニングを エミュレーションモードで Dojoでは、私たちは次のように言っています。 全体をASICにしてしまおうと。 全体を ただ 一つの目的のために作られたもので 目的は1つ、それはニューラルネットの トレーニング 一般に、特定の目的のために設計されたシステムは 特定の目的のために設計された 特定の目的のために設計されたシステムは、一般的な目的のために設計されたシステムよりも 一般的な目的のために設計されたシステムよりも ここで質問があります。 ハイ、アーン あなたは2つの独立したシステムを説明しました。 1つはビジョン、もう1つはプランナーとコントロール 制御......Dojoはあなたを愛していますか......トレーニング 境界線を越えたネットワークと 2つ目は、もしそのようなネットワークを訓練できたとして そのようなネットワークを訓練することができたら 第二に、もしそのようなネットワークを訓練できたとしたら、FSTシステムにオンボードの計算能力があって システムにオンボードの計算能力があり 厳しいレイテンシーの制約の中で ありがとうございます。 ええ、そうですね。 プランナーネットワークを訓練できると思います。 プラットフォームに依存しないんですよ。 そして、もし何かあるとすれば、この全体をエンド・ツー・エンドで作ってしまえば 何かあるとすれば、この全体を端から端まで作ってしまえば 多くの中間状態をデコードするよりも 中間状態をデコードするよりも効率的なので 全体を神経回路に組み込んだ方が ニューラルネットワークの中に全体を 中間状態のデコードを多く避けて 中間状態のデコードを回避して 車の運転に必要な本質的なものだけをデコードして 車の運転に必要なものだけを解読することができます。 そう、そして最後には、多くの研究の指針となっている 多くのネットワーク開発の指針となっています。 多くのネットワーク開発の指針となっており、時間の経過とともに スタックのニューラルネットワークは、より多くの機能を ますます多くの機能を持つようになりました。 すべてをエンド・ツー・エンドで学習させたいと考えています。 エンド・ツー・エンドで学習させたいと考えています。それが最も効果的だと考えているからです。 最も効果的であると考えているからです。しかし、私たちはそれを しかし、私たちは段階的に構築しているので、現在のインターフェースは ベクトル空間があり、それをプランナーで利用しています。 プランナーで使用していますが しかし、基本的には 実際に機能を取り込み、最終的にエンドツーエンドで エンド・トゥ・エンドで微調整することを根本的に妨げるものは何もありません。 それがこのシステムの方向性だと思います。 そう、そして発見とはつまり ネットワークブロックに配置すべき適切なアーキテクチャーは何か ネットワークブロックにどのようなアーキテクチャを配置すれば タスクに対応するためにネットワークブロックに配置すべき適切なアーキテクチャとは何か、ということです。 空間的なRNを配置して 知覚の問題を解決するために 今はただのニュートラルなネットワークになっていますが 同様に、プランニングについても、検索と最適化を 探索と最適化をネットワークアーキテクチャの中に 探索と最適化をネットワークアーキテクチャに組み込む必要があります。 それができれば、プランニングが非常に素早くできるようになるはずです。 プランニングが非常に早くできるようになります。 C plus plusのアルゴリズムに似ています OK OK 私は、彼の質問によく似た質問をしていたと思います。 よく似た質問がありました ニューラルネットの多くは コンピュータ・ビジョンや そして伝統的な計画のようなものがあります。 モデル予測制御による 凸型最適化問題を素早く 素早く そして より適したコンピュート 凸最適化やモデル予測制御にもっと適した 凸型最適化やモデル 予測制御......ソリューションを非常に 迅速に 私のように焼き込みたい人は、100 前にも言ったように、もしあなたがこのような モデルとなるようなアーキテクチャを 蛋白質の制御を行うが いくつかのブロックをニューラルネットワークに置き換えたり あるいは、物理学の知識があれば 物理ベースのモデルを使うこともできます。 ニューラルネットワークのフォワードパスに物理ベースのモデルを使うこともできます。 今後は、ハイブリッド システムを目指します。 ニューラル・ネットワーク・ブロックと 物理ベースのブロックと一緒に配置された ブロックを配置し、さらにネットワークを追加するハイブリッドシステムを目指します。 ハイブリッド・スタックとなり、我々が得意とするものは 明示的に配置し、ネットワークを作成します。 ネットワークが作成されたら、そのネットワークを使って ネットワークを使って最適化します。 このアーキテクチャが組み込まれたエンドツーエンドのスタック 組み込まれています。 つまり、私はそう考えています。 思うのですが、例えば サラウンドビデオ そして 何が起こっているのかを理解するためのニューラルネット 何が起こっているかを理解し 変換 それらのサラウンドビデオをベクトル空間に そうすれば、基本的にはビデオゲームになります。 そして、もし もし、あなたが グランドセフトオートのようなものです。 車を走らせたり、歩行者を歩かせたりすることができます。 車を走らせたり、歩行者を歩き回らせたり クラッシュせずに できるんですよ。 制御と計画のためにニューラルネットを持つ必要はありませんが しかし、おそらくその方が 最終的には良いでしょう だから しかし、私は、あなたはおそらく 実際のところ、制御と計画を用いれば、人間よりも コントロールと計画性があれば、人間よりもずっと安全に 計画 主にCプラスプラスで 知覚と視覚は ニューラルネット こんにちは 質問ですが、他の企業では 例えば、強化学習や機械学習を 強化学習や機械学習を使って 最適化 電力消費やデータセンターなどの 他のあらゆる内部プロセスに利用しています。 質問は、Teslaは製造設計に機械学習を利用しているのか、ということです。 製造設計やその他のエンジニアリングプロセスにおいて その他のエンジニアリングプロセスで機械学習を利用していますか？ i 私は機械学習の使用を推奨しません。 難しいからです。 基本的に機械学習を使わなければならない場合以外は 機械学習を使わなければならない場合以外はやめておきましょう。 誰かが「機械学習を使ってみたい」と言ったら、それは赤信号です。 誰かがこのテストを解くのに機械学習を使おうと このテストを解くのに機械学習を使いたいと言われたら、私はそれが ような気がします。 そう ああ 99.9%の確率で必要ないと思います。 そう だから そう しかし、それは、ある種の 機械学習に手を出すのは 必要なときに 必要な時に機械学習に手を伸ばすようなものですが、私はそれが 便利で簡単にできることではなく うーん、それはとても難しいことです。 もし、人型ロボットができたら、それは変わるかもしれません。 ロボットが 理解することができる 通常の指示 うん でも そう 一般的に、機械学習の使用を最小限に 機械学習を 工場 シミュレーターからのビデオを見ると シミュレータからのビデオを見る限りでは グラフィカルとニューラルを組み合わせた グラフィカルとニューラルを組み合わせたように見えましたが、どのような技術が使われているのでしょうか？ どのような技術が使われているのでしょうか？ シミュレータで使われている基本的な技術、特に ニューラル・レンダリングにはどのような技術が使われているのでしょうか？ ええ、私たちがやっているのは スタックの一番下にあるのは 従来のゲーム技術 ラスタライズをリアルタイムに行っています 非常に似ていますよね。 GTAのように その上で、リアルタイムのレイトレーシングを行っています。 これらの結果は つまり、私たちは 一番下に小さなアスタリスクが付いていましたが これは昨晩のものです 私たちはニューラルレンダリングの世界に入っています。 空間に入り、様々なことを試しています。 様々なことを試しています。 私たちは、ニューラルレンダリングが ニューラル・レンダリングが 頂点に立つチェリーのようなものにしたいのです。 シミュレータ上でモデルがオーバーフィットすることがないように シミュレータ上でモデルがオーバーフィットしないようにしたい 現在、私たちは以下のようなことを行っています。 写実性の向上 最近発表された論文によると、写真の フォトリアリズム・エンハンスメント しかし、私たちはその論文に書かれていること以上のことを その論文に書かれている以上のことができます。 より多くのラベル付きデータ より多くの計算機 また、環境に対するコントロールも非常に優れています。 環境を また、この作業をリアルタイムで行うことを手助けしてくれる リアルタイムでの実行を手助けしてくれる人もたくさんいます。 しかし、私たちはできる限りのことをやってみるつもりです。 シミュレータだけですべてのトレーニングができるようになるまで シミュレーターだけですべてのトレーニングができるように しなければならないとしたら、その必要はないでしょう。 なぜなら、私たちには他の誰も持っていない多くの実世界の 他の誰も持っていない実世界のデータを 現実世界でのちょっとしたギャップを埋めるだけです。 現実世界の そう、つまり シミュレーターは 珍しいケースでは非常に役に立ちます。 稀なケース、例えば 知っていると思いますが 事故の直前に衝突を回避するような 事故 そして 皮肉なことに、車の事故回避能力が高まれば高まるほど 事故を回避する能力が高くなればなるほど 事故が減ることになります。 トレーニングセットが小さくなるので シミュレーションでクラッシュさせなければならない 衝突の可能性を最小限にするためには 怪我の可能性を 歩行者や車に乗っている人の怪我を最小限にする 5メートルの速度で走行しています。 秒速20メートルで走行しているとします。 どのような行動をとれば傷害の可能性を 傷害の可能性を最小限にするために それを、いくつかの 高速道路の反対側を走る車 高速道路を逆走するようなことが 起こることもありますが、それほど頻繁ではありません。 ヒューマノイド・コンタクトについては どのようなユースケースから始めるか、また どのような使用例から始めて、どのような 大きな課題は えーと これを実現するための大きな課題は何でしょうか？ ヒューマノイドの場合は テスラボットは オプティマス 基本的には、まず 扱うことから始めます。 基本的には、退屈な仕事や 退屈で反復的で危険な仕事を扱うことから始めます。 基本的に、人々が最もやりたくない仕事は何か？ 最もやりたくない仕事は？ うん こんにちは...早速ですが、あなたのシミュレーションについて あなたのシミュレーションは...明らかに完璧ではありませんが 今のところ完璧ではありませんが、何か 何らかの領域適応技術を使っていますか？ のギャップを埋めるために シミュレーションデータと実際の 実世界のデータとのギャップを埋めるために 危険なのではないでしょうか？ 模擬データのみで学習したモデルを 模擬データのみで学習したモデルを導入するのは危険なので、何らかの ある種の明示的な領域適応とか どこかのパイプラインで パイプライン 現在は......つまり シミュレータから直接ビデオを出力しています。 キネマティクスなどのフルクリップを作成して それを使ってすぐにトレーニングをしています。 すぐにトレーニングしていますが、それは しかし、これは全データセットではなく、ごく一部の対象セグメントです。 対象とした小さなセグメントであり 実世界のビデオに基づいて評価しています。 私たちは細心の注意を払っています。 また、もしファンシーなことを始めなければならない場合は より洗練されたことを始めなければならない場合には しかし、現在のところ、私たちは シミュレータ上ではオーバーフィッティングの問題はありません。 シミュレータ上ではオーバーフィットの問題はありませんが、データの規模が大きくなれば データの規模が大きくなれば問題になるでしょう。 ニューラルレンダリングを使ってそのギャップを埋め そのギャップを埋めるためにニューラルレンダリングを使いたいと思っています。 私たちはすでに、同じネットワークを 車と同じネットワークを使って それを再学習させてSIMと鉄道を検出し アートを決定するために これは実際に、これらの問題を防ぐのに役立っています。 このようなことを防ぐのにも役立っています。 強調しておきたいのは 強調しておきたいのは、データセットは圧倒的に実際の 実際に道路を走っている車の映像であることを強調しておきます。 現実よりも奇妙なことや曲がりくねったことはありません。 現実以上に奇妙なことや 本当に奇妙なことばかりです。 しかし、もしも、非常に奇妙な例をいくつか見つけたら 何かとても奇妙な例を見つけたら 私たちが見たとても奇妙な写真や 奇妙な写真があったとしたら 効果的に学習させるためには 効果的に訓練するためには シミュレーションの作成 1000のシミュレーションを作成したいと思います。 変形した 私たちが見た風変わりなもの 足で重要なギャップを埋めて ギャップを埋め、システムをより良くするために これらはすべて、時間の経過とともに ただ 衝突や負傷の可能性を減らし 衝突や負傷の可能性を減らすことです。 これは9の行進と呼ばれています。 99.999999に到達するのか を達成するにはどうしたらいいのか？ そうです。 それぞれの9は、桁違いの 難易度が上がる プレゼンテーションをありがとうございました。 興味があったのは テスラボットについて 具体的には 人型のフォームファクターが 人型のフォームファクターが 適していると思いますか？ そして、二次的な えーと 人間の形をしているということは 感情や交友関係を全く考えていない について 製品のロードマップには全く含まれていません。 えーと 私たちは、この製品が ディストピア的SF映画に登場しないことを SF映画 でも......つまり 今の時点では このロボットができるかもしれないと言っているのです。 ただ、私たちは可能な限り文字通りのことをしようとしています。 可能な限り文字通りのことをしようとしているのですが......退屈で危険な 危険な反復作業 人がやりたがらない仕事を そして そして それができるようになれば 他のこともできるようになるかもしれません。 でも これこそが、私たちにとっての これこそが、私たちが手にした素晴らしいものなのです。 だから あなたの相棒になるかもしれません。 買って、あなたの友達にしてもらったり 何でも きっとみんな、とてもクリエイティブな使い方を考えてくれると思います。 クリエイティブな使い方を だから それで まず最初に、本当に素晴らしいプレゼンテーションをありがとうございました。 まず最初に、本当に素晴らしいプレゼンテーションをありがとうございました......私の質問は 私の質問はAIについてです。 私たちが見てきたのは、これらの 言語モデリングAIでは スケーリングがもたらす影響は非常に大きく 彼らの能力やできることに できるようになりました。 そこで気になったのが、皆さんは 同じようなスケーリングの効果が あなたの ニューラルネットワークを使ったアプリケーションでも ネットワークが大きくなればなるほど 学習するデータがあれば、より良いパフォーマンスが得られます。 訓練するためのデータがあれば これは私たち自身でも実感しています。 これは私たち自身の経験でもあります。 レイテンシーを考慮しなければなりません。 車ではレイテンシーを気にする必要がありますが、そのためには 実際にはもっと大規模なネットワークを しかし、先に述べたように、私たちは しかし、前述したように、私たちは車に搭載するためのニューラルネットワークを 車に搭載するためのニューラルネットワークだけではなく 任意のサイズのモデルを利用できるオートラベリング・パイプラインがあります。 任意のサイズのモデルを利用できるオートラベリングパイプラインを持っています。 実際、私たちは、展開できない多くのモデルを交換してきました。 展開できないようなモデルでも 展開できないモデルと交換してきましたが、その方がはるかに効果的でした。 オートラベリングの精度を向上させるためには、100 オートラベリングの精度を上げるために このようなことを繰り返してきました。 この傾向は確かにあります。 そう、オーダーラベリングは 非常に重要な役割を果たしています。 非常に重要な役割を果たしています。 オーダーラベリングがなければ、私たちは 自動運転の問題を解決することはできなかったでしょう。 自動運転の問題を解決することはできないでしょう。 蒸留のようなものです。 非常に巨大なモデルと問題の構造を使って 問題の構造を利用して 復元し、それをニューラルネットワークに抽出して それをニューラルネットワークに変換し、車に搭載するというものです。 しかし、私たちは基本的に、たくさんの しかし、基本的には多くのニューラルネットワークと しかし、基本的には、自動車に搭載することを想定していない多くのニューラルネットワークやタスクが存在します。 また、時間が経てば経つほど、新しい情報を得ることができます。 新しいフレームの情報を得ることができます。 あなたのコンピュータが すべての情報にアクセスできるように 1つのフレームだけを取り出して 1つのフレームを例えば200ミリ秒かけて見るのではなく 新しいフレームが入ってくるのです。 新しいフレームが入ってくるので、すべての情報を利用したいのです。 1つのフレームだけでなく、すべての情報を 1つのフレームだけでなく 思うに 私たちが目にしていることのひとつは 車の予測能力は......非常に優れています。 不気味なほど優れています うん 人間よりも優れた能力を発揮しています。 予測するという点では、人間よりも優れてきています。 どんな この道路がどのように見えるかを予測する 目に見えないところでは、カーブを曲がるときのように 予測することができます。 非常に高い精度で そして そうそう 歩行者や自転車を予測することができます。 歩行者や自転車を予測します。 自転車のちょっとした角や バスの窓から少しだけ見える 予測する能力は 予測能力は人間よりもはるかに優れているでしょう。 人間よりもはるかに優れています。 目に見えないものがあると 目に見えないものでも ニューラルネットワークは実際には非常に賢明なものを作り上げています。 実際には非常に感覚的であったり、時には不気味なほど優れていたり 時には不気味なほど良くできていて、あなたは これはトレーニングセットに含まれているのだろうかと そして実際に 実際には、想像できる限界まで ニューラルネットは地球を記憶するのに十分なパラメータを持っています。 地球を覚えている可能性があるので 極限状態では、実際に正しい答えを出すことができます。 正解を教えてくれるかもしれません。 ニューラルネットの重みに焼き付けられたHDマップのようなものです。 ニューラルネット テスラボットの設計について質問があります テスラボットの設計について質問があります。 人型のフォルムを維持するためには ヒューマノイド・フォーム 5本指の手を作ること 重量制限を守りながら かなり難しいかもしれません。 ケーブルドライブを使わなければならないかもしれませんし、そうなると 様々な問題が発生します つまり、これはまだバージョン1を購入したばかりで 買ったばかりのバージョン1なので、これからです だから その それは 人がやるようなことができる必要があります。 人々がすることができる必要があります。 一般的な、つまり ヒューマノイド・ロボット えーと つまり、潜在的には、あなたに 指と親指のようなものを 2本の指と親指のような そのような うん 今のところ、私たちは指を 5本の指を使ってみて うまくいくかな？ 多分うまくいくと思うけど......そんな必要はないよね 驚くほどの握力がなくても 驚異的な握力がなくても しかし、道具を扱うためには 道具 道具を扱ったり、バッグを持ったりする能力が必要です。 事 プレゼンをありがとうございました。 プレゼンテーション 私の古い教授が言っていました。 彼がテスラで嫌いだったのは テスラの嫌いなところは、自動操縦のUXが システムに自信が持てないということでした。 特に、物体が回転したり 特に、物体が回転していたり、分類がちらついていたりすると 良い自動運転システムがあったとしても 良い自動運転システムがあったとしても テスラのオーナーや他の道路利用者や 道路利用者や他の道路利用者、そして一般の人々に 一般の人々に、あなたのシステムが 安全性と信頼性 それはそうだと思います。 車は 少し前までは、車は回転していましたが もうスピンすることはありません。 FSDのベータ版ビデオをご覧になったことがあれば ベータ版のビデオを見ると かなりしっかりしています。 もっとしっかりしたものになっていくだろう もっともっとデータを追加してトレーニングしていけば このようなマルチカメラ・ネットワークは 数ヶ月しか経っていないのに、かなり良くなっています。 数ヶ月しか経っていないのに、本当に良くなっています。 まだまだ完成品ではありません。 私たちは決して気にしません。 これは完璧なものになるだろうと思っています。 宇宙に最適なのはなぜか？ すべての情報は、ビデオの中で ビデオでは、多くのデータと優れたアーキテクチャを生成する必要があります。 データと優れたアーキテクチャ うん これは、タイムラインの中での中間点に過ぎません。 タイムライン上の つまり、人間よりもはるかに優れたものに向かっているのは明らかです。 人間よりもはるかに優れたものになることは間違いありません 私の番だ ハイ、ここで......もし、あなたが ボットの短・中期的な経済性について、少しお話いただけないでしょうか。 ボットの短期・中期的な経済性についてお話いただけないでしょうか。 肉体労働者を代替するという長期的なビジョンは理解できますが 肉体労働に取って代わるという長期的なビジョンは理解できますが しかし、危険で退屈な作業の繰り返しは 危険で退屈な作業は、あまり高い報酬が得られない傾向にあると思います。 高い報酬を得られない傾向があると思いますので、私には どうやって再現すればいいのかわかりません。 スーパーカーからスタートして 低価格帯の市場に参入する ロボットやヒューマノイドで、どうやってそれを ヒューマノイド まあ、見てのお楽しみということにしておきましょう。 こんにちは 私は車のAIがどのようにして 優先順位は 乗員の安全性と歩行者の安全性 そして、どのような思考プロセスを経て どのようにしてAIに反映させるかを決定しているのでしょうか？ つまり、私たちは 評価すべき点は コンピュータの観点からすると すべてがゆっくりと動いています だから人間にとっては......わかると思うんだけど 物事は速く動いていますが、コンピュータにとっては 速く動いているわけではないので、これは これは現実的にはやや誤った 絶対に起こらないというわけではありませんが 絶対に起こらないというわけではありませんが、非常に稀なことでしょう うん もしあなたが、それがまるで 別の方向に行くとしたら レンダリングのように 完全なレイトレーシングのような ニューラルネットで強化されたグラフィックで サイバーパンクのようなものや、高度なビデオゲームで 高度なビデオゲームで 秒間に60フレームの処理を行うことができます そして 完璧にレンダリングされた 1フレームをレンダリングするのに、人間はどのくらいの時間がかかるでしょうか？ 1フレームをレンダリングするのに 一切のミスなく 行うことができます......といっても、1ヶ月くらいはかかりますが ヶ月はかかると思います。 ヶ月はかかるでしょう。 1秒間に60フレームのうち、1フレームをレンダリングするだけで ビデオゲームでは1秒間に60フレームのうち そうですね。 コンピュータは速く、人間は遅い つまり、例えば ロケット側では......あなたは......あなたは ロケットを軌道に乗せることはできません 私たちは実際にジョイスティックを接続して 誰かがロケットを盗めるか試してみましたが 軌道に乗るには そのためには で反応する必要があります。 だいたい 6.7ヘルツで反応する必要があります......人々はそれをすることができません 今でもそうだが、それはかなり低い。 私たちが話しているのは、もっと 30ヘルツでも 30ヘルツくらいの話です。 ハイ、ここでは......ハードウェア3では ハードウェア3では、多くの憶測が飛び交っています。 大規模なネットでは限界に達しているのではないかと 提供できる限界に達しているのではないかと 提供することができます。 拡張された計算モードがどの程度のヘッドルームを提供したか 拡張されたコンピュートモードは、どの時点で ハードウェア4が必要になるとしたら 確信しているのは、ハードウェア3か フル・ストップ・ドライビング・コンピュータ1ならば 実現できると確信しています。 人間をはるかに超える安全レベルでの完全な 人間をはるかに超える安全性を実現できると確信しています。 わかりませんが 少なくとも200〜300％は 人間よりも優れていると思います。 将来的には、完全な自動運転のためのハードウェアや 完全な自動運転のコンピュータも サイバートラックと一緒に導入することになるでしょう。 サイバートラックと一緒に導入することになるでしょう。つまり、1年ほどで あるいは えー それは おそらく......約4倍の性能になるでしょう 約4倍の性能を持つ しかし ただ、実際には 例えば、議論のために 議論のために、人間より300安全なものから 1,000パーセントの安全性に えーと 道路上には様々な運転をする人がいるように 道路上には様々な運転能力を持った人がいますが 運転能力に差があっても運転させているのと同じです。 世界一のドライバーでなくても、道路を走ることはできるのです。 世界一のドライバーでなくても、道路を走ることはできます。 だから、私たちが見るように だから そう 何が新しくなったかというと すべて そうですね 車に深度センサーが付いていないので 車には深度センサーがないので 敵対的攻撃のようなことをされるのではないかと 攻撃のような プリントアウトした写真などを使って RGBニューラルネットワークを騙すような ニューラルネットワーク ワイリーコーディのようなものを引っ張ってくるような のようなもの 壁にトンネルを描くように 壁に おっとという感じです うん あまり見たことがありませんね。 つまり 確かに今のような状況では のTシャツを持っていたとしましょう。 のTシャツを持っていたとします。 ストップサインが描かれたTシャツを持っていたら 私は実際にストップサインの入ったTシャツを持っています。 ストップサインの入ったTシャツを持っていて 車を点滅させる 車は止まるでしょう。 私はそれを証明しました でも しかし、これらの......敵対的攻撃を目の当たりにすれば、明らかに 敵対的な攻撃を目の当たりにすれば、車を訓練して 車を訓練して... 実際にはTシャツを着た人が Tシャツを着た人がいて、そのTシャツには一時停止の標識がある。 Tシャツを着ている人がいて、そのTシャツには一時停止の標識が描かれているので、おそらく本物の一時停止の標識ではないだろうと サイン こんにちは......私の質問は......予測と計画についてです。 予測と計画について聞きたいのですが 不確実性をどのようにして 不確実性をどのように計画アルゴリズムに組み込むのか 基本的には、知っていることを前提にしているのでしょうか？ あなたは、他の車の自動操縦を 道路上の他のすべての車の自動操縦を行っていると言いましたが 道路上の他の車の自動操縦をしているとおっしゃいましたが、他の車がすべてそのルールに従うと仮定しますか？ それとも、他の車が あるいは、例えば それとも、例えば運転の下手な人がいるかもしれないという可能性を考慮しているのでしょうか？ マルチモーダルな未来を考慮しています。 未来を選択しているわけではありません。 この人は実際にいろいろなことができて いろいろなことができることを考慮して そのためには、実際の 物理学や運動学を駆使して 実際の物理学や運動学を使って、行動する前に、その人が私たちの邪魔になるようなことをしていないか 干渉するようなことをしていないかを確認してから行動します。 不確実性がある場合は 保守的になり、相手に譲ることになります。 もちろん、これには限界があります。 あまりにも保守的だと、おそらく実用的ではないので 保守的になりすぎると、おそらく実用的ではないからです。 断定しなければなりません。 その上で、相手が 相手が 相手がこちらに譲歩して 感覚的に行動する 言ってみれば えーと 艦隊に何かを導入する前に 艦隊に何かを導入する前にシャドウモードで実行して そうすることで、例えばこのニューラルネットが 例えば、このニューラル・ネットが、この特定の状況で この特定の状況で うん なぜなら、効果的にドライバーが ネットをトレーニングしているわけですから もし、ニューラルネットが ニューラルネットが制御して 右に曲がったと言っても、実際には左に曲がっていたとしたら 実際には左に行ってしまったとしたら、「ああ、違いがある」となるわけです。 なぜそのような違いがあるのか そう、そして第二に 人間のドライバーは、基本的に ニューラルネットに何が正しい行動なのかを学習させています。 正しい行動をとるように 衝突に至らないことを前提として その場合はカウントされません。 その場合 そして第二に、我々は様々な 不確実性の推定値があります。 これを見ると、私たちは実際に... 何かを見ることができなかった場合、私たちは 安全のために車の速度を落とし 安全のために車を減速させ、行動する前にもっと情報を得る。 行動する前にもっと情報を得ようとする......そう、私たちは図々しくなりたくない。 何も知らずに突っ込んでいくような図々しさは 知っている場所にしか行きません。 知っている場所にしか行かない。 でも......うん それは、まるで 憧れの車になるべきだ 知らなければ知らないほど、遅いほど 遅くなるんだ これはある時点では真実ではないが、今は そう、そう、そうなんだよ 私たちは 自信に比例するスピード プレゼンテーションに感謝します。 好奇心旺盛な FSDが改善されているという事実に感謝します。 改善しているという事実に感謝していますが、もしAIスタックに沿って一つのコンポーネントを改善する能力があれば AIスタックに沿って1つのコンポーネントを改善する能力があれば それが以下のようなものであっても、今日発表することができます。 シミュレーション データ収集 計画 コントロールなど、あなたの意見ではどのコンポーネントが あなたの意見では、どのコンポーネントが最も大きな影響を 自動運転のパフォーマンスに最も大きな影響を与えると思われるのは 自動運転 システム 曲線の下の部分で、複数のポイントがあるように見えます。 複数のポイントがあり、もし何かを改善すれば 何かを改善すれば......それは 面積 つまり、短期的には、それは間違いなく すべてのネットをサラウンドビデオにする必要があります。 サラウンドビデオにする必要がありますが、そのためにはまだ これは非常に短期的なものです。 これは非常に短期的なもので、明らかに我々はそれを素早く修正していますが しかし、まだ まだ、サラウンド・ビデオを使っていないネットがあります。 サラウンドビデオを使っていないネットもあります。 すべてのネットがサラウンドビデオを使用するのが理想だと思います。 サラウンドビデオ そうですね、そうですね、多くのパズルのピースが 成功のためのピースは揃っています。 ただ、もっと強力な人材が必要です。 協力して それが実際の箱なんです。 それが実際のボトルネックなんです。 私がこのイベントを開催する理由の1つです。 このイベントを開催した理由のひとつは、まさに アンドレがよく言っていたように とてつもない量の仕事があります。 を実現するためには このイベントを成功させるためには、膨大な作業が必要です。 才能ある人たちに参加してもらい 問題を解決してくれる才能ある人々が必要なのです。 素晴らしいプレゼンテーションをありがとうございました。 たくさんの質問に答えていただきました。 しかし、ひとつだけ それは 大量のデータがあると 膨大な量のデータがあると想像したとき、不必要なものまで ニューラルネットワークの忘却問題のように ニューラルネットワークにおける忘却の問題のように そういった点をどのように考えているのか また もう1つは、オンラインでの学習を考慮していますか？ オンライン学習や継続的な学習 そう 各ドライバーが 各ドライバーがそれぞれのバージョンの 自動運転の ソフトウェア 私はその文献を知っていると思います。 あなたが参照している文献を知っていると思いますが、それは私たちが見てきた問題の一部ではありません。 私たちが見てきた問題の一部ではありません。 あまり継続的な学習を行っていません。 一度システムをトレーニングして 何度か見つけて 車に乗っているようなものだから、評価できる 評価できる安定したものが必要です。 広く評価できる安定したものが必要です。 車に搭載されることになります。 スポットでの学習や継続的な学習をあまりせずに 継続的に学習することで、忘却の問題に直面することもありません。 忘却の問題に直面することもありません。 といった設定も可能です。 一般的に保守的なドライバーにしたいのか 保守的な運転をしたいのか、速く走りたいのか、遅く走りたいのか 速く走りたいのか、遅く走りたいのか......それはまるで 空港に遅刻しそうなんだけど......。 もっと速く走れないかな？ 基本的には、あなたがuberのドライバーにする指示は 運転手に指示を出すようなものです フライトに遅れそうなんですが、お願いします 急いでくださいとか、ゆっくりしてくださいとか あなたのスタイルが何であれ それでは、もう少し質問をしてみましょう。 今日はこれで終わりにしましょう。 さて、私たちのモデルはますます有能になり モデルの性能が上がってきていて 現実の世界にモデルを展開していると思いますが 可能性があると思うのは AIがもっと人間の望むものと 人間が望むものとのズレが生じる可能性があります。 そのことをあなた方は ロボットをどんどん導入していく中で、あなた方が心配していることは ロボットをどんどん導入していく中で、あなた方はそのことを心配しているのでしょうか？ それとも、その時になったらその問題を解決しようと思っていますか？ と思うのか ええ、私たちはAIを心配すべきだと思います。 AIについては......その......例えば 私たちがここでやろうとしているのは、つまり 狭いAI かなり狭い範囲で......例えば、車を人間よりも 人間よりもうまく運転できるようにするとか そして、人型ロボットには 基本的なことができる えー そうですね。 超人的な知性を手に入れようとする時点で 超人的な知能を持ち始める時点で 全ての賭けが始まるのか うん でも それはそれとして、それはそれとして、それはそれとして そう そうなるかもしれないけど、でも テスラでやろうとしているのは 役に立つ 人々に愛される 人々に愛され、そして 紛れもなく良いものを作ることです。 それを目指しています。 さて、もう一つ質問です。 こんにちは......私の質問はカメラについてです センサーについてです。 合成動物を作るという話をされていましたが 動物 考えてみると カメラは人間の目の非常に貧弱な近似品です。 カメラは人間の目の非常に貧弱な近似品であり、人間の目は一連のフレームを撮るだけでなく 人間の目は、一連のフレームを撮るだけではありません。 最近のカメラのようなものは 最近では、イベントカメラのようなカメラがあります。 カメラのようなものがありますが、それについて調べたことがありますか？ より柔軟なカメラを検討していますか？ より柔軟なカメラの設計や独自のカメラの構築を検討していますか？ 例えば ハードウェア4では、次世代のカメラができるでしょう。 次世代のカメラを用意する予定ですが しかし、現在のカメラでは 現在のカメラの限界には達していません。 現在のカメラの限界には達していません。 ええと 完全な自動運転を、より高い安全性で実現できると確信しています。 完全な自動運転をより高い安全性で 人間よりも 現在のカメラと 現在の計算機ハードウェア うん しかし でも 300%よりも1,000%良くなった方がいいのか 300%ではなく1,000%でいいのか だから 私たちのレベルの進化は続くでしょう。 レベルの進化を その目標を追求し、将来的には 将来 将来、人々は振り返ってこう言うでしょう 自分たちで運転しなければならなかったなんて、信じられない 自分で運転しなければならないなんて 自動運転車のようなものが のように普通のことになるでしょう。 自動運転のエレベーター エレベーターには昔、エレベーター・オペレーターがいたことをご存知でしょうか。 エレベーター・オペレーター 誰かがそこにいて、その人が 大きな大きなリレースイッチを エレベータを操作する そして、時々、彼らは疲れてしまったり 疲れてしまったり、ミスをしてしまったりして 誰かを半分に分けてしまったり それで、今は......エレベータを自動化して エレベーターは自動化され、ボタンを押すだけで ボタンを押せば、100階建ての超高層ビルでも 100階建ての超高層ビルでも 心配することなく、ただ行って ボタンを押せば エレベーターが目的の場所に連れて行ってくれるんです。 行くことができます。 しかし、かつてはすべてのエレベータが 手動で操作していましたが、これからは車と同じように 自動車も同じように すべての車が自動運転になる そして電気自動車へと変わっていくでしょう。 ガソリン車もマニュアル車もあるでしょう。 ガソリン車もマニュアル車もあるだろう。 馬がまだいるように だから 皆さま、ご来場ありがとうございました。 このプレゼンテーションを楽しんでいただけましたか？ プレゼンテーションを楽しんでいただけたでしょうか。 質問