Revit 3D models in VR

To watch 3D models in VR you need a VR Headset. A thettered headset like a HTC vive or HP Reverb G2 are direct connected to the pc with Revit installed. use Enscape or Vred to watch in VR. These headsets are more expensive thean a Oculus Quest2 standalone headset.

Using a Quest it’s posible to connect your PC in the same network segment over WiFi. You are totaly free to move and can sit everywhere. Connect a bluetooth keyboard and mouse to the headset. The Quest can connect with VRdesktop. On the PC runs the streamer application from VRdesktop. Choose an envirionment in VRdesktop and you see the real desktop from the physical PC. Even the mouse is working!

An drawing opend in Revit is also opend in Enscape as a plugin for Revit. Enscape makes a rendering in VR. Choose the headset and SteamVR is opening.

The file in Revit is a demo from HvA (Hogeschool van Amsterdam) thanks Richard de Nier, BIM consultant.

Revit 2022 and Enscape 3.0 are 14 day trial versions.

16:9 video in Quest2

Normal video recording in Oculus Quest is a square format. If you want to produce 16:9 format videos, run several scripts in SideQuest. (link: https://sidequestvr.com/ )

Install SideQuest on your PC and set Oculus Quest in Developer mode. After connecting your Quest to the PC, run an custom ADB command:

adb shell setprop debug.oculus.capture.width 1920
adb shell setprop debug.oculus.capture.height 1080
adb shell setprop debug.oculus.capture.bitrate 10000000
adb shell setprop debug.oculus.foveation.level 0
adb shell setprop debug.oculus.capture.fps 60

One by one is a lot of work so al together:

adb shell “setprop debug.oculus.capture.width 1920 && setprop debug.oculus.capture.height 1080 && setprop debug.oculus.capture.bitrate 10000000 && setprop debug.oculus.foveation.level 0 && setprop debug.oculus.capture.fps 60”

Copy and Ctrl-V in the command line (paste doesn’t work) and click RUN COMMAND.

If the headset is turn off, the settings are back to square video!

Reiger verjagen

Sinds een paar dagen zie ik geen goudvissen meer. M’n drie Koi’s zijn wel te zien. Er zitten ook grote goudvissen in de vijver. We zien een reiger op het dak van de achterburen. Loopt een beetje over de nok. Later zie ik hem in de tuin en vliegt ie weg met een kikker. Daar heb ik genoeg van, maar hij moet niet door krijgen dat er meer is. Wegjagen helpt niet.

We zitten in de tuin en de reiger komt rond 6 uur weer aanvliegen. we worden al paranoide als we een schaduw zien. De reiger komt van de nok naar de dakkapel van de achter buren en gaat op de rand zitten. De volgende stap is afdalen naar het dak van de overkapping van de achterburen. Dan loopt ie langzaam over de schutting. Wij zitten muisstil in de tuin om te kijken wat hij gaat doen. Geen 4 meter afstand en ziet ons dus niet als gevaar.

Even later zitten we binnen en zien we hem wegvliegen met een goudvis. Weggepikt bij het riet. Waarschijnlijk zijn de goudvissen toch aan het paren tussen het riet en dus zichtbaar. Wat te doen? Ik lees dat niets helpt maar visdraden spannen over de tuin het landen kan bemoeilijken. Ik span een paar draden aan de achterkant, zodat er niet makkelijk vanaf de achterschutting in de tuin geland kan worden.

Ik zet ook een 180 graden camera aan ‘s nachts op 5 sec timelapse. Op de beelden zie ik net na zonsopgang (ca. 5.30) de reiger weer komen en weer bij de riet kraag een dikke rode goudvis pakken. Hap slik weg. daarna vliegt hij weer weg. Op deze plek zijn geen visdraden gespanen. Alleen rond de vijver, maar dat helpt dus niets.

Er zit maar 1 ding op: een net spannen over de vijver. Niet zo mooi, maar het kan niet anders. Ook over de hele tuin visdraad met 15 kg trekkracht gespannen om de 60 cm. Weer een timelapse opname gemaakt. Op deze opname zie je, dat de reiger niet meer via het vaste patroon op de schutting gaat zitten. Je ziet hem over de schutting rondlopen en uit eindelijk via een paal toch op de grond weet te komen. Daar loopt ie om de vijver en kan niet bij het water. Vliegt later weer weg. Ik denk wel een uur is hij in de tuin geweest.

Ik ga nog wat spijkers op de paal zetten en maak nog een paar keer een timelapse. Als ik een paar dagen geen reiger bezoek heb ‘s morgens vroeg, dan ga we de goede kant op.

Update 7-6

5 nachten een timelapse gemaakt en geen reiger meer ‘s morgens vroeg. Een enkele keer ‘s avonds nog wel eens gezien op de nok van het dak, maar na een 10 min. weer gevlogen.

F1 2020 in VR

  1. Wireless met VRdesktop

Je kunt simracen op een monitor, maar die is vaak te klein. Wat als je achter het forcefeedback stuur zit en voor je neus een mega gekromt scherm? Dat kan met een VR bril op.

Met de Oculus Quest2 op WiFi in hetzelfde netwerk als de PC (ik heb een dubbele netwerkkaart die ik om beurten disable of enable) kan een verbinding worden gemaakt met de App VRdesktop naar de PC. De achtergrond op zwart en een zo groot mogelijk desktop scherm. Een beetje gekromt. Dit scherm zet je recht voor je en zo dicht mogelijk bij. Je kunt nu vrij bewegen met je hoofd en toch lijkt het of je in de cockpit zit. Ik had geen last van motion sickness.

Zie deze opname Direct in de Quest2. (instellingen via sideQuest op wide gezet, anders krijg je standaard een vierkante opname.)

2. Kan het ook in VR?

Ik heb een HP Reverb G2 met hoge resolutie, die direct aan de PC is gekoppeld. Als je de applicatie vorpX installeerd, dan kan deze van gewone 2D games een 3D VR game maken. Een ander klein programmaatje (OpenTrack) zorgt ervoor, dat je je hoofd ook een beetje heen en weer kunt bewegen (je kunt dus om de halo heenkijken). Als je TrackIr aanzet in de game (camera settings) werkt het nu ook zonder OpenTrack! Terwijl op het computerscherm het gewone beeld is te zien, is in de VR headset de game in VR. Je zit echt in de cockpit en kan om je heen kijken! Echter afhankelijk van de instellingen kun je wel last krijgen van motion sickness. De refreshrate en FPS moeten zo hoog mogelijk staan. Mijn GTX 1660i is niet de beste kaart, dus dit is net/net niet genoeg. Als de bewegingen niet goed meegaan, moeten je hersenen te veel compenseren, waardoor een misselijkheid op de loer ligt.

Met de Quest kan het ook. De Quest moet dan met een USB3 kabel aan de PC hangen. (in de laatste versie v29 kan dat ook wireless met de WirelessLink setting aan.

Mijn beste ervaring is de eerste configuratie tot nu toe.

Link naar video van Tyriel Wood

Eerste VR App in App Lab

Als je met VR bezig bent en dan vooral geïnteresseerd in handtracking op de Oculus Quest, wordt het tijd om eens diep in de materie te duiken. Hoe maak ik zelf een VR app?

In 2015 heb ik al eens een VR/AR masterclass gedaan om meer te weten te komen hoe je een VR/AR experience moet aanpakken. Storytelling en hoe krijg je iemand mee in wat je laat ervaren. Bijvoorbeeld met geluid de aandacht trekken of de rendering beperken met een klein lichtje bijv. van een kaars. Alleen het verlichte deel is dan gerendered en dat scheelt performance, maar ook de focus.

Sinds mijn hernieuwde contact met de sint Maartens Kliniek in Nijmegen, ben ik een handtracking demo app gaan maken voor de Quest. In 2018 heb ik meegewerkt aan een VR4REHAB hackaton bij de sint Maartens Kliniek om VR in te zetten voor revalidatie. De vraag was toen aan het team waar ik zat: Is het mogelijk een VR app te ontwikkelen waar kinderen uit de piratengroep thuis met vriendjes kunnen blijven oefenen. Een goeie continuering van de revalidatie verhoogd enorm de kans om later een normaal leven met de disfunctionerende hand en arm te hebben. Door een hersenbeschadiging (cerebrale parese) is de hand / arm aangedaan. De kinderen oefenen in een piraten pak en revalideren in spelvorm.

In december 2020 heb ik een mogelijke methode gedemonstreerd om op een veilige manier remote te kunnen werken in VR. Daarnaast ben ik begonnen met studeren op het bouwen van een revalidatie spel voor de Oculus Quest. Het doel was handtracking te gebruiken omdat de controllers vaak te groot zijn voor de kinderen. Daarnaast hebben ze ook last van de aangedane hand. Het bedienen van de knoppen is dan lastig.

Na ca. 8 weken studie en bouwen/testen, is het gelukt om een app te bouwen, waar met handtracking ballen, kanonskogels en met blokken kan worden gewerkt. Het wisselen van de scenes gebeurd met pushbuttons en kan zonder het gebruik van controllers worden gedaan. Het heeft mij een hoop inzicht gegeven wat nodig is om je idee om te zetten in een VR app. Handtracking staat nog in de kinderschoenen, maar heeft een grote potentie. Het maakt het werken in VR een stuk natuurlijker.

De eerste versie wacht nu op publishing van Oculus App Lab om op een eenvoudige manier te installeren op de Quest. De demo app is gratis te installeren wanneer de validatie voltooid is:

https://www.oculus.com/experiences/quest/4266350876708239/

Ik blijf verder ontwikkelen, want terugkoppeling is ook iets wat een fysiotherapeut graag wil hebben. Je wilt ook de progressie kunnen meten.

Wat ben ik te weten gekomen in dit project?

  • Wat is de ervaring van kinderen en therapeuten in een gedeelde VR wereld
  • Bouwen van de app in Unity
  • Programmeren in C# voor Unity, ook bestaande scripts gebruiken en ombouwen.
  • Handtracking gebruiken met behulp van derden tools
  • Gebruik van Oculus App Lab en de eisen die aan een App worden gesteld.
  • Android Studio om de app te maken met de juiste rechten.
  • Door het validatie proces van Oculus komen.

Met dank aan de de tutorials van Tony SkarredGhost met z’n Unity Cube https://skarredghost.com/2021/03/24/unity-unwanted-audio-permissions-app-lab/

Update mei

De app is online in de App Lab store! Dankzij een aanpassing volgens de leasons learned van Tony heb ik de rechten op de mircofoon aangepast in de androidmanifest file. Export de build naar een map en open deze met androidstudio. Wijzig de androidmanifest (delete de rechten op microfoon) en Rebuild de apk. (ook de juiste vertificaat store instellen!)

de App is te vinden in de Oculus App Lab store :

https://www.oculus.com/experiences/quest/4266350876708239/

Cinema experience in VR?

VR disruptive for cinema visits?

Blockbusters are made to be seen on the big screen in the cinema, razor sharp and with Dolby Atmos sound. Christopher Nolan is one of the last directors to have had a major cinema premiere with Tenet. He is horrified that his film would be viewed on a telephone on the train. We didn’t campaign for that at beautiful locations for months.

Now that we are glued to home by Covid-19, is VR a possibility to experience the cinema at home? I made an attempt to find out with a VR headset and wireless headphones I already had. New and Legacy gear from the man cave on the attic!

>10 year old wireless Philips headphone with surround soud

What is the setup?

  • Oculus Quest 2 (light and sharp display of almost 3K per eye).
  • Game pc with NVidia GTX 1660Ti video card, 32 GB memory and AMD FX6300 6 core CPU, Samsung SSD 860 EVO.
  • Philips wireless headphones SBC HC8855 with surround sound.
  • Virtual Desktop runs on the Quest, which connects to the streamer on the PC via WiFi. Environment is dark Cinema. PC desktop can be seen on virtual cinema screen.
  • PowerDVD20 runs on PC to play all kinds of movies. 3D and 4K. Movies can be played from Blu-ray player with disc or as file.
  • The sound from the PC does not go via the Quest but directly to the Philips base station that controls the headphones.
  • Dedicated WiFi router for Quest and PC connection. (Netgear Nighthawk 7000)

To keep the latency on the WiFi as low as possible and to achieve an almost network quality, I used a dedicated WiFi router only for the HMD. The PC has a network connection with this Access Point and is in the same network. First I tried the basic WiFi connection I have.

What is the ultimate goal?

You are in a virtual cinema (unfortunately the only one) to watch a (3D) movie with a surround sound on a large screen. Nice or not? And at your home on the couch.

How is the experience? Scenarios:

1. First, via the existing Netgear Orbi Pro, a connection to 5 GHz WiFi. The latency in the Quest via the Virtual Desktop App is: 21 ms Codec HEVC (auto in streamer)

A. The sound goes to the Quest via WiFi. Headphones directly connected to the Quest. Latency is: 21 ms

B. Mute sound to Quest in the Desktop Streamer and the headphones directly on the PC. Latency is: 22 ms with film running 26 ms       

2. Connect Quest and PC to a dedicated Access point (Netgear R7000). The latency measured in the Quest Virtual Desktop App is: 18-22 ms with movie 25 ms, Codec on H264 (we now have a dedicated network). Connection speed WiFi is 860 Mbps

A. Let sound run directly through the PC, so that the stream only contains images.

Settings dedicated router:

https://kb.netgear.com/000060378/Which-Dynamic-Frequency-Selection-channels-does-my-NETGEAR-device-support  DFS on 80 MHz

• Router in Access mode

• WiFi 5 GHz

• Quest over WiFi and PC 1 GB wired.

• DFS (Dynamic Frequency Selection channels on 80 MHz (Quest uses 80 MHz) set 5 GHz to one of these channels 58, 106, 122 to use. (Channel 56 used. (no DFS channel 58 available)

Result and best experience:

Both options with WiFi had a good performance!

Option 1 B:

Sending sound to wireless headphones via the PC and switching it off in the VD streamer is the best audio experience. Image in Quest at 90 Hz.

The Quest only gets image. Connecting the headphones to the Quest did not produce good sound. Wired headphones on the Quest are possible, but no surround sound.

Unfortunately, the wireless headphones cannot be connected to the Quest. Because of this you are condemned to sit near the PC anyway. With the Orbi Pro router and satellite, an average bit rate of 650 Mbps can be achieved at 5 GHz. The 90 Hz option in the VD app did not seem to work, although Quest and the VD were set to 90 Hz.

PowerDVD20 does play content in the Quest when a movie is stored as a file on the PC, but when a Blu-Ray is started in a player, it can only be seen on the screen. It cannot be seen within the headset. Also tried with another stream program like vSpatial, but no active Blu-Ray screen here either. It seems that the streaming software does not transmit a Blu-ray on this screen. It can also be restricted within PowerDVD20. DVD does work.

Option 2 A:

Even with AP and headphone transmitter both on the attic, I could sit downstairs (two concrete floors) in a relax chair watching movies with great video and audio quality.

Thuiswerken tijdens de Corona crisis

Lockdown, blijf thuis.

Vanaf 12 maart Nederland in lockdown. Sinds februari werk ik bij KPN IaaS in Apeldoorn. IaaS bestaat uit een groot Enterprise virtueel hosting platform. Het managen daarvan gaat ook vanuit kantoor, remote naar servers op de verschillende datacenters van KPN. In dat opzicht werk je eigenlijk niet anders dan zoals een klant van KPN dat doet.

Door de intelligente Lockdown afgekondigd door de regering, moeten KPN medewerkers ook thuis blijven en remote werken. Het uitvoeren van het werk verschuift dus van het kantoor naar thuis. Behalve dat je je collega’s niet fysiek ziet verandert er eigenlijk niet veel.

Videoconferenties via Skype en Teams

Vooral met veel deelnemers kan het vermoeiend zijn al die non-verbale info op te pakken. Aan een vergadertafel kijk je de spreker aan en ziet niet hoe een andere collega reageert. Nu wel in teams. Verder is het veel makkelijker om collega’s die je normaal ook niet tegenkomt op kantoor te zien in een video call. Een probleem bespreken is nu veel makkelijker met alle mensen in een call. Teams kan nu ook 3×3 videoschermen laten zien. Zoom zelfs nog veel meer.

Aanpassingen thuis?

Heb ik veel aanpassingen moeten doen aan mijn thuis kantoor? Nee, dat was al uitgerust voor remote werken. Meerdere monitoren en een snelle internet verbinding. Wat ook belangrijk is, dat je een goede bureaustoel hebt. Ook thuis zit je veel uren achter je bureau. Ik heb op zolder een kantoor / mancave en loop echt regelmatig trappen om een kopje koffie te nemen beneden. Het is net als met reizen in de auto: 2 uur een pauze en benen strekken.

Voor een beter beeld op de camera heb ik een licht doorlatend zonnescherm op mijn Veluxdakraam gezet. Hierdoor is de belichting op je gezicht een stuk diffuser en beter voor een video call. Video camera op goede hoogte is ook van belang. Normaal beeld vanaf een laptop “kijkt” een beetje omhoog. Beter is de laptopcamera op ooghoogte te zetten. Het beeld wordt dan een stuk natuurlijker.

Terugkeer naar kantoor

Als iedereen weer naar kantoor zal gaan, zijn er een aantal zaken wel verandert. Ook op kantoor moet een 1,5 m afstand in acht worden genomen. Dat betekend dat er ook op kantoor je via Teams een scherm moet delen om samen iets te doen. Het enige verschil is dat je even je collega fysiek kunt aanspreken. Eerlijk gezegd zou dat voor mij geen enkel verschil zijn met het huidige werken vanuit huis.

Ik denk dat misschien twee dagen op kantoor alleen zin heeft als er een teammeeting of presentatie wordt gegeven. Elkaar fysiek tegenkomen heeft wel een functie. Een teammeeting online is toch meer een presentatie voor een groep. Ook de virtuele borrel voelt zo. Je praat tegen een scherm met gezichten, die van alles en nog wat aan het doen zijn. Je bent altijd aan het kijken wat er gebeurd. In een informele meeting spreek je steeds collega’s 1 op 1 of een klein groepje.

Een ander hulpmiddel om #WFH (work from home) en privé te scheiden is je te kleden zoals je naar kantoor zou gaan. Op de hete dagen trok ik na werktijd een korte broek aan om in de tuin te zitten.

Hoe verder in de toekomst?

Ik verwacht, dat er veel meer thuis gewerkt gaat worden. Minder reiskilometers en minder files. Het is natuurlijk voor iedereen anders hoe die deze manier van werken ervaart. Als je schoolgaande of kleine kinderen hebt is dat natuurlijk anders. Een eigen kamer/kantoor helpt dan wel.

Behoefte aan kantoor m2 zal een stuk minder nodig zijn. Schattingen lopen uiteen van 30 tot 50%. VDI (virtuele desktop) infrastructuur vanuit het datacenter zal groter worden. Een desktop in de Cloud, ook voor grafische 3D applicaties. Video bellen wordt steeds meer een standaard. Wellicht in de toekomst ook meer meetings in Virtual Reality. Zakelijk reizen zal een stuk minder worden is de verwachting. Maar dat in een ander blog.

Note: Van de 6 maanden opdracht heb ik 5 maanden vanuit huis gewerkt.

Remote Office in VR

Mark Zuckerberg thinks the VR headset is the solution for future housing problems. Link by RoadToVR (direct link facebook)

If it’s possible to work everywhere with your personal remote office in a Headset and the possibility to work together with colleges by sharing screens and videoconferencing, then he has a point.

Nowadays people works in smaller teams by scrum squads and mostly remote to datacenters. So you can work remote from other locations and also connect colleges any moment.  

What is mostly in place now?

Remote workers can use a VPN connection to connect their business applications and mail, login to remote virtual desktops, Apps by VMware WorkspaceOne or connect by Citrix to business Apps and more. Communication by (mobile) phone and skype or facetime or other videoconferencing tools.

Most work is output driven and can be don also on every remote workspace. You only need a good laptop or tablet with internet connection. Most people do maybe already of their work on a smartphone. With the intelligence of the smartphone it is sometimes faster to write an article than on a laptop.

New remote workspaces.

With the introduction of VR and AR, we can connect in the headset to a remote workspace. Like the home office, we can connect to a virtual desktop in a datacenter (Company office) and do our work. With the ongoing development of the headsets, the quality and easy to where is no problem at all to work for longer periods in a VR world. In your virtual office (looks like you are anywhere in the world) you have the company work environment in front of you. Collaboration with peers is just a click away.

Now we have simple avatars, but in the future this projection of you is real-time and in real person. Face expressions will be available.

People from around the world can join teams from everywhere. Working on 3D objects in VR is possible, not only working on documents! The housing problem Mark is thinking about could also a small home in India.

With AR we can join teams in real life with colleges in the same room. Work on the same project that is projected in our space. Matter of time to use this. Designing cars and step into the just build interior is one of the benefits.

See Varjo predictions Varjo’s headset has an extra display in the centre of your eye with retina resolution, so ultra sharp vision.

How long does it takes? Some people say 5 years other 10 years. All great changes and inventions takes time. Looking back it’s easy to see what the difficulties are and how long it takes to embraces new methods. Mark focus is 2030.

Oculus Quest Link Bèta test

My first experience with Quest Link is just amazing. After update to firmware 11.0.0.180 in the Quest and installed the Oculus Home software on my PC, should Link worked? I had ordered an USB 3.0 extension cable and a USB 3.1 A to C connector. Total length is 5+1 = 6 meter.

PC configuration is not the latest, so would it work? ASUS mainboard M5A97 EVO R2.0 has two USB 3.0 ports. The free one has a connection, but when started in Quest, the application on the PC is moving, but the screen in the Quest was black. I checked the log files in Oculus application and found that my ASMedia USB controller is supported. Removed the WiFi USB dongle and replaced it with the Quest cable, now Link was working!

With the Velcro cable binder its easy to fixed the cable to the headset.

Only the warning PC is not compatible with the minimal requirements is a small problem, but did not harm the experience. The AMD FX-6300 Processor is not compatible. Maybe hack the configuration json file in Oculus Software.

note: add processor type AMD FX-6300 did not work in config file.

My Configuration:

PC specs: ASUS M5A97 EVO R2.0 , AMD FX-6300 6 core 3.51 GHz    , 32 GB mem, NVIDIA GeForce GTX 1660 Ti 6 GB mem.

Quest connection to PC: 5 meter DeLock Extension cable USB 3.0 A to USB 3.0 A female, USB 3.1 A to USB 3.1 C  (Allekabels.nl)  Note: charge cable that comes with Quest is not usable.

Test applications in Oculus on PC:

  1. On Quest I had Apollo 11 Quest running, so the PC version Apollo11 VR HD must be compared. This VR experience is much more detailed then the Quest version. Amazing how good the OLED display of the Quest is. Now the PC is processing the game in a detailed image.
  2. The same with Anne Frank House, much more details.
  3. FlyInside Flight Simulator works with the virtual Oculus controllers, but no hands!
  4. vSpatial virtual desktop in beta on the Quest I tested over WiFi and now over the link with the Oculus version.  Both apps connect to a virtual Windows10 64 bit Desktop running on VMware ESXi6.7 in my homelab. vSpatial Remote Manger is v1.0.7255.4019 is installed in the VM. Runs with no latency at all.
  5. Nice to play with Aircar. Sometimes Quest is freezing, while PC runs. Not available on Quest.
  6. Blade Runner is also a nice game to play on PC. Not available on Quest

vSpatial screen capture with CyberLink, just the running application on PC. Left screen is the physical Windows10 PC and the right screen is the virtual Windows10 desktop on VMware in my homelab. ( In Quest Bluetooth mouse and keyboard not working.)

cable:

https://www.allekabels.nl/usb-30-kabel/4545/1162801/usb-a-naar-usb-a-verlengkabel-30.html

https://www.allekabels.nl/usb-c-kabel/11518/1374443/usb-c-naar-usb-a-kabel-31.html

update: most applications do not work with hands, only controllers.

Steam VR games in Occulus Quest

Running Virtual Desktop in the Quest and added streaming apk with SideQuest, SteamVR games are running in the Quest. Screen Quest is live recorded in Quest itself !

I played some VR games like FlyInside and Google Earth VR in the Quest and was surprised by the quality. FlyInside is an flight sim where you really sitting in the cockpit. Most of buttons and handles are activated by touching with your virtual hands. Even sitting on a fixed chair, it feels very immersive to dive in a turn.

Flying in Google Earth VR is amazing. Search your home and fly around in 3D. Step in the 360 streetview and be really there.